EPOCH: An Agentic Protocol for Multi-Round System Optimization

O artigo apresenta o EPOCH, um protocolo de engenharia que organiza a otimização de sistemas autônomos em fases de construção de baseline e melhoria iterativa, estruturando cada rodada em estágios com restrições de função e interfaces padronizadas para garantir estabilidade, reprodutibilidade e rastreabilidade em ambientes heterogêneos.

O essencial

Imagine que você tem um time de engenheiros muito inteligentes (os "agentes" de Inteligência Artificial) que querem melhorar um produto, seja um código de computador, uma receita de bolo ou um conjunto de regras para um jogo.

O problema é que, até agora, cada engenheiro trabalhava de um jeito diferente. Um fazia testes no escuro, outro mudava as regras sem anotar nada, e ninguém conseguia dizer com certeza por que algo melhorou ou se a mudança foi realmente boa. Era como tentar consertar um carro com um manual de instruções escrito em línguas diferentes para cada peça.

O artigo apresenta o EPOCH, que não é um novo "engenheiro", mas sim um novo manual de operações (um protocolo) para organizar esse time.

Aqui está como o EPOCH funciona, explicado de forma simples:

1. A Ideia Central: O Protocolo de "Obter, Planejar, Agir"

Pense no EPOCH como um chefe de obra rigoroso que segue um ciclo de 4 passos para cada melhoria:

1. Observar: Olhar para o que temos hoje.
2. Orientar: Entender o problema e o que pode ser feito.
3. Decidir: Escolher uma mudança específica.
4. Agir: Fazer a mudança e testar se funcionou.

O grande diferencial é que o EPOCH obriga esse ciclo a ser feito de forma organizada, registrada e segura, sem pular etapas.

2. As Duas Fases do Projeto

O EPOCH divide o trabalho em dois grandes momentos, como se fosse a construção de uma casa:

• Fase 1: A Fundação (Construção da Linha de Base)
  Antes de tentar melhorar, você precisa ter algo sólido para começar. O EPOCH garante que, antes de qualquer otimização, exista um "modelo inicial" que funcione e seja medido. É como garantir que a casa tem telhado e paredes antes de tentar pintar a fachada.
• Fase 2: A Renovação (Melhoria Iterativa)
  Agora sim, começa o trabalho de melhoria. Mas não é um caos. O EPOCH divide o time em 4 papéis diferentes para cada rodada de melhoria, garantindo que ninguém faça tudo sozinho:
  • O Orquestrador (O Maestro): Decide quando começar, quanto tempo temos e qual é o próximo passo.
  • O Investigador (O Detetive): Analisa os erros e sugere ideias ("E se mudarmos a cor da porta?").
  • O Executor (O Construtor): Pega a ideia e a coloca em prática (pinta a porta).
  • O Revisor (O Fiscal de Obras): É a parte mais importante. Ele não é o mesmo que pintou a porta. Ele mede se a cor ficou boa, se não vazou tinta e se a casa ficou mais bonita. Se não ficou, ele rejeita a mudança.

3. Por que separar os papéis é genial?

Imagine se o pintor fosse também o fiscal. Ele poderia pintar a porta de uma cor feia e dizer: "Olha, ficou ótimo!". Isso é um erro comum em sistemas de IA (chamado de "vazamento de dados" ou "overfitting").

Com o EPOCH, o Investigador e o Executor são separados do Revisor. O Revisor usa uma régua diferente (dados que o Executor nunca viu) para julgar se a mudança foi realmente boa. Isso garante que a melhoria seja real e não apenas um truque de mágica.

4. Exemplos Práticos (O que o EPOCH já fez?)

Os autores testaram esse "manual de operações" em quatro situações diferentes, mostrando que ele serve para tudo:

• Melhorar Código (A Calculadora de Fibonacci): O sistema começou com um código lento. O EPOCH organizou a troca de algoritmos até que o código ficasse super rápido, parando automaticamente quando não havia mais como melhorar sem quebrar as regras.
• Ajustar Treinamento de IA (Classificação de Imagens): Como ajustar os "botões" de um modelo de IA. O EPOCH testou diferentes configurações, rejeitou as que faziam o modelo "decorar" as respostas em vez de aprender, e aceitou apenas as que melhoraram de verdade.
• Melhorar Instruções (Prompt Tuning): Como escrever melhores perguntas para a IA. O sistema mudou o texto das instruções passo a passo, garantindo que não estivesse "cola" nas respostas de teste.
• Regras Simbólicas (Classificação de Flores): Criando regras manuais para identificar flores. O sistema refinou as regras até que elas fossem perfeitas, parando quando percebeu que novas regras só complicavam sem ajudar.

5. O Grande Ganho: Rastreabilidade e Confiança

A maior vantagem do EPOCH é que ele deixa um rastro de papel (ou digital) de tudo o que aconteceu.

• Você pode olhar o histórico e ver: "Na rodada 3, tentamos mudar X, o Revisor disse 'Não', e na rodada 4 tentamos Y e o Revisor disse 'Sim'".
• Isso torna o processo reprodutível (qualquer um pode refazer o mesmo trabalho) e auditorável (você sabe exatamente por que o sistema está como está).

Resumo Final

O EPOCH é como transformar uma oficina de mecânicos desorganizada, onde cada um faz o que quer, em uma linha de montagem de alta tecnologia. Ele não inventa novas peças, mas cria um sistema onde as peças são testadas, aprovadas e registradas de forma segura, permitindo que sistemas complexos melhorem sozinhos, sem perder a qualidade ou a segurança.

É a diferença entre tentar adivinhar o caminho e seguir um mapa detalhado que garante que você chegue ao destino certo, a qualquer hora.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "EPOCH: An Agentic Protocol for Multi-Round System Optimization", apresentado em português:

1. O Problema

O artigo identifica uma lacuna crítica no estado da arte de agentes autônomos para otimização de sistemas. Embora modelos de linguagem (LLMs) sejam capazes de decompor problemas e refinar soluções iterativamente (em tarefas como otimização de prompts, reparo de código e ajuste de hiperparâmetros), as abordagens existentes são geralmente:

• Específicas de tarefa: Projetadas como loops de otimização isolados para domínios específicos (ex: apenas prompts ou apenas hiperparâmetros).
• Faltam unificação: Não oferecem um protocolo unificado para estabelecer uma linha de base (baseline) executável e gerenciar múltiplas rodadas de auto-otimização sob uma interface de avaliação consistente.
• Fragilidade em produção: Em ambientes de produção, os sistemas são compostos por componentes interligados (código, configurações, dados, lógica de regras). Melhorias em um componente exigem mudanças coordenadas em outros, mas as ferramentas atuais carecem de separação de papéis explícita, interfaces de execução canônicas e rastreamento de estado por rodada, o que compromete a reprodutibilidade, a integridade da avaliação e a rastreabilidade.

2. Metodologia: O Protocolo EPOCH

O EPOCH (Engineering Protocol for Multi-Round System Optimization) é introduzido como um protocolo de engenharia para otimização de sistemas em ambientes heterogêneos. Ele trata a melhoria iterativa não como um único otimizador, mas como um processo estruturado em duas fases principais, guiado por princípios de separação de responsabilidades e interfaces canônicas.

Arquitetura e Fases

O protocolo organiza a otimização em duas fases distintas:

• Fase I: Construção da Linha de Base (Baseline Construction)

  • Transforma uma especificação de problema (descrição natural ou configuração estruturada) em uma linha de base executável validada.
  • Papéis:
    • Seed Planner: Analisa a especificação, desenha o sistema inicial e define a interface de avaliação.
    • Baseline Executor: Converte o design em uma implementação executável, gera artefatos de configuração e produz as primeiras métricas aceitas.

• Fase II: Auto-Otimização Multi-Rodada (Multi-Round Self-Improvement)

  • Realiza ciclos iterativos de melhoria a partir da linha de base estabelecida.
  • Papéis (Estrutura OODA - Observe, Orient, Decide, Act):
    • Orchestrator: Gerencia o fluxo de controle, orçamentos e transições entre estados aceitos.
    • Investigator: Analisa o sistema atual e evidências para gerar hipóteses de melhoria (respeitando restrições, como acesso apenas aos dados de treino).
    • Executor: Implementa as mudanças propostas dentro do espaço de ação admissível (ex: editar prompts, ajustar hiperparâmetros, modificar código).
    • Reviewer: Avalia o estado candidato sob uma interface de avaliação canônica e decide se a mudança é aceita ou rejeitada.

Princípios Chave

1. Separação de Papéis: A geração de hipóteses, a implementação e a avaliação são realizadas por componentes distintos para preservar a integridade da avaliação e evitar vazamento de dados (data leakage) ou viés.
2. Interfaces Canônicas: Uso de comandos de execução padronizados para garantir que as melhorias sejam medidas sob a mesma interface, reduzindo a deriva de avaliação.
3. Rastreamento por Rodada: Cada rodada é registrada como uma unidade estruturada de experimentação, incluindo a mudança candidata, a evidência motivadora, as métricas resultantes e a decisão final (aceitar/rejeitar). Isso cria um histórico auditável e reprodutível.

3. Contribuições Principais

• Protocolo Agente Unificado: O EPOCH transforma especificações de problemas em linhas de base executáveis e gerencia a auto-otimização multi-rodada através de modalidades heterogêneas.
• Framework de Orquestração em Duas Fases: Separa a construção da linha de base da melhoria iterativa e desacopla a geração de hipóteses da implementação e avaliação dentro de cada rodada.
• Abstração para Fluxos de Trabalho Industriais: Oferece uma camada de protocolo com interfaces de execução canônicas, pipelines de avaliação configuráveis e rastreamento de mudanças do sistema.
• Validação Empírica: Demonstra a aplicabilidade do protocolo em quatro cenários distintos: ajuste de prompts, ajuste fino de hiperparâmetros, otimização baseada em regras e melhoria de código.

4. Resultados Empíricos

O artigo apresenta estudos de caso em quatro domínios, mantendo o mesmo protocolo subjacente:

1. Melhoria de Código (Calculadora Fibonacci):

   • O sistema otimizou a lógica do programa para calcular Fibonacci de grandes números dentro de um limite de tempo.
   • O protocolo gerenciou uma otimização em estágios: primeiro garantiu a correção (passando em todos os testes) e depois focou no desempenho.
   • Resultado: Redução drástica no tempo de execução (de ~8s para ~1ms) através de transições algorítmicas (de iterativo para fast doubling e depois para aritmética GMP), terminando automaticamente quando não havia mais ganhos significativos.

2. Ajuste Fino de Hiperparâmetros (Classificação MNIST):

   • Otimização de hiperparâmetros (otimizador e taxa de aprendizado) em um classificador MobileNetV2.
   • O protocolo aplicou separação estrita entre treino e avaliação.
   • Resultado: O sistema rejeitou mudanças que aumentavam o overfitting (gap treino-avaliação) e realizou tentativas de recuperação (retry) alterando a estratégia (mudando de AdamW para SGD) em vez de apenas ajustar magnitudes, demonstrando comportamento de decisão robusto.

3. Ajuste de Prompts (Classificação de Sentimento SST-2):

   • Refinamento iterativo de prompts para um modelo de linguagem fixo.
   • O protocolo garantiu que nenhum exemplo de avaliação vazasse para os prompts de treino.
   • Resultado: Alcançou 100% de precisão no conjunto de retenção (hold-out) em 3 rodadas, terminando antecipadamente ao atingir o teto de desempenho, validando a integridade da avaliação.

4. Otimização Baseada em Regras (Classificação Iris):

   • Refinamento de regras simbólicas e limites de decisão.
   • Resultado: O sistema refinou regras para atingir precisão perfeita no conjunto de avaliação e rejeitou modificações adicionais que melhoravam apenas o treino (saturação da métrica de retenção), evitando overfitting em regras.

Achados Cruzados: Em todos os cenários, o EPOCH demonstrou capacidade de transformar a otimização em uma sequência de transições de estado explícitas, suportar comportamentos de rejeição e repetição (retry), e terminar automaticamente quando os retornos diminuíam, mantendo a estabilidade e a rastreabilidade.

5. Significância e Conclusão

O EPOCH representa uma mudança de paradigma: de otimizadores específicos de tarefa para um protocolo de engenharia que organiza a melhoria iterativa como um processo reprodutível.

• Para a Indústria: É crucial para ambientes de produção onde a integridade da avaliação, a reprodutibilidade e a capacidade de auditoria são tão importantes quanto a melhoria de desempenho.
• Flexibilidade: O protocolo é configurável e adaptável a diferentes modalidades de otimização sem alterar sua estrutura de controle central.
• Futuro: O trabalho aponta para a extensão do EPOCH para coordenação multi-agente em sistemas complexos, onde múltiplos subsistemas (pipelines de treino, inferência, monitoramento) precisam ser otimizados de forma coordenada.

Em suma, o EPOCH fornece a "camada de protocolo" faltante para tornar a otimização autônoma de sistemas heterogêneos segura, auditável e escalável para aplicações reais.