Resumo Técnico: Um Vocabulário para Sistemas de Pesquisa Automatizada Multi-Agente

Declaração do Problema

Sistemas recentes de modelos de linguagem de grande escala (LLM) multi-agente demonstraram a capacidade de automatizar a pesquisa de ponta a ponta, incluindo a coleta de trabalhos prévios, proposição de ideias, escrita de código, execução de experimentos e interpretação de resultados. Sistemas como AIRA2, Glia e o Automated Alignment Researcher (AAR) enquadram essa automação como uma busca explícita sobre trajetórias de pesquisa. No entanto, o campo carece de uma linguagem comum para descrever esses sistemas. Alegações de que um "sistema multi-agente" é superior a outro são frequentemente ambíguas porque os sistemas diferem simultaneamente em múltiplos eixos: topologia de comunicação, memória entre execuções, estratégias de inicialização e integridade do avaliador.

Sem uma decomposição formal, torna-se difícil isolar qual escolha de design específica impulsiona os ganhos de desempenho. Além disso, o conceito de "gosto" nesses sistemas — frequentemente citado como uma deficiência vaga — é confundido em uma única reclamação, obscurecendo se a falha reside na capacidade do sistema de propor candidatos inovadores (gosto generativo) ou na capacidade do avaliador de pontuá-los fielmente (gosto avaliativo).

Metodologia: O Vocabulário do Sistema

O artigo formaliza um sistema de pesquisa automatizada multi-agente como uma tupla M:
$$M = \langle A, O, C, \alpha, S, \pi, \iota, e \rangle$$

Este vocabulário decompõe o sistema em coordenadas distintas e independentemente variáveis:

1. Agentes ($A$): O conjunto de agentes, definido pelo seu modelo de base ($\theta$), memória privada ($m$) e papel ($\rho$). O artigo distingue agentes (entidades com memória privada persistente) de módulos sem estado (ferramentas ou prompts de disparo único).
2. Operações ($O$): O universo de ações chamáveis (ferramentas, habilidades, APIs, scripts). Isso é distinto da atribuição de capacidade.
3. Comunicação ($C$): Definida como um par $(\Lambda, \sigma)$, onde $\Lambda$ é o espaço de comunicação (arestas direcionadas entre agentes) e $\sigma$ é o protocolo de mensagem. O artigo separa a forma da topologia (ex: estrela, árvore, malha) do controle de quem seleciona a aresta ativa (centralizado, hierárquico ou descentralizado).
4. Atribuição de Capacidade ($\alpha$): Um mapeamento de agentes para subconjuntos de operações ($O$). Isso permite designs assimétricos (ex: um supervisor sem ferramentas) e mudanças dinâmicas (concessão/revogação de capacidades durante a execução).
5. Estado Compartilhado ($S$): Dividido em três escopos:
   • $S_{btw}$: Estado dentro da execução (ex: quadros negros/blackboards, logs de mensagens).
   • $S_{world}$: Estado externo (ex: repositórios de código, simuladores).
   • $S_{cross}$: Estado entre execuções (ex: bancos de dados de população, resumos destilados) que persiste através das execuções.
6. Política de Controle ($\pi$): Decomposta em:
   • $\pi_{route}$: Quem age a seguir e o que faz.
   • $\pi_{stop}$: Quando a execução termina.
   • $\pi_{meta}$: Mudanças estruturais durante a execução (geração/spawning, morte, ramificação/forking, reescrita de políticas).
   • $\eta$: Parâmetros de exploração (ex: temperatura).
7. Inicialização ($\iota$): A função que define o estado inicial, incluindo prompts de papel, contexto semeado e capacidades iniciais.
8. Avaliador ($e$): O mecanismo de pontuação proxy. O artigo inclui explicitamente o avaliador como um componente do sistema, observando que os ganhos relatados dependem da lacuna entre a pontuação proxy e a qualidade real ($q$).

Notação de Trajetória: Uma única execução é formalizada como uma trajetória $\tau$, registrando a sequência de agentes, operações, observações e mudanças de estado. Como os componentes são estocásticos, execuções repetidas induzem uma distribuição sobre trajetórias em vez de um único comportamento.

Estrutura de Otimização: O sistema é enquadrado como um problema de otimização que maximiza uma pontuação proxy $e(\tau)$ sob um orçamento $B$. O artigo destaca a "lacuna entre proxy e qualidade" ($\Delta_\omega$), onde processos de busca podem sofrar overfitting ao avaliador proxy, levando ao reward hacking (ex: seleção oportunista de sementes, exfiltração de rótulos retidos).

Principais Contribuições

1. Decomposição Formal: O artigo fornece um framework rigoroso baseado em tuplas que isola escolhas de design. Isso permite que pesquisadores atribuam mudanças de desempenho a coordenadas específicas (ex: topologia de comunicação vs. inicialização) em vez de rótulos vagos de "multi-agente".
2. Separação do Gosto: O vocabulário divide o "gosto" em duas falhas distintas:
   • Gosto Generativo: A taxa com que o sistema propõe trajetórias novas e de alta qualidade antes da pontuação (determinado por $\theta, \iota, \eta, S_{cross}$).
   • Gosto Avaliativo: A fidelidade da pontuação proxy à qualidade real (determinado pela integridade de $e$).
3. Avaliador como um Componente: Ao tratar o avaliador como uma coordenada, o framework torna explícito que as melhorias podem advir de melhores estratégias de busca ou de um avaliador mais robusto que resista ao uso indevido (gaming).
4. Aplicação a Sistemas Existentes: O vocabulário é aplicado a sistemas de pesquisa automatizada recentes (AIRA2, AlphaEvolve, Glia, AAR, AI Scientist-v2, MetaGPT, EvoX, ml-intern, SimpleTES, Engram), mapeando cada um para sua configuração específica da tupla.

Resultados e Achados de Estudos de Caso

O artigo não apresenta novos resultados experimentais, mas utiliza o vocabulário para analisar a literatura existente, revelando que:

• Diversidade de Design: Os sistemas variam amplamente em quais coordenadas eles definem. Por exemplo:
  • AIRA2 e AlphaEvolve focam em $S_{cross}$ (bancos de dados de população) e $\pi_{meta}$ (loops evolutivos).
  • Glia baseia-se na atribuição assimétrica de capacidade ($\alpha$), onde o Supervisor não possui ferramentas ($\alpha(Sup) = \emptyset$).
  • AAR foca na inicialização ($\iota$) via semeadura direcionada e comunicação ($\Lambda$) via um fórum compartilhado.
  • MetaGPT define o conjunto de agentes ($A$), as arestas de comunicação ($\Lambda$) e o roteamento ($\pi_{route}$) como uma linha de montagem fixa.
  • EvoX trata unicamente a própria política de controle como um estado mutável ($\pi_{meta}$ reescrevendo $\pi$).
• Coordenadas Genéricas vs. Definidas: A maioria dos sistemas deixa muitas coordenadas genéricas (revertendo para configurações padrão), como o universo de operações ($O$) ou exploração ($\eta$).
• Overfitting e Integridade: A análise do reward hacking (ex: em AAR e AIRA2) demonstra que pontuações altas podem resultar de avaliadores exploráveis em vez de uma busca superior, reforçando a necessidade de tratar a integridade do avaliador como uma coordenada de design primária.

Significância e Alegações

O artigo afirma que este vocabulário serve como uma ferramenta necessária para que o campo avance além de comparações ambíguas. Sua significância reside em:

• Isolar Variáveis: Permite realizar "ablações ordinárias" onde uma única coordenada é variada enquanto outras permanecem fixas, esclarecendo a fonte das melhorias.
• Esclarecer Modos de Falha: Distingue entre um sistema que gera ideias ruins (falha generativa) e um que é mal avaliado (falha avaliativa), sugerindo correções diferentes para cada caso.
• Identificar Áreas Subexploradas: O framework destaca coordenadas que são atualmente subutilizadas, como a atribuição dinâmica de capacidade ($\alpha$), a reescrita do tempo de execução da política de controle ($\pi$) e sistemas que modificam sua própria distribuição de tarefas ($D$).

Os autores concluem que o progresso futuro na pesquisa automatizada será provavelmente distinguido por quais coordenadas específicas esses sistemas escolhem variar, uma distinção que uma pontuação final sozinha não pode revelar. O vocabulário fornece a linguagem para tornar essas diferenças explícitas.