Resumo Técnico: QueenBee Planner

Declaração do Problema

O paradigma de design para sistemas multiagentes de Grandes Modelos de Linguagem (LLMs) mudou da otimização do raciocínio individual do agente (ex: prompting, cadeias de pensamento) para a otimização da organização dos agentes que interagem. Embora trabalhos recentes tenham estabelecido que a topologia de comunicação é um determinante primário de precisão, custo e robustez do sistema, as abordagens existentes compartilham uma limitação crítica: elas tipicamente projetam uma topologia para uma tarefa específica e então param. Elas falham em acumular conhecimento de design reutilizável sobre estruturas de comunicação através de tarefas. Além disso, os métodos atuais frequentemente confundem o comportamento de resolução de tarefas com o design arquitetural, ou otimizam o roteamento sem armazenar lições explícitas de topologia.

O desafio central abordado por este artigo é evitar que um loop de autoaperfeiçoamento de design transforme ruído (execuções sortudas, explicações plausíveis mas falsas) em política. Um arquiteto de evolução autônoma confiável requer disciplina explícita para garantir que as melhorias na estrutura de comunicação sejam genuínas, reproduzíveis e distintas das capacidades dos agentes trabalhadores subjacentes.

Metodologia

O artigo introduz o QueenBee Planner, um framework que trata a topologia de comunicação entre agentes como uma habilidade de design recuperável e de autoaperfeiçoamento. O sistema opera sob uma separação estrita de preocupações:

1. Separação Planejador-Trabalhador

• Trabalhadores Congelados: Um pool de agentes trabalhadores, um adaptador de tarefa e uma função de pontuação permanecem fixos durante todo o processo de aprendizado. Os trabalhadores apenas observam fragmentos privados de uma tarefa e atualizam seus estados de crença com base nas mensagens recebidas.
• Planejador Generativo: Um LLM externo atua como um arquiteto. Seu único objetivo de aprendizado é gerar Grafos Acíclicos Dirigidos (DAGs) de comunicação temporal. Esses DAGs especificam quem envia informação para quem, em qual rodada, quem funde mensagens e quem emite a resposta final.

2. DAG de Comunicação Temporal

O planejador gera um grafo desenrolado no tempo $G = (N, T, E, h, I, R)$, onde:

• $N$ é o número de trabalhadores.
• $T$ é o número de rodadas de comunicação.
• $E$ representa arestas temporais direcionadas (fluxos de mensagens).
• $h$ é o detentor da resposta final.
• O grafo é limitado por restrições de viabilidade em rodadas ($T_{max}$), total de arestas ($M$) e fan-in máximo ($\beta$) para controlar custos de tokens e complexidade de fusão.

3. Banco de Habilidades e Regras de Design

A memória do planejador é um Banco de Habilidades (Skill Bank) contendo regras de design baseadas em evidências. Cada habilidade $s = (z, r, a, q, E)$ consiste em:

• Condição ($z$): Características da tarefa (ex: contagem de agentes, orçamento).
• Regra ($r$): Padrão estrutural (ex: "redução em estágios", "aresta de auditoria").
• Ação ($a$): Uma de três ações:
  • Preservar: Manter a estrutura como um scaffold executável.
  • Modificar: Adaptar a estrutura central para condições de tarefa ligeiramente diferentes.
  • Evitar: Tratar a estrutura como uma restrição negativa devido a falhas passadas.
• Evidência ($E$): Dados de suporte e contraexemplos.

4. Loop de Autoevolução Disciplinado

Para evitar o desvio (drift) e o overfitting, o sistema emprega vários mecanismos rigorosos antes de atualizar o Banco de Habilidades:

• Atribuição de Crédito em Nível de Motivo: Em vez de atribuir crédito a grafos inteiros, o sistema decompõe os grafos em motivos estruturais (ex: limites de fan-in, profundidade de redução). O crédito é atribuído a esses motivos com uma penalidade consciente da variância para evitar que sucessos isolados de uma única execução dominem o processo.
• Portão de Aceitação de Dados Não Vistos (Held-Out): Atualizações ($\Delta S$) só são admitidas no Banco de Habilidades de longo prazo se demonstrarem melhoria no desempenho em tarefas e sementes (seeds) não vistas, não apenas nos dados de treinamento.
• Crédito Consciente da Variância: As regras exigem uma contagem mínima de amostras e estimativas de perda conservadoras para garantir estabilidade.
• Falsificação de Insights: Insights em linguagem natural propostos pelo planejador são tratados como hipóteses e devem passar por verificações de falsificação em evidências não vistas antes de se tornarem habilidades.
• Confiança de Transferência: As habilidades não são aplicadas automaticamente a todas as tarefas; elas são implantadas apenas se houver evidência de sucesso direta ou indireta para o slot de tarefa específico.
• Deduplicação Estrutural: Especificações de grafos isomórficos são mescladas para evitar que o Banco de Habilidades cresça linearmente com as rodadas de execução.

Principais Contribuições

1. Reenquadramento da Topologia como uma Habilidade: O artigo recastea a topologia de comunicação multiagente como uma habilidade de design recuperável e de autoaperfeiçoamento, separando o "arquiteto" (planejador) dos "trabalhadores". O objeto aprendido é o conhecimento de design de comunicação, não o comportamento de resolução de tarefas.
2. Mecanismo para Autoaperfeiçoamento Disciplinado: Introduz um framework abrangente para gerar DAGs temporais condicionadas a um banco de habilidades, apresentando portões de dados não vistos, atribuição de nível de motivo, crédito consciente da variância e falsificação de insights para garantir uma evolução confiável.
3. Alegação Empírica sobre Aprendizado Arquitetural: Os autores demonstram que, sob esses disciplinas, um planejador pode melhorar suas estruturas de comunicação geradas em tarefas não vistas enquanto o pool de trabalhadores permanece congelado, provando que o sistema aprende a projetar organizações em vez de apenas memorizar respostas.

Resultados Experimentais

O método foi avaliado em duas famílias de tarefas: agregação Count-Frequency (CF) e coordenação distribuída estilo Silo-Bench.

• Tarefa Count-Frequency (CF):

  • No cenário de teste completo DeepSeek-V4-Flash, o grafo autoevoluído de melhor desempenho até o momento (uma estrutura híbrida de redução-auditoria) reduziu o RMSE de 12.53 (topologia fixa mais forte) para 7.87.
  • Esta melhoria veio com ganhos significativos de eficiência: uma redução de 74,2% em mensagens, redução de 54,5% em chamadas de modelo e redução de 59,6% no custo de tokens em comparação com a melhor topologia fixa.
  • As melhorias foram consistentes em vários modelos de trabalhadores (DeepSeek, Qwen, GPT-4o, MiMo), com reduções de RMSE variando de 14% a 56%.

• Tarefas Estilo Silo-Bench:

  • A geração de grafos autoevoluídos alcançou um Exact Match (EM) de 0.539 (após 3 rodadas), superando a geração a frio (0.125), a melhor topologia fixa única (0.333) e até mesmo um oráculo de topologia fixa por caso (0.417).
  • Isso sugere que o sistema aprende estruturas finas condicionadas à tarefa, em vez de simplesmente selecionar de um conjunto fixo de topologias.

• Trajetória de Evolução:

  • Uma análise rodada a rodada mostrou que, embora a exploração introduza ruído (flutuações de RMSE), o arquivo de "melhor até o momento" melhora consistentemente, demonstrando que o sistema acumula conhecimento de design reutilizável (ex: redução em estágios, cobertura de sumidouro) ao longo do tempo.

Significância e Alegações

O artigo afirma que a arquitetura de um sistema multiagente não é meramente um detalhe de implementação, mas um objeto explícito de aprendizado. O QueenBee Planner demonstra que sistemas multiagentes podem aprender conhecimento de design arquitetural reutilizável (quando preservar, modificar ou evitar padrões de comunicação) em vez de apenas memorizar respostas de tarefas.

Os autores mantêm a modéstia quanto ao escopo, observando que os resultados atuais baseiam-se em famílias de tarefas específicas (CF e estilo Silo) e um número limitado de rodadas de evolução. Eles postulam que o sistema não descobre uma topologia universalmente ótima, mas acumula priors transferíveis. A principal contribuição é a validação de que um sistema de trabalhadores congelados pode melhorar seu desempenho exclusivamente evoluindo sua política de design de comunicação através de uma autorreflexão disciplinada e baseada em evidências.