Resumo Técnico: TodyComm

Declaração do Problema

Sistemas existentes de agentes múltiplos baseados em LLMs de múltiplas rodadas (MAS) geralmente dependem de topologias de comunicação fixas durante a inferência. Embora eficazes em ambientes estáticos, esses grafos fixos falham em adaptar-se a cenários dinâmicos onde os papéis dos agentes, a confiabilidade ou as restrições ambientais (como largura de banda de comunicação) mudam ao longo das rodadas de interação. Especificamente, em configurações dinamicamente adversárias, os agentes podem transitar para comportamento adversarial em rodadas desconhecidas, produzindo análises plausíveis, mas enganosas. Topologias fixas não conseguem isolar esses agentes não confiáveis em tempo real, levando a uma degradação significativa do desempenho. Além disso, abordagens dinâmicas existentes frequentemente carecem de feedback em nível de tarefa (utilidade) ou exigem rótulos adversários impraticáveis durante o treinamento.

Metodologia: TodyComm

Os autores propõem o TodyComm (Comunicação Dinâmica Orientada a Tarefa), um framework que aprende topologias de comunicação adaptativas às rodadas e impulsionadas pelo comportamento para MAS baseados em LLMs de múltiplas rodadas. A metodologia central envolve formular a interação de múltiplos agentes como um Processo de Decisão de Markov (MDP) e otimizar a estrutura de comunicação via Aprendizado por Reforço (RL).

1. Formulação MDP

• Episódios: Resolução de uma consulta $q$ ao longo de $T$ rodadas de interação.
• Ações: A sequência de grafos de comunicação inter-agentes $G^t_C$ para rodadas $t \in [2, \dots, T]$ e o grafo de decisão final $G_D$ na rodada $T+1$.
• Estado: As respostas coletivas de todos os agentes $\{o^t_i\}$, a consulta $q$ e o contexto histórico.
• Recompensa: A utilidade da tarefa (por exemplo, precisão) da resposta agregada final.
• Objetivo: Maximizar a utilidade esperada da tarefa $E[U_q(\tau)]$ aprendendo uma política $\pi_\theta$ que constrói grafos de comunicação ótimos.

2. Otimização Dinâmica de Arestas

O TodyComm aprende a selecionar arestas com base no comportamento dos agentes, em vez de regras estáticas.

• Embeddings de Nós: Uma Rede Recorrente com Portão (GRN) agrega informações ao longo das rodadas, capturando dependências temporais, comportamento individual dos agentes e contexto relacional. Os recursos dos nós $f^t_i$ são construídos a partir de informação própria, informação de vizinhança e informação de diferença (métricas de desacordo).
• Potenciais Escalares: Em vez de otimizar diretamente arestas discretas, o modelo aprende potenciais escalares de nós $c^t_i \in [0, 1]$ via uma MLP. Esses potenciais representam o "potencial de comunicação" de um agente em uma dada rodada.
• Construção de Grafo Constrained: O grafo de comunicação é construído por:
  1. Triagem: Filtragem de nós com baixos potenciais para reduzir o espaço de busca.
  2. Seleção Gananciosa de Arestas: Adição iterativa de arestas entre nós de alto potencial com base no produto de seus potenciais ($c^t_i c^t_j$), sujeita a restrições:
     • Restrição DAG: O grafo deve ser um Grafo Acíclico Direcionado.
     • Orçamentos de Grau: Limites por nó em arestas de entrada ($B_{in}$) e saída ($B_{out}$) para controlar o uso de tokens.
     • Máscaras de Arestas: Restrições pré-definidas em conexões permitidas.

3. Garantias Teóricas

O artigo fornece um limite teórico para o arrependimento (perda de utilidade) do grafo aprendido em comparação com o grafo ótimo. O arrependimento é limitado pela soma de:

• Arrependimento de Triagem: A utilidade perdida ao excluir nós potencialmente úteis durante a fase de triagem.
• Perda de Estimação: Erros na estimação dos potenciais escalares.
• Perda de Aditividade de Arestas: Desvios da suposição de que a utilidade da tarefa é aproximadamente aditiva sobre as arestas.

Contribuições Principais

1. Primeira Topologia Dinâmica Orientada a Tarefa: O TodyComm é o primeiro framework a aprender topologias de comunicação dinâmicas impulsionadas pelo comportamento dos agentes e utilidade da tarefa em MAS baseados em LLMs de múltiplas rodadas, adaptando estruturas durante tanto o treinamento quanto a inferência.
2. Robustez a Adversários Dinâmicos: O método lida efetivamente com cenários onde os agentes transitam para comportamento adversarial em rodadas desconhecidas, isolando-os dinamicamente para preservar o desempenho do sistema.
3. Eficiência de Tokens e Escalabilidade: Ao impor orçamentos de grau e podar conexões não confiáveis, o TodyComm alcança alta precisão na tarefa com consumo de tokens significativamente reduzido em comparação com baselines de topologia fixa.
4. Generalização: O framework demonstra forte generalização através de variados números de agentes, mecanismos de ataque (direcionados vs. não direcionados), modos de surto de ataque e domínios de tarefa.

Resultados Experimentais

Os experimentos foram conduzidos em cinco benchmarks (MMLU, ARC-Challenge, GSM8K, OpenBookQA, MedQA) sob várias taxas de ataque (<50%, =50%, >50%).

• Desempenho: O TodyComm supera consistentemente as baselines (Grafo Aleatório, Grafo Completo, G-Designer, AgentPrune). Sob altas taxas de ataque (>50%), alcança precisão significativamente maior (por exemplo, 64,71% vs. 45,97% no MMLU).
• Eficiência de Tokens: O TodyComm iguala ou excede a eficiência de tokens de métodos baseados em poda como o AgentPrune, mantendo precisão superior. Reduz o uso de tokens em até 27% no OpenBookQA sob restrições de orçamento.
• Estabilidade: O método exibe baixa variância entre sementes aleatórias e converge rapidamente durante o treinamento sem overfitting.
• Escalabilidade: O desempenho permanece estável à medida que o número de agentes aumenta de 6 para 20, desde que orçamentos de grau razoáveis sejam aplicados.
• Generalização: O modelo generaliza bem quando treinado com menos agentes, diferentes conjuntos de dados ou diferentes mecanismos de ataque, e avaliado sob condições incompatíveis.

Significado e Alegações

O artigo alega que o TodyComm aborda uma lacuna crítica na pesquisa de agentes múltiplos: a incapacidade dos sistemas existentes de adaptar estruturas de comunicação a comportamentos de agentes em evolução e restrições dinâmicas. Ao enquadrar a seleção de topologia como um problema de otimização orientado a tarefas, o TodyComm permite que os sistemas mantenham robustez e eficiência em ambientes colaborativos realistas e imprevisíveis. Os autores enfatizam que sua abordagem vai além de designs de grafos estáticos ou heurísticos, oferecendo um mecanismo principiado e aprendível para coordenar agentes LLM que é tanto teoricamente fundamentado quanto empiricamente validado em diversas tarefas de raciocínio e configurações adversárias. O trabalho é apresentado principalmente como um avanço de pesquisa em colaboração robusta e eficiente de múltiplos agentes, com trabalho futuro sugerido para estender essas capacidades de grafos dinâmicos a cenários colaborativos não adversários.