Resumo Técnico: Agentes que Importam: Otimização de LLMs Multi-Agente via Atribuição Baseada em Remoção

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados como Sistemas Multi-Agente (MAS) colaborativos para tarefas complexas como engenharia de software e diagnóstico médico, falhas em nível de sistema e melhorias de desempenho tornam-se difíceis de rastrear até agentes específicos. A contribuição de um agente não é apenas uma função de sua capacidade subjacente do modelo, mas depende fortemente de seu papel atribuído, das interações com outros agentes e da topologia de comunicação do sistema. Abordagens existentes para atribuição de crédito carecem de um quadro rigoroso e unificado. Elas frequentemente dependem de reavaliações computacionalmente caras de coalizões de agentes ou de procedimentos de remoção divergentes (por exemplo, simulação em contexto, juízes independentes) sem investigar sistematicamente como essas escolhas de design interagem em diferentes topologias de colaboração. Consequentemente, os profissionais carecem de orientações claras sobre a seleção de métodos de atribuição que equilibrem precisão, custo computacional e interpretabilidade.

Metodologia

Os autores formalizam a atribuição de agentes como um jogo cooperativo condicionado a protocolo, estendendo a estrutura de Covert et al. (2021). Este quadro unificado define uma consulta de atribuição através de três parâmetros:

1. Protocolos de Remoção ($b$): O método pelo qual um agente é "removido" do sistema.
2. Distribuições de Coalizão ($w_i(S)$): O peso de diferentes subconjuntos de agentes (coalizões) usados para estimar contribuições.
3. Métricas Alvo ($G$): A pontuação escalar (por exemplo, sucesso da tarefa, uso de tokens) derivada do registro de execução.

Componentes Principais

• Definição Formal: Um MAS é definido como uma tupla $(A, \Gamma, \nu)$, onde $\nu$ é a função de utilidade condicionada a um protocolo $b$. A pontuação de atribuição $\phi^b_i$ é uma média ponderada das contribuições marginais $\Delta^b_i(S)$.
• Protocolos de Remoção:
  • Ablação de Agente: Remove o agente inteiramente (protocolo nulo). Isso captura a importância estrutural, mas pode causar falhas no sistema se papéis críticos (por exemplo, orquestradores) forem removidos.
  • Remoção Introspectiva: Utiliza um juiz LLM para simular a ausência de um agente via promptagem em contexto. Isso evita falhas no sistema, mas depende da fidelidade da simulação.
  • Substituição de Modelo (Novo): Um protocolo que preserva a topologia, onde o modelo base de um agente é substituído por um modelo diferente (por exemplo, um modelo de código aberto mais fraco) mantendo o papel instanciado. Isso mede a utilidade marginal da capacidade específica do modelo atribuída a um papel sem quebrar o grafo do sistema.
• Distribuições de Coalizão: O artigo compara Leave-One-Out (LOO), valores de Shapley, valores de Owen (para estruturas de grupo) e valores de Myerson (para restrições de grafo).

Configuração Experimental

O quadro foi instanciado em três benchmarks (PlanCraft, WorkBench, BrowseComp-Plus) e quatro topologias de comunicação (Independente, Centralizada, Descentralizada, Híbrida). O estudo avaliou métodos de atribuição usando modelos de código fechado (Gemini-2.5-Flash, Claude 3.5 Haiku, GPT-5-mini) e substitutos de código aberto (Qwen3.5-122B-A10B) para o protocolo de substituição de modelo.

Principais Contribuições

1. Quadro Unificado: O artigo estabelece um quadro formal, baseado em teoria dos jogos e condicionado a protocolo, para atribuição em MAS, esclarecendo que as pontuações de atribuição são relativas à consulta específica (protocolo, distribuição, métrica) e não pontuações de importância universais.
2. Eficiência do LOO: Os autores demonstram que a atribuição Leave-One-Out (LOO), apesar de sua simplicidade, identifica agentes gargalo tão efetivamente quanto métodos combinatórios (Shapley, Owen, Myerson), mas a uma fração do custo computacional (redução de 3,2× a 7,5× no uso de tokens).
3. Fidelidade dos Protocolos de Remoção: O estudo revela que protocolos de remoção induzem jogos de atribuição distintos. A ablação de agente destaca gargalos estruturais (por exemplo, orquestradores em sistemas centralizados), enquanto a remoção introspectiva (usando juízes LLM) falha em aproximar fielmente a ablação, mostrando baixa correlação com valores reais de ablação, especialmente em topologias complexas.
4. Substituição de Modelo para Otimização: A introdução da substituição de modelo permite análise de alocação de capacidade. Ao substituir agentes de baixa contribuição por modelos de código aberto mais baratos, o sistema pode reduzir custos sem sacrificar o desempenho.
5. Desacoplamento de Métricas: Em MAS médicos, os autores mostram que as contribuições para a precisão diagnóstica e o alinhamento ético são frequentemente desacopladas. Agentes que melhoram a precisão podem degradar pontuações éticas, e vice-versa.

Principais Resultados

• Custo vs. Desempenho: No benchmark PlanCraft, o uso de substituição de modelo baseada em LOO para substituir os agentes de menor classificação reduziu o uso de tokens faturáveis em até 35%, enquanto melhorava as taxas de sucesso da tarefa em até 17%. Em contraste, a ablação de agente em topologias hierárquicas frequentemente degradou o desempenho.
• Divergência de Protocolos: Em topologias centralizadas e híbridas, a ablação de agente atribuiu alta atribuição ao orquestrador (pontuações ~0,3), enquanto a substituição de modelo atribuiu baixa ou negativa atribuição ao mesmo papel, indicando que a capacidade específica do modelo do orquestrador não era o gargalo marginal.
• Limitações Introspectivas: A remoção introspectiva mostrou acordo limitado com a ablação de agente (por exemplo, $R^2$ tão baixo quanto -9,94 em configurações híbridas), confirmando que juízes LLM não podem simular com confiabilidade a verdadeira ablação de agente.
• Estudo de Caso Médico: No MDTeamGPT, substituir agentes identificados como tendo atribuição ética negativa (Especialista, Triagem, Revisor CoT) por modelos de código aberto aumentou as pontuações de alinhamento ético em 4%, mantendo a precisão diagnóstica e reduzindo o uso de tokens em até 78,8% para tarefas de ética.
• Estudo de Caso de Geração de Código: No MetaGPT, substituir o agente Gerente de Produto (que tinha atribuição negativa) por um modelo mais barato melhorou o pass@1 de 62% para 79%, enquanto reduzia custos em 38%.

Significado e Alegações

O artigo alega fornecer uma abordagem fundamentada para atribuição e intervenção em MAS com custo-efetividade. Seu significado reside em:

• Desmistificar a Atribuição: Esclarece que não há uma única pontuação de atribuição "correta"; a escolha do protocolo e da distribuição dita a resposta.
• Otimização Prática: Oferece um método concreto e de baixo custo (LOO + Substituição de Modelo) para otimizar o desempenho e o custo de MAS, indo além da atribuição de crédito teórica para engenharia de sistemas acionável.
• Segurança e Ética: Demonstra a utilidade de quadros de atribuição na auditoria de sistemas complexos para métricas não relacionadas a desempenho (como ética), revelando que otimizar uma métrica (precisão) pode inadvertidamente prejudicar outra (ética), e que intervenção direcionada pode resolver esse trade-off.

Os autores permanecem modestos quanto às limitações, observando que sua análise está atualmente restrita a sistemas de tamanho moderado (4–6 agentes) devido ao custo computacional da avaliação combinatória, e que estender o quadro para recrutamento dinâmico de agentes ou atribuição ao nível de instância permanece trabalho futuro.