CRAFT: Grounded Multi-Agent Coordination Under Partial Information

Resumo Técnico: CRAFT

1. O Problema

O artigo aborda a fragilidade na coordenação entre agentes de Grandes Modelos de Linguagem (LLMs) em cenários de informação parcial e assimétrica. Embora os LLMs tenham evoluído de assistentes de turno único para componentes de sistemas multiagente, eles falham frequentemente em tarefas que exigem comunicação pragmática sob restrições de observabilidade.

O cenário específico investigado envolve múltiplos agentes com visões complementares, mas incompletas, de um estado global (uma estrutura 3D). Eles devem coordenar-se através de linguagem natural para construir um objeto que nenhum agente individual consegue observar totalmente. O desafio central não é apenas o raciocínio espacial individual, mas a comunicação pragmática: decidir o que dizer, quanto dizer e quando dizer, baseando-se no conhecimento e nas necessidades dos outros agentes (modelagem de teoria da mente).

2. Metodologia: O Benchmark CRAFT

Os autores introduzem o CRAFT (Collaborative Reasoning Agents For Construction Tasks), um novo benchmark multiagente projetado para avaliar essa coordenação.

• Configuração do Jogo:

  • Agentes: Três agentes "Diretores" (D1, D2, D3) e um agente "Construtor".
  • Tarefa: Reconstruir uma estrutura 3D em uma grade $3 \times 3$ com blocos coloridos e de tamanhos variados (pequenos e grandes/dominós).
  • Assimetria de Informação: Cada Diretor possui uma visão privada 2D de uma parede específica da estrutura (esquerda, frente, direita). Nenhuma visão individual permite a reconstrução completa do alvo.
  • Construtor: Executa ações (colocar, remover, esclarecer) baseando-se apenas nas mensagens dos Diretores e no estado atual do tabuleiro. O construtor é auxiliado por um "Oracle" (oráculo) que fornece um conjunto limitado de movimentos candidatos válidos para isolar a falha na comunicação dos Diretores da falha na execução do Construtor.

• Formalização Teórica (BPS Multi-Emissor):

  • O trabalho formaliza os Diretores como Falantes Pragmáticos Limitados (Bounded Pragmatic Speakers - BPS) dentro de um framework de Speech Acts Racionais (RSA).
  • Diferente do cenário tradicional de um único emissor, o CRAFT é tratado como um problema de multi-emissor. Cada Diretor deve modelar não apenas um ouvinte, mas um "Ouvinte Conjunto" (Joint ToM Listener) que integra as informações de todos os três Diretores simultaneamente.
  • A política ótima exige que cada Diretor escolha mensagens que sejam consistentes com sua observação privada e maximamente úteis dado o que os outros já comunicaram (Maximização de Quantidade de Grice).

• Avaliação e Métricas:

  • Foram testados 15 modelos (8 open-weight e 7 frontier/proprietary) em 20 estruturas de complexidade variada.
  • Julgadores LLM (Graders): Para avaliar a qualidade da comunicação, os autores desenvolveram três julgadores automáticos baseados em LLMs:
    1. Grounding Espacial (SG): Avalia se o raciocínio interno (private think) do Diretor está correto.
    2. Modelagem de Mente (MM): Avalia se a mensagem pública considera o conhecimento dos outros agentes e evita redundância.
    3. Suficiência Pragmática (PS): Avalia se o conjunto de mensagens de todos os Diretores forneceu informação suficiente para o Construtor identificar o movimento correto.

3. Principais Contribuições

1. Benchmark CRAFT: Um ambiente de construção grounded com motor de física, logging detalhado de trajetórias e interface assistida por oráculo para atribuição de crédito (credit assignment) entre comunicação e execução.
2. Framework Teórico Multi-Emissor: Uma formalização teórica que estende o modelo BPS para cenários multiagente com informação parcial, definindo as condições para uma política conjunta ótima e identificando modos de falha específicos de grupo.
3. Análise Empírica de Falhas: Uma avaliação em larga escala que decompõe falhas em categorias diagnósticas (grounding, modelagem de mente, suficiência pragmática) e revela padrões comportamentais inesperados.

4. Resultados Chave

Os resultados desafiam a intuição de que modelos maiores ou com maior capacidade de raciocínio são sempre melhores em coordenação:

• Desacoplamento entre Raciocínio Individual e Sucesso Coletivo:

  • Modelos frontier (como GPT-4o, Claude-Sonnet) frequentemente obtêm pontuações mais altas em Grounding Espacial e Modelagem de Mente (raciocínio individual de alta qualidade), mas desempenham pior na tarefa final de construção em comparação com modelos open-weight menores (como Mistral-7B e Qwen-7B).
  • Há uma correlação negativa entre a qualidade individual da comunicação e o progresso da tarefa em alguns casos.

• O Fenômeno dos "Espíritos de Correção" (Correction Spirals):

  • Modelos de alto desempenho (especialmente os frontier) tendem a entrar em espirais de correção. Ao perceberem uma assimetria de informação, eles geram instruções excessivamente corretivas (muitas ações de "remover"), consumindo o orçamento de turnos sem avançar a construção.
  • Modelos menores, embora menos sofisticados no raciocínio interno, muitas vezes seguem instruções mais diretas e evitam essas espirais de remoção desnecessária.

• Falhas de Coordenação Coletiva:

  • A métrica de Suficiência Pragmática (PS) mostrou-se o melhor preditor de sucesso, enquanto métricas individuais (SG e MM) não diferenciavam bem rodadas bem-sucedidas de falhas.
  • O uso excessivo da "perspectiva única" (focar apenas no que o agente vê e tentar corrigir o que os outros não veem) leva a instruções de remoção que não são necessárias, degradando o desempenho coletivo.

5. Significado e Conclusão

O artigo demonstra que a competência pragmática individual não é suficiente para o sucesso da coordenação coletiva em sistemas multiagente sob informação parcial.

• Implicação Principal: A capacidade de raciocínio avançado de modelos frontier pode, paradoxalmente, prejudicar a colaboração se levar a agentes que "pensam demais" sobre suas próprias perspectivas privadas, gerando ruído e correções desnecessárias em vez de uma comunicação concisa e coordenada.
• Desafio Aberto: A coordenação multiagente eficaz requer não apenas inteligência individual, mas mecanismos de alinhamento que priorizem a utilidade conjunta da informação sobre a precisão individual da observação.
• Relevância: O CRAFT fornece uma ferramenta essencial para diagnosticar falhas de comunicação em LLMs, sugerindo que benchmarks focados apenas em raciocínio individual são insuficientes para avaliar a prontidão de modelos para sistemas multiagente complexos.

Em suma, o CRAFT revela que, no contexto de coordenação multiagente, menos pode ser mais: modelos menores e mais diretos muitas vezes superam modelos complexos que sofrem com a sobrecarga de tentar modelar teorias da mente excessivamente complexas em um ambiente de informação incompleta.