Resumo Técnico: QUACK – Questionando, Compreendendo e Auditorando Conhecimento Comunicado em Agentes de Dedução Social Multimodais

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) e Modelos Visão-Linguagem (VLMs) estão sendo cada vez mais implantados como agentes interativos capazes de perceber ambientes, comunicar-se e raciocinar sob incerteza. Um requisito crítico para esses agentes é a ancoragem (grounding): suas declarações em linguagem natural sobre sua localização, observações e ações devem permanecer fiéis à sua trajetória percebida real.

As atuais benchmarks de avaliação para jogos de dedução social (por exemplo, Among Us, Werewolf) enfrentam duas limitações primárias:

1. Pontuação Centrada no Resultado: A maioria das avaliações depende de resultados do jogo (taxas de vitória, taxas de sobrevivência, precisão de votação). Essas métricas falham em distinguir entre um agente que tem sucesso devido a um raciocínio coerente e um que tem sucesso apesar de produzir alegações inconsistentes ou alucinadas.
2. Limitações Apenas em Texto: Ambientes existentes restringem largamente os agentes a interações apenas em texto. Sem observações visuais ancoradas e trajetórias reconstruíveis, é impossível determinar se o diálogo de um agente está alinhado com o que ele realmente percebeu e fez, tornando difícil identificar modos de falha específicos, como alucinação espacial ou acusações sem suporte.

Há uma falta de frameworks que possam auditar se a linguagem de um agente está ancorada em sua percepção multimodal e ações ao longo de horizontes longos em cenários adversariais e multiagente.

2. Metodologia: O Framework QUACK

Os autores introduzem o QUACK, um ambiente de código aberto e framework de avaliação projetado para auditar o raciocínio social multimodal ancorado.

2.1 O Ambiente

O QUACK é formalizado como um jogo de Markov parcialmente observável jogado em um mapa estruturado em grafo.

• Papéis: Os agentes recebem papéis ocultos como Gansos (tripulação) ou Patos (impostores).
  • Gansos vencem completando tarefas vinculadas a locais ou ejetando todos os Patos.
  • Patos vencem alcançando paridade de votação (Patos vivos $\ge$ Gansos vivos) e podem eliminar Gansos co-localizados.
• Observações: Os agentes recebem entradas multimodais em cada ponto de decisão:
  • Visão Global ($I_{global}$): Um mapa renderizado mostrando o layout do cômodo e custos de viagem, mas sem outros jogadores.
  • Visão Local ($I_{local}$): Uma imagem renderizada do cômodo atual, mostrando apenas jogadores visíveis, corpos e eventos de movimento testemunhados.
  • Resumo Estruturado ($\tau$): Uma codificação textual do status de trânsito, eventos testemunhados, progresso de tarefas e tempos de recarga.
• Ações: Os agentes realizam ações como mover-se, completar tarefas, reportar corpos, chamar reuniões e matar (para Patos). Eles também participam de "chat de proximidade" (declarações livres ouvidas apenas por agentes no mesmo cômodo) e discussões formais de reunião.
• Reprodutibilidade: Crucialmente, cada episódio gera registros de eventos estruturados no nível do motor, criando uma trajetória de verdade fundamental tick a tick para cada agente. Isso permite reprodução exata e verificação.

2.2 Framework de Avaliação de Três Níveis

O QUACK avalia agentes em três níveis complementares:

• Nível 1 (Resultados do Jogo): Métricas padrão incluindo taxas de vitória, precisão de ejeção, conclusão de tarefas e sobrevivência.
• Nível 2 (Trajetórias Comportamentais): Métricas derivadas de trajetórias reconstruídas, como cobertura espacial, eficiência de tarefas, taxas de eliminação e utilização de tempos de recarga.
• Nível 3 (Verificação de Declarações): A contribuição central. Este nível audita a consistência entre as declarações de discussão de um agente e sua trajetória de verdade fundamental.

2.3 Pipeline de Verificação de Declarações

O pipeline do Nível 3 opera em duas etapas:

1. Extração de Alegações: Um LLM analisa declarações de discussão livres em alegações estruturadas e verificáveis. Cinco tipos de alegações são definidos:
   • Localização/Rota: Afirmações sobre onde um jogador estava.
   • Avistamento: Afirmações sobre ver outro jogador.
   • Atividade: Afirmações sobre tarefas, viagem ou espera.
   • Acusação: Suspeitar que um jogador é um Pato.
   • Defesa: Dar garantia para um jogador.
2. Verificação de Alegações: Cada alegação é verificada contra a trajetória de verdade fundamental reconstruída do agente para a janela de tempo relevante. Os vereditos incluem Verdadeiro, Falso, Cômodo Errado, Quase Acerto (parcialmente verdadeiro) ou Não Verificável.

Este pipeline operacionaliza quatro modos de falha de ancoragem específicos:

1. Alucinação Espacial: Assertar uma localização ou avistamento que contradiz a própria trajetória do agente.
2. Acusação sem Suporte: Acusar um jogador sem evidência ancorada (distinguindo entre a precisão da acusação e sua ancoragem).
3. Colapso da Enganação: Um Pato produzindo mentiras facilmente falsificáveis (por exemplo, afirmar ter visto um jogador morto) em vez de enganações sutis de quase acerto.
4. Inconsistência Linguagem-Ação: Atividades ou rotas declaradas que conflitam com ações registradas.

O pipeline foi validado contra anotação humana, alcançando 99,5% de precisão e 98,7% de recall na extração e verificação de alegações.

3. Configuração Experimental e Resultados

Os autores avaliaram três VLMs de fronteira (GPT-5.5, GEMINI-3.1-PRO, CLAUDE-OPUS-4.7) em 270 jogos em configurações adversariais homogêneas (todos os agentes com o mesmo modelo) e cruzadas (Gansos vs. Patos de modelos diferentes).

Principais Descobertas

• Lacuna entre Resultado e Ancoragem: Altas taxas de vitória não implicam raciocínio ancorado. Por exemplo, o GPT-5.5 alcançou uma taxa de vitória de 81,1% como Ganso, mas ainda alucinou 16,4% de suas alegações espaciais e fez 54,5% de suas acusações sem evidência ancorada.
• Alucinações Sistemáticas: Mesmo os agentes mais fortes alucinam uma fração substancial de alegações espaciais verificáveis. A taxa de alucinação espacial agrupada em todos os modelos foi de 15,1% (aproximadamente 1 em 7 alegações).
• Acusações Infundadas: A taxa de acusações sem suporte agrupada foi de 53,5%. Mais da metade de todas as acusações foram feitas sem qualquer evidência que o acusador pudesse ter observado realmente, independentemente de a acusação ter sido acidentalmente correta.
• Colapso da Enganação: Os Patos exibiram uma taxa de enganação de 22,1%. Crucialmente, a sofisticação da enganação foi próxima de zero; as mentiras eram "plana e falsificáveis" (por exemplo, afirmar estar em um cômodo onde o registro mostra que o agente estava em outro lugar) em vez de sutis.
• Lacuna de Detecção de Mentiras: Mesmo quando um Pato contava uma mentira verificável, a tripulação (Gansos) falhou em ejetá-los em aproximadamente 25% dos casos (taxa média de ejeção após uma mentira foi de 75,2%), indicando uma lacuna entre a evidência disponível e a capacidade dedutiva da tripulação.

Todos os três modelos compartilharam o mesmo perfil qualitativo de falha, diferindo principalmente em grau e não em tipo.

4. Significado e Contribuições

O artigo reivindica as seguintes contribuições:

1. Ambiente QUACK: Um ambiente de dedução social multimodal de código aberto com observabilidade parcial e registros totalmente reproduzíveis, permitindo a reconstrução de trajetórias de verdade fundamental para agentes.
2. Avaliação de Três Níveis: Um framework que vai além das taxas de vitória para medir trajetórias comportamentais e consistência ao nível de declarações, abordando diretamente a "ancoragem" da linguagem do agente.
3. Pipeline de Verificação de Declarações: Um método para auditar automaticamente as alegações dos agentes contra estados do mundo reconstruídos, operacionalizando quatro modos de falha qualitativos em quantidades mensuráveis.
4. Evidência Empírica de Falha: Demonstração de que mesmo VLMs de fronteira exibem falhas de ancoragem sistemáticas e diagnosticáveis em tarefas de raciocínio social que são invisíveis para métricas padrão baseadas em resultados.

Implicações Mais Amplas

Os autores argumentam que a ancoragem é um eixo distinto de capacidade em configurações de linguagem multiagente que não é capturado pelo sucesso da tarefa e requer medição direta. Eles postulam que jogos de dedução social servem como um instrumento único para estudar a geração ancorada porque combinam fortes incentivos para alegações verificáveis (e mentiras) com um estado do mundo totalmente recuperável — uma combinação raramente disponível em tarefas de linguagem abertas.

O trabalho é enquadrado como diagnóstico, visando expor quando os agentes fazem alegações não ancoradas para facilitar a detecção e mitigação, em vez de otimizar agentes para enganação. Os autores liberam o motor, o framework e os registros para apoiar a reprodução independente e o escrutínio da ancoragem de agentes.