Resumo Técnico: Auditoria de Agentes de LLM Condicionados a Crenças em Jogos de Dedução Social com Informação Oculta

Declaração do Problema

Avaliar agentes de Grandes Modelos de Linguagem (LLMs) em ambientes multiagentes de informação oculta é desafiador porque os resultados finais (ex: vitória/derrota) são sinais de alta variância que raramente revelam os mecanismos causais por trás das decisões dos agentes. Em jogos de dedução social como o Lobisomem (Werewolf), os agentes operam sob observabilidade parcial, devem raciocinar sobre informações privadas, interpretar comunicações de forma enganosa e tomar decisões onde a qualidade só é clara post-hoc. A avaliação padrão de "caixa-preta" falha em distinguir se uma falha decorre de evidências ausentes, rastreamento de crenças deficiente, comportamento induzido pelo prompt, carga de infraestrutura ou um override estratégico válido. Há uma necessidade de uma infraestrutura de avaliação que torne a cognição do agente observável, auditável e reproduzível.

Metodologia

Os autores implementam um ambiente de Lobisomem para 9 jogadores projetado como uma plataforma experimental auditável. O sistema impõe um isolamento rigoroso de informação ao nível de código, garantindo que os agentes recebam apenas eventos públicos e observações privadas específicas de sua função, enquanto o motor do jogo retém as atribuições de funções de verdade fundamental (ground-truth) para avaliação post-hoc.

O framework consiste em cinco componentes principais:

1. Camada de Crença Auditável: Um sistema externo mantém um estado de crença (probabilidades de função para todos os jogadores) atualizado a partir de eventos estruturados do jogo. Esta camada opera em dois modos:
   • Modo Shadow (Sombra): As crenças são mantidas apenas para avaliação, não sendo mostradas ao agente.
   • Modo Ativo: Resumos de crenças (ex: principais lobisomens suspeitos) são injetados no contexto do agente como suporte à decisão.
2. Atualizações de Crença Fatorizadas: Em vez de uma tabela de regras monolítica, as atualizações de crença são decompostas em fatores interpretáveis: tipo de evento (peso base), direção da evidência e credibilidade da fonte. As atualizações ocorrem no espaço de log-odds para garantir estabilidade e rastreabilidade.
3. Diagnóstico Guiado por Desvio: O sistema compara a ação sugerida pela crença contra a ação real do LLM. Os desvios são classificados conceitualmente como prejudiciais (ignorar sinais úteis), justificados (override baseado em outro contexto) ou estratégicos (decepção intencional).
4. Loop de Melhoria Offline Defensiva: Atualizações de estratégia não são aplicadas após jogos individuais. Em vez disso, o sistema agrega lotes de jogos, minera "casos ruins" (ex: desvios prejudiciais, ações de envenenamento erradas) e gera insights candidatos, exigendo revisão humana antes de versionar qualquer mudança de prompt ou de regra.
5. Isolamento Estrito de Informação: O construtor de contexto garante que os agentes recebam apenas dados legalmente visíveis para sua função. A verdade fundamental nunca é usada durante o tempo de execução, apenas para o cálculo de métricas pós-jogo.

A avaliação envolveu 1.080 jogos congelados através de múltiplos braços experimentais, incluindo ablações sem crença, condições de crença ativa, variantes de restrição de acampamento (crença dada apenas aos times bons ou ruins), ablações de kernel (aditiva vs. fatorizada) e réplicas de alta carga.

Contribuições Principais

1. Framework Auditável: Um sistema para jogos de informação oculta com isolamento estrito de informação, registro de eventos estruturado, estado reproduzível e avaliação pós-jogo.
2. Camada de Crença Externa: Um mecanismo para raciocínio de função oculta que inclui variantes shadow/ativa, atualizações fatorizadas e snapshots rastreáveis, servindo como uma linha de base cognitiva em vez de um controlador rígido.
3. Instrumentação de Desvio: Uma taxonomia conceitual para inspeção post-hoc de desvios entre crença e ação (prejudicial, justificado, estratégico) e um fluxo de trabalho para classificação automática em larga escala.
4. Loop Offline Defensivo: Um fluxo de trabalho que minera casos ruins de lotes de jogos para suportar atualizações de estratégia versionadas e revisadas, evitando os riscos de aprendizado online de jogo único.
5. Evidência Empírica: Uma avaliação em larga escala (1.080 jogos) demonstrando a associação entre crença ativa e melhores resultados, enquanto simultaneamente utiliza a camada de auditoria para diagnosticar baixa consistência e rejeitar intervenções não confiáveis.

Resultados

O estudo apresenta um conjunto de descobertas coerente, porém cauteloso, de uma comparação pareada A/B de 200 sementes (A0: crença desabilitada vs. A1: crença ativa):

• Mudança de Resultado: A condição de crença ativa está associada a uma taxa de vitória do lado bom significativamente maior, subindo de 0,205 para 0,390 (McNemar $\chi^2$ pareado = 16,4, $p < 0,001$).
• Redução de Erros: A condição de crença ativa coocorre com uma redução em erros irreversíveis de "veneno errado" pela função Bruxa (a taxa de veneno errado caiu de 76% para 36%).
• Baixa Consistência Direta: Apesar da melhoria no resultado, a consistência direta ação–crença é baixa (≈0,21). Os agentes frequentemente desviam da recomendação principal da crença.
• Anomalia de Restrição de Acampamento: Dar a crença apenas aos lobisomens melhorou a taxa de vitória do lado bom (0,313) mais do que dar a crença apenas ao lado bom (0,253). Isso contradiz uma hipótese simples de "benefício ao detentor", onde a crença melhora a inferência do agente que a possui.
• Intervenção Falha: Uma política de "consumo forçado", que tentava mandar o alinhamento com a crença, falhou em melhorar as taxas de vitória e apenas aumentou marginalmente a consistência. Isso sugere que forçar agentes a seguir sinais de crença planos ou fracos é contraproducente.
• Robustez de Carga: Réplicas de alta concorrência não mostraram aumento nos erros de LLM ou violações de orçamento de contexto, confirmando que as mudanças observadas nos resultados não foram artefatos de carga de infraestrutura.

Significância e Alegações

O artigo posiciona a crença externa em jogos de informação oculta com alto ruído primariamente como uma linha de base cognitiva auditável, e não como um controlador comprovado de jogo.

• Mensurabilidade sobre Otimalidade: O valor primário do framework é tornar as decisões do agente mensuráveis e reproduzíveis. Ele transforma o comportamento opaco em evidência que pode ser contestada e analisada.
• Diagnóstico de Mecanismo: Os autores afirmam explicitamente que não atribuem a mudança na taxa de vitória especificamente à qualidade do conteúdo da crença. Devido à baixa consistência ação–crença e aos resultados anômalos de restrição de acampamento, o mecanismo causal permanece não resolvido. O efeito pode advir da presença da seção de crença alterando o comportamento do agente ou a estrutura do prompt, em vez do consumo do sinal de crença em si.
• Segurança na Iteração: O framework permite uma iteração mais segura ao permitir que pesquisadores separem efeitos de estratégia de confundimentos de infraestrutura (como falhas induzidas por carga) e rejeitem intervenções (como o consumo forçado) com evidências.
• Generalização: Embora testado no Lobisomem, o padrão subjacente aplica-se a qualquer cenário adversarial de observabilidade parcial onde os resultados finais são ruidosos e as decisões requerem interpretação. Os autores argumentam que, antes que tais agentes possam ser melhorados com segurança, sua cognição deve ser tornada observável e contestável através de uma infraestrutura de auditoria.

O artigo conclui que a infraestrutura de avaliação é um componente de primeira classe para agentes de LLM de informação oculta, necessária para distinguir entre inferência fraca, overrides estratégicos e falhas de sistema.