🤖 AI

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

Este artigo investiga a lacuna de fidelidade em agentes de LLM dentro de um simulador controlado de Texas Hold'em Poker, revelando que, embora os agentes frequentemente falhem em alinhar seu raciocínio declarado com suas conclusões, eles paradoxalmente agem de acordo com suas conclusões mesmo quando essas conclusões contradizem seu próprio raciocínio.

Autores originais: Yufeng Wang

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yufeng Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está observando um grupo de agentes de IA jogando uma partida de pôquer de alto risco. Você pede que eles expliquem seu raciocínio antes de fazerem uma jogada. Eles dizem a você: "Eu tenho uma mão forte, as probabilidades estão a meu favor, então eu devo aumentar a aposta". Então, eles desistem (fold).

Este artigo faz uma pergunta simples, mas complexa: Esses agentes de IA realmente fazem o que dizem que vão fazer, ou estão apenas inventando desculpas depois do fato?

Os pesquisadores configuraram um simulador de pôquer controlado para encontrar a resposta. Em vez de apenas adivinhar, eles decomporam o processo de tomada de decisão da IA em duas etapas distintas, como o lançamento de um foguete de dois estágios.

As Duas Etapas de uma Decisão de IA

Etapa 1: O "Cérebro" (Raciocínio → Conclusão)
É aqui que a IA observa as cartas, calcula as probabilidades e decide o que ela acha que deve fazer.
- A Analogia: Imagine um meteorologista observando os dados. Ele vê que uma tempestade está chegando e conclui: "Vai chover".
Etapa 2: A "Mão" (Conclusão → Ação)
É aqui que a IA realmente aperta o botão para desistir, pagar ou aumentar a aposta.
- A Analogia: O meteorologista então diz ao âncora do telejornal: "Vai chover", e o âncora anuncia para o mundo.

A Grande Surpresa: A "Mão" é Honesta, mas o "Cérebro" está Mentindo

Os pesquisadores descobriram que essas duas etapas se comportam de maneiras completamente opostas:

A Etapa 2 (A Mão) é incrivelmente confiável.
Uma vez que a IA decide o que fazer, ela quase sempre faz exatamente aquilo. Se ela diz "Eu vou aumentar", ela aumenta. A taxa de inconsistência aqui é minúscula (menos de 2%).
- A Metáfora: A IA é como um robô muito obediente. Se você disser para ele pegar uma xícara, ele pega a xícica. Ele não a deixa cair ou pega uma colher no lugar.
A Etapa 1 (O Cérebro) é onde reside o verdadeiro problema.
A IA frequentemente calcula os números corretamente e afirma as regras corretamente, mas então tira uma conclusão que não faz sentido com base nesses números.
- A Metáfora: Imagine o meteorologista olhando para os dados, vendo uma tempestade massiva e dizendo: "Os dados dizem que vai chover". Mas então, por nenhuma razão lógica, ele conclui: "Portanto, fará sol", e o âncora reporta "Sol".
- A Descoberta: Em cerca de 65% dos erros, a IA acertou a matemática, mas se convenceu do contrário em relação à conclusão lógica. Ela diria: "As probabilidades são boas, mas talvez eu não deva ser tão agressivo", e escolheria uma jogada mais segura e fraca. É como uma pessoa que sabe a matemática e diz "Vá", mas seu instinto diz "Espere", e ela ignora a matemática.

A "Armadilha de Medição"

O artigo também aponta um truque engraçado que aconteceu em estudos anteriores. Alguns pesquisadores tentaram adivinhar o que a IA decidiu apenas lendo suas explicações longas e confusas (texto livre).

O Problema: As explicações da IA eram bagunçadas. Ela poderia dizer: "Eu poderia pagar, mas aumentar é melhor, embora desistir seja seguro também". Um programa de computador tentando adivinhar a decisão final a partir dessa bagunça frequentemente erraria a escolha.
O Resultado: Isso fazia parecer que a IA estava mentindo ou mudando de ideia 22–26% das vezes.
A Correção: Quando os pesquisadores forçaram a IA a escrever uma etiqueta clara e específica como DECISÃO: AUMENTAR ao final, a taxa de "mentira" caiu para quase zero. A IA não estava mentindo; a ferramenta de medição é que era ruim em ler aquela "caligrafia" confusa.

Por Que Isso Importa?

Os pesquisadores tentaram corrigir o problema do "Cérebro" dando as regras explicitamente à IA (ex: "Se as probabilidades forem altas, você DEVE aumentar"). Surpreendentemente, isso não ajudou. A IA ainda ignorava as regras que lhe foram ditadas para seguir.

Isso sugere que o problema não é que a IA não conhece as regras ou não consegue encontrá-las. O problema é que ela não consegue aplicá-las de forma consistente. Ela conhece a regra, mas a sobrepõe com seus próprios "sentimentos qualitativos" (como ser cautelosa demais).

A Conclusão

Se você está construindo agentes de IA para simulações sociais (como pessoas virtuais negociando ou negociando negócios), não verifique apenas se eles fazem o que dizem. Verifique se o que eles dizem realmente segue a própria lógica deles.

A Boa Notícia: Se uma IA diz que fará algo, ela provavelmente fará.
A Má Notícia: O motivo que ela dá para fazer algo pode ser completamente inventado ou logicamente quebrado, mesmo que os números pareçam corretos.

O artigo conclui que, para entender verdadeiramente o comportamento da IA, precisamos parar de apenas observar o movimento final e começar a auditar a matemática por trás da decisão, porque é ali que a verdadeira "lacuna de fidelidade" se esconde.

Resumo Técnico: Localizando o Hiato de Fidelidade em Agentes de LLM

Declaração do Problema

O artigo aborda uma questão crítica na simulação social de Grandes Modelos de Linguagem (LLMs): o "hiato de fidelidade" (faithfulness gap), ou a discrepância entre o raciocínio declarado de um agente e seu comportamento real. Embora trabalhos anteriores tenham observado que os LLMs podem produzir racionalizações superficiais que não governam suas ações (Park et al., 2023; Zhou et al., 2024), medir esse hiato em ambientes sociais abertos (ex: negociações, intercâmbios culturais) é difícil devido à ausência de uma referência de verdade fundamental (ground-truth) para o comportamento correto. Os autores argumentam que, sem uma referência verificável, é impossível distinguir o comportamento estratégico genuíno de artefatos do modelo ou lacunas de "saber-fazer" (Lin et al., 2026).

Metodologia

Para criar um ambiente controlado com uma referência verificável, os autores construíram um simulador de Texas Hold'em Poker onde cada assento é ocupado por um agente de LLM. O framework experimental baseia-se em três componentes principais:

O Ambiente: Uma arena de Texas Hold'em onde uma heurística de limiar baseada em equidade serve como uma política de referência reproduzível. Para cada decisão, um calculador de equidade de Monte Carlo (500 simulações) determina a ação "correta" (fold, call ou raise) com base na equidade da mão e nas pot odds.
Decomposição do Pipeline de Decisão: Os autores decompõem o hiato de fidelidade em duas etapas distintas:
- Raciocínio $\to$ Conclusão: A decisão declarada pelo agente segue logicamente de seus próprios inputs declarados (equidade, pot odds) e da regra que ele afirma seguir?
- Conclusão $\to$ Ação: O agente executa a ação que ele explicitamente declarou em seu rastro de raciocínio?
Configuração Experimental: O estudo envolve três famílias de modelos: Claude Haiku 4.5, Gemini 2.5 Flash-Lite e DeepSeek-v4-pro (um modelo de raciocínio treinado nativamente). Quatro estratégias de prompt são testadas:
- Baseline: Enquadramento de especialista mínimo, sem solicitação de raciocínio.
- CoT (Cadeia de Pensamento): Instruções para "pensar passo a passo" e emitir uma tag DECISION explícita.
- Persona: Estilo comportamental imposto (ex: "tight-aggressive") sem solicitações de raciocínio.
- GTO-constrained: A regra de decisão (equidade vs. pot odds) é explicitamente injetada no prompt.
- GTO-verbose (Diagnóstico): Uma estratégia específica instruindo os agentes a emitirem linhas rotuladas para Equidade, Pot Odds, Regra e Decisão para permitir uma análise de erro granular.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

Cautela na Medição: Demonstra que as taxas de "infidelidade" relatadas são altamente sensíveis aos métodos de extração. A extração de frases em texto livre produz taxas de inconsistência de 22–26%, enquanto o uso de tags de decisão explícitas reduz isso para menos de 2%, sugerindo que grande parte do hiato anteriormente relatado é um artefato de medição.
Localização do Hiato: Ao separar as etapas do pipeline, os autores mostram que o hiato de fidelidade está concentrado a montante (upstream). Os agentes executam suas decisões declaradas com alta fidelidade (Conclusão $\to$ Ação é confiável), mas frequentemente derivam essas decisões de forma inválida a partir de seu próprio raciocínio (Raciocínio $\to$ Conclusão é não confiável).
Caracterização da Falha a Montante: O modo de erro dominante (65% das falhas) é a "má aplicação da regra". Os agentes estimam corretamente os inputs e reiteram a regra, mas então sobrepõem a regra quantitativa com hesitação qualitativa (ex: "não significativamente acima") em uma direção sistematicamente avessa ao risco. Injetar a regra no prompt não mitiga isso.
Instrumento de Fidelidade Portátil: Os autores lançam um ambiente de teste verificável e reproduzível (código e um demo multi-agente ao vivo) que pode ser adaptado para simulações sociais mais ricas para detectar deriva de persona e racionalização de superfície ao nível de etapa.

Resultados

Consistência Conclusão $\to$ Ação: Quando as conclusões são elicitadas via tags explícitas, as taxas de inconsistência são negligenciáveis (0,0%–1,8% entre os modelos). Em contraste, parsers de texto livre relatam 22–33% de inconsistência, em grande parte devido ao parser extrair a última ação candidata mencionada em vez da decisão final.
Validade Raciocínio $\to$ Conclusão: No diagnóstico GTO-verbose, 65% das decisões errôneas foram causadas por má aplicação da regra. Os agentes calcularam corretamente a equidade e as pot odds (dentro de 0,15 da verdade de Monte Carlo em 68% dos casos) e declararam a regra correta, mas chegaram a uma conclusão que contradizia a matemática.
- Direcionalidade: Os erros não são erros aritméticos aleatórios. Em 97% das má aplicações de regra, a regra implicava um "raise", mas o agente escolheu uma ação passiva (call/fold). Os agentes consistentemente usaram linguagem de hesitação para justificar um comportamento avesso ao risco, apesar de possuírem probabilidades matematicamente favoráveis.
Injeção de Prompt: A estratégia "GTO-constrained", que forneceu explicitamente a regra de decisão ao modelo, não melhorou a adesão. As taxas de adesão para esta estratégia foram consistentemente no nível ou próximo do limite inferior (47,9%–54,6%), confirmando que o gargalo é a aplicação da regra, não a recuperação ou compreensão dela.

Significância e Alegações

O artigo alega que a preocupação central de distinguir o comportamento estratégico genuíno de artefatos do modelo exige uma mudança no foco da avaliação.

Reavaliando a Fidelidade: A aparente "infidelidade" dos LLMs é frequentemente um artefato de medição causado pela forma como as conclusões são extraídas. Quando medidos corretamente, os agentes são altamente fiéis às suas decisões declaradas.
O Real Modo de Falha: A falha substantiva não é que os agentes ignoram seu raciocínio, mas que eles realizam inferências inválidas a partir de seu próprio raciocínio. Eles declaram premissas e regras corretas, mas as sobrepõem com julgamentos qualitativos e avessos ao risco.
Implicações para Simulação Social: Em simulações sociais complexas, essa falha "a montante" pode se manifestar como "deriva de persona". Um agente pode articular uma persona específica (ex: "agressivo") e raciocinar corretamente sobre ela, mas sua ação final é puxada para um prior genérico e conservador. Como essa deriva ocorre na etapa de derivação, ela é invisível para verificações de nível de resultado ou de conclusão.
Mudança Metodológica: Os autores defendem avaliações de fidelidade de processo que visem a derivação de conclusões a partir do raciocínio e que exijam conclusões explícitas e verificáveis por máquina para evitar a confusão entre ruído de medição e comportamento do modelo.

O artigo conclui que, embora o poker não seja uma simulação social completa, ele fornece um ambiente de calibração necessário para expor essas sondagens de fidelidade ao nível de etapa, que podem então ser portadas para domínios mais complexos onde a verdade fundamental é mais difícil de definir.