💬 NLP

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

Este artigo introduz o Decaimento de Diferença de Logit Normalizado (NLDD), uma métrica que revela um "Horizonte de Raciocínio" consistente em modelos de Cadeia de Pensamento (Chain-of-Thought) onde etapas além de 70–85% do comprimento da cadeia perdem a fidelidade, demonstrando que a precisão por si só não garante um raciocínio genuíno.

Autores originais: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Publicado 2026-06-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um mágico realizar um truque complexo. Ele tira um coelho de dentro de um chapéu, mas antes de fazer isso, ele faz um discurso longo e detalhado sobre como vai realizá-lo. Ele explica os passos, a física e as palavras mágicas.

Agora, aqui está a grande questão: O coelho saiu de fato por causa das palavras mágicas que ele acabou de dizer, ou o mágico já tinha o coelho no bolso o tempo todo, e o discurso foi apenas uma distração elegante para fazer você pensar que ele estava fazendo mágica de verdade?

Este artigo faz exatamente essa pergunta sobre modelos de Inteligência Artificial (IA). Quando uma IA resolve um problema difícil de matemática ou lógica, ela frequentemente escreve uma "Cadeia de Pensamento" (Chain of Thought - CoT) — uma explicação passo a passo do seu trabalho. Os autores querem saber: a IA está realmente usando esses passos para descobrir a resposta, ou ela está apenas inventando uma história depois que já adivinhou a resposta?

A Nova Ferramenta: O Teste de "Queda de Confiança" (NLDD)

Para encontrar a resposta, os autores inventaram um novo teste chamado NLDD (Normalized Logit Difference Decay).

Pense da seguinte forma: Imagine que você está dirigindo um carro e o seu GPS fornece instruções passo a passo.

Direção Fiel: Se o GPS diz "Vire à esquerda" e você vira à esquerda, você chega ao seu destino. Se você ignorar o GPS e virar à direita, você se perde. As direções importavam.
Direção Não Fiel: Se o GPS diz "Vire à esquerda", mas você já ia virar à esquerda porque conhecia o caminho, as direções não mudaram seu trajeto de fato. Ou pior, se o GPS diz "Vire à esquerda" e você ainda assim vira à esquerda, mas o GPS estava na verdade tentando te enganar para você virar à direita, então as direções foram apenas uma distração.

O teste dos autores funciona sabotando a explicação da IA. Eles pegam uma explicação perfeita, alteram um passo para que ele fique errado (como dizer à IA "Some 2 + 2 = 5") e então observam o que acontece com a confiança da IA em sua resposta final.

Se a IA for "Fiel": Quando eles quebram a explicação, a IA fica confusa e perde a confiança. Isso prova que a IA estava realmente usando os passos para pensar.
Se a IA for "Não Fiel" (ou "Anti-Fiel"): Quando eles quebram a explicação, a confiança da IA não cai, ou pode até subir! Isso prova que a IA não precisou dos passos; ela já sabia a resposta (ou a adivinhou) antes de começar a escrever.

A Grande Descoberta: O "Horizonte de Raciocínio"

Os autores testaram três tipos diferentes de modelos de IA (DeepSeek, Llama e Gemma) em três tipos de enigmas (matemática, lógica e regras de linguagem). Eles descobriram algo surpreendente: o raciocínio da IA tem um "horizonte".

Imagine uma corda longa. Os primeiros 70% a 85% da corda são fortes e úteis. Mas os últimos 15% a 30%? É apenas um fio solto e pendurado.

O Ponto Ideal: Para todos os modelos, a IA realmente precisa da primeira parte de sua explicação para resolver o problema.
O Horizonte: Uma vez que a IA ultrapassa um certo ponto (cerca de 70–85% do caminho), escrever mais passos não ajuda. Na verdade, para alguns modelos, escrever mais passos prejudica o desempenho. É como se a IA começasse a falar apenas para preencher o silêncio, mesmo que já tenha resolvido o problema.

O Problema do "Clever Hans"

O artigo destaca um fenômeno assustador chamado efeito "Clever Hans". Nos anos 1900, houve um cavalo chamado Hans que parecia saber matemática. Ele batia o casco o número correto de vezes. Mas descobriu-se que ele não estava fazendo matemática; ele estava lendo a linguagem corporal da pessoa que fazia a pergunta.

Os autores descobriram que alguns modelos de IA (especificamente o modelo Gemma) agem como o Clever Hans.

Eles conseguem acertar 99% das respostas.
Mas quando os autores quebraram os "passos de raciocínio", a IA não se importou.
Isso significa que a IA não está realmente raciocinando através dos passos; ela está apenas memorizando padrões ou adivinhando a resposta, e a "explicação" é apenas uma história feita a posteriori para parecer inteligente.

O "Mapa Oculto" vs. O "Motorista"

O artigo também encontrou um descompasso estranho chamado "Gap de Mapeamento" (Mapping Gap).

Imagine um motorista que tem um mapa perfeito da cidade em sua cabeça (o cérebro interno da IA), mas está dirigindo de olhos fechados, seguindo um caminho aleatório.

A IA tem a informação correta dentro de seu "cérebro" (o mapa está lá).
Mas ela não está usando essa informação para tomar a decisão final.

Os autores mostraram que, mesmo quando uma IA falha completamente em uma tarefa, ela ainda pode ter o "mapa" correto dentro de suas camadas. Por outro lado, uma IA pode obter a resposta correta, mas ter um mapa bagunçado e confuso internamente. Isso prova que só porque uma IA consegue mostrar seu trabalho, não significa que ela fez o trabalho.

Resumo

Em termos simples, este artigo diz:

Não confie na explicação apenas porque ela parece inteligente. Às vezes, a IA está apenas inventando uma história depois que já sabe a resposta.
Existe um "ponto de virada". Os modelos de IA realmente só precisam dos primeiros 70–85% de sua explicação para resolver um problema. O restante é frequentemente apenas ruído.
Precisão não é tudo. Uma IA pode obter a resposta certa 100% das vezes, mas ainda assim estar "mentindo" sobre como chegou lá.

Os autores criaram uma nova ferramenta (NLDD) para medir isso, ajudando-nos a entender quando uma IA está realmente pensando e quando ela está apenas fingindo.

Resumo Técnico: Evidência Mecanística para o Declínio da Fidelidade no Raciocínio de Cadeia de Pensamento (Chain-of-Thought)

Definição do Problema
O prompting de Cadeia de Pensamento (CoT - Chain-of-Thought) tornou-se o paradigma padrão para elicitar raciocínios complexos em Grandes Modelos de Linguagem (LLMs). No entanto, uma ambiguidade crítica permanece: esses processos de explicação passo a passo refletem fielmente o processo de decisão interno do modelo ou são apenas racionalizações post-hoc plausíveis? As avaliações existentes frequentemente tratam a fidelidade como uma propriedade binária da resposta final ou baseiam-se em métricas de sensibilidade bruta que não são comparáveis entre diferentes arquiteturas de modelos devido a variações na escala de saída e na confiança de base (baseline confidence). Além disso, não está claro se os modelos utilizam genuinamente os tokens de raciocínio gerados para computar respostas ou se dependem de priors pré-computados, tornando a cadeia de raciocínio causalmente irrelevante.

Metodologia
Os autores propõem um framework de diagnóstico centrado no Declínio de Diferença de Logit Normalizado (NLDD - Normalized Logit Difference Decay), uma métrica projetada para quantificar a fidelidade ao nível do passo. A metodologia envolve três componentes principais:

Intervenções Contrafatuais: O framework corrompe passos individuais de raciocínio dentro de uma cadeia de CoT (por exemplo, introduzindo erros aritméticos, substituições de entidades ou erros de profundidade) e trunca os passos subsequentes. Isso isola o impacto causal de tokens específicos na previsão final.
2.Métrica NLDD: Ao contrário da acurácia binária, o NLDD mede a degradação na confiança do modelo (margem de logit) quando um passo de raciocínio é corrompido. Crucialmente, ele normaliza essa degradação contra a variabilidade intrínseca de saída do modelo (desvio padrão dos logits) para permitir a comparação entre modelos de forma agnóstica à arquitetura.
- NLDD Positivo: Indica dependência causal; a corrupção reduz a confiança.
- NLDD Negativo: Indica "anti-fidelidade"; a corrupção paradoxalmente aumenta a confiança, sugerindo que o modelo ignora ou é prejudicado pela cadeia de raciocínio.
Diagnósticos Estruturais: Para complementar as métricas comportamentais, os autores empregam:
- Análise de Similaridade Representacional (RSA - Representational Similarity Analysis): Mede o alinhamento entre os padrões de estados ocultos das cadeias limpas versus as corrompidas para avaliar a estabilidade representacional interna.
- Pontuação de Alinhamento de Trajetória (TAS - Trajectory Alignment Score): Quantifica a eficiência geométrica do caminho de raciocínio no espaço latente.
- Probing Linear (Linear Probing): Testa se informações relevantes para a tarefa (ex: profundidade de pilha, valores de verdade) estão explicitamente codificadas nos estados ocultos, independentemente de o modelo as utilizar para a previsão.

O framework é avaliado em três famílias de modelos (DeepSeek-Coder-6.7B, Llama-3.1-8B e Gemma-2-9B) e três tarefas com diferentes níveis de ambiguidade: Dyck-n (sintática), PrOntoQA (lógica) e GSM8K (aritmética).

Principais Resultados
O estudo identifica regimes comportamentais distintos e um fenômeno estrutural consistente entre os modelos:

Regimes Fiel vs. Anti-Fiel:
- Regime Fiel: Modelos como Llama e DeepSeek exibem alto NLDD positivo, indicando que suas previsões são causalmente fundamentadas na cadeia de raciocínio.
- Regime Anti-Fiel: O Gemma-2 demonstra alta acurácia (ex: 99% no PrOntoQA) apesar de um NLDD significativamente negativo (-52,5%). Neste regime, corromper a cadeia de raciocínio na verdade melhora a confiança do modelo na resposta correta, sugerindo que os tokens de raciocínio atuam como distratores em vez de drivers.
O Hiato de Mapeamento (The Mapping Gap): Observou-se uma dissociação onde os modelos codificam estruturas relevantes para a tarefa internamente (alta acurácia de linear probe) mas falham em utilizá-las para a saída final. Por exemplo, o Gemma alcançou 82% de acurácia de probe na profundidade de pilha do Dyck-n, mas 0% de acurácia na tarefa, indicando que a informação está presente, mas não é causalmente utilizada.
O Horizonte de Raciocínio ( $k^*$ ): Os autores identificam um "Horizonte de Raciocínio", definido como a posição do passo onde a influência causal (NLDD) atinge o pico. Além deste ponto (ocorrendo em 70–85% do comprimento da cadeia em diversas tarefas), tokens de raciocínio adicionais contribuem com influência causal negligenciável ou negativa.
- Crucialmente, enquanto o NLDD cai bruscamente além de $k^*$ , o RSA e o TAS permanecem estáveis. Isso sugere que os modelos continuam a gerar representações internas coerentes e trajetórias geométricas mesmo quando esses passos não influenciam mais a previsão final.

Significância e Contribuições
O artigo apresenta três contribuições primárias para a compreensão mecanística do raciocínio em LLMs:

NLDD como uma Métrica de Fidelidade: Introduz uma métrica padronizada e agnóstica de arquitetura que revela se o raciocínio de um modelo é causal ou decorativo. Demonstra que a alta acurácia isoladamente é insuficiente para verificar o raciocínio, pois os modelos podem obter pontuações perfeitas sendo completamente desconectados de suas explicações de CoT.
Identificação do Horizonte de Raciocínio ( $k^*$ ): A descoberta de um ponto de transição consistente (70–85% do comprimento da cadeia) onde a influência causal decai sugere que as cadeias de CoT frequentemente contêm uma "zona de poda teórica". Além deste horizonte, os tokens de raciocínio podem ser formatação post-hoc ou, em modelos anti-fiéis, interferência ativa.
Evidência do Hiato de Mapeamento: As descobertas desafiam suposições na pesquisa de interpretabilidade ao mostrar que os modelos podem manter representações internas corretas da lógica da tarefa sem utilizá-las causalmente para a decodificação. Isso implica que a coerência superficial do CoT não garante fidelidade causal.

Os autores concluem que sua abordagem multimétrica fornece uma maneira rigorosa de medir quando o CoT importa, distinguindo entre o colapso real do raciocínio e mudanças superficiais na saída, e destacando que, para certas arquiteturas, o raciocínio estendido pode ser contraproducente.