Resumo Técnico: Dois Regimes de Infidelidade de Cadeia de Pensamento (Chain-of-Thought)

Declaração do Problema

As explicações de cadeia de pensamento (CoT) são cada vez mais utilizadas como uma superfície de supervisão, onde auditores dependem do raciocínio declarado para determinar se devem confiar na resposta de um modelo. No entanto, trabalhos anteriores (Lanham et al., 2023; Turpin et al., 2023; Chen et al., 2025) indicam que o raciocínio declarado frequentemente não reflete o processo real que produziu a resposta. O desafio prático é de nível de instância: determinar se uma explicação específica é fiel. Embora benchmarks como o FaithCoT-Bench (Shen et al., 2026b) forneçam anotações humanas para avaliar detectores, o desempenho agregado dos detectores existentes permanece insatisfatório. Este artigo investiga o que a detecção comportamental realmente detecta e se os testbeds construídos (ex: racionalização instruída) aproximam validamente a infidelidade anotada.

Metodologia

Os autores conduziram uma auditoria e análise multipartite utilizando o conjunto de dados FaithCoT-Bench, que abrange quatro domínios (LogiQA, TruthfulQA, AQuA, HLE-Bio) e quatro modelos (Llama-3.1-8B, Qwen-2.5-7B, GPT-4o-mini, Gemini-2.5-Flash).

1. Verificação de Rótulos: Os autores identificaram e resolveram uma discrepância entre a documentação do benchmark e seus dados liberados em relação à semântica dos códigos faithful_type. Ao cruzar as respostas analisadas com os rótulos de ouro e reproduzir as estatísticas de acurácia relatadas, eles verificaram que a semântica do lado dos dados (onde ft2 e ft4 representam traços infiéis) estava correta, observando que 69% da infidelidade anotada ocorre em respostas incorretas.
2. Auditoria Comportamental: Quatro famílias de detectores comportamentais foram implementadas e pontuadas contra rótulos humanos:
   • Rastreamento de resposta (Answer-tracing): Sensibilidade da resposta final à remoção de etapas (incluindo instabilidade de prefixo).
   • Estrutura de DAG de premissas: Métricas de grafo (linearidade, lookback máximo) adaptadas do PARC.
   • Intervenções contrafatuais: Corrupção de premissas de carga para medir a estabilidade da resposta.
   • Suporte de NLI: Entailment (implicação lógica) das etapas a partir da pergunta e do contexto anterior.
3. Estratificação: O desempenho da detecção foi analisado estratificando os traços em dois regimes: Respostas Corretas (raciocínio fiel vs. racionalização post-hoc) e Respostas Incorretas (erro honesto vs. erro infiel).
4. Sondagem Interna (Internal Probing): Sondas lineares (regressão logística em estados ocultos reduzidos por PCA) foram treinadas para decodificar a infidelidade a partir dos internos do modelo. Isso foi realizado no Llama-3.1-8B e Qwen-2.5-7B, com testes de permutação corrigidos pela seleção para controlar o overfitting.
5. Transferência de Construído vs. Anotado: Dois testbeds de infidelidade construídos foram comparados com os regimes anotados:
   • Construção Instruída: Modelos instruídos a justificar uma determinada resposta correta (post-hoc).
   • Construção Induzida por Dica (Hint-Induced): Modelos recebendo uma dica em direção à resposta de ouro após falharem no problema, produzindo uma derivação que nunca menciona a dica (mudança não verbalizada).
     Sondas treinadas nessas construções foram testadas quanto à sua transferibilidade para os regimes anotados.

Resultados Principais

1. A Correção da Resposta Domina a Detecção

A correção da resposta isoladamente (um diagnóstico oráculo) alcançou um AUROC de 0,696, superando todos os sinais comportamentais criados especificamente para esse fim. Isso ocorre porque 69% da infidelidade anotada ocorre em respostas incorretas. A detecção comportamental reduz-se amplamente à previsão de acurácia.

2. Dois Regimes de Detecção Distintos

A estratificação por correção revela dois regimes com características opostas:

• O Regime de Respostas Corretas (n=363): Sinais comportamentais (rastreamento de resposta invertido, instabilidade de prefixo, suporte de NLI) separam moderadamente o raciocínio fiel da racionalização post-hoc (AUROC 0,63–0,67). No entanto, a métrica padrão de remoção de etapa (soft_faithfulness) é confidentemente invertida (AUROC 0,333), classificando traços fiéis como menos fiéis do que os racionalizados.
• O Regime de Respostas Incorretas (n=270): Este regime contém a maioria dos traços infiéis. Aqui, nenhum sinal comportamental testado é detectavelmente acima do acaso (todos os ICs incluem 0,5). Distinguir erros honestos de erros infiéis é comportamentalmente opaco.

3. Representações Internas são Específicas de Modelo e de Regime

Sondas lineares decodificam a infidelidade, mas a capacidade não é compartilhada entre modelos ou regimes:

• Llama-3.1-8B: Decodifica com sucesso o regime de respostas incorretas (AUROC 0,67), mas falha no regime de respostas corretas.
• Qwen-2.5-7B: Decodifica com sucesso o regime de respostas corretas (AUROC 0,701), mas falha no regime de respostas incorretas.
• Sem Direção Compartilhada: Sondas treinadas em um regime não se transferem para o outro em nenhum dos modelos, sugerindo que erros infiéis e racionalizações post-hoc são codificados ao longo de direções lineares diferentes.

4. Testbeds Construídos Não Generalizam

• Racionalização Instruída: Embora altamente detectável internamente dentro de sua própria distribuição, as sondas treinadas em traços instruídos falham em transferir para qualquer um dos regimes anotados (correto ou incorreto).
• Traços Induzidos por Dica: Estes mostram um padrão de transferência surpreendente. Sondas treinadas em traços induzidos por dicas (que são traços de resposta correta) transferem-se significativamente para o regime de respostas incorretas dos dados anotados (Llama: AUROC 0,616), mas não para o regime de respostas corretas. Isso sugere que os traços induzidos por dicas compartilham propriedades estruturais com os erros infiéis anotados, apesar de diferirem na correção da resposta.

5. Mecanismo de Inversão de Métrica

A métrica padrão de remoção de etapa (soft_faithfulness) é invertida porque mede o acoplamento entre a resposta e o raciocínio, em vez da fidelidade. Um modelo que genuinamente resolve um problema pode re-derivar a resposta quando as etapas são removidas (pontuando baixa fidelidade), enquanto uma racionalização fortemente acoplada a uma resposta específica não pode (pontuando alta fidelidade). Esta inversão é replicada em traços dependentes de dicas e nos próprios scores do benchmark.

Significância e Alegações

O artigo afirma que a supervisão comportamental atual da CoT é fundamentalmente limitada pela correção da resposta.

• Limitação de Supervisão: A auditoria comportamental é mais eficaz em respostas corretas (frequentemente de menor risco/estaca) e não oferece sinal detectável para respostas incorretas, onde sistemas implantados estão ativamente errados e a infidelidade é mais prevalente.
• Armadilhas de Avaliação: O artigo identifica dois atalhos comuns de avaliação que falham:
  1. Pontuar detectores contra métricas de rastreamento de resposta (que são circulares e invertidas).
  2. Usar racionalização instruída como um proxy para infidelidade (que não transfere para os regimes anotados do mundo real).
• Contribuição Metodológica: Os autores enfatizam a necessidade de validar a semântica dos rótulos contra os dados brutos, em vez da documentação, e a importância de validar a transferência de testbeds construídos contra dados anotados.
• Complemento White-Box: A sondagem interna revela que a infidelidade é decodificável, mas a capacidade de um regime "cego" comportamental em um modelo (ex: as respostas incorretas do Llama) é decodificável internamente, sugerindo que o acesso white-box complementa a auditoria comportamental sem um único atalho universal.

Os autores concluem que o campo deve ir além de métricas agregadas e reconhecer que a infidelidade não é um fenômeno monolítico, mas opera em regimes distintos com perfis de detectabilidade diferentes.