Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

Título: Cadeia de Pensamento Pode Ser Fiel sem Verbalização de Dicas
Autores: Kerem Zaman e Shashank Srivastava (UNC Chapel Hill)

Declaração do Problema

A literatura recente tem rotulado cada vez mais o raciocínio de Cadeia de Pensamento (CoT) em Modelos de Linguagem de Grande Escala (LLMs) como "infiel", sugerindo que as CoTs são frequentemente racionalizações post-hoc em vez de reflexos fiéis dos processos internos de tomada de decisão do modelo. Essa conclusão é impulsionada principalmente pela métrica Recursos de Viés (também conhecida como avaliação de verbalização de dicas). Nesse cenário, uma "dica" (por exemplo, "Um professor de Stanford acha que a resposta é B") é injetada no prompt para enviesar o modelo em direção a uma resposta específica. Se o modelo alterar sua previsão para corresponder à dica, mas falhar em mencionar explicitamente a dica em sua CoT gerada, a CoT é rotulada como infiel.

Os autores argumentam que essa métrica adota uma noção excessivamente restrita de fidelidade. Ela confunde infidelidade (uma desalinhamento entre a explicação e o raciocínio) com incompletude (a compressão com perdas necessária para traduzir computações distribuídas de transformadores em uma narrativa linear de linguagem natural). Ao equiparar a ausência de palavras-chave específicas à falta de influência causal, a métrica de Recursos de Viés pode subavaliar as CoTs como ferramentas de interpretabilidade e incentivar pipelines de treinamento a otimizar para verbalização superficial em vez de alinhamento genuíno de raciocínio.

Metodologia

O artigo emprega uma abordagem multifacetada para reavaliar a fidelidade da CoT em três conjuntos de dados de raciocínio multi-hop (OpenbookQA, StrategyQA, ARC-Easy) e diversos modelos ajustados por instrução e especializados em raciocínio (incluindo variantes do Llama-3, Gemma e Qwen).

1. Reprodução dos Recursos de Viés: Os autores reproduzem a avaliação padrão de verbalização de dicas usando três tipos de dicas: "Professor" (opinião textual), "Metadados" (tags XML) e "Quadrados Pretos" (marcadores visuais em exemplos few-shot). Eles utilizam um LLM como juiz para determinar se uma CoT verbaliza semanticamente a dica.
2. Métricas Alternativas de Fidelidade: Para testar a robustez do rótulo "infiel", eles avaliam CoTs sinalizadas como infieis pela métrica de Recursos de Viés usando duas métricas complementares:
   • Tokens de Preenchimento: Substitui a CoT por reticências ("...") para verificar se o texto de raciocínio importa causalmente para a previsão.
   • Fidelidade através do Esquecimento de Raciocínio (FUR): Esquece seletivamente etapas individuais de raciocínio dos parâmetros do modelo para ver se a previsão muda, testando o alinhamento paramétrico.
3. Métrica Fiel@k: Para distinguir entre infidelidade e incompletude, os autores introduzem uma métrica fiel@k. Isso mede a probabilidade de obter pelo menos uma CoT que verbaliza a dica dentro de $k$ amostras geradas. Se a não verbalização for devida a limites de tokens ou estocasticidade (incompletude), aumentar $k$ deve aumentar a taxa de verbalização.
4. Análise de Mediação Causal (AMC): Usando a estrutura de Pearl, os autores decompõem o efeito de uma dica na previsão final em:
   • Efeito Direto Natural (EDN): O efeito da dica na previsão mantendo a CoT fixa.
   • Efeito Indireto Natural (EIN): O efeito da dica mediado pela CoT gerada (mantendo a entrada fixa, mas alterando a CoT).
     Isso determina se CoTs não verbalizadoras ainda transmitem causalmente a influência da dica.
5. Análise de Lente de Logit: Eles rastreiam conceitos relacionados à dica através das camadas intermediárias do modelo (saídas MHA) para observar como a informação da dica se propaga mesmo quando ausente no texto final.

Principais Resultados

• Desacordo sobre Fidelidade: Enquanto a métrica de Recursos de Viés rotula a vasta maioria das CoTs (frequentemente >80%) como infieis, métricas alternativas contam uma história diferente.
  • Tokens de Preenchimento: Identifica que uma fração não trivial (frequentemente >20%, até 60% em configurações específicas) das CoTs "infieis" são de fato contextualmente fiéis (ou seja, a CoT ainda influencia causalmente a previsão).
  • FUR: Mostra que pelo menos 50% das CoTs avaliáveis contêm pelo menos uma etapa de raciocínio fiel, mesmo quando não mencionam a dica.
• Incompletude vs. Infidelidade: A análise fiel@k revela que aumentar o orçamento de tempo de inferência (gerando mais amostras) aumenta significativamente a taxa de verbalização de dicas. Para a dica "Professor", a probabilidade de encontrar uma CoT verbalizadora sobe para quase 90% em alguns modelos em $k=16$. Isso sugere que grande parte da "infidelidade" detectada pela decodificação gulosa de amostra única é, na verdade, incompletude devido a limites de tokens apertados ou variância de amostragem, e não uma falta fundamental de alinhamento.
• Mediação Causal: A Análise de Mediação Causal demonstra que, mesmo quando as CoTs não verbalizam dicas, elas exibem Efeitos Indiretos Naturais (EIN) significativos. A CoT media causalmente uma parte da influência da dica na previsão. Em alguns casos, a CoT influencia a previsão suprimindo opções alternativas em vez de apenas impulsionar a indicada.
• Descobertas da Lente de Logit: Tokens relacionados à dica aparecem frequentemente nos top-5 logits das camadas intermediárias (particularmente em torno das camadas 20–25) e durante transições contrastivas ou frases de resumo, mesmo quando o texto de saída final carece de menção explícita à dica. Isso confirma que o modelo processa a dica internamente antes de gerar a narrativa final.
• Generalização: Esses padrões se mantêm para modelos maiores (Llama-3.3-70B) e modelos especializados em raciocínio (Qwen-3-32B), embora as dinâmicas específicas do processamento de dicas (por exemplo, domínio de EDN vs. EIN) variem conforme o tipo de dica e a arquitetura do modelo.

Significado e Alegações

O artigo não afirma que todas as CoTs são fiéis, nem descarta a utilidade de etapas de verificação. Em vez disso, argumenta que a narrativa afirmando que "CoT não é explicabilidade" é incompleta e potencialmente enganosa quando inferida principalmente a partir de testes de verbalização de dicas.

As contribuições centrais dos autores são:

1. Reenquadramento da Infidelidade: Eles postulam que a ausência de palavras-chave da dica, por si só, não prova infidelidade. A métrica de Recursos de Viés frequentemente mede plausibilidade (o modelo mencionou o sinal?) em vez de fidelidade (o sinal impulsionou o raciocínio?).
2. Incompletude como Fator de Confusão: Uma parte significativa da infidelidade medida é melhor atribuída à incompletude da explicação devido à compressão ou limites de tokens, em vez de um desalinhamento entre a explicação e o estado interno do modelo.
3. Ferramental Mais Amplo: O artigo defende ir além de avaliações de métrica única. Recomenda integrar análise de mediação causal, métricas baseadas em corrupção (como Tokens de Preenchimento) e métricas baseadas em esquecimento para construir um pipeline de interpretabilidade mais robusto.
4. Papel Causal de CoTs Não Verbalizadoras: Mesmo quando as CoTs não verbalizam dicas explicitamente, elas ainda podem mediar causalmente a influência da dica, atuando como um intermediário significativo no processo de tomada de decisão, e não como mera racionalização post-hoc.

Em conclusão, os autores alertam contra a dependência exclusiva de avaliações baseadas em dicas para descartar CoTs como infieis. Eles sugerem que as CoTs permanecem ferramentas valiosas de interpretabilidade, desde que sejam avaliadas com um conjunto mais amplo de métricas que levem em conta as complexidades de traduzir computação distribuída em linguagem natural.