When Chain-of-Thought Fails, the Solution Hides in the Hidden States

Resumo Técnico: Quando a Cadeia de Pensamento Falha, a Solução Esconde-se nos Estados Ocultos

1. O Problema

O uso de Chain-of-Thought (CoT) — a técnica de solicitar que modelos de linguagem gerem passos intermediários de raciocínio antes da resposta final — melhora significativamente o desempenho em tarefas complexas, como o benchmark aritmético GSM8K. No entanto, existe um debate fundamental na interpretabilidade de modelos: os tokens de raciocínio gerados são computacionalmente úteis (contêm informações que ajudam a calcular a resposta) ou são apenas explicativos (uma narrativa que justifica uma decisão já tomada internamente)? Além disso, não se sabe se a informação necessária para a resposta correta persiste nos estados internos do modelo mesmo quando o texto gerado no CoT está incorreto.

2. Metodologia

Os autores propõem uma análise de interpretabilidade mecânica causal utilizando uma técnica chamada patching de ativação (activation patching). O experimento funciona da seguinte forma:

1. Fonte (Source): Um prompt de CoT é fornecido ao modelo (ex: LLaMA 3.1 ou Qwen 2.5), e os estados ocultos (hidden states) de cada token e de cada camada durante a geração do raciocínio são armazenados.
2. Alvo (Target): Um prompt de resposta direta (sem CoT) é fornecido ao modelo, o qual geralmente falha em resolver o problema.
3. Intervenção (Patching): Os estados ocultos de um token específico da "Fonte" são transferidos para a posição final do "Alvo" em uma camada específica.
4. Medição: Avalia-se se essa transferência de informação é capaz de "corrigir" o modelo alvo, fazendo-o gerar a resposta correta.

Os autores também categorizaram os tokens em papéis semânticos (verbos, entidades, operadores matemáticos, números, etc.) e analisaram a distribuição da informação por profundidade de camada e posição no texto.

3. Principais Contribuições

• Demonstração de Informação Recuperável: Provaram que os estados ocultos do CoT contêm informações suficientes para recuperar a resposta correta, mesmo quando o rastro de texto gerado originalmente é errôneo.
• Mapeamento de Localização de Informação: Identificaram que a informação relevante para a tarefa não está distribuída uniformemente, concentrando-se em camadas médias/finais e em tokens iniciais da cadeia de raciocínio.
• Diferenciação Semântica de Tokens: Revelaram que tokens de linguagem (verbos e entidades) carregam o "plano de resolução", enquanto tokens matemáticos (números e operadores) carregam apenas conteúdo próximo à resposta, mas sem o poder de guiar o raciocínio.
• Eficiência de Token: Mostraram que o raciocínio completo (texto longo) não é estritamente necessário; um único estado oculto "patcheado" pode induzir uma resposta correta em uma geração muito mais curta.

4. Resultados Principais

• Precisão de Patching vs. CoT: A precisão obtida via patching superou tanto a resposta direta quanto o próprio CoT original (atingindo >99% de casos de recuperação em alguns cenários).
• Sucesso em CoTs Incorretos: Mesmo quando o modelo gerava um raciocínio errado, os estados ocultos de certos tokens ainda continham a "semente" da resposta correta.
• Distribuição por Camadas e Posição: A taxa de sucesso do patch (PSR) atinge o pico em camadas médias/finais (ex: camada 17 no LLaMA 3.1) e diminui à medida que o CoT avança (tokens do início da cadeia são mais informativos que os do fim).
• Papel dos Verbos: Verbos e entidades apresentaram as maiores taxas de sucesso ao induzir raciocínios completos e corretos, enquanto tokens matemáticos tendiam a produzir apenas respostas diretas (muitas vezes incorretas).

5. Significância

Este trabalho altera a compreensão sobre como os LLMs "pensam". Ele sugere que o raciocínio não é apenas o que o modelo escreve, mas algo que reside de forma mais rica e latente em seus estados internos.

A descoberta de que a informação útil está presente mesmo em falhas de raciocínio sugere que o problema do CoT não é necessariamente a falta de "conhecimento" ou "capacidade de cálculo" no momento da inferência, mas sim uma falha na propagação ou dominância dessa informação correta através dos tokens gerados. Isso abre caminho para novas técnicas de otimização, onde modelos poderiam ser treinados para extrair ou priorizar esses estados ocultos de alta densidade de informação, tornando o raciocínio mais eficiente e menos dependente de longas cadeias de texto desnecessárias.