LLMs Faithfully and Iteratively Compute Answers During CoT: A Systematic Analysis With Multi-step Arithmetics

Este estudo demonstra que, ao realizar raciocínio passo a passo em tarefas aritméticas, os grandes modelos de linguagem calculam as respostas de forma iterativa e fiel durante a geração do texto, em vez de já as terem pré-determinado antes de iniciar a explicação.

O essencial

Imagine que você pediu para um amigo muito inteligente resolver um problema de matemática complexo. Ele começa a falar: "Bem, primeiro eu somo 2 mais 3, depois uso esse resultado para somar com 1..." e chega à resposta final.

A grande dúvida que os cientistas deste estudo queriam responder era: Será que esse amigo já sabia a resposta final antes de começar a falar? Ou ele realmente estava "pensando" enquanto falava?

Muitas pessoas temiam que os modelos de inteligência artificial (como o ChatGPT) apenas "adivinhassem" a resposta no início e depois inventassem uma explicação bonita (o chamado "Chain of Thought" ou Cadeia de Pensamento) apenas para parecerem inteligentes, sem realmente usar aquele raciocínio para chegar ao resultado.

Este artigo, escrito por pesquisadores do Japão e de outros lugares, diz: Não, eles não estão apenas fingindo.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Grande Mistério: "O Cozinheiro ou o Garçom?"

Pense em um restaurante.

• O Cenário do "Garçom Mentiroso": O cliente pede um prato. O garçom (o modelo) já sabe o que vai sair da cozinha antes mesmo de anotar o pedido. Ele vai até a cozinha, pega o prato pronto e, no caminho de volta, inventa uma história sobre como o chef cozinhou cada ingrediente, só para parecer que ele acompanhou o processo.
• O Cenário do "Cozinheiro Real": O garçom anota o pedido, vai para a cozinha e, enquanto está lá, ele realmente começa a cortar os vegetais, ferver a água e misturar os temperos. A história que ele conta é a descrição real do que ele está fazendo naquele momento.

O que este estudo descobriu: Os modelos de IA funcionam como o Cozinheiro Real. Eles não sabem a resposta final quando leem a pergunta. Eles precisam "cozinhar" (processar) passo a passo, gerando a explicação, para que a resposta apareça no final.

2. A Investigação: Os "Raio-X" do Cérebro

Como os pesquisadores provaram isso? Eles usaram uma técnica chamada "Probing" (Sondagem).
Imagine que você tem um cérebro de computador e consegue colocar um "raio-x" nele a cada milésimo de segundo.

• Eles fizeram o modelo ler a pergunta.
• Em seguida, eles olharam dentro do "cérebro" do modelo (nas camadas internas) para ver se a resposta já estava escrita lá.
• O Resultado: Quando o modelo lia a pergunta, a resposta não estava lá. Era como se o cérebro estivesse em branco sobre o resultado.
• A Mágica: Foi apenas enquanto o modelo começava a escrever a explicação (a cadeia de pensamento) que a resposta começou a aparecer no "cérebro", passo a passo.

3. O Experimento da "Troca de Memória" (Causalidade)

Para ter certeza absoluta, eles fizeram um teste de "cirurgia" no cérebro do modelo.

• Eles pegaram um modelo que estava resolvendo um problema (digamos, "A = 1 + B") e estavam no meio da explicação.
• Eles trocaram a "memória" do modelo no meio da explicação pela memória de um modelo que estava resolvendo um problema diferente (digamos, "A = 1 + C").
• O que aconteceu? A resposta final mudou! O modelo passou a dar a resposta do segundo problema.

Isso prova que a explicação que o modelo está escrevendo não é apenas um texto decorativo. Ela é a causa da resposta final. Se você mudar a explicação, você muda a resposta. Isso significa que a explicação é fiel (confiável) ao processo de pensamento.

4. A Analogia da "Escada"

Imagine que resolver o problema é subir uma escada.

• O modelo não está voando do chão até o topo.
• Ele está pisando no primeiro degrau, depois no segundo, e só quando ele pisa no último degrau é que ele chega ao topo.
• O estudo mostrou que o modelo não consegue "pular" para o topo antes de subir os degraus. Ele precisa construir a escada (a explicação) para poder subir nela.

Conclusão Simples

Este estudo é muito bom para quem usa Inteligência Artificial. Ele nos diz que, quando um modelo de IA nos dá uma explicação passo a passo para um problema de lógica ou matemática, ele realmente está pensando assim.

Não é um truque de mágica onde a resposta já estava escondida e a explicação foi inventada depois. A explicação é o próprio processo de descoberta. Portanto, podemos confiar um pouco mais nessas explicações para entender como a máquina chegou àquela conclusão.

Resumo em uma frase: A IA não está apenas "contando uma história" para justificar uma resposta que já sabia; ela está realmente "escrevendo a história" para descobrir a resposta.

Resumo técnico

Resumo Técnico: LLMs Computam Respostas de Forma Fiel e Iterativa Durante o CoT

1. O Problema

A pesquisa aborda uma questão fundamental na interpretabilidade de Grandes Modelos de Linguagem (LLMs): a fidelidade das explicações de "Cadeia de Pensamento" (Chain-of-Thought ou CoT) em relação à resposta final do modelo.

• A Dúvida: Existe a suspeita de que os modelos podem determinar a resposta final internamente assim que leem o problema (antes de gerar o CoT) e, subsequentemente, gerar uma explicação fluente apenas para seguir o formato esperado, sem que a explicação seja a causa real da resposta.
• A Questão Central: Quando o modelo realmente deriva a resposta (ou sub-respostas)? A explicação CoT é uma reflexão fiel do processo de cálculo interno ou é apenas uma racionalização post hoc?

2. Metodologia

Os autores utilizaram uma abordagem combinada de sondagem linear (linear probing) e intervenção causal (activation patching) em um ambiente controlado de raciocínio aritmético.

• Dataset Sintético: Criaram um conjunto de dados de problemas aritméticos de múltiplos passos (multi-hop), variando em complexidade (nível 1 a 5). As tarefas envolvem equações encadeadas (ex: A = 1 + B, B = 2 + 3, A = ?) com diferentes níveis de dependência, pilhas de variáveis pendentes e equações distratoras.
• Sondagem Linear (Linear Probing):
  • Treinaram classificadores lineares simples para prever o valor de variáveis específicas (ex: o valor de B) a partir dos estados ocultos (hidden states) do modelo em cada token e cada camada.
  • Objetivo: Identificar o momento exato (t*) em que a informação sobre a resposta se torna linearmente separável nos estados internos do modelo.
  • Métrica: Compararam a precisão da sondagem antes do CoT (Acc<CoT) e durante/após o CoT (Acc>CoT).
• Intervenção Causal (Activation Patching):
  • Realizaram experimentos de "patching" onde os estados ocultos de uma execução (resolvendo um problema com resposta X) foram substituídos pelos estados de outra execução (resolvendo um problema com resposta Y) em pontos específicos da geração.
  • Objetivo: Verificar se alterar os estados internos durante a geração do CoT altera causalmente a resposta final. Isso testa se a resposta depende dos cálculos realizados durante o CoT ou se foi pré-determinada.

3. Contribuições Principais

1. Mapeamento Temporal da Computação Interna: Demonstraram empiricamente que, para tarefas que exigem raciocínio passo a passo, os modelos não possuem a resposta final nos estados ocultos no momento em que leem a entrada (antes do CoT).
2. Fidelidade do CoT: Provaram que a geração da cadeia de pensamento não é apenas uma justificação post hoc, mas sim o momento em que o modelo efetivamente realiza os cálculos. A resposta é derivada "on-the-fly" (em tempo real) enquanto o modelo gera os tokens do CoT.
3. Viés de Recência (Recency Bias): Identificaram que a resposta final depende causalmente fortemente das etapas mais recentes do CoT e dos estados ocultos imediatamente anteriores à geração da resposta, em vez de depender do estado inicial do prompt.
4. Generalidade: Os resultados foram consistentes em múltiplos modelos (Qwen2.5, Llama 3, Yi, Mistral) e em diferentes níveis de dificuldade, sugerindo um mecanismo interno sistemático.

4. Resultados Chave

• Timing da Resposta (Probing):

  • Em todos os níveis de complexidade (exceto casos triviais onde não há cálculo), a precisão da sondagem para extrair a resposta (Acc>CoT) foi alta (próxima de 100%) apenas durante ou após a geração do CoT.
  • A precisão antes do CoT (Acc<CoT) permaneceu baixa (geralmente abaixo de 50% ou próxima do acaso), indicando que a resposta não estava "pronta" na memória do modelo ao receber o prompt.
  • Para variáveis que não eram necessárias para a resposta final (distratores), o modelo não as codificava de forma linearmente separável, sugerindo um mecanismo interno eficiente que ignora informações irrelevantes.

• Intervenção Causal:

  • Quando os estados ocultos correspondentes à parte do CoT foram substituídos por estados de um problema diferente, a resposta final do modelo mudou para a resposta do problema de substituição (alta taxa de sucesso na intervenção).
  • Quando os estados ocultos da parte de Entrada (INPUT) foram substituídos, a resposta final não mudou significativamente.
  • Isso confirma que a resposta final é causalmente dependente do processamento realizado durante a geração do CoT, e não de uma determinação prévia.

• Análise de Erros:

  • Em casos onde o modelo gerou uma resposta incorreta, a sondagem mostrou que a resposta correta muitas vezes apareceu nos estados ocultos em etapas anteriores da geração, mas foi perdida ou sobrescrita na geração subsequente, indicando que o erro ocorre durante o processo de geração, não por falta de informação inicial.

5. Significado e Implicações

• Validação da Interpretabilidade: O estudo oferece evidências robustas de que, em tarefas de raciocínio complexo, o texto de CoT gerado pelos LLMs é uma representação fiel e não apenas uma racionalização. Isso aumenta a confiança na utilidade do CoT para depuração e compreensão do comportamento do modelo.
• Mecanismo de Raciocínio: Sugere que os LLMs operam de forma iterativa, calculando sub-respostas e mantendo o estado necessário nos tokens gerados anteriormente (efeito de "memória externa" via texto), em vez de manter todo o estado de raciocínio apenas nos parâmetros internos antes da geração.
• Dependência de Recência: A descoberta do "viés de recência" implica que o modelo depende mais das informações processadas imediatamente antes da decisão final do que do contexto inicial, o que tem implicações para o design de prompts e a estruturação de tarefas de raciocínio.
• Limitações e Futuro: Embora os resultados sejam fortes em tarefas aritméticas sintéticas, os autores reconhecem a necessidade de validar se esse padrão se mantém em tarefas de raciocínio natural mais complexas e abertas, onde a estrutura pode ser menos rígida.

Em suma, o artigo conclui que, em cenários controlados de raciocínio passo a passo, os LLMs realmente "pensam" enquanto escrevem, e a cadeia de pensamento é o local onde a computação da resposta ocorre, tornando-a uma ferramenta fiel para entender o processo de decisão do modelo.