🤖 AI

How Chain-of-Thought Works? Tracing Information Flow from Decoding, Projection, and Activation

Este artigo investiga os mecanismos internos do prompting de Cadeia de Pensamento, traçando o fluxo de informações através das fases de decodificação, projeção e ativação, revelando que ele funciona como um podador do espaço de decodificação guiado por modelos de resposta e modula o engajamento dos neurônios de forma diferente dependendo de a tarefa ser de domínio aberto ou fechado.

Autores originais: Hao Yang, Qinghua Zhao, Lei Li, Lingyi Meng, Mengda Yu

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hao Yang, Qinghua Zhao, Lei Li, Lingyi Meng, Mengda Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante, mas às vezes disperso (o modelo de IA). Quando você faz a ele uma pergunta difícil, ele pode pular direto para uma resposta e errar porque não pensou bem. Mas se você pedir para ele "mostrar o raciocínio" passo a passo (Cadeia de Pensamento, ou CoT), ele de repente se torna muito mais inteligente.

Este artigo é como uma história de detetive onde os autores espreitam dentro do cérebro do aluno para ver como esse truque de "mostre seu raciocínio" realmente muda seu processo de pensamento. Eles não olharam apenas para a nota final; rastrearam o fluxo de informações desde o momento em que a pergunta foi lida até o momento em que a resposta foi escrita.

Aqui está o que eles descobriram, explicado através de analogias simples:

1. O Efeito "Modelo" (Decodificação)

A Analogia: Imagine que o aluno está tentando escrever uma história. Sem um guia, ele pode se desviar do tema. Mas se você der a ele um esboço específico (um modelo), ele se mantém na trama.
A Descoberta: Os autores descobriram que o CoT funciona em parte porque o modelo começa a imitar a estrutura do prompt. Não é necessariamente aprender lógica profunda; é aprender a seguir um padrão.

Se o prompt diz: "Primeiro, faça isto. Depois, faça aquilo", o modelo copia essas palavras de conexão (como "portanto", "depois", "então").
A Principal Insight: Quanto mais a resposta do modelo segue essa "estrutura de modelo", melhor é sua pontuação. É como se o modelo estivesse usando o modelo como uma barreira de proteção para manter seus pensamentos de não se desviarem de um abismo.

2. O Efeito "Lanterna" (Projeção)

A Analogia: Imagine que o modelo está em um quarto escuro cheio de milhares de portas (palavras possíveis).

Sem CoT: O modelo acende uma lanterna fraca e ampla. Ele vê muitas portas como possibilidades, então não tem certeza de qual escolher. Isso é "alta incerteza".
Com CoT: O modelo liga um ponteiro laser brilhante e focado. As etapas do CoT atuam como um guia, estreitando o feixe para que apenas algumas portas específicas pareçam abertas.
A Descoberta: Quando o modelo usa CoT, ele se torna muito mais confiante. A "probabilidade" da próxima palavra correta torna-se muito maior, e o "ruído" (confusão sobre outras palavras) diminui significativamente. O modelo não está adivinhando tanto; está se comprometendo com um caminho.

3. O Efeito "Interruptor de Luz" (Ativação)

A Analogia: Pense no cérebro do modelo como uma cidade massiva com milhões de interruptores de luz (neurônios).

Tarefas de Domínio Aberto (O Modo "Exploração"): Para perguntas abertas (como "Resolva este problema de matemática onde a resposta pode ser qualquer coisa"), o CoT atua como um Poda. Ele desliga muitas luzes, concentrando a energia da cidade em apenas algumas ruas específicas. Isso torna o cérebro mais eficiente e focado.
Tarefas de Domínio Fechado (O Modo "Busca"): Para perguntas com um conjunto fixo de respostas (como um teste de múltipla escolha), o CoT atua como um Amplificador. Ele na verdade acende mais luzes. Parece que ele faz o modelo trabalhar mais para comparar todas as opções possíveis (A, B, C, D, E) para encontrar a correta.

O Quadro Geral

O artigo conclui que a Cadeia de Pensamento não é mágica. Ela funciona fazendo três coisas específicas:

Estreitando o caminho: Ela força o modelo a seguir um modelo estrutural, impedindo-o de se perder.
Aumentando a confiança: Ela reduz a confusão do modelo, tornando-o seguro de seu próximo passo.
Ajustando o cérebro: Ela muda quantos "neurônios" (células cerebrais) se acendem, dependendo se a tarefa é de domínio aberto (focar menos) ou de múltipla escolha (focar mais).

Em resumo, o CoT é como dar à IA um mapa e uma lanterna. Não necessariamente torna a IA "mais inteligente" no sentido humano, mas organiza sua maquinaria interna para que ela possa navegar pelo problema de forma muito mais eficaz.

Resumo Técnico: Como Funciona o Chain-of-Thought? Rastreando o Fluxo de Informação a partir da Decodificação, Projeção e Ativação

Declaração do Problema

Embora o prompting Chain-of-Thought (CoT) aprimore significativamente as capacidades de raciocínio dos Modelos de Linguagem de Grande Escala (LLMs) em tarefas aritméticas, de senso comum e simbólicas, seus mecanismos operacionais internos permanecem pouco compreendidos. Hipóteses anteriores sugerem que o CoT reduz a complexidade da tarefa, imita modelos de resposta ou depende de características do prompt não relacionadas à lógica; contudo, essas alegações carecem de evidências experimentais diretas que liguem estados internos do modelo aos ganhos de desempenho observados. Este trabalho aborda a natureza de "caixa preta" do CoT investigando como ele altera o fluxo de informação dentro da arquitetura computacional do modelo.

Metodologia

Os autores empregam uma abordagem de interpretabilidade mecânica, reengenharia das computações internas do modelo rastreando o fluxo de informação de trás para frente, desde a geração da saída até os estados de ativação internos. O estudo utiliza:

Modelos: Seis modelos pré-treinados variando de 3B a 70B de parâmetros (LLaMA3.1, LLaMA3.2, Gemma2).
Conjuntos de Dados: Nove conjuntos de dados abrangendo três tipos de raciocínio: aritmético (GSM8K, SVAMP, AQuA), senso comum (Bamboogle, StrategyQA, Date, Sports) e simbólico (Coin Flip, Last Letters Concatenation).
Estrutura de Análise: A investigação é estruturada em três fases:
1. Decodificação: Análise do texto gerado quanto à imitação de palavras-chave e adesão a estruturas de raciocínio abstratas.
2. Projeção: Exame das distribuições de probabilidade sobre o vocabulário para medir incerteza e confiança de previsão.
3. Ativação: Quantificação do engajamento de neurônios da Rede Feed-Forward (FFN) para compreender como o CoT modula o processamento interno.

Métricas-chave incluem "Contagem de Imitação" (adesão a uma estrutura de raciocínio definida), estimativas de densidade de kernel de probabilidades de tokens, entropia de logits e a contagem de neurônios ativados por camada.

Principais Contribuições e Resultados

1. CoT como um Podador do Espaço de Decodificação via Adesão Estrutural

O estudo propõe que o CoT funciona restringindo o espaço de decodificação através da imitação de estruturas de raciocínio específicas.

Imitação de Palavras-Chave: Os modelos imitam seletivamente palavras-chave estruturais (por exemplo, "tempo", "ação") do prompt, enquanto extraem palavras-chave específicas do conteúdo (por exemplo, "números") da pergunta de entrada.
Correlação Estrutura-Desempenho: Foi encontrada uma forte correlação positiva ( $r = 0,75$ a $0,92$) entre a adesão do modelo a uma estrutura de raciocínio formalizada (definida como $E_p \xrightarrow{O} E_g + S_l$ ) e a precisão da tarefa. A alta adesão a essa estrutura explica uma parcela significativa da variância do desempenho ( $R^2$ até 0,84), sugerindo que a estrutura do raciocínio, e não a validade lógica de etapas individuais, é o principal motor da eficácia do CoT.

2. Redução da Incerteza Preditiva na Projeção

A análise da fase de projeção revela que o CoT altera fundamentalmente a confiança do modelo.

Distribuições Concentradas: Sequências geradas por CoT exibem distribuições de probabilidade mais altas e mais concentradas em comparação com prompts padrão.
Menor Entropia: Prompts de CoT resultam em entropia significativamente menor nas previsões de tokens, particularmente no ponto de decisão (por exemplo, "a resposta é..."). Isso indica que o CoT estreita o conjunto de próximos tokens plausíveis, reduzindo a ambiguidade e aumentando a convicção do modelo.

3. Modulação Dependente da Tarefa do Engajamento de Neurônios

Uma descoberta nova é o efeito não uniforme do CoT na ativação de neurônios FFN, que varia conforme o tipo de tarefa:

Redução Geral: Em geral, o CoT leva a uma contagem total menor de neurônios ativados em comparação com prompts padrão, sugerindo um regime de processamento mais focado.
Diferenças Específicas por Camada: As mudanças mais pronunciadas ocorrem no último terço das camadas do modelo.
Divergência Domínio Aberto vs. Domínio Fechado:
- Tarefas de Domínio Aberto (por exemplo, GSM8K, Bamboogle): O CoT reduz a ativação de neurônios nas camadas posteriores. Os autores hipotetizam que isso atua como um "podador", permitindo que o modelo engaje seletivamente recursos relevantes enquanto navega em um vasto espaço de soluções.
- Tarefas de Domínio Fechado (por exemplo, Coin Flip, AQuA, Sports): O CoT aumenta a ativação de neurônios nas camadas posteriores. Isso é interpretado como um efeito de "amplificador", onde o modelo avalia exaustivamente recursos associados a opções limitadas e predefinidas.

Significado e Alegações

O artigo afirma fornecer uma nova estrutura de interpretabilidade mecânica para compreender o CoT. Ao rastrear o fluxo de informação da decodificação até a ativação, os autores oferecem insights críticos que vão além de observações superficiais:

Mecanismo de Ação: O sucesso do CoT é atribuído à sua capacidade de guiar os modelos a gerar etapas de raciocínio estruturalmente coerentes, o que restringe o espaço de decodificação e reduz a incerteza preditiva.
Modulação Dinâmica: O CoT não opera de forma uniforme; ele adapta dinamicamente o engajamento neural com base nas demandas da tarefa (poda para domínios abertos, amplificação para domínios fechados).
Implicações Práticas: Essas descobertas oferecem uma base para projetar prompts mais eficientes e robustos, aproveitando a adesão estrutural e compreendendo como diferentes tipos de tarefa interagem com estados internos do modelo.

Os autores mantêm uma postura modesta, reconhecendo que, embora suas descobertas forneçam fortes evidências empíricas e hipóteses mecânicas plausíveis, a opacidade fundamental dos LLMs significa que ligações causais definitivas entre processos internos específicos e comportamentos externos permanecem uma fronteira para pesquisas futuras. Eles enfatizam que seu trabalho contribui para o campo fragmentado, mas em crescimento, da interpretabilidade mecânica.