💬 NLP

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning

Este trabalho demonstra teórica e estruturalmente que o treinamento com Cadeia de Pensamento (CoT) aprimora a generalização composicional em modelos de linguagem ao internalizar um circuito de raciocínio em duas etapas, permitindo que o modelo combine habilidades aprendidas para resolver problemas complexos e fora da distribuição, ensinando-o a "como pensar" em vez de apenas "o que pensar".

Autores originais: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Publicado 2026-02-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando uma criança a resolver um quebra-cabeça complexo. Existem duas maneiras de fazer isso:

O jeito antigo (Sem CoT): Você mostra a criança a foto da caixa do quebra-cabeça (a pergunta) e a foto da solução final (a resposta). A criança tenta memorizar qual foto corresponde a qual caixa. Se você der a ela um quebra-cabeça novo, que nunca viu antes, ela provavelmente vai falhar, porque apenas memorizou as caixas antigas, não aprendeu como montar as peças.
O jeito novo (Com CoT - "Cadeia de Pensamento"): Você não mostra apenas a resposta final. Você senta com a criança e diz: "Primeiro, encontre as peças de borda. Depois, procure as peças azuis do céu. Agora, conecte-as". Você ensina o processo passo a passo.

Este artigo de pesquisa, apresentado na conferência ICLR 2026, explica exatamente por que o segundo método (CoT) é tão poderoso para os Inteligências Artificiais (LLMs), usando uma mistura de matemática avançada e uma análise de "como o cérebro" do computador funciona por dentro.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Grande Segredo: "Aprender a Pensar" vs. "Aprender o que Pensar"

A descoberta principal é que o treinamento com CoT não ensina apenas a resposta certa; ele ensina a máquina a pensar.

Sem CoT: A IA tenta adivinhar a resposta final baseada em padrões que viu antes. É como tentar adivinhar o final de um filme apenas vendo o pôster. Se o filme for novo, você não sabe o final.
Com CoT: A IA aprende a decompor um problema grande em "habilidades menores" que ela já conhece. É como aprender a cozinhar. Se você sabe fritar um ovo e sabe cozinhar macarrão, o treinamento CoT ensina você a combinar essas duas habilidades simples para fazer um "macarrão com ovo" (um problema novo e complexo), mesmo que ninguém tenha te ensinado essa receita específica antes.

2. A Teoria: O Mapa do Tesouro (Generalização)

Os autores usaram matemática para provar algo importante sobre como a IA lida com situações novas (chamadas de "fora da distribuição" ou OOD).

O Problema: Imagine que você treinou um robô apenas para andar em pisos de madeira (dados comuns). Se você colocá-lo em um piso de gelo, ele cai.
A Solução CoT: O treinamento CoT ensina o robô a entender a física do andar (equilíbrio, atrito), não apenas a memória do piso de madeira.
A Analogia: É como se o treinamento CoT dividisse o problema em duas partes:
1. O que você já sabe (ID): Resolver problemas que são muito parecidos com o treino.
2. O que é novo (OOD): Combinar as peças que você já sabe usar de uma maneira nova.
  A matemática do artigo mostra que, com CoT, a IA consegue "pular" para a solução correta em cenários novos porque ela está montando o quebra-cabeça peça por peça, em vez de tentar adivinhar a imagem inteira de uma vez.

3. A Estrutura Interna: A Fábrica de Duas Etapas

Os pesquisadores olharam "por dentro" do cérebro da IA (as camadas do modelo) para ver como ela processa a informação. Eles descobriram uma estrutura fascinante:

Sem CoT (A Fábrica Bagunçada): A IA tenta fazer tudo de uma vez. Ela só consegue resolver o problema se tiver visto algo exatamente igual antes. Se o problema for novo, ela se perde. É como tentar montar um móvel complexo sem ler o manual, apenas chutando onde vai cada parafuso.
Com CoT (A Linha de Montagem de Duas Etapas): O treinamento CoT organiza o cérebro da IA como uma linha de montagem eficiente:
- Etapa 1 (Camadas mais rasas): A IA resolve a primeira parte do problema e guarda o resultado intermediário (como encontrar a peça de borda do quebra-cabeça).
- Etapa 2 (Camadas mais profundas): A IA pega esse resultado e usa para resolver a segunda parte.
A Metáfora do Elevador: Imagine que a IA tem vários andares (camadas).
- Sem CoT, ela precisa subir até o 5º andar para encontrar a resposta intermediária, deixando poucos andares para o resto do trabalho.
- Com CoT, ela encontra a resposta intermediária já no 3º andar! Isso deixa os andares 4 e 5 livres para fazerem o trabalho pesado da segunda etapa. Isso torna a IA mais eficiente e capaz de lidar com problemas mais difíceis.

4. Resistência a Erros (O "Ruído")

Uma parte muito legal do estudo foi testar o que acontece se o treinamento tiver erros (como um professor que às vezes erra a conta na lousa).

A Descoberta: Mesmo com erros no treinamento (ruído), a IA que aprendeu com CoT continua funcionando muito bem, desde que os erros não sejam totais.
A Analogia: Se você ensina uma criança a andar de bicicleta e ela cai algumas vezes ou você comete um erro ao explicar como pedalar, ela ainda vai aprender a andar se você tiver mostrado o processo correto a maior parte do tempo. Mas, se você ensinar o processo errado completamente (como "pedale para trás"), ela nunca vai aprender. O CoT é robusto porque ensina a lógica, não apenas a memorização.

Resumo Final

Este artigo diz que o sucesso de modelos como o GPT-4 ou o DeepSeek-R1 não é apenas porque eles leram muita internet. O segredo é que, quando treinamos essas IAs para escreverem seus pensamentos passo a passo (CoT), nós as transformamos de "memorizadores de fatos" em "resolvedores de problemas".

Elas aprendem a combinar habilidades simples para criar soluções complexas. É a diferença entre ter um livro de respostas e ter um manual de instruções de como pensar. E o melhor: isso funciona mesmo quando a IA encontra problemas que ela nunca viu antes, porque ela sabe como montar as peças, não apenas qual peça encaixa em qual buraco.

1. Problema e Motivação

O treinamento de Cadeia de Pensamento (Chain-of-Thought ou CoT) tem avançado significativamente as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, os mecanismos subjacentes de como o treinamento com CoT melhora a generalização, especialmente em cenários fora da distribuição (OOD - Out-of-Distribution), permanecem pouco compreendidos.

A questão central é: O treinamento com CoT melhora a generalização de raciocínio tanto em cenários dentro da distribuição (ID) quanto fora dela (OOD), e quais são os princípios teóricos e estruturais que governam essa capacidade?
Muitos modelos falham em compor habilidades simples aprendidas para resolver problemas complexos novos (o "gap de composicionalidade"), especialmente sem o uso explícito de passos de raciocínio durante o treinamento.

2. Metodologia

Os autores propõem uma abordagem unificada que combina análise teórica baseada na teoria da informação e análise estrutural (mecanística) das redes neurais.

A. Análise Teórica (Generalização e Limites de Erro)

Decomposição do Erro de Generalização: Os autores formalizam o erro de generalização esperado decompondo-o em componentes de Distribuição (ID) e Fora de Distribuição (OOD) usando divergência de Kullback-Leibler (KL).
Modelagem de CoT: Eles tratam o raciocínio como uma sequência de estados $C = (C_1, ..., C_K)$ $C = (C_{1}, ..., C_{K})$ .
- Sem CoT: O modelo aprende apenas $P(Y|X)$ (mapeamento entrada-saída). Para tarefas OOD com novos padrões composicionais, o modelo falha porque não aprendeu a distribuição dos passos intermediários $P(C|X)$ .
- Com CoT: O modelo aprende explicitamente $P(C|X)$ (habilidades simples) e $P(Y|X, C)$ (como combinar essas habilidades). Isso permite que o modelo generalize para tarefas OOD ao compor habilidades aprendidas, desde que a estrutura composicional seja compatível.
Teoremas Principais:
- Teorema 1: Estabelece limites de generalização baseados na divergência de distribuição. Mostra que, sem CoT, o erro em OOD é alto devido a padrões não vistos.
- Teorema 2: Demonstra que, com CoT, o erro de generalização OOD é limitado pela divergência entre os passos de raciocínio aprendidos e os necessários, permitindo desempenho quase perfeito se as habilidades básicas forem dominadas.
Robustez ao Ruído: A análise teórica (Teorema 3) mostra que a introdução de ruído nos dados de treinamento aumenta os limites de erro, mas o treinamento com CoT permanece robusto se o ruído estiver dentro de um limite tolerável.

B. Análise Estrutural (Circuitos Internos)

Técnicas de Interpretabilidade: Utilização de Logit Lens (para projetar estados ocultos no espaço de vocabulário) e Causal Tracing (para identificar a contribuição causal de neurônios/linhas específicas).
Circuito Composicional de Duas Estágios: Os autores identificam que o treinamento com CoT internaliza o raciocínio em um circuito estruturado de duas etapas:
1. Primeira Etapa: Recupera o fato de "primeiro salto" (ex: entidade intermediária) e armazena em camadas mais rasas.
2. Segunda Etapa: Utiliza a entidade intermediária para resolver o "segundo salto".
Comparação ID vs. OOD:
- Com CoT: O resultado intermediário é extraído em camadas mais rasas (ex: índice 3 para ID, índice 5 para OOD), deixando camadas mais profundas disponíveis para o próximo passo de raciocínio.
- Sem CoT: O modelo só desenvolve circuitos de generalização em cenários ID após overtraining (fenômeno de grokking), e falha em OOD. A extração do intermediário ocorre em camadas mais profundas (ex: índice 5), limitando a capacidade de processamento subsequente.

C. Configuração Experimental

Dados Controlados: Geração de fatos atômicos (1-hop) e fatos multi-hop (2-hop) em um grafo de conhecimento sintético.
- ID: Combinações de relações vistas no treino.
- OOD: Combinações de relações nunca vistas juntas no treino.
Ruído: Introdução de erros deliberados nos passos de raciocínio (pular etapas ou resultados incorretos) para testar robustez.
Dados do Mundo Real: Validação em conjuntos de dados matemáticos (GSM8K, MetaMathQA) usando modelos como LLaMA e Qwen com LoRA.

3. Principais Contribuições

Fundamentação Teórica da Generalização Composicional: Provas de que o treinamento com CoT reduz o erro de generalização ao decompor tarefas complexas em sub-tarefas aprendidas, permitindo a transferência para cenários OOD onde os padrões de composição são novos, mas as habilidades básicas são conhecidas.
Descoberta do Circuito de Raciocínio de Duas Estágios: Evidência empírica de que o CoT altera a arquitetura interna do modelo, criando um circuito causal onde o raciocínio é processado sequencialmente em camadas específicas, otimizando o uso da profundidade do modelo.
Análise de Robustez ao Ruído: Demonstração de que o treinamento com CoT é robusto a dados imperfeitos (com ruído nos passos intermediários), desde que o ruído não seja excessivo. Isso é crucial para a viabilidade de treinar modelos com dados gerados automaticamente ou com anotações humanas imperfeitas.
Insight sobre "Como Pensar" vs. "O Que Pensar": O trabalho conclui que o CoT ensina ao modelo como pensar (fomentando o raciocínio composicional) em vez de apenas o que pensar (memorizar respostas), o que é a chave para a robustez.

4. Resultados Chave

Aceleração da Convergência: Modelos treinados com CoT convergem muito mais rápido para alta precisão em tarefas de raciocínio multi-hop (ID e OOD) em comparação com modelos treinados apenas com a resposta final.
Generalização OOD: Enquanto modelos sem CoT falham completamente em generalizar para novas composições de relações (OOD), modelos com CoT atingem precisão próxima de 100% em cenários OOD, desde que as habilidades atômicas (1-hop) tenham sido aprendidas.
Efeito do Ruído:
- Com ruído apenas no segundo passo, o modelo mantém boa generalização se o ruído for baixo ( $\xi < 0.2$ ).
- Ruído em ambos os passos (ou ruído no primeiro passo) degrada severamente a performance, indicando que a precisão do primeiro passo é crítica para a cadeia.
Validação em Dados Reais: Em GSM8K, o ajuste fino com CoT melhorou a precisão de 33% para 74% (LLaMA3.1-8B), enquanto o ajuste sem CoT degradou o desempenho do modelo base. Mesmo com 100% de ruído nas expressões matemáticas dos passos, o modelo com CoT manteve alta precisão (68.83%) comparado a 19.21% sem CoT.

5. Significado e Impacto

Este trabalho oferece uma explicação mecanicista e teórica para o sucesso do treinamento com CoT, indo além da observação empírica.

Para o Design de Modelos: Sugere que a qualidade dos dados de treinamento não deve ser medida apenas pela correção da resposta final, mas pela clareza e decomposição dos passos de raciocínio.
Para a Coleta de Dados: Indica que é aceitável ter algum nível de erro nos dados de treinamento de CoT (o que é comum em dados gerados por IA ou anotações humanas em larga escala), desde que a estrutura lógica seja preservada.
Para Arquiteturas: Revela que o CoT efetivamente aumenta a "profundidade efetiva" do modelo ao permitir a reutilização de pesos em estágios sequenciais, superando limitações de arquiteturas Transformer tradicionais em tarefas de raciocínio paralelo.

Em resumo, o artigo demonstra que o CoT não é apenas uma ferramenta de prompt, mas um mecanismo de treinamento fundamental que internaliza a lógica composicional, permitindo que os LLMs generalizem de forma robusta para problemas novos e complexos.