🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Este artigo revela que, embora os modelos base já possuam os mecanismos subjacentes para o raciocínio, os modelos de "pensamento" treinados com Aprendizado por Reforço aprendem primordialmente as heurísticas para orquestrar essas capacidades pré-existentes, ao passo que aqueles treinados via destilação de SFT adquirem mecanismos de raciocínio inteiramente novos.

Autores originais: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta

Imagine que você tem um aluno muito inteligente e bem instruído (o Modelo Base) que conhece muitos fatos e consegue fazer matemática básica. Então, você treina esse aluno para se tornar um "Modelo de Pensamento" (como os novos modelos de IA que levam tempo extra para resolver problemas difíceis).

O grande mistério que este artigo tenta resolver é: O que exatamente o aluno aprendeu durante esse treinamento?

Eles aprenderam novas formas de pensar que não possuíam antes?
Ou eles apenas aprenderam quando usar as habilidades de pensamento inteligentes que já possuíam?

O Trabalho de Detetive: "Diferenciação Construtiva de Modelos" (Constructive Model Diffing)

Para responder a isso, os pesquisadores construíram uma ferramenta de detetive especial chamada Diferenciação Construtiva de Modelos. Pense nisso como desmontar uma máquina complexa para ver como ela funciona e, depois, tentar reconstruí-la usando apenas duas partes específicas:

O "Como" (Mecanismos de Raciocínio): Estas são as habilidades reais, como "fazer divisão longa", "conferir seu próprio trabalho" ou "voltar atrás quando comete um erro". Os pesquisadores encontraram isso ao olhar para o cérebro do Modelo Base e identificar "interruptores" (vetores) específicos que podem forçá-lo a fazer essas coisas.
O "Quando" (Heurísticas de Raciocínio): Esta é a parte da tomada de decisão. É um pequeno gerente interno que diz: "Ok, o problema é difícil, agora é a hora de conferir seu trabalho" ou "Estamos travados, agora é a hora de voltar atrás".

Os pesquisadores tentaram reconstruir o "Modelo de Pensamento" pegando o Modelo Base (que possui as habilidades) e dando a ele o Gerente do Modelo de Pensamento (que sabe quando usar as habilidades).

Os Dois Tipos de Treinamento

O artigo analisou duas maneiras diferentes pelas quais esses Modelos de Pensamento foram treinados:

1. O Grupo de "Aprendizado por Reforço" (RL - Reinforcement Learning)

Estes modelos foram treinados jogando um jogo onde ganhavam pontos por acertar a resposta e penalidades por errar. Eles tiveram que descobrir a estratégia por conta própria.

O Resultado: Quando os pesquisadores reconstruíram esses modelos usando a receita "Modelo Base + Gerente", funcionou incrivelmente bem. Eles recuperaram cerca de 76% da diferença de desempenho.
A Analogia: Imagine um pianista talentoso que já sabe tocar cada nota perfeitamente. O treinamento por RL foi como contratar um regente que ensinou a ele quando tocar rápido, quando desacelerar e quando fazer uma pausa para efeito. O pianista não precisou aprender novas notas; ele só precisava aprender o tempo.
Conclusão: O RL ensina o modelo a orquestrar as habilidades de raciocínio que ele já possui.

2. O Grupo de "SFT-Distillation" (Destilação por SFT)

Estes modelos foram treinados copiando um modelo "professor". Eles viram exemplos de como uma IA inteligente resolve um problema e foram instruídos a imitar essa resolução.

O Resultado: Quando os pesquisadores tentaram reconstruir esses modelos usando a mesma receita "Modelo Base + Gerente", o processo falhou. Eles recuperaram apenas cerca de 11% da diferença de desempenho.
A Analogia:** Imagine um aluno que é ensinado a copiar a caligrafia de um professor. Mas o professor está usando uma caneta que o aluno nunca segurou antes. O aluno aprende a copiar o formato das letras, mas não aprendeu como segurar a caneta ou a memória muscular necessária para escrever. O "Gerente" (o tempo/ritmo) está lá, mas o "Modelo Base" (a mão do aluno) não sabe realmente como realizar os movimentos específicos que o professor está fazendo.
Conclusão: A destilação por SFT força o modelo a aprender novos mecanismos de raciocínio (novas formas de pensar) que o modelo base não tinha. Você não pode apenas dizer ao modelo base quando fazer essas coisas; você precisa ensinar primeiro como fazê-las.

O Momento "Aha!"

O artigo encontrou uma diferença marcante:

Modelos de RL são como um mestre chef que já sabe picar, refogar e assar. O treinamento apenas ensinou a ele quando usar cada técnica para fazer um prato perfeito.
Modelos de Destilação são como um chef que viu um vídeo de um mestre chef fazendo um prato usando um tempero secreto que o chef desconhecia. O aluno aprendeu a copiar as ações de usar o tempero, mas teve que mudar fundamentalmente seu estilo de cozinha para incluir esse novo ingrediente.

Por Que Isso Importa?

O artigo conclui que o Aprendizado por Reforço (RL) é uma maneira muito eficiente de extrair o raciocínio de um modelo porque desbloqueia o que já está lá. Ele ensina o modelo a ser um melhor regente de sua própria orquestra.

Em contraste, a Destilação (copiar um professor) muitas vezes tenta ensinar habilidades inteiramente novas. Se o professor usa um estilo de raciocínio que o modelo base não possui naturalmente, o modelo base tem dificuldade em aprender apenas observando, o que leva a uma taxa de sucesso muito menor ao tentar "direcioná-lo" de volta ao seu estado original.

Resumo em Uma Sentença

Os modelos base já sabem como raciocinar; o Aprendizado por Reforço ensina quando usar essas habilidades, enquanto a Destilação tenta ensinar novas habilidades que o modelo base não sabia que era capaz de fazer.

Resumo Técnico: Modelos de Base Sabem Como Raciocinar, Modelos de Pensamento Aprendem Quando

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram melhorias significativas em capacidades de raciocínio quando treinados para "pensar" (por exemplo, via Cadeia de Pensamento - Chain-of-Thought) antes de responder. No entanto, uma questão fundamental permanece: O que exatamente esses "modelos de pensamento" aprendem que seus contrapartes de base não possuem? Hipóteses anteriores sugerem que eles podem adquirir capacidades inteiramente novas, aprender a estruturar o raciocínio de forma mais eficaz, reaproveitar representações existentes ou simplesmente se beneficiar de um aumento no cálculo durante a inferência. Este artigo busca determinar empiricamente a natureza da lacuna de conhecimento entre modelos de base e suas versões de "pensamento" ajustadas (fine-tuned), comparando especificamente modelos treinados via Aprendizado por Reforço (RL) versus modelos treinados via destilação de Ajuste Fino Supervisionado (SFT).

Metodologia

Os autores introduzem uma metodologia de duas partes para analisar e reconstruir as diferenças entre modelos de base e modelos de pensamento:

1. Descoberta Não Supervisionada de Taxonomias de Raciocínio

Para evitar inspeções manuais subjetivas, os autores utilizam Autoencoders Esparsos (SAEs) treinados em ativações de nível de sentença extraídas de traços de raciocínio.

Arquitetura: Eles utilizam Top-K SAEs com um tamanho de dicionário deliberadamente pequeno (5–50 categorias) e baixa esparsidade ( $k=3$ ) para forçar o modelo a aprender eixos fundamentais de variação de raciocínio em vez de detalhes linguísticos incidentais.
Treinamento: Os SAEs são treinados em ativações médias de nível de sentença de rollouts de raciocínio gerados por modelos de pensamento em prompts do MMLU-Pro.
Interpretação: Um pipeline de interpretabilidade baseado em LLM gera títulos e descrições legíveis por humanos para cada cluster (mecanismo de raciocínio) com base em sentenças exemplares de alta ativação.
Avaliação: As taxonomias são pontuadas em Consistência (F1 score de classificação), Completude (confiança na atribuição) e Independência (ortogonalidade semântica entre categorias).

2. Diferenciação Construtiva de Modelos (Constructive Model Diffing)

A contribuição central é um framework para reconstruir explicitamente a lacuna de desempenho entre um modelo de base e um modelo de pensamento usando dois componentes interpretáveis:

Mecanismos de Raciocínio (O "O Quê"): Vetores de categoria (vetores de direção/steering vectors) otimizados dentro do modelo de base para induzir comportamentos de raciocínio específicos identificados pela taxonomia do SAE. Estes representam as operações cognitivas (ex: backtracking, computação aritmética).
Heurísticas de Raciocínio (O "Quando"): Um classificador extraído do modelo de pensamento que determina quando ativar um mecanismo específico. Este é derivado das ativações do SAE e dos pontos de discordância entre as previsões de tokens do modelo de base e do modelo de pensamento.

O Modelo Híbrido: Os autores constroem um "modelo híbrido" que combina as capacidades de geração do modelo de base com as heurísticas do modelo de pensamento e os vetores de categoria otimizados do modelo de base. Se este híbrido recuperar o desempenho do modelo de pensamento, isso implica que o modelo de pensamento aprendeu primariamente heurísticas para orquestrar capacidades de base pré-existentes. Se falhar em recuperar o desempenho, sugere que o modelo de pensamento aprendeu novos mecanismos não presentes no modelo de base.

Contribuições Principais

Taxonomia de Raciocínio Não Supervisionada: Um método para descobrir mecanismos de raciocínio interpretáveis e compreensíveis por humanos (ex: "Backtracking", "Computação Aritmética", "Auto-prompts Metacognitivos") sem rotulagem manual, validado em nove configurações de modelos diferentes.
Framework de Diferenciação Construtiva de Modelos: Uma abordagem inovadora para decompor a diferença entre o modelo de base e o ajustado (fine-tuned) em "mecanismos" (vetores) e "heurísticas" (classificadores de tempo), permitindo uma reconstrução causal do comportamento do modelo ajustado.
Distinção Empírica entre Paradigmas de Treinamento: A aplicação deste framework revela uma divergência fundamental no que os modelos treinados por RL e por destilação SFT aprendem.

Resultados

O estudo avaliou nove pares de modelos de base/pensamento (quatro treinados por RL, quatro destilados por SFT, um misto) através de GSM8K, MATH500 e um conjunto de teste Hendrycks-MATH.

Modelos Treinados por RL (Open-Reasoner-Zero): Os modelos híbridos construídos a partir de pares treinados por RL recuperaram aproximadamente 76% da lacuna de desempenho do base-para-pensamento em média. Em alguns casos (ex: ORZ-0.5B), a recuperação excedeu 100% da lacuna.
Modelos Destilados por SFT (DeepSeek-R1-Distill): Os modelos híbridos recuperaram significativamente menos, com média de apenas 11% da lacuna. A recuperação foi próxima de zero para modelos menores e melhorou para cerca de 15–30% para modelos maiores (14B/32B), mas permaneceu muito abaixo do desempenho do RL.
Modelos Mistos (QwQ-32B): Modelos treinados com SFT seguido de RL recuperaram cerca de 20% da lacuna, comportando-se de forma mais semelhante aos modelos destilados por SFT do que aos modelos puramente de RL.
Convergência de Vetores de Categoria: Vetores de categoria treinados em pares de RL convergiram para uma perda de entropia cruzada significativamente menor do que os treinados em pares de SFT, indicando que os modelos de RL utilizam comportamentos de raciocínio que já existem (ou são facilmente acessíveis) no espaço de ativação do modelo de base.
Esparsidade de Direcionamento (Steering Sparsity): Os híbridos de RL bem-sucedidos exigiram o direcionamento de apenas 5–12% dos tokens, enquanto os híbridos de SFT frequentemente exigiram taxas de intervenção mais altas, mas ainda assim falharam em recuperar o desempenho.

Significância e Alegações

O artigo alega que a diferença na recuperação de desempenho decorre da natureza do paradigma de treinamento:

RL Ensina Heurísticas: O Aprendizado por Reforço ensina primariamente o modelo quando implantar mecanismos de raciocínio que o modelo de base já possui. O modelo de base "sabe como raciocinar", e o RL otimiza a orquestração dessas capacidades pré-existentes. É por isso que o diferencial construtivo (mecanismos de base + heurísticas de pensamento) reconstrói com sucesso o comportamento do modelo de RL.
SFT Destila Novos Mecanismos: O Ajuste Fino Supervisionado (destilação) frequentemente força o modelo aluno a adotar comportamentos ou mecanismos de raciocínio que o modelo de base não possui naturalmente ou não consegue acessar facilmente. Consequentemente, apenas direcionar o modelo de base com as heurísticas do modelo de pensamento é insuficiente para replicar o desempenho do modelo SFT, pois os "mecanismos" subjacentes (vetores) são fundamentalmente diferentes ou ausentes.
Dependência de Escala: O artigo observa que modelos de base maiores (ex: 32B) recuperam mais da lacuna de SFT do que modelos menores, sugerindo que modelos maiores contêm inerentemente um repertório mais amplo de mecanismos de raciocínio latentes que o SFT pode ativar, enquanto modelos menores carecem desses mecanismos totalmente.

Limitações: Os autores reconhecem que suas taxonomias são atualmente enviesadas para o raciocínio matemático devido aos dados de treinamento (MMLU-Pro) e que a menor recuperação para modelos SFT pode refletir limitações em sua otimização de vetores de categoria, em vez de uma falta fundamental de mecanismos no modelo de base.

Conclusão: O artigo fornece uma nova lente sobre paradigmas de treinamento, sugerindo que o desenvolvimento eficiente de modelos de raciocínio pode se beneficiar de abordagens baseadas em RL, que orquestram capacidades latentes da base, em vez de abordagens de SFT que tentam instalar novos padrões de raciocínio.