💬 NLP

Scale or Reason? A Compute-Equivalent Analysis of Reasoning Distillation

Este artigo demonstra que, sob um orçamento de computação fixo, o ajuste fino de instrução padrão geralmente supera ou iguala a destilação de raciocínio na maioria das escalas de modelos e tarefas, sendo que esta última só se torna vantajosa para modelos grandes em problemas de questões abertas quando combinada com uma mistura de currículo de custo-benefício de 25–50% de dados de raciocínio.

Autores originais: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El Haddad, Céline Hudelot, Pierre Colombo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um jovem aprendiz (um pequeno modelo de IA) a resolver problemas. Você tem uma quantidade limitada de dinheiro (orçamento de computação) para gastar no treinamento dele. Você tem duas maneiras principais de ensiná-lo:

O Método da "Resposta Direta" (IFT): O mestre professor dá ao aprendiz uma pergunta e a resposta correta e concisa. "Quanto é 2+2? É 4."
O Método do "Mostre seu Trabalho" (Destilação de Raciocínio): O mestre professor dá a pergunta, mas também escreve um diário longo e detalhado de seu processo de pensamento antes de dar a resposta. "Ok, vamos ver. 2 mais 2... bem, se eu tenho duas maçãs e adiciono mais duas... eu as conto uma por uma... isso faz quatro. Então a resposta é 4."

A grande questão que este artigo propõe é: Vale a pena gastar todo esse dinheiro extra para ensinar ao aprendiz o método longo de "Mostrar seu Trabalho", ou deveríamos comprar um aprendiz maior e mais inteligente e ensiná-lo o método da "Resposta Direta"?

Aqui está o que os pesquisadores descobriram, dividido em analogias simples:

1. O Problema da "Caminhada Longa"

O método "Mostrar seu Trabalho" é incrivelmente caro. O artigo descobriu que os rastros de raciocínio são 5 a 20 vezes mais longos do que as respostas diretas.

A Analogia: Imagine que você está pagando um taxista por milha.
- Resposta Direta: O motorista pega um atalho e te deixa no destino em 1 milha.
- Raciocínio: O motorista decide dirigir por todos os bairros, explicando a história de cada rua, antes de te deixar no destino. São 20 milhas.
- O Custo: Se você tem um orçamento fixo para gasolina, escolher o táxi do "Raciocínio" significa que você só poderá pagar por um carro minúsculo e lento. Se você escolher o táxi da "Resposta Direta", poderá pagar por uma limusine enorme e poderosa.

2. O Vencedor Surpreendente: A Grande Limusine

Quando os pesquisadores compararam os dois métodos mantendo o "orçamento de gasolina" (computação) exatamente o mesmo, o Método da Resposta Direta (IFT) quase sempre venceu.

A Descoberta: Foi quase sempre mais eficiente treinar um modelo maior usando respostas curtas e diretas do que treinar um modelo menor usando raciocínios longos e detalhados.
A Exceção: O método "Mostrar seu Trabalho" só se tornou o vencedor em duas situações específicas:
1. A Tarefa: A pergunta era aberta (como escrever uma história ou resolver um problema matemático complexo onde não existe apenas uma resposta certa).
2. O Tamanho: O aprendiz já era bastante grande (pelo menos 7 bilhões de "células cerebrais" ou parâmetros).
Os Modelos Pequenos: Para modelos minúsculos, o método "Mostrar seu Trabalho" foi um desastre. Eles ficariam presos em seus próprios pensamentos, escrevendo diários longos e desconexos, cheios de erros. Eles gastavam todo o seu dinheiro dirigindo em círculos, sem nunca chegar à resposta correta.

3. A Solução "Goldilocks" (Equilibrada): Uma Dieta Mista

O artigo descobriu um meio-termo inteligente que economiza dinheiro enquanto mantém os benefícios.

Treinamento Sequencial: Você pode ensinar o aprendiz principalmente com "Respostas Diretas" (75% do tempo) e só mudar para o "Mostrar seu Trabalho" nos últimos 25% do treinamento dele.
- O Resultado: Isso captura quase todos os benefícios do caro método de raciocínio, mas custa uma fração do preço. É como dar ao aprendiz uma dieta padrão, mas adicionar um "suplemento de raciocínio" especial no final para aguçar suas habilidades.
Treinamento Misto: Se você misturar os dois tipos de dados, mas mantiver a parte de "raciocínio" baixa (abaixo de 50%), o modelo fica mais inteligente em matemática e lógica sem aprender a escrever respostas longas e caras.
- O Resultado: Você obtém um modelo mais inteligente que ainda fala de forma concisa. É como ensinar alguém a pensar profundamente, mas forçá-lo a dar respostas curtas e diretas.

4. Por que os Modelos Pequenos Falham no Raciocínio

Os pesquisadores observaram de perto por que os modelos pequenos lutam com o método "Mostrar seu Trabalho".

A Descoberta: Quando um modelo pequeno erra uma resposta, ele tende a escrever uma explicação mais longa do que quando acerta. É como um aluno que não sabe a resposta e continua escrevendo mais e mais frases, esperando tropeçar na resposta certa.
A Consequência: Isso torna os modelos de raciocínio pequenos incrivelmente ineficientes. Eles queimam todo o seu "orçamento de gasolina" escrevendo histórias longas e incorretas. À medida que os modelos ficam maiores, eles melhoram o saber quando parar de falar, tornando o método "Mostrar seu Trabalho" viável apenas para os estudantes maiores e mais capazes.

O Veredito Final

Se você está construindo uma IA e tem um orçamento limitado:

Não assuma automaticamente que o "Raciocínio" (rastros de pensamento longos) é melhor.
Considere treinar um modelo maior com respostas diretas primeiro.
Se você realmente precisa de raciocínio, use uma abordagem híbrida: treine principalmente com respostas diretas e depois adicione uma pequena quantidade de dados de raciocínio no final. Isso oferece o melhor dos dois mundos sem quebrar o banco.

O artigo essencialmente argumenta que não devemos perseguir cegamente a tendência do "pensamento longo"; às vezes, um cérebro maior com uma resposta curta é a escolha mais inteligente e eficiente.

Resumo Técnico: Escalar ou Raciocinar? Uma Análise de Equivalência de Computação de Destilação de Raciocínio

Declaração do Problema

O paradigma predominante para construir modelos de linguagem pequenos (SLMs) capazes envolve a destilação de traços de raciocínio de modelos professores fortes. No entanto, os traços de raciocínio são tipicamente 5 a 20 vezes mais longos que as saídas padrão de Ajuste Fino de Instrução (IFT). Essa disparidade de comprimento implica um overhead de computação significativo: um profissional que escolhe a destilação de raciocínio implicitamente renuncia à opção de treinar um modelo IFT maior com o mesmo orçamento de computação. Enquanto as leis de escala padrão sugerem que alocar computação adicional para a capacidade do modelo é altamente eficiente, o trade-off específico entre "escalar para cima" (modelos IFT maiores) e "escalar o raciocínio" (destilar traços) permanece não abordado. Este artigo investiga se o overhead de computação da destilação de raciocínio é justificado em comparação com a escala do IFT padrão, dado orçamentos fixos de treinamento e inferência.

Metodologia

Para isolar o efeito do formato de supervisão de outras variáveis (como qualidade do professor ou distribuição de prompts), os autores empregam um design experimental controlado:

Pareamento Controlado: Um único modelo professor (Qwen3-235B-A22B) gera saídas pareadas para prompts idênticos: saídas IFT padrão (modo de raciocínio desativado) e saídas de raciocínio (modo de raciocínio ativado). Isso garante que o formato de supervisão seja a única variável independente.
Escalas de Estudante: Modelos Qwen2.5 base são treinados em cinco escalas de parâmetros: 0.5B, 1.5B, 3B, 7B e 14B.
Regimes de Treinamento:
- Corpora: Os experimentos utilizam um corpus de propósito geral (1.3M pares do Infinity-Instruct) e um corpus centrado em matemática (300K pares).
- Estratégias Híbridas: O estudo avalia o treinamento sequencial (IFT seguido por raciocínio) e o treinamento misto (dados de IFT e raciocínio embaralhados) através de proporções de raciocínio ( $\rho$ ) de 0%, 25%, 50%, 75% e 100%.
Avaliação: Os modelos são avaliados em 18 benchmarks abrangendo quatro famílias de tarefas: General-MC, General-OE, Math-MC e Math-OE.
Correspondência de Computação: A análise central compara modelos não apenas pelo número de parâmetros, mas por FLOPs de treinamento e inferência correspondentes. Os autores rastreiam o overhead exato de FLOP causado pelo aumento do comprimento da sequência dos traços de raciocínio.
Robustez: As principais descobertas são replicadas usando um segundo par professor-estudante (Nemotron-Super-49B com Gemma-3) para confirmar que os resultados não são específicos de uma arquitetura.

Principais Descobertas

1. Escalar IFT é Computacionalmente Eficiente por Padrão

Ao comparar modelos com FLOPs de treinamento e inferência correspondentes, os modelos IFT padrão situam-se sobre ou próximo à fronteira de Pareto na maioria das configurações. A destilação de raciocínio apenas se aproxima ou atinge a fronteira de Pareto sob condições específicas:

Formato da Tarefa: Os benefícios do raciocínio são observados primariamente em tarefas de saída aberta (OE). Em tarefas de múltipla escolha (MC), os modelos de raciocínio consistentemente ficam atrás dos modelos IFT em eficiência devido ao alto overhead de gerar traços longos e frequentemente incorretos.
Capacidade do Modelo: A destilação de raciocínio torna-se computacionalmente viável apenas em escalas maiores. Modelos com 7 bilhões de parâmetros ou mais são necessários para que o raciocínio alcance a fronteira de Pareto. Abaixo desse limiar (ex: 0.5B–3B), a ineficiência de modelos pequenos gerando traços longos e correlacionados a falhas torna o raciocínio significativamente mais caro por unidade de precisão ganha.

2. O Papel do Formato de Saída e Capacidade

O artigo identifica que o formato de saída, em vez do domínio do conhecimento, é o principal preditor de eficiência de raciocínio.

O Formato dita o Valor: Tarefas de saída aberta consistentemente se beneficiam da destilação de raciocínio, enquanto tarefas de múltipla escolha não se beneficiam, independentemente do domínio (geral, matemática, direito, código ou física).
Limiar de Capacidade: Para tarefas de saída aberta, modelos de raciocínio com 7B+ parâmetros igualam ou excedem a precisão do IFT enquanto mantêm a eficiência computacional ideal. Abaixo de 7B, a "penalidade de comprimento" é severa; traços de raciocínio incorretos são 1.5–2× mais longos que os corretos, e modelos menores frequentemente produzem esses traços longos e incorretos, degradando a razão precisão-custo.

3. Estratégias de Treinamento Híbrido

O estudo demonstra que comprometer-se totalmente com 100% de dados de raciocínio é desnecessário e frequentemente subótimo.

Treinamento Sequencial: Um currículo misturando apenas 25–50% de dados de raciocínio (seguindo o IFT) captura a maior parte dos benefícios de precisão da destilação de raciocínio total a uma fração do custo de treinamento. Esta estratégia permite que os modelos repousem na fronteira de Pareto para tarefas de saída aberta.
Treinamento Misto: Treinar com uma mistura de dados IFT e de raciocínio (abaixo do limiar de 50%) permite que os modelos melhorem a precisão em tarefas matemáticas enquanto preservam o estilo de saída conciso do IFT padrão. Isso evita o custo de penalidade de inferência associado à geração de raciocínio total. No entanto, uma vez que a proporção de raciocínio excede 50%, os modelos tendem a mudar inteiramente para o estilo de geração de raciocínio, apagando os ganhos de eficiência de inferência.

Significância e Alegações

O artigo fornece uma resposta sistemática à questão da alocação de computação na destilação de raciocínio. Sua principal contribuição é desafiar a suposição de que a destilação de raciocínio é universalmente superior para modelos pequenos.

Reavaliando a Tendência de "Raciocínio": Os autores argumentam que, para a grande maioria das configurações, o IFT padrão é a estratégia computacionalmente mais eficiente. A destilação de raciocínio é justificada apenas quando duas condições são atendidas simultaneamente: a tarefa exige um formato de saída aberta e o modelo possui pelo menos 7 bilhões de parâmetros.
Design de Modelo Consciente de Custo: O trabalho enfatiza que os praticantes devem pesar os ganhos de precisão contra os custos computacionais e ambientais. Sugere que abordagens mais simples (IFT) ou currículos híbridos cuidadosamente desenhados (25–50% de raciocínio) podem frequentemente igualar ou aproximar-se do desempenho de regimes de treinamento de raciocínio total caros.
Orientação Prática: As descobertas oferecem um framework prático para implantação:
- Se o computação de treinamento for a restrição, use mistura sequencial com baixas proporções de raciocínio.
- Se o custo de inferência for a restrição, use treinamento misto abaixo do limiar de 50% para manter saídas concisas.
- A destilação de raciocínio total é recomendada apenas para modelos de grande escala (7B+) lidando com tarefas de saída aberta onde a fronteira de eficiência é alcançada.

Os autores concluem que, embora os modelos de raciocínio aumentem o desempenho bruto, as condições estruturais sob as quais eles são mais eficientes computacionalmente do que o IFT padrão são mais estreitas do que comumente assumido, instando para uma mudança em direção a um desenvolvimento de modelos mais direcionado e alinhado com restrições práticas.