🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

Este artigo propõe um método de baixo custo que aprimora modelos de linguagem de raciocínio tanto em domínios verificáveis quanto não verificáveis, aplicando primeiro o ajuste de instrução clássico a soluções escritas por humanos e, em seguida, fundindo o modelo resultante com o modelo de raciocínio original para recuperar capacidades de raciocínio específicas do domínio.

Autores originais: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Publicado 2026-07-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno brilhante e que pensa demais a resolver um novo tipo de quebra-cabeça. Este aluno, um "Modelo de Linguagem de Raciocínio", é um tipo especial de programa de computador treinado para mostrar o seu trabalho. Antes de dar a resposta final a um problema matemático ou a um desafio de programação, ele escreve um longo processo de pensamento passo a passo, como um detetive resolvendo um mistério. Esse hábito de "pensar em voz alta" é o que o torna tão bom em tarefas complexas.

No entanto, há um porém. Para ensinar novas habilidades a esse aluno, você geralmente precisa de uma maneira de verificar instantaneamente se a resposta dele está correta (como um gabarito de matemática) ou de um professor superinteligente para mostrar a ele a maneira correta de pensar. Mas e se você quiser ensinar algo onde não existe um gabarito, como escrever o resumo de uma história engraçada ou corrigir um erro específico em um programa de computador que não possui um teste? Você tem muitos exemplos das respostas certas escritas por humanos, mas nenhum deles mostra a parte do "pensamento". Se você apenas forçar o aluno a memorizar essas respostas sem os passos de pensamento, ele pode obter a resposta certa para aquele quebra-cabeça específico, mas poderá esquecer como pensar em geral. Ele se torna um papagaio que repete respostas em vez de um detetive que resolve problemas.

Este é o quebra-cabeça que os pesquisadores da ETH Zurich abordaram em seu novo artigo. Eles descobriram um truque inteligente de duas etapas para ensinar essas habilidades de "pensamento" a esses modelos sem fazer com que eles esqueçam como pensar. Primeiro, eles deixam o modelo aprender com os exemplos simples de "apenas resposta", exatamente como um aluno estudando intensamente para uma prova. Isso faz com que o modelo fique melhor na tarefa específica, mas ele começa a perder o hábito de mostrar seu trabalho. Em seguida, eles realizam uma "fusão" mágica. Eles pegam esse modelo recém-treinado e o misturam de volta com o modelo original, que pensa de forma inteligente. É como misturar uma xícara de café fresco e específico para a tarefa com uma xícara do café expresso original e forte. Ao ajustar cuidadosamente a proporção da mistura, eles encontraram um "ponto ideal" onde o modelo mantém suas novas habilidades, mas lembra como raciocinar sobre os problemas novamente.

Os pesquisadores testaram isso em quatro modelos inteligentes diferentes e duas tarefas muito distintas: escrever código na linguagem de programação Rust e resumir artigos de notícias longos. Eles descobriram que seu método funcionou maravilhas. Os modelos tornaram-se muito melhores nas tarefas específicas (melhorando as pontuações de codificação em até 12 pontos e as pontuações de sumarização ligeiramente) enquanto recuperaram quase completamente sua capacidade de raciocínio, que geralmente é destruída pelo treinamento padrão. Melhor ainda, todo esse processo foi incrivelmente barato e rápido. Os pesquisadores calcularam que poderiam adaptar um modelo por menos de US$ 3 e em menos de uma hora, enquanto outros métodos que tentam resolver o mesmo problema custam significativamente mais e levam mais tempo.

Em resumo, o artigo sugere que você não precisa de um sistema de "verificação de respostas" super caro ou de um professor genial para atualizar esses modelos de raciocínio. Você pode usar as enormes quantidades de dados simples de "pergunta e resposta" que já existem e, com um pouco de mistura matemática, pode dar novos conhecimentos a esses modelos sem "quebrar seus cérebios". É uma maneira de baixo custo e alto retorno de manter nossos detetives de IA afiados, mesmo quando estão aprendendo a resolver mistérios que não possuem soluções óbvias.

Problema
Modelos de Linguagem de Raciocínio (RLMs) alcançaram um desempenho de estado da arte em domínios com verificadores confiáveis, como matemática e programação, principalmente através de Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No entanto, adaptar RLMs para domínios que carecem de verificadores confiáveis (ex: sumarização de texto ou programação sem testes de unidade abrangentes) continua sendo um desafio. Embora existam grandes quantidades de dados de ajuste fino supervisionado (SFT) de alta qualidade para esses domínios, eles tipicamente consistem em pares de entrada-saída sem traços de raciocínio. Aplicar diretamente o Ajuste Fino de Instrução (IFT) padrão a RLMs usando esses dados cria um descompasso distributivo: o modelo é treinado para produzir respostas diretas, o que faz com que ele "colapse" seu comportamento de raciocínio. Isso resulta na perda da capacidade do modelo de gerar traços de raciocínio, o que subsequentemente degrada o desempenho na tarefa alvo e leva ao esquecimento catastrófico de capacidades gerais de raciocínio em conjuntos de dados retidos, como o MATH500.

Metodologia
Os autores propõem um pipeline leve de duas etapas para adaptar RLMs usando dados de IFT padrão enquanto preservam o comportamento de raciocínio:

Ajuste Fino de Instrução Padrão (IFT): O RLM base é ajustado finamente em um conjunto de dados específico da tarefa contendo apenas pares de entrada-saída (sem traços de raciocínio). Isso produz um modelo ( $M_{IFT}$ ) com melhor precisão na tarefa, mas com o comportamento de raciocínio comprometido ou colapsado.
Fusão de Modelos (Model Merging): O modelo ajustado ( $M_{IFT}$ $M_{I F T}$ ) é fundido linearmente com o modelo de raciocínio original, não ajustado ( $M$ $M$ ). O modelo fundido é definido como $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ , onde $\alpha$ $α$ é a razão de fusão.
- Seleção da Razão: A razão de fusão ideal $\alpha$ é selecionada usando um pequeno conjunto de dados de calibração retido ( $D_{cal}$ ) para a tarefa alvo. O critério de seleção é encontrar o maior $\alpha$ tal que a taxa de raciocínio (a fração de exemplos onde o modelo produz um traço de raciocínio não vazio) em $D_{cal}$ permaneça acima de um limiar mínimo ( $\rho_{min}$ , definido como 0,9 nos experimentos).
- Otimização: Para reduzir o custo computacional, o processo de calibração avalia apenas os primeiros tokens da resposta do modelo para determinar se o raciocínio foi iniciado, em vez de gerar respostas completas. Uma busca binária é empregada para encontrar eficientemente o $\alpha$ ideal.

Principais Contribuições

Identificação de um Cenário de Adaptação Prático: Este trabalho aborda o cenário específico onde apenas a supervisão de entrada-saída está disponível para RLMs, sem acesso a traços de raciocínio verificados ou modelos professores mais fortes.
Método de IFT-e-Fusão Leve: Os autores propõem um procedimento simples que adapta RLMs a novas tarefas enquanto recupera o comportamento de raciocínio. Crucialmente, este método não requer um verificador, um modelo de recompensa ou um modelo professor mais forte.
Avaliação Abrangente: O método é avaliado em quatro RLMs diversos (OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think e DeepSeek R1 Qwen 7B Distilled) em duas tarefas alvo (programação em Rust e sumarização de texto) e uma tarefa de raciocínio matemático retida (MATH500).

Resultados

Recuperação de Desempenho: O IFT padrão frequentemente causa uma queda significativa no desempenho do MATH500 (ex: o OpenThinker 7B caiu de 79% para 35,9% no MATH500 após o IFT de Rust) e colapsa os traços de raciocínio. A técnica de fusão proposta recupera a maior parte ou a totalidade das capacidades gerais de raciocínio perdidas (escores MATH500) enquanto retém a maior parte dos ganhos de desempenho da tarefa alvo alcançados pelo IFT.
Comparação com Baselines: O método supera ou iguala baselines competitivos, como Destilação On-Policy (IFT+OPD) e IFT com regularização de divergência KL (IFT+KL). Em vários casos, os baselines falharam em recuperar o desempenho da tarefa alvo ou foram menos eficazes em preservar o raciocínio.
Custo-Efetividade: A abordagem é altamente eficiente. Todo o processo de adaptação (IFT, busca e fusão) leva aproximadamente 52 minutos em uma única GPU NVIDIA H200, custando menos de USD $3. Isso é significavelmente mais barato do que os baselines que exigem inferência de professor adicional ou loops de destilação complexos.

Significância
O artigo afirma que este método fornece um caminho econômico e acessível para adaptar poderosos modelos de raciocínio para domínios onde o RLVR é inviável devido à falta de verificadores. Ao alavancar conjuntos de dados de IFT amplamente disponíveis e recuperar o comportamento de raciocínio através de uma simples fusão de modelos, a técnica permite que os RLMs mantenham suas capacidades gerais de raciocínio enquanto adquirem novas habilidades específicas de tarefas. Os autores observam que, embora o método seja eficaz para tarefas onde os dados de IFT fornecem sinal suficiente (como programação e sumarização), ele pode não ser suficiente para domínios onde o próprio processo de raciocínio é o principal motor do desempenho (ex: provas matemáticas complexas), onde a supervisão sobre o próprio traço de raciocínio ainda pode ser necessária.

Mais como este