🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

Questo articolo propone un metodo economico che migliora i modelli linguistici di ragionamento sia in domini verificabili che non verificabili, applicando prima il classico instruction tuning a soluzioni scritte da esseri umani e poi fondendo il modello risultante con il modello di ragionamento originale per recuperare le capacità di ragionamento specifiche del dominio.

Autori originali: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Pubblicato 2026-07-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a uno studente brillante e riflessivo come risolvere un nuovo tipo di puzzle. Questo studente, un "Modello Linguistico di Ragionamento", è un tipo speciale di programma per computer addestrato a mostrare il proprio lavoro. Prima di dare la risposta finale a un problema matematico o a una sfida di programmazione, scrive un lungo processo di pensiero passo dopo passo, come un detective che risolve un mistero. Questa abitudine di "pensare ad alta voce" è ciò che lo rende così bravo in compiti complicati.

Tuttavia, c'è un intoppo. Per insegnare nuove abilità a questo studente, di solito hai bisogno di un modo per controllare istantaneamente se la sua risposta è corretta (come una chiave di risposta matematica) o di un insegnante super intelligente che gli mostri il modo giusto di pensare. Ma cosa succede se vuoi insegnargli qualcosa dove non esiste una chiave di risposta, come scrivere il riassunto di una storia divertente o correggere un bug specifico in un programma informatico che non ha un test? Hai molti esempi di "risposte corrette" scritte da esseri umani, ma nessuno di essi mostra la parte del "pensiero". Se costringi semplicemente lo studente a memorizzare queste risposte senza i passaggi del pensiero, potrebbe ottenere la risposta corretta per quel puzzle specifico, ma potrebbe dimenticare come pensare in generale. Diventa un pappagallo che ripete risposte invece di un detective che risolve problemi.

Questo è il puzzle che i ricercatori dell'ETH di Zurigo hanno affrontato nel loro nuovo articolo. Hanno scoperto un astuto trucco in due fasi per insegnare nuove abilità a questi modelli di "pensiero" senza far loro dimenticare come ragionare. Per prima cosa, lasciano che il modello impari dagli esempi semplici di "solo risposta", proprio come uno studente che studia intensamente per un esame. Questo rende il modello più bravo nel compito specifico, ma inizia a fargli perdere l'abitudine di mostrare il proprio lavoro. Poi, eseguono una "fusione" magica. Prendono questo modello appena addestrato e lo mescolano con il modello originale, quello che pensa in modo intelligente. È come mescolare una tazza di caffè fresco, specifico per il compito, con una tazza dell'espresso forte originale. Regolando attentamente il rapporto della miscela, hanno trovato un "punto di equilibrio" in cui il modello mantiene le sue nuove abilità ma ricorda di nuovo come ragionare sui problemi.

I ricercatori hanno testato questo metodo su quattro diversi modelli intelligenti e due compiti molto diversi: scrivere codice nel linguaggio di programmazione Rust e riassumere lunghi articoli di notizie. Hanno scoperto che il loro metodo funziona a meraviglia. I modelli sono diventati molto più bravi nei compiti specifici (migliorando i punteggi di programmazione fino a 12 punti e i punteggi di riassunto leggermente) pur recuperando quasi completamente la loro capacità di ragionare, che di solito viene distrutta dall'addestramento standard. Ancora meglio, l'intero processo è stato incredibilmente economico e veloce. I ricercatori hanno calcolato che potrebbero adattare un modello per meno di 3 dollari e in meno di un'ora, mentre altri metodi che cercano di risolvere lo stesso problema costano significativamente di più e richiedono più tempo.

In breve, l'articolo suggerisce che non hai bisogno di un sistema di "controllo delle risposte" super costoso o di un insegnante geniale per aggiornare questi modelli di ragionamento. Puoi usare le enormi quantità di dati semplici di "domanda e risposta" che già esistono e, con un po' di miscelazione matematica, puoi dare a questi modelli nuove abilità senza romperne il cervello. È un modo a basso costo e alto rendimento per mantenere i nostri detective IA acuti, anche quando stanno imparando a risolvere misteri che non hanno soluzioni ovvie.

Problema
I Modelli di Linguaggio con Ragionamento (RLM) hanno raggiunto prestazioni allo stato dell'arte in domini con verificatori affidabili, come la matematica e la programmazione, principalmente attraverso il Reinforcement Learning con Ricompense Verificabili (RLVR). Tuttavia, adattare gli RLM ad ambiti privi di verificatori affidabili (ad esempio, la sintesi del testo o la programmazione senza test unitari esaustivi) rimane una sfida. Sebbene esistano grandi quantità di dati di alto livello per il Supervised Instruction Fine-Tuning (SFT) in questi domini, essi consistono tipicamente in coppie input-output prive di tracce di ragionamento. L'applicazione diretta del normale Instruction Fine-Tuning (IFT) agli RLM utilizzando questi dati crea un disallineamento distributivo: il modello viene addestrato a produrre risposte dirette, causando un "collasso" del suo comportamento di ragionamento. Ciò determina la perdita della capacità del modello di generare tracce di ragionamento, il che degrada successivamente le prestazioni sul compito target e porta a un dimenticanza catastrofica delle capacità di ragionamento generali su dataset non utilizzati durante l'addestramento, come MATH500.

Metodologia
Gli autori propongono una pipeline leggera in due fasi per adattare gli RLM utilizzando dati IFT standard preservando il comportamento di ragionamento:

Standard Instruction Fine-Tuning (IFT): Il modello RLM base viene sottoposto a fine-tuning su un dataset specifico per il compito contenente solo coppie input-output (senza tracce di ragionamento). Questo produce un modello ( $M_{IFT}$ ) con un miglioramento dell'accuratezza nel compito, ma con un comportamento di ragionamento compromesso o collassato.
Model Merging (Fusione del Modello): Il modello sottoposto a fine-tuning ( $M_{IFT}$ $M_{I F T}$ ) viene fuso linearmente con l'originale modello di ragionamento non modificato ( $M$ $M$ ). Il modello fuso è definito come $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ , dove $\alpha$ $α$ è il rapporto di fusione.
- Selezione del Rapporto: Il rapporto di fusione ottimale $\alpha$ viene selezionato utilizzando un piccolo dataset di calibrazione ( $D_{cal}$ ) tenuto da parte per il compito target. Il criterio di selezione consiste nel trovare il valore più grande di $\alpha$ tale che il tasso di ragionamento (la frazione di esempi in cui il modello produce una traccia di ragionamento non vuota) su $D_{cal}$ rimanga al di sopra di una soglia minima ( $\rho_{min}$ , impostata a 0,9 negli esperimenti).
- Ottimizzazione: Per ridurre il costo computazionale, il processo di calibrazione valuta solo i primi token della risposta del modello per determinare se il ragionamento venga avviato, invece di generare risposte complete. Viene impiegata una ricerca binaria per trovare efficientemente l' $\alpha$ ottimale.

Contributi Chiave

Identificazione di un Setting di Adattamento Pratico: Il lavoro affronta lo scenario specifico in cui è disponibile solo la supervisione input-output per gli RLM, senza accesso a tracce di ragionamento verificate o a modelli teacher più forti.
Metodo IFT-and-Merge Leggero: Gli autori propongono una procedura semplice che adatta gli RLM a nuovi compiti recuperando il comportamento di ragionamento. Fondamentalmente, questo metodo non richiede un verificatore, un modello di ricompensa o un modello teacher più forte.
Valutazione Esaustiva: Il metodo è valutato su quattro diversi RLM (OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think, e DeepSeek R1 Qwen 7B Distilled) su due compiti target (programmazione in Rust e sintesi del testo) e su un compito di ragionamento matematico non utilizzato (MATH500).

Risultati

Recupero delle Prestazioni: L'IFT standard spesso causa un calo significativo delle prestazioni su MATH500 (ad esempio, OpenThinker 7B è sceso dal 79% al 35,9% su MATH500 dopo l'IFT per la programmazione in Rust) e fa collassare le tracce di ragionamento. La tecnica di fusione proposta recupera la maggior parte o la totalità delle capacità di ragionamento generale perse (punteggi MATH500), mantenendo la maggior parte dei guadagni di prestazione sul compito target ottenuti tramite l'IFT.
Confronto con i Baseline: Il metodo supera o eguaglia baseline competitivi come l'On-Policy Distillation (IFT+OPD) e l'IFT con regolarizzazione della divergenza KL (IFT+KL). In diversi casi, i baseline non sono riusciti a recuperare le prestazioni del compito target o sono stati meno efficaci nel preservare il ragionamento.
Efficacia dei Costi: L'approccio è altamente efficiente. L'intero processo di adattamento (IFT, ricerca e fusione) richiede circa 52 minuti su una singola GPU NVIDIA H200, con un costo inferiore a 3 USD. Questo è significativamente più economico rispetto ai baseline che richiedono l'inferenza di un teacher aggiuntivo o complessi cicli di distillazione.

Significatività
Il documento sostiene che questo metodo fornisà una via economica e accessibile per adattare potenti modelli di ragionamento a domini in cui l'RLVR è impraticabile a causa della mancanza di verificatori. Sfruttando dataset IFT ampiamente disponibili e recuperando il comportamento di ragionamento attraverso una semplice fusione di modelli, la tecnica consente agli RLM di mantenere le loro capacità di ragionamento generale acquisendo al contempo nuove abilità specifiche per il compito. Gli autori osservano che, sebbene il metodo sia efficace per compiti in cui i dati IFT forniscono un segnale sufficiente (come la programmazione e la sintesi), potrebbe non essere sufficiente per domini in cui il processo di ragionamento stesso è il driver principale delle prestazioni (ad esempio, complesse dimostrazioni matematiche), dove la supervisione sulla traccia di ragionamento stessa potrebbe essere ancora necessaria.

Articoli simili