🤖 AI

Base Models Know How to Reason, Thinking Models Learn When

Questo articolo rivela che, mentre i modelli base possiedono già i meccanismi sottostanti per il ragionamento, i modelli di "pensiero" addestrati con l'Apprendimento per Rinforzo apprendono principalmente le euristiche per orchestrare queste capacità preesistenti, mentre quelli addestrati tramite distillazione SFT acquisiscono meccanismi di ragionamento interamente nuovi.

Autori originali: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Pubblicato 2026-07-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Constantin Venhoff, Iván Arcuschin, Philip Torr, Arthur Conmy, Neel Nanda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda

Immaginate di avere uno studente molto intelligente e colto (il Modello Base) che conosce molti fatti e sa fare matematica di base. Poi, addestrate questo studente per diventare un "Modello di Pensiero" (come i nuovi modelli AI che impiegano tempo extra per risolvere problemi difficili).

Il grande mistero che questo documento cerca di risolvere è: cosa ha imparato esattamente lo studente durante quell'addestramento?

Ha imparato nuovi modi di pensare che non aveva prima?
O ha solo imparato quando usare le capacità di pensiero intelligente che già possedeva?

Il Lavoro da Detective: "Constructive Model Diffing"

Per rispondere a questo, i ricercatori hanno costruito uno speciale "strumento da detective" chiamato Constructive Model Diffing. Pensatelo come prendere a pezzi una macchina complessa per vedere come funziona, per poi provare a ricostruirla usando solo due parti specifiche:

L' "How" (Meccanismi di Ragionamento): Queste sono le abilità effettive, come "fare la divisione lunga", "controllare il proprio lavoro" o "tornare indietro quando si commette un errore". I ricercatori le hanno trovate guardando il cervello del Modello Base e identificando specifici "interruttori" (vettori) che possono costringerlo a fare queste cose.
Il "When" (Euristiche di Ragionamento): Questa è la parte decisionale. È un piccolo manager interno che dice: "Ok, il problema è difficile, ora è il momento di controllare il proprio lavoro" oppure "Siamo bloccati, ora è il momento di tornare indietro".

I ricercatori hanno provato a ricostruire il "Modello di Pensiero" prendendo il Modello Base (che possiede le abilità) e fornendogli il Manager del Modello di Pensiero (che sa quando usare le abilità).

I Due Tipi di Addestramento

Il documento ha esaminato due modi diversi in cui questi Modelli di Pensiero sono stati addestrati:

1. Il Gruppo "Reinforcement Learning" (RL)

Questi modelli sono stati addestrati giocando a un gioco in cui ricevevano punti per la risposta corretta e penalità per quella sbagliata. Dovevano capire la strategia da soli.

Il Risultato: Quando i ricercatori hanno ricostruito questi modelli usando la ricetta "Modello Base + Manager", ha funzionato incredibilmente bene. Hanno recuperato circa il 76% del divario di prestazioni.
L'Analogia: Immaginate un pianista talentuoso che sa già suonare ogni nota perfettamente. L'addestramento RL è stato come assumere un direttore d'orchestra che gli ha insegnato quando suonare velocemente, quando rallentare e quando fare una pausa per dare enfasi. Il pianista non aveva bisogno di imparare nuove note; doveva solo imparare il tempo.
Conclusione: L'RL insegna al modello come orchestrare le capacità di ragionamento che già possiede.

2. Il Gruppo "SFT-Distillation"

Questi modelli sono stati addestrati copiando un modello "insegnante". Gli sono stati mostrati esempi di come un'IA intelligente risolve un problema e gli è stato detto di imitarlo.

Il Risultato: Quando i ricercatori hanno provato a ricostruire questi modelli usando la stessa ricetta "Modello Base + Manager", il tentativo è fallito. Hanno recuperato solo circa l'11% del divario di prestazioni.
L'Analogia: Immaginate uno studente a cui viene insegnato a copiare la calligrafia di un insegnante. Ma l'insegnante sta usando una penna che lo studente non ha mai impugnato prima. Lo studente impara a copiare la forma delle lettere, ma non ha imparato come impugnare la penna o la memoria muscolare necessaria per scrivere. Il "Manager" (il tempo) c'è, ma il "Modello Base" (la mano dello studente) non sa effettivamente compiere quei movimenti specifici che l'insegnante sta facendo.
Conclusione: La distillazione SFT costringe il modello a imparare nuovi meccanismi di ragionamento (nuovi modi di pensare) che il modello base non aveva. Non basta dire al modello base quando farlo; bisogna prima insegnargli come farlo.

Il Momento dell' "Aha!"

Il documento ha trovato una differenza sorprendente:

I Modelli RL sono come uno chef esperto che sa già affettare, saltare in padella e cuocere al forno. L'addestramento ha solo insegnato loro quando usare quale tecnica per preparare un piatto perfetto.
I Modelli di Distillazione sono come uno chef a cui è stato mostrato un video di un maestro chef che prepara un piatto usando una spezia segreta che lo chef non conosceva. Lo studente ha imparato a copiare le azioni di usare la spezia, ma ha dovuto cambiare fondamentalmente il proprio stile di cucina per includere questo nuovo ingrediente.

Perché Questo è Importante?

Il documento conclude che il Reinforcement Learning (RL) è un modo molto efficiente per ottenere il ragionamento da un modello perché sblocca ciò che è già presente. Insegna al modello come essere un miglior direttore della propria orchestra.

Al contrario, la Distillazione (copiare un insegnante) spesso cerca di insegnare al modello abilità completamente nuove. Se l'insegnante usa uno stile di ragionamento che il modello base non possiede naturalmente, il modello base fatica a impararlo solo guardando, portando a un tasso di successo molto più basso quando si prova a "guidarlo" nuovamente al suo stato originale.

Riassunto in una Frase

I modelli base sanno già come ragionare; il Reinforcement Learning insegna loro quando usare quelle abilità, mentre la Distillazione cerca di insegnare loro nuove abilità che il modello base non sapeva di poter fare.

Sintesi Tecnica: I Modelli Base Sanno Come Ragionare, i Modelli di Pensiero Imparano Quando

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato miglioramenti significativi nelle capacità di ragionamento quando vengono addestrati a "pensare" (ad esempio, tramite Chain-of-Thought) prima di rispondere. Tuttavia, una domanda fondamentale rimane: cosa imparano esattamente questi "modelli di pensiero" che i loro controparti base non possiedono? Le ipotesi precedenti suggeriscono che possano acquisire capacità interamente nuove, imparare a strutturare il ragionamento in modo più efficace, riutilizzare rappresentazioni esistenti o semplicemente beneficiare di un aumento del calcolo durante l'inferenza. Questo articolo mira a determinare empiricamente la natura del divario di conoscenza tra i modelli base e le loro versioni "di pensiero" ottimizzate, confrontando specificamente i modelli addestrati tramite Reinforcement Learning (RL) rispetto a quelli addestrati tramite distillazione di Supervised Fine-Tuning (SFT).

Metodologia

Gli autori introducono una metodologia in due parti per analizzare e ricostruire le differenze tra i modelli base e i modelli di pensiero:

1. Scoperta Non Supervisionata di Tassonomie del Ragionamento

Per evitare l'ispezione manuale soggettiva, gli autori utilizzano Sparse Autoencoders (SAE) addestrati su attivazioni a livello di frase estratte da tracce di ragionamento.

Architettura: Utilizzano Top-K SAE con una dimensione del dizionario deliberatamente piccola (5–50 categorie) e una bassa sparsità ( $k=3$ ) per costringere il modello a imparare assi fondamentali di variazione del ragionamento piuttosto che dettagli linguistici incidentali.
Addestramento: Gli SAE sono addestrati su attivazioni medie a livello di frase provenienti da rollout di ragionamento generati da modelli di pensiero su prompt MMLU-Pro.
Interpretazione: Una pipeline di interpretabilità basata su LLM genera titoli e descrizioni leggibili dall'uomo per ogni cluster (meccanismo di ragionamento) basandosi sugli esempi di frasi con la massima attivazione.
Valutazione: Le tassonomie sono valutate in termini di Consistenza (F1 score della classificazione), Completezza (fiducia nell'assegnazione) e Indipendenza (ortogonalità semantica tra le categorie).

2. Differenziazione Costruttiva dei Modelli (Constructive Model Diffing)

Il contributo principale è un framework per ricostruire esplicitamente il divario di prestazioni tra un modello base e un modello di pensiero utilizzando due componenti interpretabili:

Meccanismi di Ragionamento (Il "Cosa"): Vettori di categoria (vettori di steering) ottimizzati all'interno del modello base per indurre specifici comportamenti di ragionamento identificati dalla tassonomia SAE. Questi rappresentano le operazioni cognitive (es. backtracking, aritmetica).
Euristiche di Ragionamento (Il "Quando"): Un classificatore estratto dal modello di pensiero che determina quando attivare un meccanismo specifico. Questo è derivato dalle attivazioni SAE e dai punti di disaccordo tra le predizioni dei token del modello base e del modello di pensiero.

Il Modello Ibrido: Gli autori costruiscono un "modello ibrido" che combina le capacità di generazione del modello base con le euristiche del modello di pensiero e i vettori di categoria ottimizzati del modello base. Se questo ibrido recupera le prestazioni del modello di pensiero, ciò implica che il modello di pensiero ha principalmente imparato le euristiche per orchestrare le capacità base preesistenti. Se fallisce nel recupero delle prestazioni, suggerisce che il modello di pensiero ha appreso nuovi meccanismi non presenti nel modello base.

Contributi Chiave

Tassonomia del Ragionamento Non Supervisionata: Un metodo per scoprire meccanismi di ragionamento interpretabili e comprensibili dall'uomo (es. "Backtracking", "Calcolo Aritmetico", "Auto-prompt Metacognitivi") senza etichettatura manuale, validato su nove diverse configurazioni di modelli.
Framework di Differenziazione Costruttiva dei Modelli: Un approccio innovativo per scomporre la differenza tra base e fine-tuning in "meccanismi" (vettori) ed "euristiche" (classificatori temporali), permettendo una ricostruzione causale del comportamento del modello fine-tuned.
Distinzione Empirica tra Paradigmi di Addestramento: L'applicazione di questo framework rivela una divergenza fondamentale in ciò che apprendono i modelli addestrati con RL rispetto a quelli distillati tramite SFT.

Risultati

Lo studio ha valutato nove coppie di modelli base/pensiero (quattro addestrati con RL, quattro distillati con SFT, uno misto) su GSM8K, MATH500 e un set tenuto separato di Hendrycks-MATH.

Modelli Addestrati con RL (Open-Reasoner-Zero): I modelli ibridi costruiti da coppie addestrate con RL hanno recuperato circa il 76% del divario di prestazioni medio tra base e pensiero. In alcuni casi (es. ORZ-0.5B), il recupero ha superato il 100% del divario.
Modelli Distillati con SFT (DeepSeek-R1-Distill): I modelli ibridi hanno recuperato significativamente meno, con una media dell'11% del divario. Il recupero è stato vicino allo zero per i modelli più piccoli e si è migliorato fino a circa il 15–30% per i modelli più grandi (14B/32B), ma è rimasto ben al di sotto delle prestazioni dell'RL.
Modelli Misti (QwQ-32B): I modelli addestrati con SFT seguito da RL hanno recuperato circa il 20% del divario, comportandosi in modo più simile ai modelli distillati con SFT che ai modelli puramente RL.
Convergenza dei Vettori di Categoria: I vettori di categoria addestrati su coppie RL sono confluiti in una cross-entropy loss significativamente più bassa rispetto a quelli addestrati su coppie SFT, indicando che i modelli RL utilizzano comportamenti di ragionamento che esistono già (o sono facilmente accessibili) nello spazio di attivazione del modello base.
Sparsità dello Steering: Gli ibridi RL di successo richiedevano lo steering di solo il 5–12% dei token, mentre gli ibridi SFT spesso richiedevano tassi di intervento più elevati, pur non riuscendo a recuperare le prestazioni.

Significato e Rivendicazioni

L'articolo sostiene che la differenza nel recupero delle prestazioni derivi dalla natura del paradigma di addestramento:

L'RL Insegna le Euristiche: Il Reinforcement Learning insegna principalmente al modello quando dispiegare i meccanismi di ragionamento che il modello base possiede già. Il modello base "sa come ragionare" e l'RL ottimizza l'orchestrazione di queste capacità preesistenti. Questo spiega perché il diff costruttivo (meccanismi base + euristiche di pensiero) ricostruisce con successo il comportamento del modello RL.
L'SFT Distilla Nuovi Meccanismi: Il Supervised Fine-Tuning (distillazione) spesso forza il modello studente ad adottare comportamenti o meccanismi di ragionamento che il modello base non possiede naturalmente o non può accedere facilmente. Di conseguenza, semplicemente guidare il modello base con le euristiche del modello di pensiero è insufficiente per replicare le prestazioni del modello SFT, poiché i "meccanismi" sottostanti (vettori) sono fondamentalmente diversi o mancanti.
Dipendenza dalla Scala: L'articolo nota che i modelli base più grandi (es. 32B) recuperano più del divario SFT rispetto ai modelli più piccoli, suggerendo che i modelli più grandi contengono intrinsecamente un repertorio più ampio di meccanismi di ragionamento latenti che l'SFT può attivare, mentre i modelli più piccoli ne sono privi.

Limitazioni: Gli autori riconoscono che le loro tassonomie sono attualmente orientate al ragionamento matematico a causa dei dati di addestramento (MMLU-Pro) e che il minor recupero per i modelli SFT potrebbe riflettere limitazioni nella loro ottimizzazione dei vettori di categoria piuttosto che una mancanza fondamentale di meccanismi nel modello base.

Conclusione: Il lavoro fornisce una nuova lente sui paradigmi di addestramento, suggerendo che lo sviluppo di modelli di ragionamento efficienti possa beneficiare maggiormente di approcci basati su RL, che orchestrano le capacità latenti del modello base, piuttosto che di approcci SFT che tentano di installare pattern di ragionamento completamente nuovi.