💬 NLP

Teaching Language Models to Think in Code

Il documento introduce ThinC, un framework che sposta il ragionamento dei modelli linguistici da un'intercalazione di linguaggio naturale e codice a un paradigma incentrato sul codice in cui il codice stesso funge da ragionatore primario, ottenendo prestazioni all'avanguardia su benchmark matematici di livello competitivo attraverso la distillazione di traiettorie di codice e l'impiego di fine-tuning supervisionato seguito da apprendimento per rinforzo.

Autori originali: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Pubblicato 2026-05-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover risolvere un indovinello matematico molto complicato. Hai due modi per farlo:

Il Vecchio Modo (Ragionamento Intercalato): Parli con te stesso in inglese, cercando di capire i passaggi. "Ok, prima devo moltiplicare 500 per 0,12..." Poi, inizi a essere un po' incerto, quindi chiedi a una calcolatrice (lo strumento di codice) di verificare il tuo lavoro. Ma ecco il punto cruciale: se hai commesso un errore nel tuo ragionamento in inglese (ad esempio, dicendo che 500 per 0,12 fa 50 invece di 60), potresti digitare accidentalmente quel numero sbagliato nella calcolatrice. La calcolatrice fa solo ciò che le dici; non sa che hai commesso un errore. Calcola basandosi sul tuo numero errato e ottieni una risposta sbagliata.
Il Nuovo Modo (THINC): Ti prendi un brevissimo momento per pianificare la tua strategia in inglese ("Devo trovare l'area di questa forma"), e poi affidi immediatamente l'intero lavoro a un programmatore robot. Il robot scrive codice, lo esegue, vede il risultato, scrive altro codice basato su quel risultato e continua finché non spunta la risposta. Non fai alcun calcolo a mente o in frasi inglesi; il robot fa tutto il lavoro pesante.

Questo articolo introduce THINC (Pensare in Codice), un nuovo modo per insegnare ai modelli di intelligenza artificiale a risolvere problemi matematici permettendo al codice stesso di essere il pensatore, piuttosto che essere solo uno strumento che l'IA usa per verificare il proprio lavoro.

Il Problema del Vecchio Modo

Gli autori affermano che i modelli di IA attuali che mescolano il ragionamento in inglese con il codice (chiamati Ragionamento Integrato con Strumenti) presentano tre difetti principali, che definiscono "limitazioni strutturali":

Il Verificatore "Post-Hoc": L'IA spesso scrive l'intera soluzione in inglese prima, per poi eseguire il codice solo per dire: "Sì, è corretto". Il codice non sta effettivamente pensando; è solo un timbro di approvazione alla fine.
L'"Errore Silenzioso": Se l'IA commette un errore matematico nei suoi pensieri in inglese (ad esempio, calcolando il 12% di 500 come 50 invece di 60), potrebbe copiare quel numero sbagliato nel codice. Il codice calcola quindi con il numero errato e l'IA non se ne rende mai conto. L'errore è "silenzioso" perché il codice segue semplicemente gli ordini.
Il "Doppio Lavoro": L'IA spesso scrive una lunga spiegazione in inglese su come risolvere il problema, e poi scrive codice che fa esattamente la stessa cosa. È come scrivere una ricetta in inglese e poi scrivere la ricetta esatta in francese, solo per dimostrare che sai cucinare. È ridondante e confuso.

La Soluzione THINC

THINC cambia le regole del gioco. Invece che l'IA parli della matematica, l'IA parla nella matematica (tramite il codice).

Il Piano: L'IA inizia con una singola frase breve in inglese per impostare la strategia (ad esempio, "Itererò sui numeri per trovare la risposta").
Il Lavoro: Dopo quella singola frase, tutto avviene in blocchi di codice. L'IA scrive un pezzo di codice, lo esegue, vede l'output e poi scrive il prossimo pezzo di codice basato su quell'output.
Il Risultato: La risposta finale proviene direttamente dalla calcolatrice del computer (l'interprete), non da un'ipotesi dell'IA in inglese.

Come Hanno Insegnato all'IA

I ricercatori non si sono limitati a dire all'IA di farlo; l'hanno istruita attraverso un processo in tre fasi:

Distillazione (L'Insegnante): Hanno preso un modello di IA molto intelligente e grande e gli hanno chiesto di risolvere problemi matematici usando questo nuovo stile "Prima il Codice". Hanno raccolto 12.200 esempi di queste soluzioni perfette "Prima il Codice".
Affinamento Supervisionato (Lo Studente): Hanno insegnato a due modelli di IA più piccoli (uno con 1,7 miliardi di "cellule cerebrali" e uno con 4 miliardi) a imitare questi esempi. Questo ha insegnato ai modelli l'abitudine di pensare in codice.
Apprendimento per Rinforzo (L'Allenatore): Hanno lasciato che i modelli si esercitassero su migliaia di problemi matematici. Se il modello otteneva la risposta giusta, riceveva una "ricompensa". Se falliva, imparava a provare una strategia di codice diversa. Questo ha reso i modelli molto più intelligenti e affidabili.

I Risultati: Modelli Piccoli, Grandi Vittorie

L'articolo ha testato questi nuovi modelli su concorsi matematici molto difficili, di livello competitivo (come AIME e HMMT).

Sconfiggere i Giganti: Il piccolo modello THINC da 4 miliardi di parametri ha ottenuto una media del 78,1%. Questo è meglio del modello da 1,7 miliardi, meglio di altri modelli "Integrati con Strumenti" e persino meglio di un enorme modello da 235 miliardi di parametri che pensa solo in inglese!
Affidabilità: Nel 99,2% dei casi, la risposta finale è stata estratta direttamente dall'output del codice del computer. L'IA non ha indovinato; ha calcolato.
Riprendersi: Se il codice commetteva un errore e si bloccava (un errore), il modello THINC era sorprendentemente bravo a correggerlo nel blocco di codice successivo senza doverne "parlare" la via d'uscita. Altri modelli che mescolano inglese e codice tendono a crollare quando incontrano un errore di codice.

La Conclusione

L'articolo afferma che, costringendo l'IA a smettere di "parlare" della matematica e iniziare a "fare" la matematica in codice, i modelli diventano più accurati, commettono meno errori di calcolo sciocchi e risolvono problemi difficili in modo più efficiente. È come passare da un umano che cerca di fare una divisione lunga a mente a un umano che sa come programmare una calcolatrice per farlo per lui, passo dopo passo, senza mai commettere un errore di calcolo mentale.

Riepilogo Tecnico: Insegnare ai Modelli Linguistici a Pensare in Codice (THINC)

Enunciato del Problema

Mentre il Ragionamento Integrato con Strumenti (TIR) è diventato un paradigma dominante per la risoluzione di problemi matematici nei Modelli Linguistici su Larga Scala (LLM), l'impostazione "intercalata" prevalente—dove il ragionamento in linguaggio naturale (NL) alterna l'esecuzione del codice—soffre di tre limitazioni strutturali:

Verifica a posteriori: I modelli completano spesso le derivazioni in NL e utilizzano il codice semplicemente per confermare la risposta, rendendo l'interprete un verificatore passivo piuttosto che un ragionatore attivo.
Calcolo NL inaffidabile: I passaggi aritmetici o algebrici intermedi eseguiti in NL sono soggetti a errori. Quando questi valori errati vengono copiati nei blocchi di codice successivi come costanti hard-coded, l'interprete non può rilevare l'errore, portando a una propagazione silenziosa degli errori.
Ruoli mal allocati: NL e codice spesso svolgono compiti sovrapposti. Il NL descrive frequentemente algoritmi passo dopo passo che il codice reimplementa successivamente, non riuscendo a sfruttare le forze distinte di ciascuna modalità (NL per la pianificazione di alto livello, codice per l'esecuzione precisa).

Metodologia

Gli autori propongono THINC (Thinking in Code), un framework di addestramento progettato per spostare il carico principale del ragionamento dal linguaggio naturale all'esecuzione del codice.

1. Il Formato della Traiettoria THINC

A differenza delle traiettorie TIR standard ( $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ), una traiettoria THINC ( $q, t_1, c_1, o_1, c_2, o_2, \dots$ ) impone una separazione strutturale rigorosa:

Singolo Passo di Pianificazione ( $t_1$ ): Il modello genera un unico breve blocco NL all'inizio per definire la strategia di alto livello o la ristrutturazione algebrica del problema. Crucialmente, questo blocco non contiene derivazioni passo-passo o calcoli numerici.
Ragionamento Centrato sul Codice: Tutto il ragionamento successivo si svolge attraverso blocchi di codice ( $c_i$ ) collegati solo dai loro output di esecuzione ( $o_i$ ). Non ci sono blocchi di pensiero NL intermedi tra le esecuzioni del codice.
Interprete come Ragionatore: I blocchi di codice eseguono le derivazioni, le autocorrezioni e le verifiche. La risposta finale è derivata direttamente dall'output dell'interprete.

2. Pipeline di Addestramento

Il framework è realizzato attraverso tre fasi:

Distillazione delle Traiettorie: Un modello insegnante (Qwen3.5-27B) viene sollecitato con esempi few-shot per generare 12.200 traiettorie centrate sul codice. Queste vengono filtrate per garantire correttezza, esecuzione riuscita, un minimo di tre blocchi di codice e che il pensiero di pianificazione costituisca meno del 50% dei token totali.
Fine-Tuning Supervisionato (SFT): I modelli studenti (Qwen3-1.7B e Qwen3-4B-Thinking-2507) vengono affinati sul dataset THINC-SFT distillato. Questo stabilisce il "prior comportamentale centrato sul codice", insegnando al modello ad aderire al formato specifico della traiettoria.
Apprendimento per Rinforzo (RL): Utilizzando l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) con ricompense verificabili (corrispondenza esatta con la verità fondamentale), i modelli vengono ulteriormente raffinati sul dataset DAPO-Math-17k. Il processo RL impiega un curriculum a tre fasi con lunghezze di contesto crescenti (da 16K a 32K) e limiti di chiamate agli strumenti per gestire problemi più difficili.

Contributi Chiave

Framework THINC: Un paradigma di addestramento innovativo che tratta il codice come ragionatore primario piuttosto che come strumento invocato dal NL. Risolve le limitazioni strutturali del TIR intercalato per progettazione.
Dataset THINC-SFT: Un dataset curato di 12,2k traiettorie centrate sul codice che dimostrano il formato di ragionamento desiderato.
Modelli THINC: Due modelli addestrati, THINC-1.7B e THINC-4B, che dimostrano come modelli su piccola scala possano raggiungere capacità di ragionamento di alto livello quando addestrati con questo paradigma specifico.

Risultati Sperimentali

I modelli sono stati valutati su cinque benchmark matematici di livello competitivo: AIME 2024–2026, HMMT 2025 e BeyondAIME.

Prestazioni:
- THINC-4B ha raggiunto una precisione media del 78,1%, superando tutti i baseline TIR (inclusi ASTER-4B, ReTool-32B e rStar2-Agent-14B) e superando il molto più grande Qwen3-235B-A22B-Thinking (75,2%) in quattro dei cinque benchmark.
- THINC-1.7B ha raggiunto una precisione media del 42,8%, un miglioramento di 10,6 punti percentuali rispetto al suo modello base (Qwen3-1.7B) e ha superato significativamente altri baseline TIR su piccola scala.
Efficienza: THINC-4B ha richiesto meno chiamate agli strumenti per traiettoria (6,1 contro 11,1 per ASTER-4B) e ha prodotto risposte più brevi, indicando un'efficienza superiore.
Robustezza: Negli esperimenti che misurano il recupero da fallimenti iniziali nell'esecuzione del codice (Recupero@k), THINC-4B ha mantenuto un tasso di recupero del 64–69% anche dopo tre fallimenti consecutivi del codice. Al contrario, i baseline TIR intercalati si sono degradati drasticamente, con alcuni che sono scesi a un recupero vicino allo 0%.
Ancoraggio al Codice: L'analisi ha rivelato che il 99,2% delle risposte finali di THINC-4B era ancorato all'output dell'interprete, rispetto a tassi significativamente più bassi per i baseline (ad esempio, 88,4% per ReTool, 74,3% per rStar2).

Significato

Il documento afferma che THINC dimostra che il ragionamento centrato sul codice è un paradigma superiore per la risoluzione di problemi matematici rispetto al TIR intercalato. Limitando il linguaggio naturale alla pianificazione di alto livello e forzando tutte le derivazioni in codice eseguibile, il framework elimina la propagazione degli errori aritmetici e garantisce che la risposta finale sia verificata dall'interprete. I risultati suggeriscono che questo cambiamento strutturale permette a modelli più piccoli (4B parametri) di superare ragionatori basati esclusivamente sul linguaggio naturale significativamente più grandi (235B parametri) e agenti integrati con strumenti consolidati, evidenziando l'efficacia del "pensare in codice" rispetto al "pensare con il codice".