🤖 AI

Form Follows Function: Recursive Stem Model

Il modello RSM introduce un approccio di ragionamento ricorsivo che, disaccoppiando la storia degli stati nascosti durante l'addestramento e applicando la perdita solo al passo finale, supera i limiti computazionali e di stabilità dei modelli precedenti, consentendo un addestramento 20 volte più veloce, un'accuratezza significativamente superiore e una scalabilità a test-time illimitata per risolvere problemi complessi come Sudoku e labirinti.

Autori originali: Navid Hakimi

Pubblicato 2026-03-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Navid Hakimi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover risolvere un puzzle molto difficile, come un Sudoku gigante o un labirinto complesso.

Il Problema: Come pensano le Intelligenze Artificiali?

Fino a poco tempo fa, le intelligenze artificiali (come i chatbot) cercavano di risolvere questi puzzle in un unico colpo solo. Era come se un umano guardasse un Sudoku e provasse a scrivere la soluzione completa senza mai sbagliare o ripensarci. Se faceva un errore all'inizio, tutto il resto era sbagliato.

Alcuni ricercatori hanno provato a farle "pensare passo dopo passo" (come se scrivessero una bozza), ma questo richiedeva un computer potentissimo e molto tempo per imparare. Inoltre, spesso l'AI diventava "avidà": cercava di fare la mossa giusta subito, senza considerare il quadro generale.

La Soluzione: Il "Modello Stelo Ricorsivo" (RSM)

L'autore, Navid Hakimi, ha creato un nuovo metodo chiamato RSM. Ecco come funziona, usando delle metafore quotidiane:

1. L'Artista e il Critico (I due stati mentali)

Immagina che l'AI abbia due "cervelli" che lavorano insieme:

Lo Stelo Rapido ( $z_L$ ): È come un artista che schizza velocemente idee su un foglio. È veloce, caotico, prova mille combinazioni diverse e non si preoccupa se sono perfette. È il momento del "pensiero libero".
Lo Stelo Lento ( $z_H$ ): È come un critico d'arte o un architetto che osserva gli schizzi. Prende le idee caotiche dello Stelo Rapido, le organizza, le stabilizza e le scrive sul "foglio finale".

Il modello fa un giro continuo: lo Stelo Rapido prova qualcosa $\rightarrow$ lo Stelo Lento lo fissa $\rightarrow$ lo Stelo Rapido prova di nuovo basandosi su quello che ha visto $\rightarrow$ lo Stelo Lento aggiorna il foglio.

2. La Regola d'Oro: "Non guardare indietro" (Training Detached)

Qui sta il trucco geniale. Quando un bambino impara a camminare, se cade, i genitori non gli dicono: "Hai sbagliato il passo numero 3, quindi tutto il cammino è sbagliato". Gli dicono solo: "Alla fine, sei arrivato alla porta?".

Il modello RSM impara esattamente così:

Durante l'allenamento, il computer fa migliaia di tentativi (passi di pensiero).
Ma non guarda cosa è successo nei primi 999 passi. Li cancella dalla memoria (li "stacca").
Guarda solo l'ultimo passo. Se alla fine il puzzle è risolto, l'AI riceve un premio. Se è sbagliato, viene corretta.

Perché è importante?
Questo insegna al modello a essere robusto. Non impara a memorizzare una sequenza specifica di passi, ma impara una regola di miglioramento. Capisce che "ogni volta che applico questa regola, la situazione diventa un po' migliore", indipendentemente da quanto tempo ci metto.

3. La Magia del Tempo: Allenarsi poco, Pensare tanto

Immagina di allenare un atleta per una maratona.

Metodo vecchio: Lo fai correre per 42 km ogni giorno durante l'allenamento. Si stanca, si infortuna e impiega mesi.
Metodo RSM: Lo alleni a correre per 5 km al giorno (perché è più veloce e sicuro). Ma il giorno della gara (l'uso reale), puoi dirgli: "Corri pure per 100 km se ti serve!".

Grazie al metodo RSM, il modello viene addestrato in un'ora su un computer normale. Ma quando deve risolvere un problema difficile, può "pensare" per 20.000 passi (molto più di quanto ha mai visto in allenamento) senza impazzire. Più tempo gli dai per pensare, meglio risolve il problema.

4. L'Analogia Biologica: Le Cellule Staminali

Il nome "Stelo" (Stem) non è casuale. Immagina un organismo vivente:

Tutte le cellule hanno lo stesso DNA (lo stesso codice del modello).
Ma una cellula nella pelle fa una cosa, una nel cervello ne fa un'altra, a seconda di dove si trova e dei segnali che riceve.

Il modello RSM fa lo stesso: usa lo stesso piccolo cervello (pochi parametri) ripetuto migliaia di volte. Ogni volta che lo usa, è come se fosse una cellula diversa che si adatta al momento attuale del problema. Non serve un cervello gigante; serve un cervello piccolo che sa come evolversi passo dopo passo.

I Risultati: Cosa ha ottenuto?

Velocità: È stato addestrato 20 volte più velocemente dei modelli precedenti simili.
Precisione: Risolve il 97,5% dei Sudoku difficili (quasi perfetto) e l'80% dei labirinti complessi.
Sicurezza: Se il modello continua a cambiare la soluzione dopo molti tentativi, significa che non ha ancora trovato la risposta giusta. È come un segnale di allarme: "Non fermarti, continua a pensare!". Se la soluzione si "stabilizza" e non cambia più, allora è probabile che sia corretta.

In Sintesi

Il Recursive Stem Model è come insegnare a un robot a risolvere problemi non dandogli la risposta giusta subito, ma insegnandogli come migliorare la propria risposta.
Gli dici: "Non preoccuparti di essere perfetto subito. Fai un passo, poi un altro, poi un altro. Se alla fine il puzzle è risolto, hai fatto un buon lavoro".
Grazie a questo approccio, il modello diventa un "pensatore" instancabile che può continuare a riflettere all'infinito per trovare la soluzione perfetta, senza bisogno di essere riaddestrato ogni volta che il problema diventa più difficile.

Titolo: Form Follows Function: Recursive Stem Model (RSM)

Autore: Navid Hakimi
Contesto: Modelli di ragionamento ricorsivo, calcolo al momento dell'inferenza (Test-Time Compute), risoluzione di puzzle complessi.

1. Il Problema

I modelli di ragionamento attuali, come i grandi modelli linguistici (LLM), spesso falliscono in compiti che richiedono pianificazione algoritmica o ragionamento passo-passo (es. Sudoku, labirinti, compiti di tipo ARC). Le strategie esistenti si basano su:

Tracce di ragionamento esplicite (Chain-of-Thought): Aumentano la lunghezza della sequenza ma non cambiano la natura del modello (predizione del prossimo token), rendendoli fragili (un errore iniziale invalida tutto).
Modelli Ricorsivi Esistenti (HRM, TRM): Modelli piccoli e ricorsivi che affinano uno stato latente iterativamente. Tuttavia, soffrono di due limiti principali:
1. Costo di Addestramento: Richiedono supervisione profonda (loss su tutti i passaggi intermedi) o lunghi "unroll" (srotolamenti) per il backpropagation, aumentando drasticamente i costi temporali e di memoria.
2. Comportamento Greedy: La supervisione profonda tende a biasare il modello verso comportamenti intermedi "ottimi" a breve termine, impedendo una convergenza stabile verso la soluzione finale.
3. Scalabilità: Difficoltà a scalare la profondità di inferenza ben oltre quella di addestramento senza degradare le prestazioni.

2. Metodologia: Recursive Stem Model (RSM)

RSM introduce un nuovo paradigma di addestramento per i modelli ricorsivi, mantenendo un'architettura leggera ma cambiando radicalmente il "contratto di addestramento".

A. Architettura a Due Stati Latenti

Il modello mantiene due stati latenti sequenziali che evolvono attraverso cicli annidati:

$z_L$ (Stato Interno/Fast): Uno stato di "calcolo veloce" o "working memory" che esplora ipotesi e trasforma lo stato in modo ad alta entropia.
$z_H$ (Stato Esterno/Slow): Uno stato di "stabilizzazione" o "scratchpad" che accumula struttura e si stabilizza lentamente, agendo come interfaccia verso l'output.
Operatore Condiviso: Un singolo modulo di rete neurale (con pesi condivisi, stile TRM) viene applicato ripetutamente a entrambi gli stati. Può essere basato su Attention (per labirinti) o su MLP Token-Mixing (per Sudoku).

B. Strategia di Addestramento Innovativa

La vera innovazione risiede nel modo in cui i gradienti vengono propagati:

Loss Terminale (Terminal Loss): La funzione di perdita (es. Cross-Entropy) viene calcolata solo sull'ultimo passo di ricorsione ( $H$ ). Non ci sono loss ausiliarie sui passaggi intermedi.
Distacco Completo della Storia (Detached Warm-up): Durante l'addestramento, gli stati latenti dei passaggi iniziali (i cicli di "riscaldamento") vengono distaccati dal grafo computazionale (stopgrad). Questo impedisce il backpropagation attraverso la storia lunga, riducendo i costi di memoria e prevenendo l'overfitting su traiettorie specifiche.
Curriculum di Crescita Indipendente: Le profondità di ricorsione esterna ( $H$ ) e interna ( $L$ ) vengono aumentate gradualmente durante l'addestramento tramite un curriculum, permettendo al modello di imparare stabilmente prima di affrontare compiti più profondi.
Stochastic Depth sulla Transizione Esterna: Per mitigare l'instabilità quando si aumenta la profondità $H$ , viene applicata una regolarizzazione stocastica: con una certa probabilità, il gradiente viene interrotto anche sul penultimo passo esterno ( $H-1$ ), forzando il modello a imparare un operatore di transizione robusto e non dipendente da una specifica profondità temporale.

C. Inferenza e Scalabilità

Test-Time Compute: Poiché il modello impara un operatore di transizione stabile e non una traiettoria fissa, è possibile eseguire l'inferenza con un numero di passi ( $H_{test}$ ) arbitrariamente superiore a quello di addestramento ( $H_{train}$ ).
Criterio di Arresto: Il modello può essere fermato quando lo stato converge a un punto fisso (la soluzione non cambia più tra un'iterazione e l'altra). Questo fornisce un segnale nativo di affidabilità: se il modello non si stabilizza, la soluzione potrebbe non essere valida.

3. Risultati Chiave

RSM ha dimostrato prestazioni superiori rispetto allo stato dell'arte (in particolare rispetto al Tiny Recursive Model - TRM) con costi di addestramento drasticamente ridotti:

Efficienza di Addestramento: Addestramento >20 volte più veloce rispetto a TRM.
Accuratezza: Riduzione dell'errore di circa 5 volte rispetto a TRM.
Performance su Sudoku-Extreme:
- Accuratezza esatta del 97.5%.
- Addestrato in circa 1 ora su una singola GPU A100.
- Il modello è stato addestrato con una profondità massima di ~~20, ma ha funzionato perfettamente con profondità di inferenza molto maggiori (~~20.000 passi).
Performance su Maze-Hard (30x30):
- Accuratezza esatta di circa 80%.
- Addestrato in ~40 minuti.
Scalabilità: Aumentare la profondità di inferenza non degrada l'accuratezza (al contrario di altri modelli ricorsivi), permettendo al modello di "pensare" più a lungo per risolvere istanze difficili.

4. Contributi e Significatività

Ridefinizione del Contratto di Addestramento: RSM dimostra che non è necessario supervisionare ogni passo intermedio per ottenere un ragionamento profondo. Separare l'addestramento (stabile, corto) dall'inferenza (profonda, dinamica) è una strategia vincente.
Analogia Biologica e Termodinamica: Il modello è ispirato a concetti di auto-organizzazione e termodinamica dei sistemi fuori equilibrio. La distinzione tra $z_L$ (alta entropia/esplorazione) e $z_H$ (bassa entropia/stabilizzazione) ricorda i processi di "raffreddamento" (annealing) e la formazione di strutture dissipative in biologia.
Segnale di Affidabilità Nativo: La capacità di rilevare la convergenza a un punto fisso offre un meccanismo intrinseco per rilevare allucinazioni o fallimenti nel ragionamento, specialmente in domini con verificatori (come Sudoku).
Efficienza delle Risorse: RSM rende fattibile l'uso di modelli piccoli (pochi milioni di parametri) per compiti complessi, spostando il carico computazionale dall'addestramento (costoso) all'inferenza (scalabile e on-demand).

Conclusione

Il Recursive Stem Model rappresenta un passo avanti significativo verso modelli di ragionamento "nativi". Sfruttando la ricorsione come meccanismo di calcolo iterativo e adottando una strategia di addestramento basata sulla stabilità dell'operatore piuttosto che sulla correttezza dei passaggi intermedi, RSM supera i colli di bottiglia di memoria e stabilità dei modelli precedenti, offrendo una via praticabile per il "test-time compute" su larga scala.