🤖 machine learning

RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

RecurrentGPT introduce un'architettura transformer a profondità ricorrente che itera un singolo strato centrale condiviso con modulazione a gate, ottenendo un'accuratezza e un'efficienza di memoria superiori rispetto ai transformer profondi standard attraverso un efficace scambio tra numero di parametri e riutilizzo adattivo della profondità.

Autori originali: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Pubblicato 2026-08-18

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'intelligenza artificiale moderna ha raggiunto un punto in cui rendere i modelli più intelligenti spesso significa renderli più pesanti. Per comprendere una frase o scrivere una storia, questi sistemi si affidano a vaste reti di connessioni matematiche, note come parametri. Nelle progettazioni standard, ogni fase del processo di pensiero utilizza un set unico di queste connessioni. Questo approccio funziona bene, ma crea un onere pesante: per aggiungere profondità al ragionamento, gli ingegneri devono aggiungere più memoria, il che diventa rapidamente costoso e difficile da gestire sull'hardware fisico. Esiste una crescente tensione tra il desiderio di un pensiero profondo e complesso e i limiti fisici della memoria del computer.

Per decenni, gli scienziati hanno saputo che ripetere lo stesso processo semplice più e più volte può risolvere problemi incredibilmente complessi. Questa idea, radicata nel lavoro fondamentale di Alan Turing, suggerisce che un sistema non abbia bisogno di una vasta biblioteca di strumenti unici per pensare; può raggiungere l'intelligenza applicando ripetutamente un singolo strumento raffinato. Sebbene i moderni modelli linguistici si siano ampiamente allontanati da questo stile ripetitivo a favore dell'accumulo di molti strati differenti, un nuovo approccio cerca di riportare la potenza della ripetizione, non rallentando il sistema, ma rendendo la ripetizione più intelligente. L'obiettivo è creare un modello che possa "pensare" più profondamente senza dover memorizzare più parti uniche.

Ricercatori della German University in Cairo, della Technical University of Munich e di Cerebras Systems hanno sviluppato una nuova architettura chiamata RecurrentGPT per risolvere questo problema. Invece di costruire una lunga catena di strati unici, hanno progettato un sistema con un piccolo set fisso di strati che vengono riutilizzati più volte. Immaginate una catena di montaggio in una fabbrica dove un singolo lavoratore altamente specializzato svolge un compito, poi passa il prodotto a se stesso per raffinarlo, e poi lo passa di nuovo a se stesso. In questo nuovo sistema, il "lavoratore" è un blocco condiviso del cervello del modello. Elabora l'input, poi prende il proprio output e lo elabora di nuovo, e ancora, per un numero prestabilito di volte. Ciò consente al modello di svolgere il lavoro di un sistema molto più grande pur memorizzando solo una frazione delle parti uniche.

Tuttavia, semplicemente ripetere lo stesso processo crea un nuovo problema: se il lavoratore fa esattamente la stessa cosa ogni volta, il prodotto non cambia davvero. I ricercatori hanno scoperto che senza un meccanismo per variare il processo, i passaggi ripetuti collasserebbero in una singola, inutile trasformazione. Per risolvere questo problema, hanno introdotto un gate dinamico — un meccanismo decisionale appreso che controlla quanta della nuova informazione sostituisce la vecchia. Questo gate osserva lo stato attuale del modello, l'input originale e una piccola quantità di rumore casuale per decidere esattamente cosa mantenere e cosa aggiornare ad ogni singolo passaggio. Ciò assicura che, anche se gli stessi pesi vengono utilizzati ripetutamente, il modello si comporti diversamente a ogni turno, permettendogli di specializzare il suo pensiero man mano che procede in profondità.

I risultati di questo approccio sono sorprendenti. Quando testato sotto rigidi vincoli in cui la quantità totale di potenza di calcolo utilizzata per l'addestramento e l'esecuzione del modello era mantenuta uguale a quella dei modelli standard più grandi, il nuovo sistema ha performato altrettanto bene. In un test specifico, un modello con solo tre strati di pesi unici, ripetuti dieci volte, ha eguagliato l'accuratezza di un modello standard a dodici strati. Ciò significa che il nuovo design ha raggiunto la stessa qualità utilizzando il 64 percento in meno di parametri unici. Quando i ricercatori hanno permesso al modello di utilizzare più potenza di calcolo durante il processo di pensiero, mantenendo invariato il numero di parti memorizzate, il sistema ripetuto ha effettivamente superato quello standard, dimostrando che la profondità e la ripetizione possono essere un modo potente per migliorare l'intelligenza senza gonfiare i costi di memoria.

Il sistema ha anche scoperto da solo un effetto collaterale utile. Poiché il modello è stato addestrato per essere in grado di fermarsi in qualsiasi punto del suo ciclo di ripetizione, ha imparato a produrre risposte di alta qualità anche se si ferma in anticipo. Ciò consente al sistema di agire come un cursore per la velocità rispetto alla qualità: può fornire una risposta rapida e approssimativa in una frazione del tempo, oppure dedicare più cicli per raffinare quella risposta in qualcosa di più preciso, il tutto partendo dallo stesso singolo modello addestrato. Questa flessibilità è rara negli attuali sistemi, che di solito richiedono modelli separati per velocità differenti.

In termini pratici, ciò significa che un dispositivo con memoria limitata potrebbe eseguire un modello linguistico molto più capace di quanto possa attualmente fare. I ricercatori hanno misurato che la loro versione su larga scala richiedeva il 59 percento in meno di memoria di picco durante la generazione rispetto a un modello standard di capacità simile. Sebbene il tempo necessario per generare testo sia aumentato leggermente a causa dei passaggi ripetuti, il compromesso è significativo per gli ambienti in cui la memoria è il collo di bottiglia. Lo studio suggerisce che il futuro di un'intelligenza artificiale efficiente potrebbe non risiedere nel costruire cervelli più grandi e pesanti, ma nell'insegnare a cervelli più piccoli come pensare più profondamente, rivisitando i propri pensieri.

Sintesi Tecnica: RecurrentGPT

Definizione del Problema

La scalabilità dei modelli linguistici transformer crea una tensione fondamentale tra espressività ed efficienza della memoria. Le architetture standard accoppiano rigidamente profondità e parametri; ogni strato aggiuntivo introduce un insieme unico di pesi, creando un collo di bottiglia della memoria che limita la profondità effettiva sotto budget hardware fissi. Al contrario, le strategie di condivisione dei pesi standard (ad esempio, condividere tutti gli strati attraverso la profondità) impongono trasformazioni uniformi su rappresentazioni in evoluzione. Questo approccio statico provoca il collasso della diversità funzionale che rende preziosa la profondità, poiché lo stato nascosto dopo la prima ricorrenza differisce fondamentalmente dallo stato dopo l'ottava, eppure entrambi sono costretti attraverso la stessa trasformazione statica.

Il paper sostiene che il potere di un sistema di ragionamento risiede non nella larghezza dei parametri, ma nella profondità dell'iterazione (citando Turing [2] e i moderni paradigmi di calcolo al tempo di test [3–5]). La sfida è ottenere una profonda iterazione di raffinamento delle rappresentazioni di input senza il costo di memoria di pesi unici per ogni strato, evitando al contempo il collasso rappresentazionale causato dalla semplice condivisione dei pesi.

Metodologia: Architettura RecurrentGPT

Gli autori propongono RecurrentGPT, un transformer a profondità ricorrente che scollega la profondità del modello dal conteggio dei parametri iterando un nucleo condiviso e racchiudendolo con blocchi di preludio e coda fissi.

1. Layout dell'Architettura

Il modello segue una configurazione $n_{pre} + n_{rec} \times R + n_{coda}$ :

Preludio ( $n_{pre}$ blocchi): Applicato una sola volta per generare un segnale di condizionamento stabile e consapevole del contesto ( $h^{(pre)}$ ) dall'input.
Nucleo Condiviso ( $n_{rec}$ blocchi): Un set di blocchi transformer applicati ricorrentemente $R$ volte. A differenza della normale condivisione dei pesi, questo nucleo non è applicato uniformemente; è modulato ad ogni passo.
Coda ( $n_{coda}$ blocchi): Elabora lo stato finale raffinato per produrre i logit.

Il conteggio totale dei parametri unici scala come $\Theta((n_{pre} + n_{rec} + n_{coda}) \cdot d^2)$ , indipendente dal conteggio della ricorrenza $R$ .

2. Gating Adattivo e Proiezione Ricorrente

Per prevenire il collasso rappresentazionale e consentire a un singolo tensore di pesi di comportarsi come più strati specializzati, RecurrentGPT introduce un gate appreso per elemento e una proiezione ricorrente.

Ad ogni passo di ricorrenza $r$ :

Preparazione dell'Input: Lo stato nascosto precedente $h^{(r-1)}$ viene proiettato insieme al prelude fisso $h^{(pre)}$ e al rumore stocastico iniettato $\epsilon_x$ .
$\tilde{h}^{(r)} = W_{proj} [h^{(r-1)} + \epsilon_x, h^{(pre)}]$
Trasformazione Condivisa: I blocchi condivisi ( $B_{shared}$ ) elaborano questo input per produrre una proposta $o^{(r)}$ .
$o^{(r)} = B_{shared}(\tilde{h}^{(r)})$
Gating Elementwise: Un gate appreso $g^{(r)}$ determina quanto della proposta sostituisce lo stato corrente. Il gate è condizionato sullo stato corrente normalizzato, sul prelude normalizzato e sul rumore iniettato $\epsilon_g$ .
$g^{(r)} = \sigma(f_{gate}([LN(h^{(r-1)}), LN(h^{(pre)})]/\tau + \epsilon_g))$
$h^{(r)} = g^{(r)} \odot h^{(r-1)} + (1 - g^{(r)}) \odot o^{(r)}$

Scelte di Design Chiave:

Inizializzazione: Il bias del gate è inizializzato a $+4$ , risultando in $g^{(r)} \approx 0.98$ all'inizio dell'addestramento. Ciò assicura che lo stream residuo passi quasi invariato inizialmente, permettendo al modello di imparare gradualmente quali elementi sovrascrivere.
Rumore: Il rumore additivo ( $\epsilon_x$ ) e il rumore del gate ( $\epsilon_g$ ) prevengono pattern di corrispondenza esatta fragili e il collasso del gate.
Campionamento della Profondità: Durante l'addestramento, la profondità di ricorrenza $r$ viene campionata uniformemente da $\{1, \dots, R\}$ . Questo addestra implicitamente ogni punto di uscita, abilitando l'uscita anticipata emergente (early exit) durante l'inferenza senza loss ausiliarie.

Contributi Chiave

Architettura: RecurrentGPT utilizza il gating per elemento e perturbazioni stocastiche per prevenire il collasso rappresentazionale, permettendo a un nucleo condiviso di comportarsi in modo distinto attraverso i passi di ricorrenza.
Valutazione Unificata: Il modello è valutato sia sotto regimi isoFLOPS (pareggiando il calcolo, riducendo i parametri) che isoPARAMS (pareggiando i parametri, aumentando il calcolo).
- isoFLOPS: RecurrentGPT supera Mixture-of-Recursions (MoR) e il campionamento della profondità a coda lunga in tutte le nove celle di scala-per-budget. Su piccola scala, eguaglia il baseline denso GPT-2 Small utilizzando il 64% in meno di parametri. Su scala media e grande, si avvicina alla qualità densa man mano che il budget di token cresce.
- isoPARAMS: Una ricorrenza più profonda produce guadagni costanti nella loss di validazione (ad esempio, 2.76 vs 2.84 per un contrapposto non ricorrente a parità di parametri).
Uscita Anticipata Emergente: Senza loss ausiliarie, il modello supporta naturalmente l'uscita anticipata durante l'inferenza, mantenendo circa il 92% della sua accuratezza eseguendo solo la metà dei suoi passi di ricorrenza.

Risultati Sperimentali

Performance: Sotto vincoli isoFLOPS, un RecurrentGPT a 3 strati eguaglia l'accuratezza di un baseline GPT-2 Small a 12 strati. Su scala media (equivalente a 24 strati), raggiunge una loss di validazione di 2.89 rispetto alla 2.84 del baseline denso, pur utilizzando solo 124M di parametri contro 354M.
Efficienza: Sotto isoFLOPS, il modello memorizza solo il 36–37% dei parametri unici del baseline denso.
Task Downstream: Su benchmark su larga scala, la variante isoPARAMS supera il baseline denso in 8 task su 9, con un miglioramento medio di +2.10 punti. La variante isoFLOPS eguaglia la performance media del baseline denso (42.08 vs 42.05) con solo il 37% dei parametri.
Latenza e Memoria: Sotto torch.compile, RecurrentGPT-Large incurre in un aumento della latenza di generazione di solo il 10% riducendo la memoria GPU di picco del 59% e i parametri del 63%.
Approfondimenti Meccanicistici: L'analisi rivela una strategia di calcolo in due fasi:
- Primi Passi (Prevalenza di Scrittura): Il gate è più aperto e il modello esegue una rapida ristrutturazione, risolvendo circa il 77% della riduzione della loss nei primi due passi.
- Passi Tardivi (Prevalenza di Copia): Il gate si stringe e il modello esegue correzioni mirate.
- Routing dei Token: Il modello alloca implicitamente più calcolo ai token difficili (quelli con alta loss iniziale) senza segnali di routing espliciti.

Significato e Rivendicazioni

Il paper afferma che l'uso adattivo della profondità è una strategia fondata per scambiare parametri con qualità. Condizionando la ricorrenza sullo stato nascosto corrente, sul prelude fisso e sul rumore, il modello ottiene diversità funzionale senza pesi unici.

Gli autori sottolineano che RecurrentGPT risolve la tensione tra efficienza della memoria ed espressività permettendo a un singolo tensore di pesi di comportarsi come molteplici strati specializzati. I risultati dimostrano che:

Efficienza dei Parametri: Si possono ottenere riduzioni significative dei parametri (fino al 63%) con un overhead di latenza minimo.
Tradeoff Calcolo-Qualità: L'architettura consente un tradeoff continuo tra velocità di inferenza e qualità tramite l'uscita anticipata, con un singolo checkpoint che serve molteplici punti operativi.
Leggi di Scaling: L'approccio migliora le leggi di scaling per la loss rispetto al numero di parametri e la loss rispetto ai FLOP di addestramento, mostrando guadagni costanti su piccola, media e grande scala.

Il paper conclude che, sebbene l'attuale implementazione utilizzi una profondità di ricorrenza fissa durante l'inferenza, il meccanismo di gating appreso fornisce una base robusta per il lavoro futuro sul halting (arresto) dinamico per-token e sulla distillazione della conoscenza.