🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

Questo articolo introduce il Trasformatore Ricorrente Latente (LRT), un'architettura leggera che potenzia i modelli autoregressivi riutilizzando stati nascosti di alto livello come memoria ricorrente senza aumentare la profondità di inferenza, e propone una strategia di addestramento parallelo intercalato per scalare efficientemente questo approccio, ottenendo prestazioni migliorate nella modellazione linguistica e nell'apprendimento in contesto con un sovraccarico parametrico minimo.

Autori originali: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a scrivere una storia, una parola alla volta. Nel modo standard di farlo (chiamato "Trasformatore Autoregressivo"), il robot guarda le parole che ha già scritto, ci riflette sopra e poi sceglie la parola successiva. Una volta scelta quella parola, passa immediatamente alla successiva. È come una catena di montaggio: ogni oggetto riceve un rapido passaggio attraverso la macchina e poi è finito.

Il documento introduce una nuova idea chiamata Trasformatore Ricorrente Latente (LRT). Ecco come funziona, utilizzando semplici analogie:

1. Il Problema: L'"Amnesia" della Catena di Montaggio

Nel robot standard, una volta terminato l'elaborazione di una parola, dimentica i pensieri profondi e di alto livello che aveva su quella parola. Mantiene solo una "nota" di base (lo stato nascosto) per aiutare con la parola successiva. Se il robot deve ricordare un'idea complessa da alcune parole prima per comprendere la frase corrente, deve scavare in un mucchio di note di base. È come cercare di ricordare un colpo di scena di un film guardando solo gli scontrini dei biglietti, non le scene vere e proprie.

2. La Soluzione: Il "Quaderno Intelligente" (LRT)

L'LRT fornisce al robot un quaderno intelligente.

Come funziona: Quando il robot termina l'elaborazione della parola n. 1, non butta via semplicemente i suoi pensieri profondi. Invece, scrive un "riassunto di alto livello" di quei pensieri nel suo quaderno.
La Magia:** Quando inizia a lavorare sulla parola n. 2, apre immediatamente quel quaderno e legge il riassunto della parola n. 1. Usa quel riassunto come un "potenziamento della memoria" per aiutare a elaborare la parola n. 2.
Il Risultato: Il robot ottiene una seconda opinione dal suo sé passato senza dover fermare la catena di montaggio o svolgere lavoro aggiuntivo. È come uno chef che, mentre taglia il prossimo vegetale, dà un'occhiata alle note appena scritte sul vegetale precedente per assicurarsi che il profilo aromatico rimanga coerente.

3. Il Trucco: Come Imparare Senza Bloccarsi

Potresti chiederti: "Se il robot deve leggere il quaderno del passato per imparare, non significa che deve aspettare che il passato finisca prima di iniziare il futuro? Questo renderebbe l'addestramento super lento!"

Di solito, sì. Se provi a insegnare a un robot ad imparare passo dopo passo (parola 1, poi parola 2, poi parola 3), perdi la capacità di fare tutto in una volta (parallelismo), il che rende l'addestramento eterno.

Gli autori hanno inventato un astuto trucco di addestramento chiamato Addestramento Interleaved Parallelo. Pensaci come a una gara di staffetta con una svolta:

Passo 1 (Il Riscaldamento): Il robot percorre l'intera gara (l'intera frase) a velocità normale solo per ottenere una bozza grezza delle note.
Passo 2 (La Staffetta): Invece di correre l'intera gara di nuovo, il robot divide la gara in due gruppi di corridori: i corridori "Pari" e i corridori "Dispari".
- Prima, i corridori "Pari" hanno la possibilità di guardare le note dei corridori "Dispari" (che hanno finito il riscaldamento) e migliorare le proprie prestazioni.
- Poi, i corridori "Dispari" guardano le note migliorate dei corridori "Pari" e migliorano le proprie.
Il Beneficio: In questo modo, ogni parola ha la possibilità di imparare dai suoi vicini, ma il computer può ancora svolgere molto lavoro contemporaneamente. È come un gruppo di studenti che studia insieme: non aspettano che una persona finisca l'intero libro; scambiano appunti in piccoli gruppi per imparare più velocemente.

4. I Risultati: Più Intelligente a Minore Costo

Il documento ha testato questo nuovo robot contro il vecchio robot standard.

Efficienza: Il nuovo robot (LRT) ha imparato a scrivere meglio (tassi di errore più bassi) e ha compreso il contesto meglio (migliore capacità di rispondere alle domande) rispetto al vecchio robot, anche quando gli veniva data la stessa quantità di "potenza cerebrale" (tempo di calcolo).
Aggiornamento Minimo: Il nuovo robot aveva solo bisogno di aggiungere una minuscola quantità di memoria extra (circa lo 0,3% in più di dimensione) per ottenere questi grandi miglioramenti. È come aggiungere un piccolo e potente GPS a un'auto invece di comprare un motore completamente nuovo.
Il Punto Dolce: Hanno scoperto che il miglior "quaderno" non era il pensiero più recente del robot (che era troppo focalizzato solo sulla parola successiva), ma un pensiero dalla metà del suo cervello. Era abbastanza di alto livello da essere utile, ma non troppo specializzato.

Riepilogo

Il Trasformatore Ricorrente Latente è un modo per rendere i modelli di intelligenza artificiale più intelligenti permettendo loro di riutilizzare i propri "pensieri di alto livello" dalla parola precedente per aiutare a elaborare la parola successiva. Hanno raggiunto questo obiettivo senza rallentare il processo di addestramento utilizzando un astuto metodo a "gara di staffetta" per insegnare al modello. Il risultato è un modello che impara più velocemente e performa meglio senza bisogno di essere molto più grande.

Riepilogo Tecnico: Transformer Ricorrente Latente (LRT)

Enunciato del Problema

I transformer autoregressivi sono lo standard per la modellazione linguistica, ma si basano su computazioni feedforward a profondità fissa per ogni token generato. Sebbene la ricorrenza possa teoricamente aumentare la capacità computazionale per il raffinamento iterativo, gli approcci esistenti introducono costi significativi nell'inferenza. I metodi che aggiungono ricorrenza in profondità (applicando ripetutamente blocchi allo stesso token) o nel tempo (inserendo token di pausa o di pensiero) aumentano la latenza di inferenza attraverso passaggi di decodifica aggiuntivi o applicazioni di blocchi.

Gli autori osservano che la decodifica autoregressiva calcola già segnali ricorrenti di alto livello "gratuitamente": gli stati nascosti del token precedente. Nello specifico, gli stati degli strati superiori, addestrati per la previsione del token successivo, contengono un contesto latente utile. La domanda di ricerca fondamentale è se queste rappresentazioni di alto livello già calcolate dal token precedente possano essere riutilizzate come memoria ricorrente per il token successivo senza aggiungere passaggi di decodifica extra.

Metodologia

Architettura: Transformer Ricorrente Latente (LRT)

LRT è un potenziamento leggero dei transformer autoregressivi standard che introduce un percorso latente trasversale agli strati e ai token.

Meccanismo: Alla posizione del token $t$ , LRT riutilizza uno stato nascosto di uno strato sorgente dalla posizione precedente, $m_{t-1} = h^{\ell_{src}}_{t-1}$ , come memoria ricorrente. Qui, $\ell_{src}$ è uno strato sorgente selezionato (tipicamente uno strato medio-alto).
Iniezione: La memoria $m_{t-1}$ $m_{t - 1}$ viene iniettata negli strati del transformer del token corrente $t$ $t$ tramite due meccanismi complementari:
1. Proiezione KV: Proietta la memoria negli spazi chiave-valore dell'attenzione ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) e li combina con chiavi/valori locali utilizzando gate dipendenti dall'input. Questo fornisce un percorso diretto per la rappresentazione del token precedente all'interno del meccanismo di attenzione.
2. Iniezione Residua: Aggiunge la memoria direttamente al flusso residuo ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ), esponendo l'intero blocco al segnale ricorrente.
Efficienza nell'Inferenza: Crucialmente, LRT preserva il backbone standard solo-decodificatore, il meccanismo di attenzione e l'interfaccia KV-cache. Non inserisce token di memoria, token di pausa o cicli di profondità. Ogni token generato utilizza esattamente un passaggio forward normale del transformer, con lo stato ricorrente semplicemente aggiornato e passato al passo successivo. La variante predefinita aggiunge solo 0.3% di parametri.

Strategia di Addestramento: Addestramento Interlacciato Parallelo

Una sfida maggiore è l'addestramento preliminare di questa ricorrenza su larga scala. L'addestramento esatto richiederebbe lo svolgimento sequenziale del transformer sull'intera sequenza (Backpropagation Through Time), distruggendo il parallelismo essenziale per l'addestramento preliminare efficiente dei transformer. L'addestramento a blocchi (elaborando blocchi contigui in sequenza) preserva un certo parallelismo ma propaga la memoria solo attraverso i confini dei blocchi, offrendo un'approssimazione grossolana.

Gli autori introducono l'Addestramento Interlacciato Parallelo per approssimare la ricorrenza a livello di token mantenendo il calcolo parallelo:

Passaggio di Inizializzazione: Un singolo passaggio forward sull'intera sequenza costruisce un buffer condiviso contenente chiavi, valori e stati ricorrenti dello strato sorgente per tutte le posizioni.
Passaggi di Rifinitura: Le posizioni della sequenza sono partizionate in $S$ sottoinsiemi disgiunti (ad esempio, partizioni a intervalli). Questi sottoinsiemi sono raffinati in parallelo.
Scrittura Indietro: Gli stati aggiornati da un sottoinsieme vengono scritti nel buffer condiviso. I sottoinsiemi successivi possono consumare la memoria raffinata dai sottoinsiemi precedenti.
Obiettivo: La perdita è la media della perdita di inizializzazione e delle perdite di rifinitura per ciascun sottoinsieme.

Questa strategia garantisce che ogni token riceva un passo di supervisione consapevole della memoria ricorrente. In termini di calcolo, costa circa 2× un aggiornamento standard del transformer (un'inizializzazione + una rifinitura effettiva), ma imita la ricorrenza a livello di token più da vicino rispetto all'addestramento a blocchi.

Contributi Chiave

Architettura LRT: Un'estensione ricorrente leggera che riutilizza stati nascosti di alto livello dello strato sorgente dal token precedente come memoria, abilitando la ricorrenza trasversale agli strati senza passaggi di decodifica aggiuntivi o modifiche architetturali all'interfaccia KV-cache.
Addestramento Interlacciato Parallelo: Un'approssimazione di addestramento parallelo che rifinisce sottoinsiemi disgiunti di token per imitare la ricorrenza a livello di token entro un budget di addestramento fisso, evitando lo svolgimento sequenziale richiesto dall'addestramento standard di tipo RNN.
Validazione Empirica: Dimostrazione che LRT migliora il compromesso calcolo-qualità attraverso varie dimensioni del modello e budget di token-per-parametro, con la variante predefinita a proiezione condivisa che aggiunge un sovraccarico di parametri minimo (0.3%).

Risultati

Gli esperimenti sono stati condotti su backbones GPT in stile nanochat (20L e 24L strati) preaddestrati su FineWeb-Edu.

Comportamento di Scalabilità: Sotto un calcolo di addestramento equivalente alla baseline (tenendo conto del costo 2× dell'addestramento interlacciato), LRT sposta le curve di scalabilità verso Bits Per Byte (BPB) più bassi e CORE più alti (una metrica per l'apprendimento nel contesto su 22 compiti).
Miglioramenti delle Prestazioni:
- Sul backbone 24L a calcolo equivalente alla baseline 80, LRT-shared ha raggiunto 0.695 BPB rispetto a 0.699 della baseline.
- Anche l'apprendimento nel contesto (CORE) è migliorato; sul backbone 20L a calcolo 80, LRT-shared ha raggiunto 0.274 contro 0.271 della baseline.
Risultati delle Ablazioni:
- Strato Sorgente: Uno strato medio-alto (ad esempio, strato 12 in un modello 20L) performa meglio dello strato finale, suggerendo che la memoria utile dovrebbe essere di alto livello ma non eccessivamente specializzata per i logit.
- Sorgente Temporale: Lo stato immediatamente precedente ( $m_{t-1}$ ) è la singola fonte di memoria più forte che preserva il vincolo di un singolo passaggio forward.
- Iniezione: La Proiezione KV e l'Iniezione Residua sono complementari; l'uso di entrambi produce i migliori risultati.
- Addestramento: L'addestramento interlacciato parallelo supera significativamente l'addestramento a blocchi, che fornisce un'approssimazione più grossolana della ricorrenza.

Significato e Affermazioni

Il documento afferma che LRT sposta con successo il compromesso calcolo-qualità per i transformer autoregressivi. Riutilizzando segnali di alto livello "gratuiti" dal token precedente e addestrandoli tramite un'approssimazione parallela, LRT abilita il raffinamento iterativo e un migliore utilizzo del contesto senza le penalità di latenza di inferenza dei metodi a ricorrenza in profondità o a token di pausa.

Gli autori sottolineano che LRT è un potenziamento leggero che preserva l'interfaccia standard del transformer. I guadagni sono attribuiti al meccanismo di memoria ricorrente stesso piuttosto che semplicemente all'aggiunta di parametri o gate extra, poiché aggiunte architetturali generiche (come attenzione gateata o scalatura degli strati) sulla stessa baseline forte hanno prodotto miglioramenti trascurabili. Il lavoro suggerisce che la memoria ricorrente utile dovrebbe essere di alto livello ma non lo strato finale specializzato per i logit, e che la ricorrenza a livello di token può essere efficacemente approssimata in parallelo durante l'addestramento preliminare.