💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Questo articolo propone una ricetta offline per l'espansione progressiva della larghezza dei Transformer che combina un operatore di integrazione a piccolo residuo (SRIO) in forma chiusa con politiche di espansione specifiche per blocco e un gate di riscaldamento scalare per migliorare significativamente la perdita di addestramento e preservare i comportamenti appresi durante la crescita del modello.

Autori originali: Ramasubramanian B

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ramasubramanian B

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come scrivere storie. Inizi con un robottino che ha un cervello molto piccolo. Impara le basi velocemente, ma è troppo semplice per scrivere un capolavoro. Per migliorarlo, potresti semplicemente buttare via il robottino e costruirne uno gigante da zero, ma questo richiede una eternità e costa una fortuna in elettricità. In alternativa, potresti provare a far "crescere" il cervello del piccolo robot, aggiungendo nuovi neuroni per renderlo più largo e intelligente. Questo è chiamato espansione del modello.

La parte complicata nel far crescere un cervello è che le nuove parti non sanno come parlare con le vecchie parti. Se bulloni semplicemente una nuova sezione, il vecchio cervello potrebbe ignorarla, o il nuovo cervello potrebbe accidentalmente sconvolgere i ricordi che il vecchio ha faticato tanto a costruire. È come aggiungere un'ala a una casa senza collegare il corridoio; la nuova stanza c'è, ma nessuno può entrarci, o peggio, l'intera casa inizia a tremare. Gli scienziati hanno cercato di capire la "colla" perfetta per connettere queste vecchie e nuove parti del cervello in modo che il robot mantenga le sue vecchie abilità mentre ne impara di nuove. Questo articolo riguarda la ricerca di quella colla perfetta.

La Ricetta per Potenziare il Cervello: Un Nuovo Modo per Far Crescere l'IA

L'autore di questo articolo, Ramasubramanian B di Tech-Aarvam, ha ideato una ricetta intelligente per far crescere i modelli di IA (i cervelli dei robot) offline. Invece di lasciare che l'IA impari come crescere mentre è in funzione, hanno svolto il lavoro pesante in anticipo, come uno chef che prepara gli ingredienti prima dell'arrivo degli ospiti. Il loro obiettivo è prendere un modello più piccolo ed espanderlo in larghezza senza perdere nulla dei progressi che ha già compiuto.

Pensa al modello di IA come a una squadra di lavoratori che si passano un secchio d'acqua in fila. La "larghezza" del modello è quanti lavoratori ci sono in quella fila. Quando aggiungi più persone alla fila, devi assicurarti che i nuovi lavoratori sappiano esattamente come tenere il secchio e passarlo senza versare una singola goccia. L'articolo suggerisce che il modo migliore per farlo è con tre ingredienti specifici: un trucco di rotazione speciale, regole di crescita diverse per compiti diversi e un dolce "riscaldamento" per i nuovi lavoratori.

1. La Rotazione Magica: SRIO

La star dello spettacolo è qualcosa chiamato SRIO (Small Residual Integration Operator). Immagina che la vecchia parte del cervello e la nuova parte del cervello parlino due lingue diverse. Quando aggiungi nuovi neuroni, essi parlano un dialetto leggermente diverso. Se colleghi semplicemente il nuovo pezzo, i vecchi neuroni potrebbero non capire i nuovi, e i nuovi potrebbero confondersi con i vecchi.

SRIO agisce come un traduttore che esegue una "rotazione" o un "giro" preciso sui dati. Non cambia l'informazione in sé, ma ruota la direzione dei nuovi dati in modo che si allinei perfettamente con i vecchi dati. Nello specifico, ruota la direzione "media" dei nuovi neuroni verso quelli vecchi. Questo fa sì che i vecchi pesi (i ricordi del cervello) leggano gli input nuovi con molta più forza. L'autore ha scoperto che questa rotazione è una soluzione matematica a forma chiusa, il che significa che è una formula fissa che possono calcolare istantaneamente, piuttosto che qualcosa che l'IA deve imparare lentamente. È come avere una mappa pre-confezionata che dice esattamente come girare la nuova stanza in modo che si colleghi al vecchio corridoio.

2. Regole Diverse per Lavori Diversi

L'articolo ha scoperto che non puoi trattare ogni parte del cervello allo stesso modo. L'IA ha due tipi principali di lavoratori: i lavoratori dell'Attenzione (che decidono a cosa prestare attenzione) e i lavoratori FFN (che elaborano l'informzione).

Per i lavoratori dell'Attenzione: l'autore ha utilizzato un' "espansione convessa". Immagina di prendere i lavoratori esistenti e crearne di nuovi mescolando le loro abilità, come mescolare due colori di vernice per ottenere una nuova tonalità. Questo crea nuovi lavoratori che sono una miscela fluida di quelli vecchi.
Per i lavoratori FFN: hanno utilizzato una "copia a piastrelle" (tiled copy). Questo è come prendere un singolo lavoratore e fotocopiarlo per riempire lo spazio nuovo. Poiché questi lavoratori gestiscono caratteristiche specifiche, copiarli direttamente funziona meglio che mescolarli.

L'articolo mostra che mescolare queste due strategie — miscelare per l'attenzione e copiare per l'elaborazione — funziona molto meglio che usare un solo metodo per tutto.

3. Il Dolce Riscaldamento

Anche con la rotazione perfetta e la giusta espansione, i nuovi lavoratori potrebbero essere troppo impetuosi e iniziare a urlare sopra i vecchi. Per risolvere questo, l'autore ha aggiunto un gate di riscaldamento scalare (scalar warmup gate). Immagina che sia una manopola del volume. Quando i nuovi lavoratori si uniscono, il loro volume è portato completamente a zero. Durante un breve periodo (circa 40 milioni di parole di addestramento), il volume viene alzato lentamente. Questo permette al vecchio cervello di continuare a fare il suo lavoro mentre il nuovo cervello impara lentamente come contribuire senza causare il caos.

Cosa Hanno Scoperto

L'autore ha testato questa ricetta facendo crescere un modello da una larghezza di 256 a 384. Ha confrontato il loro metodo con altri due approcci: non fare nulla di speciale (aggiungere solo nuove parti casuali) e utilizzare un metodo diverso chiamato LiGO (che cerca di imparare le regole di crescita durante l'esecuzione).

I risultati sono stati chiari:

L'approccio "Non fare nulla" ha prodotto una perdita di addestramento (training loss) di 4.2527.
L'approccio LiGO (re-implementato nel loro codice) ha prodotto una perdita di 4.2606.
La loro ricetta completa (SRIO + espansione specifica + riscaldamento) ha ottenuto una perdita di 4.2111.

Nel mondo dell'addestramento dell'IA, un numero di "perdita" più basso significa che il modello commette meno errori. Quindi, il loro metodo è stato il vincitore netto, superando gli altri con un margine evidente. Hanno anche dimostrato che questo funziona anche quando il modello viene fatto crescere più volte, portandolo da 24 milioni di parametri fino a 120 milioni di parametri, provando che è una ricetta che può essere utilizzata ripetutamente.

Cosa Hanno Escluso

L'articolo ha anche testato diverse altre idee per vedere se funzionavano. Hanno provato diverse dimensioni dell'operatore di rotazione (versioni Medium e Large) e hanno scoperto che la versione "Small" (SRIO) era altrettanto buona, se non migliore, e molto più semplice. Hanno anche testato se l'IA dovesse imparare le regole di rotazione durante l'addestramento (una modalità "di apprendimento") rispetto all'uso della loro formula matematica fissa (una modalità "statica"). Hanno scoperto che la formula statica, pre-calcolata, funzionava bene quanto quella che l'IA cercava di imparare, il che significa che non è necessario sprecare tempo nell'insegnare all'IA come crescere; puoi semplicemente darle le istruzioni.

Perché È Importante

La bellezza di questo metodo è che è offline. La matematica complessa e le rotazioni avvengono prima che il modello inizi ad addestrarsi di nuovo. Una volta che il modello è cresciuto, i trucchi speciali di rotazione sono "ripiegati" nei pesi del modello e scompaiono. Ciò significa che l'IA non ha bisogno di alcuna potenza di calcolo extra per funzionare; è solo una versione leggermente più grande e intelligente del modello originale che ha imparato più velocemente e con meno costi.

In breve, l'autore ha trovato un modo per aggiungere nuove stanze a una casa senza abbattere le pareti o confondere gli abitanti. Usando una precisa rotazione matematica, mescolando le giuste strategie di espansione e alzando lentamente il volume, hanno dimostato che è possibile far crescere i modelli di IA in modo efficiente, risparmiando tempo ed energia pur mantenendo intatta l'intelligenza del modello.

Sintesi Tecnica: Rotazione nello Spazio Residuo a Forma Chiusa per la Crescita della Larghezza di Transformer Offline

Definizione del Problema

L'addestramento progressivo dei modelli mira a ridurre i costi computazionali e il tempo di esecuzione (wall-clock time) partendo da un modello più piccolo e ampliandolo a una dimensione desiderata attraverso più stadi. Tuttavia, l'espansione della larghezza presenta una sfida critica: bilanciare la preservazione dei comportamenti precedentemente appresi con l'efficacia di apprendimento dei nuovi parametri. Se l'interazione tra i vecchi e i nuovi sottospazi è troppo limitata, i pesi pre-addestrati contribuiscono poco ai nuovi input; se vengono mescolati senza controllo, l'espansione può interrompere la funzione appresa. I metodi esistenti si concentrano principalmente su trasformazioni che preservano la funzione o su operatori di crescita appresi, trascurando spesso l'interazione geometrica specifica tra le direzioni "tutte-uno" (media) dei vecchi e dei nuovi sottospazi.

Metodologia

L'autore propone una ricetta di crescita offline composta da tre componenti primarie progettate per gestire la transizione da una larghezza minore ( $d_{old}$ ) a una maggiore ( $d_{new}$ ).

1. Operatore di Integrazione Residua Piccolo (SRIO)

L'innovazione principale è una rotazione ortogonale offline a forma chiusa applicata ai confini residui di input e output dei blocchi transformer.

Meccanismo: SRIO opera sul piano bidimensionale spaziato dai vettori unitari "tutti-uno" del vecchio sottospazio ( $u_{old}$ ) e del nuovo sottospazio ( $u_{grow}$ ).
Trasformazione:
- Lato Output: Ruota la componente del vecchio sottospazio lungo $u_{old}$ verso $u_{grow}$ .
- Lato Input: Applica la rotazione inversa, ruotando la componente del nuovo sottospazio lungo $u_{grow}$ verso $u_{old}$ . Ciò migliora la "forza di lettura" dei vecchi pesi per i nuovi input.
Soluzione a Forma Chiusa: L'operatore è definito da una compatta matrice di somma di riga $2 \times 2$ ( $RSIO_{2\times2}$ ) derivata da un singolo iperparametro $\epsilon$ . Questo parametro controlla il guadagno del nuovo blocco in input ( $RT_{new} = \epsilon$ ). Un $\epsilon$ più basso ruota aggressivamente la direzione media del nuovo sottospazio verso il vecchio sottospazio, dando priorità all'uso dei pesi esistenti e limitando l'influenza dei nuovi pesi sia sugli input vecchi che su quelli nuovi.
Trasformazione LayerNorm: La stessa matrice ortogonale ( $SRIO\_R$ ) è applicata ai parametri di scala ( $\gamma$ ) e shift ( $\beta$ ) della LayerNorm per aumentare i rapporti RMS dei gradienti a favore dei nuovi blocchi.

2. Politiche di Espansione Statica Specifiche per Blocco

L'autore ha scoperto che i blocchi di Attenzione e le reti Feed-Forward (FFN) beneficiano di strategie di espansione distinte:

Blocchi di Attenzione: Utilizzano un'espansione convessa (ispirata a LiGO). Nuove colonne di input e righe di output vengono create tramite combinazioni convesse delle colonne e righe esistenti utilizzando coefficienti non negativi la cui somma è pari a uno.
Blocchi FFN: Utilizzano una strategia di copia a piastrelle (tiled-copy). I vecchi pesi vengono duplicati e ritagliati nella porzione "nuovo-nuovo" delle matrici di peso sia per lo strato di up-projection ($fc1$) che per quello di down-projection ($fc2$). Ciò preserva la funzione dei neuroni esistenti pur replicandoli.

3. Gate di Warmup Scalare

Un gate scalare ( $new\_dim\_alpha\_gate$ ) viene applicato all'uscita dei blocchi di attenzione e FFN prima dell'aggiunta residua.

Funzione: Inizia da zero e aumenta gradualmente fino a uno durante un breve periodo iniziale di addestramento (2 shard, circa 40M di token).
Scopo: Favorisce inizialmente la preservazione della funzione sopprimendo i nuovi output, per poi introdurre gradualmente la nuova parte dello stream residuo.

Contributi Chiave e Configurazione Sperimentale

Lo studio valuta questi componenti utilizzando un protocollo di addestramento progressivo sui dataset OpenWebText, FineWeb e FineWeb-Edu. I modelli variano da 24M a 120M di parametri, con una lunghezza di contesto di 256 token. L'addestramento segue un conteggio di token Chinchilla-ottimale (20x il numero di parametri) per ogni stadio.

Varianti Comparative:
Il paper valuta diverse varianti dell'Operatore di Integrazione Residua (RIO):

NRIO: Nessun operatore (baseline).
SRIO: Small RIO (proposto a forma chiusa).
MRIO: Medium RIO (tiene conto di molteplici stadi/età di crescita).
LRIO: Large RIO (full dense, appreso su 100 step, simile a LiGO).

Risultati

In esperimenti comparabili che aumentano la larghezza residua da 256 a 384 ( $d256 \to d384$ ):

Performance: La ricetta completa (SRIO + espansione specifica per blocco + warmup gate) ha ottenuto una perdita di addestramento di 4.2111.
Baseline: Questo ha superato la baseline senza operatore (4.2527) e una reimplementazione dei controlli LiGO (4.2606) all'interno dello stesso codice.
Confronto tra Operatori: Tra gli operatori, l'ordine di performance è stato generalmente $NRIO > LRIO > SRIO$. La variante ortogonale appresa (SRIO-LO) è stata leggermente migliore della variante ortogonale statica (SRIO-SO), ma la differenza rientrava nel range della variabilità tra i diversi seed di esecuzione, suggerendo che la soluzione a forma chiusa statica sia sufficiente.
Fattibilità Multi-stadio: Il metodo è stato applicato con successo a ripetuti stadi di crescita da 24M a 120M di parametri, dimostrando la fattibilità della scalabilità progressiva.
Impatto dei Componenti: L'operatore SRIO e le politiche di espansione specifiche per blocco hanno fornito l'impatto positivo più significativo. Il warmup gate ha mostrato benefici dipendenti dalla configurazione, essendo più utile con LRIO e meno critico quando combinato con SRIO.

Significato e Rivendicazioni

Il paper sostiene che il metodo proposto offre un'alternativa computazionalmente efficiente agli operatori di crescita appresi. Derivando una rotazione ortogonale a forma chiusa (SRIO) che mira specificamente all'interazione tra le vecchie e le nuove direzioni medie, l'autore ottiene la preservazione della funzione e un migliore apprendimento senza l'overhead di runtime degli operatori durante la fase di espansione.

L'autore sottolinea che:

Efficienza Offline: SRIO e le politiche di espansione sono incorporati nei pesi del modello offline, richiedendo nessun operatore persistente durante l'addestramento o l'inferenza (solo il breve warmup gate è attivo).
Interazione tra Sottospazi: Il lavoro evidenzia l'importanza di gestire la relazione geometrica tra i vecchi e i nuovi sottospazi, specificamente le direzioni "tutte-uno", per evitare che i nuovi parametri sovrastino la funzione appresa o rimangano isolati.
Ambito Limitato: Lo studio è limitato all'espansione della larghezza (non della profondità), utilizza un vocabolario specifico (GPT-2 BPE) e opera su modelli fino a 120M di parametri. L'autore nota che la verifica su scale di miliardi di parametri e con vocabolari differenti rimane un lavoro futuro. Riconosce inoltre che, sebbene il metodo funzioni bene, l'impatto specifico degli skew residui sul fine-tuning a valle (SFT) richiede ulteriori studi.