Riepilogo Tecnico: Oltre i Costi Irrecuperabili: Potenziare l'Efficienza del Pre-addestramento degli LLM tramite Crescita Ortogonale di Mixture-of-Experts

Enunciato del Problema

Le richieste computazionali per il pre-addestramento dei Large Language Models (LLM) sono in forte aumento, eppure i checkpoint pre-addestrati esistenti rimangono spesso sottoutilizzati a causa di limitazioni architetturali. Le attuali strategie di crescita dei modelli si concentrano tipicamente sull'espansione dei modelli durante le fasi iniziali dell'addestramento, non riuscendo a sfruttare i sostanziali "costi irrecuperabili" (investimento computazionale precedente) dei checkpoint ben convergenti. Inoltre, l'applicazione della crescita dei modelli alle architetture Mixture-of-Experts (MoE), sempre più dominanti negli LLM su larga scala, non è stata studiata sistematicamente. La sfida fondamentale consiste nel determinare come "riciclare" efficacemente i modelli MoE convergenti per creare modelli più grandi e capaci, senza scartare la conoscenza appresa e i parametri ottimizzati del modello base.

Metodologia

Gli autori propongono un framework di "crescita ortogonale" progettato per espandere i modelli MoE convergenti lungo due dimensioni indipendenti: Profondità (aumento dei livelli) e Larghezza (aumento del numero di esperti).

1. Crescita in Profondità: Interposizionale vs. Impilamento

Il documento confronta due metodi per espandere la profondità del modello:

• Impilamento (Stacking): Concatenazione della sequenza originale di livelli $k$ volte ($l_1, \dots, l_n, l_1, \dots, l_n$).
• Crescita Interposizionale: Duplicazione di ciascun livello in loco ($l_1, l_1, \dots, l_2, l_2, \dots$).

Insight Chiave: L'analisi degli LLM pre-addestrati rivela una distribuzione caratteristica della norma dei pesi a livello di strato: le norme sono piccole nei livelli iniziali, aumentano in modo monotono attraverso la parte centrale e diminuiscono leggermente verso la fine. Questo pattern è un'impronta strutturale di una convergenza sana.

• L'Impilamento interrompe questa tendenza monotona collocando le norme dei livelli iniziali dopo quelle dei livelli finali, creando discontinuità nette che richiedono al modello di "riparare" durante l'addestramento continuato.
• La Crescita Interposizionale preserva la traiettoria appresa della norma dei pesi duplicando i livelli in loco, mantenendo la progressione strutturale fluida.
• Soglia: La superiorità della crescita interposizionale diventa critica una volta che il modello base è stato addestrato oltre i FLOPs ottimali dal punto di vista computazionale definiti dalle leggi di scala Chinchilla (circa $1\times F_c$).

2. Crescita in Larghezza: Duplicazione Rumorosa degli Esperti

Per espandere la larghezza del modello, gli autori raddoppiano sia il numero totale di esperti ($E \to 2E$) sia il numero di esperti attivati ($k \to 2k$).

• Strategia di Inizializzazione: I nuovi esperti sono inizializzati copiando i pesi degli esperti esistenti e aggiungendo una piccola quantità di rumore gaussiano ($\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ con $\alpha \approx 0.01$).
• Razionale: La duplicazione esatta crea una simmetria perfetta, impedendo la divergenza funzionale. Una piccola perturbazione rompe questa simmetria appena abbastanza da permettere al router di differenziare gli esperti durante l'addestramento continuato, preservando al contempo le rappresentazioni apprese. Questo contrasta con il "riutilizzo" (upcycling) da modelli densi, che spesso richiede livelli di rumore elevati ($\ge 50\%$) e un'inizializzazione casuale del router.

3. Ortogonalità

Il documento dimostra che la crescita in profondità e in larghezza sono ortogonali.

• Disgiunzione Strutturale: La crescita in profondità aggiunge nuovi livelli; la crescita in larghezza aggiunge nuovi esperti all'interno dei livelli esistenti. Operano su insiemi di parametri non sovrapposti.
• Dinamiche di Ottimizzazione: L'analisi dei gradienti mostra che le direzioni di ottimizzazione per i modelli cresciuti in profondità e in larghezza sono quasi ortogonali alla direzione pre-crescita e tra loro.
• Indipendenza dall'Ordine: Le prestazioni finali sono invarianti rispetto alla sequenza di espansione (profondità-poi-larghezza vs. larghezza-poi-profondità), confermando che le strategie possono essere integrate in modo flessibile.

Risultati Chiave

Il framework è stato validato attraverso esperimenti estesi su modelli che vanno da 3B a 70B di parametri, utilizzando un dataset da 1 trilione di token.

• Efficacia della Crescita in Profondità: Su un modello MoE da 3B cresciuto a 6B, il metodo interposizionale ha costantemente superato l'impilamento sia nella perdita di addestramento che nell'accuratezza a valle. Il divario di prestazioni si è ampliato man mano che il modello base diventava più convergente.
• Correlazione con i Costi Irrecuperabili: Esiste una forte correlazione positiva tra la quantità di "FLOPs irrecuperabili" (passi di addestramento precedenti alla crescita) e l'accuratezza finale del modello cresciuto. I modelli cresciuti da checkpoint successivi e più convergenti hanno raggiunto prestazioni finali superiori rispetto a quelli cresciuti da checkpoint precedenti, anche con budget computazionali aggiuntivi identici.
• Confronto con l'Addestramento da Zero:
  • Sotto un budget computazionale aggiuntivo fisso, la crescita del modello ha superato significativamente l'addestramento di un modello grande da zero (ad esempio, un miglioramento del 10,6% nell'accuratezza nell'esperimento da 70B).
  • Sotto un budget computazionale totale fisso (irrecuperabile + aggiuntivo), la crescita del modello ha prodotto risultati comparabili o leggermente superiori all'addestramento da zero, a condizione che la crescita fosse avviata da un checkpoint con un costo irrecuperabile sufficiente.
• Scalabilità: Il metodo ha scalato con successo un modello MoE da 17B (addestrato su ~600B token) a 70B di parametri (addestrato su un totale di 1T di token). Il modello finale da 70B ha raggiunto un'accuratezza media del 64,17%, superando la baseline da 17B di 5,62 punti e la baseline da 70B addestrata da zero di un guadagno relativo del 10,6% sotto lo stesso budget di FLOPs extra.

Significato e Affermazioni

Il documento afferma di fornire un progetto economico per uno sviluppo sostenibile degli LLM su larga scala. Il suo significato principale risiede in:

1. Riciclo dei Costi Irrecuperabili: Dimostrare che i checkpoint pre-addestrati, spesso considerati asset intermedi scartabili, possono essere sistematicamente sfruttati per creare modelli più grandi, preservando così il valore dei precedenti investimenti computazionali.
2. Strategie di Crescita Ottimali: Stabilire che per modelli ben convergenti, la copia interposizionale dei livelli e la duplicazione degli esperti con rumore minimo sono superiori all'impilamento tradizionale e all'inizializzazione casuale.
3. Scalabilità Ortogonale: Dimostrare che profondità e larghezza possono essere espansi indipendentemente e in qualsiasi ordine senza interferenze, offrendo flessibilità in scenari di scalabilità con risorse limitate.
4. Efficienza: Mostrare che la crescita può ottenere guadagni di prestazioni che superano l'addestramento da zero sotto budget computazionali extra identici, abbassando efficacemente la barriera al pre-addestramento di modelli di frontiera.

Gli autori sottolineano che questo lavoro non introduce nuovi rischi sociali oltre a quelli intrinseci agli LLM, ma mira a ridurre l'impronta ambientale dello sviluppo dei modelli migliorando l'efficienza dell'addestramento.