Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

Riepilogo Tecnico: I Modelli Mixture-of-Experts Possono Superare gli LLM Densi in Condizioni di Risorse Strettamente Uguali

Enunciazione del Problema
Sebbene i modelli linguistici Mixture-of-Experts (MoE) siano ampiamente riconosciuti per la loro capacità di espandere la capacità del modello senza aumentare il calcolo per token, una domanda critica rimane irrisolta: le architetture MoE possono superare le architetture dense quando sono strettamente vincolate dallo stesso numero totale di parametri ($N$), dallo stesso calcolo totale di addestramento ($C$) e dallo stesso budget totale di dati ($D$)? I confronti precedenti spesso favorivano i MoE rilassando questi vincoli (ad esempio, permettendo ai MoE di utilizzare più dati o confrontando modelli con numeri di parametri molto diversi). Questo lavoro affronta il vuoto nella comprensione se i vantaggi architettonici, da soli e in condizioni di parità di risorse, possano produrre prestazioni superiori.

Metodologia
Gli autori propongono una nuova prospettiva e una rigorosa metodologia sperimentale in tre fasi per garantire un confronto equo sotto vincoli fissi di $N$, $C$ e $D$:

1. Ricerca Architetturale Ottimizzata: Prima di confrontare i tassi di attivazione, gli autori ottimizzano sistematicamente l'architettura di base (backbone) MoE. Indagano le disposizioni dei livelli (MoE completo, intercalato o 1-denso + MoE), la normalizzazione dei punteggi del gate, l'allocazione dei parametri (impostazioni Top-$K$) e gli iperparametri strutturali (rapporto di aspetto del modello $\zeta$ e rapporti di espansione FFN). Identificano una configurazione "1denso + Esperto Condiviso" con specifici rapporti strutturali ($\zeta \approx 88$, $\mu \approx 22$) come backbone ottimale.
2. Analisi del Tasso di Attivazione (AR) sotto $N$ e $C$ Fissi: Utilizzando il backbone ottimizzato, gli autori addestrano modelli MoE con diversi tassi di attivazione ($r_a$, il rapporto tra parametri attivati e parametri totali) mentre corrispondono il calcolo totale di addestramento di una baseline densa. Per mantenere $C$ uguale, i modelli MoE (che hanno un calcolo per token inferiore) vengono addestrati inizialmente su un numero proporzionalmente maggiore di token.
3. Strategia di Riutilizzo dei Dati: Per equiparare strettamente il budget di dati unici ($D$), gli autori introducono una strategia di riutilizzo dei dati. Addestrano i modelli su un dataset unico più piccolo e fisso $\hat{D}$ per più epoche. Confrontano il riutilizzo "stretto" (corrispondenza esatta di $N, C, D$) e il riutilizzo "lasco" (fissando le epoche a 2) rispetto alle baseline dense addestrate su dati unici.

Risultati Chiave
Lo studio ha coinvolto l'addestramento di quasi 200 modelli alla scala di 2B e oltre 50 alla scala di 7B, elaborando cumulativamente 50 trilioni di token.

• Esistenza di un Tasso di Attivazione Ottimale: Gli esperimenti rivelano una regione stabile di "tasso di attivazione ottimale" ($R^*_a$) in cui i modelli MoE superano costantemente i loro corrispettivi densi. Questo tasso ottimale è circa il 20% ($r_a \approx 0.2$).
• Superiorità delle Prestazioni: Sotto $N$ e $C$ fissi, i modelli MoE con $r_a \approx 20\%$ raggiungono una perdita inferiore (prestazioni migliori) rispetto ai modelli densi. Nello specifico, un modello MoE da 2B con AR ottimale supera un modello denso addestrato con lo stesso calcolo, avvicinandosi alle prestazioni di un modello denso addestrato con il doppio del calcolo.
• Coerenza tra le Scale: Il tasso di attivazione ottimale di circa il 20% rimane coerente tra diverse dimensioni del modello (2B, 3B e 7B), suggerendo che la scoperta è indipendente dalla scala nell'intervallo testato. Ciò contrasta con alcuni lavori precedenti che suggerivano che la sparsità ottimale scala con la dimensione del modello.
• Efficacia del Riutilizzo dei Dati: La strategia di riutilizzo dei dati compensa con successo i requisiti di dati aggiuntivi dei modelli MoE. Sebbene il riutilizzo dei dati causi una leggera riduzione delle prestazioni rispetto all'addestramento su dati unici, i modelli MoE con AR ottimale superano comunque le baseline dense anche sotto vincoli di dati stretti.
• Generalizzazione a Monte: La superiorità dei modelli MoE con $r_a \approx 20\%$ si generalizza a compiti a valle (SFT) attraverso benchmark di ragionamento, conoscenza, matematica e codice. In particolare, il riutilizzo dei dati ha un impatto negativo minimo sui compiti di ragionamento ma degrada le prestazioni sulla conoscenza; tuttavia, all'AR ottimale, i MoE con SFT e dati riutilizzati superano ancora i modelli densi addestrati su dati unici.

Significato e Affermazioni
Il lavoro afferma di fornire la prima evidenza definitiva che le architetture MoE possono superare gli LLM densi in condizioni di vincoli di risorse strettamente uguali ($N, C, D$), a condizione che l'architettura sia ottimizzata e che il tasso di attivazione rientri nella regione ottimale identificata.

• Vantaggio Architettonico: I guadagni nelle prestazioni sono attribuiti esclusivamente a vantaggi architettonici piuttosto che a disparità nel numero di parametri o nel budget di calcolo.
• Efficienza delle Risorse: Le scoperte sfidano la saggezza convenzionale secondo cui i modelli densi sono superiori quando le risorse sono fisse, aprendo la strada ad architetture più efficienti dal punto di vista delle risorse nei sistemi NLP di prossima generazione.
• Strategia Pratica: L'introduzione di una strategia di riutilizzo dei dati dimostra che la domanda aggiuntiva di dati dei modelli MoE può essere mitigata, rendendo le prestazioni superiori raggiungibili senza richiedere budget di dati unici significativamente più grandi rispetto a quelli dei modelli densi.

Gli autori riconoscono le limitazioni, inclusi il vincolo di non addestrare modelli più grandi di 7B a causa dei costi computazionali e il focus su specifici componenti MoE mentre altri vengono fissati. Suggeriscono che lavori futuri potrebbero esplorare come i tassi di attivazione ottimali migliorino le capacità in altri paradigmi di addestramento come l'upcycling e la MoEfication.