Riepilogo Tecnico: Coerenza tra Ottimizzatore e Modello

Enunciato del Problema

Nel paradigma di addestramento dei Large Language Models (LLM), i modelli subiscono una fase di preaddestramento su corpora massicci, seguita da una fase di Affinamento Supervisionato (SFT) su dataset più piccoli e di alta qualità per acquisire competenze specifiche. Una sfida critica nell'SFT è il compromesso apprendimento-dimenticanza: il modello deve apprendere nuove conoscenze specifiche del compito preservando al contempo le capacità linguistiche generali acquisite durante il preaddestramento.

Sebbene vengano impiegati vari ottimizzatori (ad es. AdamW, Muon) e metodi efficienti in termini di parametri (ad es. LoRA), non è ancora chiaro quale combinazione garantisca il miglior equilibrio tra l'apprendimento di nuovi compiti e la minimizzazione della dimenticanza catastrofica. La letteratura esistente offre intuizioni conflittuali; ad esempio, alcuni suggeriscono che LoRA dimentichi intrinsecamente meno grazie alla sua natura a basso rango, mentre altri sottolineano l'importanza della scelta dell'ottimizzatore. Questo lavoro indaga se la scelta dell'ottimizzatore nell'SFT debba essere disaccoppiata o allineata con l'ottimizzatore utilizzato nel preaddestramento.

Metodologia

Gli autori impiegano una combinazione di esperimenti empirici e analisi teorica per indagare la relazione tra la scelta dell'ottimizzatore e le prestazioni del modello durante l'SFT.

Esperimenti Empirici

1. Modelli e Dataset: Gli esperimenti sono stati condotti su GPT-2-small (preaddestrato da zero) e Llama-2-7B. Il preaddestramento ha utilizzato il dataset OpenWebText. L'SFT è stato eseguito su tre compiti distinti: MetaMathQA (ragionamento matematico), Alpaca (seguimento delle istruzioni) e Magicoder (generazione di codice).
2. Ottimizzatori Confrontati: Lo studio confronta AdamW, Muon (un ottimizzatore strutturato a matrice) e SGD. Vengono inoltre valutati LoRA (Adattamento a Basso Rango) con vari ranghi ($r=4, 8, 32, 64, 128, 256$).
3. Metrica di Valutazione: Gli autori definiscono una frontiera di Pareto per visualizzare il compromesso apprendimento-dimenticanza.
   • Dimenticanza: Misurata dalla perdita di validazione sul dataset di preaddestramento (OpenWebText) o dal calo nelle valutazioni delle capacità generali. Una perdita inferiore indica una minore dimenticanza.
   • Apprendimento: Misurato dalla perdita di validazione sul nuovo compito SFT o dall'accuratezza specifica del compito. Una perdita inferiore/un'accuratezza superiore indicano un migliore apprendimento.
   • Protocollo: Per ogni algoritmo di addestramento, è stata eseguita una ricerca a griglia sui tassi di apprendimento per identificare la frontiera di Pareto, garantendo un confronto equo dei limiti dell'algoritmo piuttosto che di una singola impostazione degli iperparametri.
4. Analisi Sintetica: Per comprendere perché certi ottimizzatori si comportano diversamente, gli autori hanno condotto un esperimento sintetico utilizzando un corpus linguistico corrotto. Hanno mescolato l'ordine dei token nelle sequenze pulite per distruggere i modelli linguistici, costringendo il modello a fare affidamento sulla memorizzazione meccanica. Ciò ha permesso loro di distinguere tra la capacità di un ottimizzatore di apprendere modelli e la sua tendenza a memorizzare i dati.

Analisi Teorica

Il lavoro fornisce un quadro teorico basato su norme indotte da matrici (seguendo Pethick et al., 2025).

• Ottimizzatore come Regolarizzatore: Gli autori ipotizzano che gli ottimizzatori non si limitino a convergere verso una soluzione, ma plasmino i pesi e le attivazioni del modello. Nello specifico, un ottimizzatore derivato da una norma $\|\cdot\|_{\alpha, \beta}$ regolarizza implicitamente le attivazioni di input tramite $\|\cdot\|_\alpha$ e le attivazioni di output tramite $\|\cdot\|_\beta$.
  • AdamW (derivato da $A_{1,\infty}$) regolarizza gli input tramite $\|\cdot\|_1$, portando ad attivazioni sparse.
  • Muon (derivato da $A_{2,2}$) regolarizza gli input tramite $\|\cdot\|_2$, portando ad attivazioni più dense.
• Approssimazione della Dimenticanza: Utilizzando uno sviluppo di Taylor, l'aumento della perdita di preaddestramento (dimenticanza) dopo l'SFT è approssimato come proporzionale alla norma quadrata attesa dell'aggiornamento dei pesi applicato agli input di preaddestramento ($\mathbb{E}[\|\Delta W x\|_2^2]$).
• Ipotesi di Coerenza: La teoria suggerisce che per minimizzare la dimenticanza, l'aggiornamento SFT ($\Delta W$) dovrebbe allinearsi alla curvatura del paesaggio della perdita stabilita dal preaddestramento. Questo allineamento è raggiunto quando l'ottimizzatore SFT appartiene alla stessa famiglia (stessi $\alpha, \beta$) dell'ottimizzatore di preaddestramento.

Risultati Chiave

1. Coerenza tra Ottimizzatore e Modello

La scoperta centrale è la Coerenza tra Ottimizzatore e Modello: l'affinamento completo con lo stesso ottimizzatore (o famiglia di ottimizzatori) utilizzato nel preaddestramento raggiunge costantemente il miglior compromesso apprendimento-dimenticanza.

• Preaddestramento con AdamW: Quando AdamW è utilizzato per il preaddestramento, l'affinamento completo con AdamW supera l'affinamento completo con Muon o SGD, e supera anche LoRA in tutti i compiti (matematica, codice, istruzioni).
• Preaddestramento con Muon: Analogamente, quando Muon è utilizzato per il preaddestramento, l'affinamento completo con Muon produce il miglior compromesso rispetto all'uso di AdamW o SGD per l'SFT.
• Confronto con LoRA: Contrariamente all'intuizione secondo cui LoRA dimentica meno, l'analisi della frontiera di Pareto mostra che per qualsiasi checkpoint LoRA, esiste un checkpoint di affinamento completo (utilizzando lo stesso ottimizzatore) che raggiunge sia un migliore apprendimento (perdita del compito inferiore) sia una minore dimenticanza (perdita di preaddestramento inferiore). Questo vale quando si considera un'adeguata scansione dei tassi di apprendimento.

2. Prestazioni di Muon sui Compiti di Ragionamento

Sebbene Muon produca spesso checkpoint preaddestrati superiori (perdita di preaddestramento inferiore), le sue prestazioni peggiorano rispetto ad AdamW quando viene affinato su compiti di ragionamento (ad es. MetaMathQA).

• Memorizzazione vs Apprendimento di Modelli: L'esperimento sintetico ha rivelato che Muon tende a memorizzare dati corrotti (privi di modelli) più rapidamente rispetto ad AdamW o SGD.
• Implicazione: Nell'SFT, dove i dati sono scarsi, la tendenza di Muon a privilegiare la memorizzazione meccanica rispetto all'acquisizione di modelli può ostacolare l'apprendimento di competenze di ragionamento complesse, portando a una prestazione finale peggiore su compiti che richiedono generalizzazione, nonostante le sue forti metriche di preaddestramento.

3. Il Ruolo dei Tassi di Apprendimento

Il lavoro evidenzia che il compromesso apprendimento-dimenticanza è altamente sensibile al tasso di apprendimento. Studi precedenti che suggerivano che LoRA dimentica meno spesso fissavano il tasso di apprendimento a quello ottimale per il compito. Quando il tasso di apprendimento viene scandito, l'affinamento completo può raggiungere un compromesso superiore semplicemente riducendo il tasso di apprendimento, una strategia che LoRA non può replicare con la stessa efficacia in questo contesto specifico.

Significato e Affermazioni

Il lavoro afferma di stabilire la Coerenza tra Ottimizzatore e Modello come un principio fondamentale per l'addestramento degli LLM:

1. Metrica Unificata: Il compromesso apprendimento-dimenticanza lungo l'intera pipeline preaddestramento-SFT è una metrica più completa per valutare un ottimizzatore rispetto alla sola prestazione di preaddestramento.
2. Guida Pratica: Per minimizzare la dimenticanza massimizzando l'apprendimento del compito, i praticanti dovrebbero impiegare la stessa famiglia di ottimizzatori per l'SFT utilizzata per il preaddestramento.
3. Rivalutazione di Muon: Sebbene Muon sia un potente ottimizzatore di preaddestramento, il suo meccanismo di aggiornamento (full-rank, regolarizzazione $L_2$) potrebbe renderlo soggetto a una eccessiva memorizzazione in regimi SFT a dati limitati, in particolare per i compiti di ragionamento. Ciò suggerisce che potrebbe essere necessaria una strategia di affinamento dedicata, potenzialmente diversa, per i modelli preaddestrati con Muon per sbloccarne il pieno potenziale.
4. Insight Teorico: Il lavoro colma il divario tra la progettazione dell'ottimizzatore (norme) e il comportamento del modello (sparsità delle attivazioni), offrendo una spiegazione teorica del perché la coerenza nella scelta dell'ottimizzatore sia importante.

Gli autori riconoscono i limiti, notando che gli esperimenti sono stati condotti principalmente su modelli più piccoli (GPT-2, Llama-2-7B) a causa di vincoli computazionali e che le dimostrazioni teoriche si basano su ipotesi semplificative (ad es. Hessiane a blocchi diagonali). Suggeriscono che il lavoro futuro dovrebbe scalare questi risultati a modelli più grandi ed esplorare ottimizzatori specificamente progettati per mitigare le tendenze alla memorizzazione degli ottimizzatori strutturati a matrice durante l'SFT.