Riepilogo Tecnico: Instradamento dell'Ottimizzatore Guidato dal Gradiente per l'Adattamento degli LLM (MoLF)

1. Enunciato del Problema

Il fine-tuning dei Modelli Linguistici su Larga Scala (LLM) presenta un compromesso strutturale fondamentale tra Full Fine-Tuning (FFT) e Low-Rank Adaptation (LoRA).

• FFT offre un'elevata plasticità rappresentazionale, essenziale per l'iniezione di conoscenze ad alta entropia (ad esempio, aggiornamenti fattuali), ma rischia l'oblio catastrofico delle capacità di ragionamento pre-addestrate a causa di un'ottimizzazione aggressiva.
• LoRA agisce come un regolarizzatore implicito, preservando la logica pre-addestrata e prevenendo l'overfitting, ma soffre di un collo di bottiglia nella capacità quando i compiti richiedono aggiornamenti ad alto rango (ad esempio, memorizzare associazioni fattuali complesse).

Le evidenze empiriche suggeriscono che nessuna architettura statica è universalmente ottimale; la scelta migliore dipende dalla dimensionalità intrinseca del compito e dal modello specifico. Le soluzioni esistenti, come LoRA a rango adattivo o Mixture-of-Experts (MoE) che instradano i token, non risolvono questa tensione perché o limitano lo spazio di ricerca a sottospazi a basso rango o frammentano le statistiche del gradiente instradando gli input, portando a dinamiche di addestramento instabili e problemi di avvio a freddo quando i ranghi cambiano.

2. Metodologia: MoLF e MoLF-Efficient

Gli autori propongono il Fine-Tuning Mixture of LoRA and Full (MoLF), un framework che unifica FFT e LoRA all'interno di un unico regime di addestramento senza alterare la struttura del forward pass.

Architettura Principale

MoLF tratta i pesi del modello di base ($W_{base}$) come un "esperto FFT" e inietta molteplici adattatori LoRA indipendenti come "esperti LoRA". A differenza del MoE tradizionale, tutti gli esperti partecipano a ogni forward e backward pass. Il forward pass è una sovrapposizione incondizionata:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
dove $\alpha_i$ è un fattore di scalatura Rank-Stabilized LoRA (RS-LoRA).

Instradamento dell'Ottimizzatore Guidato dal Gradiente

La novità di MoLF risiede nel diradare il passo di aggiornamento dei parametri piuttosto che il forward pass. Il framework impiega un ottimizzatore Sparse AdamW personalizzato con un meccanismo di instradamento in tre fasi:

1. Tracciamento Universale del Momento: Tutti gli esperti (FFT e LoRA) ricevono gradienti su batch completo e aggiornano le loro stime del primo ($m_t$) e del secondo ($v_t$) momento di Adam. Ciò garantisce che ogni esperto mantenga uno stato di momento maturo e de-biasato, evitando la modalità di fallimento "avvio a freddo" osservata nei metodi a rango adattivo.
2. Punteggio dell'Esperto (Discesa Precondizionata Attesa - EPD): Invece di instradare in base alle norme grezze del gradiente, MoLF calcola un punteggio EPD ($S_t^{(i)}$) per ogni esperto. Questo punteggio stima la riduzione attesa della perdita per parametro se quell'esperto venisse aggiornato, normalizzata per il numero di parametri ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   Questa metrica tiene conto sia della dimensione del passo intesa dall'ottimizzatore che della topologia locale della perdita, permettendo un confronto equo tra l'enorme backbone FFT e gli adattatori LoRA leggeri.
3. Aggiornamento Sparsificato Top-K: Solo i top-$K$ esperti (tipicamente $K=1$) con i punteggi EPD più alti ricevono aggiornamenti fisici dei pesi tramite il passo standard AdamW. Gli esperti perdenti mantengono i loro pesi precedenti ma continuano ad accumulare statistiche del gradiente.

MoLF-Efficient (MoLF-E)

Per ambienti con vincoli di memoria, MoLF-E rimuove completamente l'esperto FFT. Instrada gli aggiornamenti tra una coppia di esperti LoRA con ranghi variabili (ad esempio, $r$ e $128$). Questa variante congela i pesi di base e i parametri non lineari, riducendo l'overhead di memoria pur mantenendo il beneficio della ricerca dinamica nello sottospazio.

Inferenza

Dopo l'addestramento, MoLF consente un'inferenza senza sovraccarico. Tutti gli esperti LoRA addestrati sono proiettati matematicamente direttamente nei pesi di base ($W_{final} = W_{base} + \sum \Delta W_i$), collassando il grafo multi-esperto in un modello denso standard identico all'architettura LLM di base.

3. Contributi Chiave

1. Caratterizzazione Empirica dei Regimi di Fine-Tuning: Gli autori valutano sistematicamente FFT e LoRA su tre dataset (CounterFact, MedMCQA, Text-to-SQL) e tre modelli (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B). Identificano tre regimi distinti:
   • Fatto (Collo di Bottiglia nella Capacità): FFT domina; LoRA non riesce a catturare spettri di valori singolari ad alta entropia e a coda pesante.
   • Med (Regolarizzazione Spettrale): LoRA ad alto rango supera FFT; il vincolo a basso rango agisce come regolarizzatore prevenendo l'oblio catastrofico del ragionamento.
   • SQL (Bassa Dimensionalità Intrinseca): Entrambi performano in modo simile; LoRA cattura efficientemente lo spettro singolare concentrato.
2. Framework MoLF: Un metodo unificato che naviga dinamicamente tra FFT e LoRA a livello di ottimizzatore, garantendo dinamiche di addestramento stabili mantenendo tutti gli esperti attivi nell'accumulo dei gradienti.
3. MoLF-E: Una variante efficiente in termini di memoria che supera i metodi a rango adattivo esistenti (AdaLoRA, AdaMix) mantenendo esperti LoRA paralleli di ranghi diversi senza un percorso FFT.

4. Risultati Sperimentali

• MoLF vs. Baseline Statiche: In 9 configurazioni (3 modelli $\times$ 3 compiti), MoLF corrisponde costantemente o supera la migliore baseline statica (FFT o LoRA a rango ottimale). Rimane entro 1.5% dalla migliore baseline in tutti i casi e ottiene il punteggio assoluto migliore in 3 configurazioni. In particolare, recupera la capacità a livello di FFT sui compiti Fatto, superando FFT fino al 3.25% sui compiti Med.
• MoLF-E vs. PEFT Adattivo: MoLF-E supera AdaLoRA e AdaMix in 8 casi su 9. Il miglioramento è più significativo sui compiti Fatto, dove MoLF-E raggiunge fino al 20% di accuratezza in più rispetto alla baseline con le prestazioni più basse (AdaMix), allocando efficacemente gli aggiornamenti a sottospazi a rango più alto quando la capacità è il collo di bottiglia.
• Studi di Ablazione:
  • Aggiornamenti Sparsificati: Aggiornare tutti gli esperti simultaneamente (aggiornamento denso) causa un grave degrado delle prestazioni sui compiti Med a causa di oscillazioni di ottimizzazione tra capacità rappresentazionali in competizione.
  • Euristica di Instradamento: Il punteggio EPD supera la Norma di Frobenius Precondizionata (PFN) sui compiti Med, dimostrando che incorporare il tasso di apprendimento e la dimensione del passo è cruciale per bilanciare esperti di scale diverse.
  • Stabilità del Router: Il router converge rapidamente (entro ~500 step) a un'assegnazione strutturale stabile, dove moduli specifici si impegnano definitivamente su percorsi FFT o LoRA invece di oscillare.

5. Significato e Affermazioni

Il documento afferma che fare affidamento su un'unica architettura statica è strutturalmente limitato per l'adattamento degli LLM. MoLF risolve la tensione tra plasticità rappresentazionale e regolarizzazione implicita disaccoppiando il forward pass dal meccanismo di aggiornamento.

Gli autori affermano che MoLF fornisce una "navigazione continua" tra i regimi di addestramento, permettendo al modello di sfruttare l'alta capacità di FFT per l'iniezione di conoscenze e la regolarizzazione di LoRA per la conservazione del ragionamento, senza necessità di tuning manuale degli iperparametri o ricerche esaustive del rango. Inoltre, la capacità di collassare il modello dopo l'addestramento garantisce che questi guadagni non comportino penalità di latenza nell'inferenza, rendendo l'approccio pratico per il deployment. Il lavoro suggerisce che mantenere un'architettura addestrabile espressiva mentre si diradano solo gli aggiornamenti a livello di esperto è una strategia efficace per catturare i benefici di diversi tipi di esperti.