The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

Sintesi Tecnica: La Geometria dell'Apprendimento Sequenziale

Problema
Le pipeline di apprendimento sequenziale, che spaziano dall'adattamento del pre-addestramento next-token al fine-tuning delle istruzioni (SFT) e alla Direct Preference Optimization (DPO), sono intrinsecamente dipendenti dall'ordine. Quando un modello viene adattato da $N$ domini sorgente candidati a un dominio target, esistono $N!$ possibili curricula di addestramento. La ricerca esaustiva di questo spazio è computazionalmente intrattabile anche per $N$ moderati. La sfida centrale è prevedere se l'addestramento sul dominio $A$ seguito da $B$ ($A \to B$) produca una perdita target inferiore rispetto all'ordine inverso ($B \to A$) senza eseguire entrambi i programmi di addestramento completi.

Metodologia
Il paper postula che la dipendenza dall'ordine sia un fenomeno geometrico strutturato derivante dalla non-commutatività degli operatori di aggiornamento del gradiente. Gli autori derivano una quantità geometrica locale e computabile — il commutatore di Lie — per prevedere l'ordine di trasferimento ottimale.

1. Fondazione Teorica:
   Sia $L_D(\theta)$ la perdita sul dominio $D$ con gradiente $g_D$ e Hessiana $H_D$. Un singolo passo di gradiente è un operatore $U_D(\theta) = \theta - \eta g_D(\theta)$. Per due sorgenti $A$ e $B$, la differenza nello spazio dei parametri dopo due passi in ordini opposti è:
   $$\theta_{AB} - \theta_{BA} = \eta^2 (H_B g_A - H_A g_B) + O(\eta^3)$$
   Il termine $b_{AB} := H_B g_A - H_A g_B$ è identificato come il colpo di Lie (Lie bracket) dei campi vettoriali del flusso del gradiente. Questo vettore guida la dipendenza dall'ordine.

2. Predizione a Coppie (Il Planner):
   Per prevedere quale ordine minimizzi la perdita su un dominio target $E$, il metodo proietta il vettore del colpo di Lie sul gradiente target $g_E$. Il punteggio direzionale è:
   $$\sigma^{(E)}_{AB} = \langle g_E, b_{AB} \rangle$$
   Se $\sigma^{(E)}_{AB} < 0$, si prevede che $A \to B$ produca una perdita inferiore; altrimenti, è preferito $B \to A$.

   • Stima Drift-Matched: Per migliorare l'accuratezza oltre il regime infinitesimale, il gradiente target $g_E$ viene valutato non all'inizializzazione $\theta_0$, ma in un "punto di riferimento Trotter" $\theta_{ref} = \theta_0 - \eta(g_A + g_B)$. Questo punto approssima il drift di primo ordine condiviso di entrambi gli ordini, riducendo l'errore nella stima del gradiente.
   • Efficienza Computazionale: Il metodo richiede solo gradienti e Prodotti Gradiente-Hessiana (HVP). Non materializza intere matrici Hessiane. In pratica, i calcoli sono limitati a un sottoinsieme di parametri addestrabili (ad esempio, gli ultimi strati transformer per gli LLM), rendendo il costo circa di 3 valutazioni del gradiente e 2 HVP per coppia.

3. Scheduling Scalabile (Tornei di Lie-Bracket):
   Per $N > 2$ sorgenti, i punteggi a coppie definiscono un torneo pesato. Gli autori propongono un ranking Borda/row-sum per determinare l'ordine del curriculum senza valutare le $N!$ permutazioni.

   • Ottimizzazione Chiave: Utilizzando un gradiente di riferimento target condiviso ($\theta_0$) per tutte le coppie, i pesi degli archi a coppie possono essere calcolati tramite prodotti scalari di gradienti sorgente e HVP pre-calcolati ($u_i = H_i g_E$).
   • Complessità: Ciò riduce il problema dello scheduling a $O(N)$ prodotti scalari e un ordinamento $O(N \log N)$, evitando la materializzazione $O(N^2)$ della matrice completa a coppie.

Contributi Chiave

1. Teoria del Commutatore dell'Ordine di Trasferimento: Il paper stabilisce un legame teorico tra la differenza di perdita target dipendente dall'ordine e il punteggio del colpo di Lie direzionale $\sigma^{(E)}_{AB}$, dimostrando che il suo segno predice l'ordine ottimale a coppie.
2. Planner a Coppie Implementabile: Introduzione di uno stimatore Trotter drift-matched che utilizza gradienti e HVP per prevedere gli effetti dell'ordine con alta accuratezza, includendo metriche per le "stake" (magnitudo dell'effetto) e la "confidence" (allineamento).
3. Tornei di Lie-Bracket: Un metodo scalabile per lo scheduling di molti domini che trasforma la ricerca del curriculum $N!$ in un problema di ranking, consentendo l'ordinamento efficiente di decine di domini.
4. Selezione Automatica della Dimensione del Passo: Un "autopilota" guidato dalla teoria ($\eta$-autopilot) che seleziona automaticamente le dimensioni dei passi dai dati pilota per bilanciare la rilevabilità rispetto ai vincoli di stabilità di ordine superiore.
5. Validazione Ampia: Il framework è validato attraverso SFT di istruzioni, DPO, adattamento di pre-addestramento next-token e adattamento di modelli di diffusione.

Risultati Sperimentali

• Accuratezza a Coppie:
  • Instruction-SFT: Ha raggiunto una precisione del segno del 98,1% a $k=1$ (un passo per dominio) e del 73,1% a $k=20$.
  • DPO: Ha raggiunto una precisione del 98,9% a $k=1$ e del 72,2% a $k=20$.
  • Pretraining/Diffusion: Attraverso quattro LLM e un modello di diffusione, il metodo ha mantenuto un'alta accuratezza (ad esempio, 92,0% su Llama-3.2-1B, 91,1% su diffusione), superando significativamente i baseline casuali.
• Generalizzazione a Lungo Orizzonte: Il predittore, calcolato una volta all'inizializzazione, è rimasto efficace su lunghi orizzonti di addestramento. Su Llama-3.2-1B, l'accuratezza è rimasta all'81,5% per $k=20$ e al 65,3% per $k=50$ (100 aggiornamenti totali), con una significativa riduzione del regret rispetto all'ordinamento casuale.
• Scheduling di Molti Domini:
  • Piccolo $N$ ($N=3$): Il metodo ha recuperato il miglior dei programmi $3!$ nel 87,5% dei casi.
  • Grande $N$: Su 56 soggetti MMLU, il metodo ha raggiunto il 99,0–99,6° percentile campionato, superando nettamente il baseline del gradiente con norma decrescente (che è sceso sotto il 1° percentile). Su 85 domini di linguaggi di programmazione Stack, ha raggiunto il 99° percentile per un target Python.
• Efficienza: Il planner diventa computazionalmente più economico rispetto alla valutazione brute-force di entrambi gli ordini a circa $k \approx 3$ passi per dominio.

Significatività e Rivendicazioni
Il paper inquadra l'apprendimento sequenziale come un problema geometrico di torneo. Afferma che il commutatore di Lie fornisce sia l'informazione locale dell'ordine a coppie, sia un primitivo scalabile per costruire programmi di molti domini. I risultati suggeriscono che la non-commutatività degli aggiornamenti del gradiente è un fattore dominante nel design del curriculum, e che questa struttura geometrica può essere sfruttata per evitare la ricerca esaustiva. Gli autori sottolineano che il metodo è particolarmente efficace per scenari di fine-tuning a parametri efficienti (ad esempio, sintonizzare solo gli ultimi strati o gli adapter) e che il primitivo geometrico a coppie si generalizza attraverso diversi obiettivi di addestramento (SFT, DPO, pre-addestramento) e architetture (Transformer, UNet). Il paper non pretende di risolvere l'ottimizzazione globale di arbitrari curricula, ma dimostra che un euristica geometrica locale può recuperare programmi quasi ottimali con un overhead computazionale minimo.