The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

Technische Samenvatting: De Geometrie van Sequentieel Leren

Probleemstelling
Sequentiële leerpipelines, variërend van next-token pretraining domeinadaptatie tot instructie-fijninstelling (SFT) en Direct Preference Optimization (DPO), zijn inherent orde-afhankelijk. Wanneer een model wordt aangepast van $N$ kandidaat-brondomeinen naar een doeldomein, zijn er $N!$ mogelijke trainingscurricula mogelijk. Het exhaustief doorzoeken van deze ruimte is computationeel onuitvoerbaar, zelfs voor een gematigde $N$. De kernuitdaging is om te voorspellen of trainen op domein $A$ gevolgd door $B$ ($A \to B$) een lagere target loss oplevert dan de omgekeerde volgorde ($B \to A$), zonder beide volledige trainingsschema's uit te voeren.

Methodologie
Het artikel stelt dat orde-afhankelijkheid een gestructureerd geometrisch fenomeen is dat voortvloeit uit de niet-commutativiteit van gradiënt-update-operatoren. De auteurs leiden een lokale, berekenbare geometrische grootheid af — de Lie-bracket commutator — om de optimale transfervolgorde te voorspellen.

1. Theoretisch Fundament:
   Laat $L_D(\theta)$ de loss op domein $D$ zijn met gradiënt $g_D$ en Hessiaan $H_D$. Een enkele gradiëntstap is een operator $U_D(\theta) = \theta - \eta g_D(\theta)$. Voor twee bronnen $A$ en $B$ is het verschil in parameterruimte na twee stappen in tegengestelde volgorde:
   $$\theta_{AB} - \theta_{BA} = \eta^2 (H_B g_A - H_A g_B) + O(\eta^3)$$
   De term $b_{AB} := H_B g_A - H_A g_B$ wordt geïdentificeerd als de Lie-bracket van de gradiëntstroom-vectorvelden. Deze vector drijft de orde-afhankelijkheid aan.

2. Paarsgewijze Voorspelling (De Planner):
   Om te voorspellen welke volgorde de loss op een doeldomein $E$ minimaliseert, projecteert de methode de bracket-vector op de doelgradiënt $g_E$. De directionele score is:
   $$\sigma^{(E)}_{AB} = \langle g_E, b_{AB} \rangle$$
   Als $\sigma^{(E)}_{AB} < 0$, dan wordt voorspeld dat $A \to B$ een lagere loss oplevert; anders wordt $B \to A$ geprefereerd.

   • Drift-Matched Estimatie: Om de nauwkeurigheid te verbeteren buiten het infinitesimale regime, wordt de doelgradiënt $g_E$ niet geëvalueerd op de initialisatie $\theta_0$, maar op een "Trotter referentiepunt" $\theta_{ref} = \theta_0 - \eta(g_A + g_B)$. Dit punt benadert de gedeelde eerste-orde drift van beide volgordes, wat de fout in de gradiëntschatting vermindert.
   • Computationele Efficiëntie: De methode vereist alleen gradiënten en Hessian-Vector Producten (HVP's). Het materialiseert geen volledige Hessiaan-matrices. In de praktijk worden berekeningen beperkt tot een trainbare parameter-subset (bijv. de laatste transformer-lagen voor LLM's), waardoor de kosten ongeveer 3 gradiënt-evaluaties en 2 HVP's per paar bedragen.

3. Schaalbare Planning (Lie-Bracket Toernooien):
   Voor $N > 2$ bronnen definiëren de paarsgewijze scores een gewogen toernooi. De auteurs stellen een Borda/row-sum ranking voor om de curriculumvolgorde te bepalen zonder $N!$ permutaties te evalueren.

   • Belangrijke Optimalisatie: Door een gedeelde doel-gradiënt referentie ($\theta_0$) te gebruiken voor alle paren, kunnen de paarsgewijze randgewichten worden berekend via dot-producten van bron-gradiënten en pre-gecomputeerde HVP's ($u_i = H_i g_E$).
   • Complexiteit: Dit reduceert het scheduling-probleem tot $O(N)$ dot-producten en een $O(N \log N)$ sort, waardoor het materialiseren van de volledige $O(N^2)$ paarsgewijze matrix wordt vermeden.

Belangrijkste Bijdragen

1. Commutator Theorie van Transfervolgorde: Het artikel legt een theoretische link tussen orde-afhankelijke target loss verschillen en de directionele bracket score $\sigma^{(E)}_{AB}$, en bewijst dat het teken ervan de optimale paarsgewijze volgorde voorspelt.
2. Inzetbare Paarsgewijze Planner: Introductie van een drift-matched Trotter estimator die gebruikmaakt van gradiënten en HVP's om de effecten van de volgorde met hoge nauwkeurigheid te voorspellen, inclusief metrieken voor "stakes" (effectgrootte) en "confidence" (alignement).
3. Lie-Bracket Toernooien: Een schaalbare methode voor scheduling met veel domeinen die het $N!$ curriculum-zoekproces transformeert naar een ranking-probleem, wat het efficiënt ordenen van tientallen domeinen mogelijk maakt.
4. Geautomatiseerde Stapgrootte Selectie: Een theoretisch gedreven "autopilot" ($\eta$-autopilot) die automatisch stapgroottes selecteert uit pilot-data om de detecteerbaarheid te balanceren tegen hogere-orde stabiliteitsrestricties.
5. Brede Validatie: Het framework wordt gevalideerd voor instructie-SFT, DPO, next-token pretraining adaptatie en diffusiemodel adaptatie.

Experimentele Resultaten

• Paarsgewijze Nauwkeurigheid:
  • Instruction-SFT: Bereikte 98,1% sign-nauwkeurigheid bij $k=1$ (één stap per domein) en 73,1% bij $k=20$.
  • DPO: Bereikte 98,9% nauwkeurigheid bij $k=1$ en 72,2% bij $k=20$.
  • Pretraining/Diffusion: Over vier LLM's en een diffusiemodel behield de methode een hoge nauwkeurigheid (bijv. 92,0% op Llama-3.2-1B, 91,1% op diffusie), waarmee zij de random baselines aanzienlijk versloeg.
• Long-Horizon Generalisatie: De voorspeller, eenmalig berekend bij initialisatie, bleef effectief over lange trainingshorizonten. Op Llama-3.2-1B bleef de nauwkeurigheid 81,5% voor $k=20$ en 65,3% voor $k=50$ (totaal 100 updates), met een significante reductie in regret vergeleken met willekeurige ordening.
• Scheduling met Veel Domeinen:
  • Kleine $N$ ($N=3$): De methode herstelde de beste van alle $3!$ schema's in 87,5% van de gevallen.
  • Grote $N$: Op 56 MMLU-onderwerpen bereikte de methode het 99,0–99,6ste gesamplede percentiel, waarmee zij de descending gradient-norm baseline (die onder het 1ste percentiel viel) scherp versloeg. Op 85 Stack programmeertaal-domeinen bereikte zij het 99ste percentiel voor een Python target.
• Efficiëntie: De planner wordt computationeel goedkoper dan brute-force evaluatie van beide volgordes bij ongeveer $k \approx 3$ stappen per domein.

Betekenis en Claims
Het artikel herformuleert sequentieel leren als een geometrisch toernooiprobleem. Het beweert dat de Lie-bracket commutator zowel lokale paarsgewijze volgorde-informatie als een schaalbaar primitief biedt voor het construeren van veel-domein schema's. De resultaten suggereren dat de niet-commutativiteit van gradiënt-updates een dominante factor is in curriculum design, en dat deze geometrische structuur kan worden geëxploiteerd om exhaustieve zoektochten te vermijden. De auteurs benadrukken dat de methode bijzonder effectief is voor parameter-efficiënte fine-tuning scenario's (bijv. het tunen van alleen de laatste lagen of adapters) en dat het paarsgewijze geometrische primitief generaliseert over verschillende trainingsdoelen (SFT, DPO, pretraining) en architecturen (Transformers, UNets). Het artikel claimt niet de globale optimalisatie van willekeurige curricula op te lossen, maar demonstreert dat een lokale geometrische heuristiek nabij-optimale schema's kan herstellen met minimale computationele overhead.