Technische Samenvatting: Gradient-Gestuurde Optimizer Routing voor LLM-Adaptatie (MoLF)

1. Probleemstelling

Het fijnafstemmen van Large Language Models (LLM's) staat voor een fundamentele structurele afweging tussen Volledig Fijnafstemmen (FFT) en Low-Rank Adaptatie (LoRA).

• FFT biedt hoge representatieve plasticiteit, essentieel voor het injecteren van kennis met hoge entropie (bijv. feitelijke updates), maar riskeert catastrofale vergetelheid van voorgetrainde redeneervermogens door agressieve optimalisatie.
• LoRA fungeert als een impliciete regularisator, behoudt voorgetrainde logica en voorkomt overfitting, maar lijdt aan een capaciteitsknelpunt wanneer taken updates met hoge rang vereisen (bijv. het memoriseren van complexe feitelijke associaties).

Empirisch bewijs suggereert dat noch een statische architectuur universeel optimaal is; de beste keuze hangt af van de intrinsieke dimensionaliteit van de taak en het specifieke model. Bestaande oplossingen, zoals adaptieve-rang LoRA of Mixture-of-Experts (MoE) die tokens routeren, slagen er niet in deze spanning op te lossen omdat ze ofwel de zoekruimte beperken tot low-rank subruimtes, ofwel gradientstatistieken fragmenteren door inputs te routeren, wat leidt tot onstabiele trainingsdynamiek en cold-start-problemen wanneer rangen veranderen.

2. Methodologie: MoLF en MoLF-Efficient

De auteurs stellen Mixture of LoRA and Full (MoLF) Fijnafstemmen voor, een kader dat FFT en LoRA verenigt binnen één trainingsregime zonder de structuur van de forward pass te wijzigen.

Kernarchitectuur

MoLF behandelt de gewichten van het basismodel ($W_{base}$) als een "FFT-expert" en injecteert meerdere onafhankelijke LoRA-adapters als "LoRA-experts". In tegenstelling tot traditionele MoE, nemen alle experts deel aan elke forward- en backward-pass. De forward pass is een onvoorwaardelijke superpositie:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
waarbij $\alpha_i$ een Rank-Gestabiliseerde LoRA (RS-LoRA) schalingsfactor is.

Gradient-Gestuurde Optimizer Routing

De nieuwigheid van MoLF ligt in het verspreiden van de parameterupdate-stap in plaats van de forward pass. Het kader maakt gebruik van een aangepaste Sparse AdamW optimizer met een drie-fasen routeringsmechanisme:

1. Universele Momentum-tracking: Alle experts (FFT en LoRA) ontvangen full-batch gradients en updaten hun Adam eerste ($m_t$) en tweede ($v_t$) moment-schattingen. Dit zorgt ervoor dat elke expert een volwassen, gedebiasde momentumstaat behoudt, waardoor de "cold-start"-faalmodus die voorkomt bij adaptieve-rang methoden wordt vermeden.
2. Expert Scoring (Verwachte Preconditioned Descent - EPD): In plaats van te routeren op basis van ruwe gradientnormen, berekent MoLF een EPD-score ($S_t^{(i)}$) voor elke expert. Deze score schat de verwachte verliesreductie per parameter als die expert zou worden bijgewerkt, genormaliseerd door het aantal parameters ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   Deze metric houdt rekening met zowel de beoogde stapgrootte van de optimizer als de lokale verliestopologie, waardoor een eerlijke vergelijking mogelijk is tussen de massieve FFT-ruggengraat en lichtgewicht LoRA-adapters.
3. Top-K Sparse Update: Alleen de top-$K$ experts (typisch $K=1$) met de hoogste EPD-scores ontvangen fysieke gewichtsupdates via de standaard AdamW-stap. Verliezende experts behouden hun vorige gewichten, maar blijven gradientstatistieken accumuleren.

MoLF-Efficient (MoLF-E)

Voor geheugengebonden omgevingen verwijdert MoLF-E de FFT-expert volledig. Het routeert updates tussen een paar LoRA-experts met variërende rangen (bijv. $r$ en $128$). Deze variant bevriest de basale gewichten en niet-lineaire parameters, wat de geheugenoverhead vermindert terwijl het voordeel van dynamische subruimte-zoekopdracht behouden blijft.

Inferentie

Na het trainen staat MoLF inferentie zonder overhead toe. Alle getrainde LoRA-experts worden wiskundig direct geprojecteerd in de basale gewichten ($W_{final} = W_{base} + \sum \Delta W_i$), waarbij het multi-expert-grafiek wordt samengevouwen tot een standaard dicht model dat identiek is aan de basis LLM-architectuur.

3. Belangrijkste Bijdragen

1. Empirische Karakterisering van Fijnafstemmingsregimes: De auteurs evalueren systematisch FFT en LoRA over drie datasets (CounterFact, MedMCQA, Text-to-SQL) en drie modellen (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B). Ze identificeren drie distincte regimes:
   • Feit (Capaciteitsknelpunt): FFT domineert; LoRA faalt in het vastleggen van spectra met hoge entropie en zware staarten van singuliere waarden.
   • Med (Spectrale Regularisatie): High-rang LoRA presteert beter dan FFT; de low-rang beperking fungeert als regularisator die catastrofale vergetelheid van redeneren voorkomt.
   • SQL (Lage Intrinsieke Dimensie): Beide presteren vergelijkbaar; LoRA vangt het geconcentreerde singuliere spectrum efficiënt op.
2. MoLF Kader: Een verenigde methode die dynamisch navigeert tussen FFT en LoRA op het niveau van de optimizer, en zorgt voor stabiele trainingsdynamiek door alle experts actief te houden bij de gradientaccumulatie.
3. MoLF-E: Een geheugenefficiënte variant die bestaande adaptieve-rang methoden (AdaLoRA, AdaMix) overtreft door parallelle LoRA-experts van verschillende rangen te behouden zonder een FFT-pad.

4. Experimentele Resultaten

• MoLF vs. Statische Baselines: Over 9 instellingen (3 modellen $\times$ 3 taken) komt MoLF consistent overeen met of overtreft de beste statische baseline (FFT of optimale-rang LoRA). Het blijft binnen 1,5% van de beste baseline in alle gevallen en behaalt de absolute beste score in 3 configuraties. Opmerkelijk is dat het FFT-niveau capaciteit herstelt op Feit-taken, terwijl het FFT met maximaal 3,25% overtreft op Med-taken.
• MoLF-E vs. Adaptieve PEFT: MoLF-E presteert beter dan AdaLoRA en AdaMix in 8 van de 9 instellingen. De verbetering is het meest significant op Feit-taken, waar MoLF-E tot 20% hogere nauwkeurigheid bereikt dan de slechtst presterende baseline (AdaMix) door updates effectief toe te wijzen aan subruimtes met hogere rang wanneer capaciteit het knelpunt is.
• Ablatie Studies:
  • Sparse Updates: Het simultaan updaten van alle experts (dichte update) veroorzaakt ernstige prestatiedegradatie op Med-taken door optimalisatie-oscillaties tussen concurrerende representatieve capaciteiten.
  • Routeringsheuristiek: De EPD-score presteert beter dan de Preconditioned Frobenius Norm (PFN) op Med-taken, wat aantoont dat het opnemen van de leersnelheid en stapgrootte cruciaal is voor het balanceren van experts van verschillende schalen.
  • Routerstabiliteit: De router convergeert snel (binnen ~500 stappen) naar een stabiele structurele toewijzing, waarbij specifieke modules zich definitief committeren aan ofwel FFT- of LoRA-paden in plaats van te oscilleren.

5. Betekenis en Claims

Het artikel beweert dat het vertrouwen op een enkele statische architectuur structureel beperkt is voor LLM-adaptatie. MoLF lost de spanning op tussen representatieve plasticiteit en impliciete regularisatie door de forward pass te ontkoppelen van het update-mechanisme.

De auteurs stellen dat MoLF een "continue navigatie" biedt tussen trainingsregimes, waardoor het model gebruik kan maken van de hoge capaciteit van FFT voor kennisinjectie en de regularisatie van LoRA voor behoud van redeneren, zonder handmatige hyperparameter-tuning of exhaustieve rang-zoekopdrachten. Bovendien zorgt het vermogen om het model na training in te storten ervoor dat deze winsten geen straffactoren voor inferentielatentie met zich meebrengen, wat de aanpak praktisch maakt voor implementatie. Het werk suggereert dat het behouden van een expressieve trainbare architectuur terwijl alleen expert-niveau updates worden verspreid, een effectieve strategie is om de voordelen van diverse experttypen vast te leggen.