Technische Zusammenfassung: Gradienten-gesteuertes Optimierer-Routing für die Anpassung von LLMs (MoLF)

1. Problemstellung

Die Feinabstimmung von Large Language Models (LLMs) steht vor einem grundlegenden strukturellen Zielkonflikt zwischen Full Fine-Tuning (FFT) und Low-Rank Adaptation (LoRA).

• FFT bietet hohe repräsentative Plastizität, die für die Einbringung von hochentropischem Wissen (z. B. faktische Aktualisierungen) unerlässlich ist, birgt jedoch aufgrund aggressiver Optimierung das Risiko des katastrophalen Vergessens vortrainierter Reasoning-Fähigkeiten.
• LoRA wirkt als impliziter Regularisierer, bewahrt vortrainierte Logik und verhindert Overfitting, leidet jedoch unter einem Kapazitätsengpass, wenn Aufgaben hochrangige Updates erfordern (z. B. das Memorieren komplexer faktischer Assoziationen).

Empirische Evidenz deutet darauf hin, dass keine statische Architektur universell optimal ist; die beste Wahl hängt von der intrinsischen Dimensionalität der Aufgabe und dem spezifischen Modell ab. Bestehende Lösungen, wie adaptive-Rank-LoRA oder Mixture-of-Experts (MoE), die Tokens routen, lösen diese Spannung nicht, da sie entweder den Suchraum auf niedrigrangige Unterräume beschränken oder Gradientenstatistiken durch das Routing von Eingaben fragmentieren, was zu instabilen Trainingsdynamiken und Cold-Start-Problemen bei Rangwechseln führt.

2. Methodik: MoLF und MoLF-Efficient

Die Autoren schlagen Mixture of LoRA and Full (MoLF) Fine-Tuning vor, ein Framework, das FFT und LoRA innerhalb eines einzigen Trainingsregimes vereint, ohne die Struktur des Vorwärtsdurchlaufs zu verändern.

Kernarchitektur

MoLF behandelt die Gewichte des Basismodells ($W_{base}$) als einen „FFT-Experten" und injiziert mehrere unabhängige LoRA-Adapter als „LoRA-Experten". Im Gegensatz zu traditionellem MoE nehmen alle Experten an jedem Vorwärts- und Rückwärtsdurchlauf teil. Der Vorwärtsdurchlauf ist eine unbedingte Superposition:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
wobei $\alpha_i$ ein Rank-Stabilized LoRA (RS-LoRA) Skalierungsfaktor ist.

Gradienten-gesteuertes Optimierer-Routing

Die Neuheit von MoLF liegt in der Verdünnung des Parameter-Update-Schritts anstelle des Vorwärtsdurchlaufs. Das Framework verwendet einen benutzerdefinierten Sparse AdamW-Optimierer mit einem Routing-Mechanismus in drei Phasen:

1. Universelles Momentum-Tracking: Alle Experten (FFT und LoRA) erhalten Gradienten im Vollbatch und aktualisieren ihre ersten ($m_t$) und zweiten ($v_t$) Momentenschätzungen des Adam-Optimierers. Dies stellt sicher, dass jeder Experte einen ausgereiften, entverzerrten Momentum-Zustand beibehält und so den „Cold-Start"-Fehlermodus vermeidet, der bei adaptiven-Rank-Methoden beobachtet wird.
2. Expert-Bewertung (Expected Preconditioned Descent - EPD): Anstatt basierend auf rohen Gradientennormen zu routen, berechnet MoLF einen EPD-Score ($S_t^{(i)}$) für jeden Experten. Dieser Score schätzt die erwartete Verlustreduktion pro Parameter, wenn dieser Experte aktualisiert würde, normalisiert durch die Anzahl der Parameter ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   Diese Metrik berücksichtigt sowohl die vom Optimierer intendierte Schrittgröße als auch die lokale Verlusttopologie und ermöglicht einen fairen Vergleich zwischen dem massiven FFT-Rückgrat und leichten LoRA-Adaptern.
3. Top-K Sparse Update: Nur die Top-$K$ Experten (typischerweise $K=1$) mit den höchsten EPD-Scores erhalten physische Gewichtsupdates über den Standard-AdamW-Schritt. Verlierende Experten behalten ihre vorherigen Gewichte, sammeln jedoch weiterhin Gradientenstatistiken.

MoLF-Efficient (MoLF-E)

Für speicherbeschränkte Umgebungen entfernt MoLF-E den FFT-Experten vollständig. Es routet Updates zwischen einem Paar von LoRA-Experten mit unterschiedlichen Rängen (z. B. $r$ und $128$). Diese Variante friert die Basisgewichte und nichtlinearen Parameter ein, reduziert den Speicherbedarf und behält gleichzeitig den Vorteil der dynamischen Suche im Unterraum bei.

Inferenz

Nach dem Training ermöglicht MoLF eine Inferenz ohne Overhead. Alle trainierten LoRA-Experten werden mathematisch direkt in die Basisgewichte projiziert ($W_{final} = W_{base} + \sum \Delta W_i$), wodurch der Multi-Expert-Graph in ein Standard-Dichtemodell kollabiert, das der Basis-LLM-Architektur identisch ist.

3. Hauptbeiträge

1. Empirische Charakterisierung von Feinabstimmungs-Regimen: Die Autoren bewerten FFT und LoRA systematisch über drei Datensätze (CounterFact, MedMCQA, Text-to-SQL) und drei Modelle (Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B). Sie identifizieren drei distincte Regime:
   • Fact (Kapazitätsengpass): FFT dominiert; LoRA versagt beim Erfassen hochentropischer, schwerer Schwanz-Singularwert-Spektren.
   • Med (Spektrale Regularisierung): Hochrangiges LoRA übertrifft FFT; die niedrigrangige Einschränkung wirkt als Regularisierer, der das katastrophale Vergessen von Reasoning verhindert.
   • SQL (Niedrige intrinsische Dimension): Beide performen ähnlich; LoRA erfasst das konzentrierte Singularspektrum effizient.
2. MoLF-Framework: Eine einheitliche Methode, die dynamisch auf Optimierer-Ebene zwischen FFT und LoRA navigiert und stabile Trainingsdynamiken sicherstellt, indem alle Experten in der Gradientenakkumulation aktiv bleiben.
3. MoLF-E: Eine speichereffiziente Variante, die bestehende adaptive-Rank-Methoden (AdaLoRA, AdaMix) übertrifft, indem sie parallele LoRA-Experten unterschiedlicher Ränge ohne FFT-Pfad unterhält.

4. Experimentelle Ergebnisse

• MoLF vs. Statische Baselines: Über 9 Einstellungen (3 Modelle $\times$ 3 Aufgaben) hinweg entspricht MoLF konsistent dem besten statischen Baseline (FFT oder optimaler-Rank-LoRA) oder übertrifft ihn. In allen Fällen bleibt es innerhalb von 1,5 % der besten Baseline und erzielt in 3 Konfigurationen den eindeutig besten Score. Bemerkenswert ist, dass es auf Fact-Aufgaben die FFT-Kapazität wiederherstellt, während es auf Med-Aufgaben FFT um bis zu 3,25 % übertrifft.
• MoLF-E vs. Adaptive PEFT: MoLF-E übertrifft AdaLoRA und AdaMix in 8 von 9 Einstellungen. Die Verbesserung ist auf Fact-Aufgaben am signifikantesten, wo MoLF-E bis zu 20 % höhere Genauigkeit als die am schlechtesten performende Baseline (AdaMix) erreicht, indem es Updates effektiv höheren Rang-Unterräumen zuweist, wenn die Kapazität der Engpass ist.
• Ablationsstudien:
  • Sparse Updates: Das gleichzeitige Aktualisieren aller Experten (dichtes Update) führt bei Med-Aufgaben zu einer schweren Leistungsverschlechterung aufgrund von Optimierungsoszillationen zwischen konkurrierenden repräsentativen Kapazitäten.
  • Routing-Heuristik: Der EPD-Score übertrifft die Preconditioned Frobenius Norm (PFN) bei Med-Aufgaben und zeigt, dass die Einbeziehung der Lernrate und Schrittgröße entscheidend für die Balance von Experten unterschiedlicher Skalen ist.
  • Router-Stabilität: Der Router konvergiert schnell (innerhalb von ~500 Schritten) zu einer stabilen strukturellen Zuweisung, bei der spezifische Module sich definitiv entweder auf FFT- oder LoRA-Pfade festlegen, anstatt zu oszillieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Abhängigkeit von einer einzigen statischen Architektur für die Anpassung von LLMs strukturell begrenzt ist. MoLF löst den Konflikt zwischen repräsentativer Plastizität und impliziter Regularisierung, indem es den Vorwärtsdurchlauf vom Update-Mechanismus entkoppelt.

Die Autoren behaupten, dass MoLF eine „kontinuierliche Navigation" zwischen Trainingsregimen bietet, die es dem Modell ermöglicht, die hohe Kapazität von FFT für die Wissenseinbringung und die Regularisierung von LoRA für die Bewahrung von Reasoning zu nutzen, ohne manuelles Hyperparameter-Tuning oder exhaustive Rangsuche. Darüber hinaus stellt die Fähigkeit, das Modell nach dem Training zu kollabieren, sicher, dass diese Gewinne keine Inferenz-Latenzstrafen mit sich bringen, was den Ansatz für den Einsatz praktikabel macht. Die Arbeit legt nahe, dass die Aufrechterhaltung einer ausdrucksstarken trainierbaren Architektur bei gleichzeitiger Verdünnung nur der Experten-Updates eine effektive Strategie ist, um die Vorteile verschiedener Expertentypen zu erfassen.