Technisches Resümee: CORA: Per-Slice Coherent Orthogonal Rotation für SVD-basierte Low-Rank-Adaption

1. Problemstellung

Parameter-effizientes Fine-Tuning (PEFT) ist essenziell für die Anpassung von Large Language Models (LLMs) an Downstream-Aufgaben, ohne die prohibitiven Kosten eines Full Fine-Tunings zu verursachen. Während Low-Rank Adaptation (LoRA) die dominierende Methode ist, lernt sie eine additive Aktualisierung $\Delta W = BA$, welche die geometrischen Freiheitsgrade (Basisrotation und Spektralverschiebungen) in einer einzigen Low-Rank-Matrix bündelt. Jüngste SVD-basierte Methoden (z. B. PiSSA, MiLoRA) nutzen die Singulärwertzerlegung (SVD) der vortrainierten Gewichte ($W_0 = U_0 \Sigma_0 V_0^\top$) zur Initialisierung oder Subraumselektion, bewahren jedoch nicht explizit die gekoppelte Geometrie zwischen den linken ($U_0$) und rechten ($V_0$) singulären Basen.

Jüngste theoretische Arbeiten [8] legen nahe, dass stabiles Fine-Tuning einer „kohärenten SVD-Rotationsform“ folgt, bei der eine einzige orthogonale Matrix $Q$ gleichzeitig auf die linken und rechten singulären Basen wirkt, begleitet von einer diagonalen Verschiebung der Singulärwerte ($\Delta \Sigma$). Bestehende Methoden realisieren dies nur teilweise: Additive LoRA-ähnliche Methoden verstricken Rotation und Spektrum, während orthogonale Fine-Tuning-Methoden zwar Rotation erzwingen, aber oft an spektraler Flexibilität mangeln. Darüber hinaus spezifiziert das globale Theorem der kohärenten Rotation nicht, wie dieses effizient innerhalb der strukturierten, Low-Rank-beschränkten Rahmenbedingungen praktischer Adapter implementiert werden kann.

2. Methodik: CORA

Die Autoren schlagen CORA (Coherent Orthogonal Rotation Adaptation) vor, eine Methode, die das globale Theorem der kohärenten Rotation auf eine Per-Slice-Granularität erweitert.

2.1 Theoretische Grundlage

Die Arbeit beweist ein Per-Slice-Analogon des Kohärenz-Rotations-Theorems (Theorem 2). Durch die Partitionierung einer Gewichtstmatrix $W_0$ in Zeilenslices $W_i \in \mathbb{R}^{r \times k}$ zeigen die Autoren, dass unter milden Regularitätsannahmen die optimale feinabgestimmte Form jedes Slices wie folgt aussieht:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
wobei $Q_i$ eine einzige orthogonale Matrix ist, die sowohl auf die linke Basis $U_i$ als auch auf die rechte Basis $V_i$ des Slices wirkt. Dies etabliert, dass die links- und rechtsseitigen In-Basis-Rotationen identisch sein müssen ($Q_{U,i} = Q_{V,i} = Q_i$), um die Frobenius-Perturbation zu minimieren.

2.2 Reparametrisierung und Implementierung

Um diese Form effizient ohne teure Mannigfaltigkeitsbeschränkungen zu realisieren, verwendet CORA eine spezifische Reparametrisierung:

1. Quellmatrix: Die Methode operiert auf der Rank-$r$ SVD-Trunkierung des vortrainierten Gewichts, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, wobei das Residuum $W_0 - W_{lr}$ eingefroren wird.
2. Slice-Partitionierung: $W_{lr}$ wird in $s = m/r$ Zeilenslices partitioniert.
3. Rotationslernen: Anstatt $Q_i$ direkt auf der orthogonalen Mannigfaltigkeit zu lernen, lernt CORA eine einzige unbeschränkte orthogonale Matrix $R_i$ pro Slice und definiert die Rotation als $Q_i = U_i^\top R_i U_i$. Diese Ähnlichkeitstransformation stellt sicher, dass die kohärente Rotationsbedingung ($Q_{U,i} = Q_{V,i}$) als algebraische Identität erfüllt wird, ohne dass explizite Beschränkungen oder Strafen während des Trainings erforderlich sind.
4. Spektrale Skalierung: Ein optionaler pro-Layer diagonaler Skalierungsvektor $\delta$ wird auf die Singulärwerte angewendet ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Cayley-Abbildung: Um sicherzustellen, dass $R_i$ orthogonal bleibt, wird es über eine geschlossene Cayley-Abbildung einer lernbaren antisymmetrischen Matrix parametrisiert, wodurch Konvergenzradius-Beschränkungen vermieden werden.

2.3 Parameter-Effizienz

CORA verwendet $\frac{1}{2}m(r-1)$ trainierbare Parameter pro Linear Layer (plus optionale $r$ Skalare für $\delta$). Dies sind etwa 4$\times$ weniger Parameter als LoRA bei gleichem Rang $r$ (welches $r(m+k)$ verwendet), und etwa 8$\times$ weniger als LoRA im Vergleich zu leistungsäquivalenten Konfigurationen.

3. Zentrale Beiträge

1. Theoretische Erweiterung: Bewiesen, dass das Theorem der kohärenten Rotation auf einzelne Zeilenslices einer Gewichtstmatrix anwendbar ist, wodurch die globale Theorie auf die Granularität praktischer Adapter erweitert wird.
2. Neuartige Reparametrisierung: Einführung einer Reparametrisierung ($Q_i = U_i^\top R_i U_i$), die die kohärente Rotationsbedingung ($Q_{U,i} = Q_{V,i}$) als algebraische Identität erzwingt und somit die Notwendigkeit von Orthogonalitätsbeschränkungen während der Optimierung eliminiert.
3. Effizientes Adapter-Design: Implementierung von CORA als kompakter Adapter unter Verwendung von Per-Slice-Orthogonal-Rotationen und Per-Layer-Diagonalskalierung, wodurch eine hohe Performance mit signifikant weniger Parametern als bestehende SVD-basierte und allgemeine PEFT-Methoden erreicht wird.

4. Experimentelle Ergebnisse

CORA wurde auf LLaMA-2-7B, LLaMA-3-8B und Mistral-7B über drei Aufgabenfamilien hinweg evaluiert: Commonsense Reasoning, Code-Generierung und mathematisches Denken.

• Commonsense Reasoning: Auf LLaMA-2-7B erreichte CORA mit $r=16$ (6,6M Parameter) eine durchschnittliche Genauigkeit von 82,16%. Dies übertraf PiSSA und MiLoRA (beide bei $r=32$, ~56M Parameter) um 8,4 bzw. 3,0 Punkte und übertraf DoRA ($r=32$) um 2,5 Punkte.
• Code Generation: Auf LLaMA-3-8B erreichte CORA ($r=16$, 10,3M Parameter) 48,2 HumanEval Pass@1, was DiaBlo ($N=64$, 121M Parameter) und LoRI ($r=32$, 45M Parameter) deutlich übertraf. Auf Mistral-7B behielt CORA eine starke Performance (40,2 Pass@1) bei nur 10,3M Parametern bei.
• Mathematisches Denken: CORA war bei GSM8K wettbewerbsfähig, lag aber bei MATH hinter MiLoRA zurück. Die Autoren führen dies auf die spektrale Lokalität mathematischen Wissens zurück; MiLoras Fokus auf die Nebenkomponenten (Residuen-Richtungen) scheint besser für Aufgaben geeignet zu sein, bei denen die Hauptkomponenten weniger aufgabenspezifische Strukturen kodieren.
• Ablationen:
  • Shared Scale ($\delta$): Die Aktivierung der gemeinsamen Spektralskalierung war entscheidend und verbesserte die Performance um 0,8–2,4 Punkte sowie verhinderte den Kollaps bei niedrigen Rängen ($r=8$).
  • Two-Sided Rotation: Das Entfernen der $V$-seitigen Rotation (nur $U$-Seite) führte zu signifikanten Leistungseinbußen (bis zu 9,8 Punkte), was die Notwendigkeit der kohärenten Rotationsform bestätigt.
  • Source Matrix: Die Verwendung der vollen $W_0$ anstelle der trunkierten $W_{lr}$ verbesserte die MATH-Performance, was die Hypothese validiert, dass die Tail-Singularrichtungen MATH-spezifische Signale enthalten.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CORA erfolgreich additive SVD-initialisierte Methoden und orthogonale Rotationsfamilien unter einer einzigen, theoretisch fundierten Form vereinigt. Durch das explizite Erzwingen der kohärenten Rotationsbedingung, die aus der Minimum-Perturbation-Theorie abgeleitet wurde, erreicht CORA ein überlegenes Parameter-Genauigkeits-Verhältnis.

Die Autoren geben an, dass CORA State-of-the-Art-Ergebnisse in Commonsense Reasoning und Code-Generierung mit etwa 8$\times$ weniger Parametern als konkurrierende Methoden wie LoRA, DoRA, PiSTA und MiLoRA erreicht. Die Arbeit zeigt, dass explizite geometrische Beschränkungen (kohärente Rotation) effizient über algebraische Reparametrisierung implementiert werden können, was einen neuen Weg für die parameter-effiziente Adaptation eröffnet, der die zugrunde liegende Geometrie vortrainierter Gewichte respektiert.

Von den Autoren angemerkt werden folgende Limitationen:

• Erfordert Offline-SVD-Berechnung und Caching der Per-Slice-Faktoren vor dem Training.
• Führt zusätzliche Matrixmultiplikationen während des Forward-Passes im Vergleich zu Standard-LoRA ein.
• Bis zu 8B-Parameter-Modellen evaluiert; die Skalierbarkeit auf 30B+ Modelle ist unverifiziert.
• Die Performance bei Mathematik-Aufgaben reagiert sensibel auf die Wahl der Quell-Spektren (Haupt- vs. Residuen-Komponenten).