Technische Samenvatting: CORA: Per-Slice Coherent Orthogonal Rotation voor SVD-gebaseerde Low-Rank Adaptatie

1. Probleemstelling

Parameter-efficiënte fijnafstemming (PEFT) is essentieel voor het aanpassen van Large Language Models (LLM's) aan downstream-taken zonder de prohibitieve kosten van volledige fijnafstemming. Hoewel Low-Rank Adaptation (LoRA) de dominante methode is, leert het een additieve update $\Delta W = BA$ die geometrische vrijheidsgraden (basisrotatie en spectrale verschuivingen) bundelt in een enkele low-rank matrix. Recente SVD-gebaseerde methoden (bijv. PiSSA, MiLoRA) maken gebruik van de singularwaardedecompositie (SVD) van de vooraf getrainde gewichten ($W_0 = U_0 \Sigma_0 V_0^\top$) voor initialisatie of substraatselectie, maar behouden niet expliciet de gekoppelde geometrie tussen de linker ($U_0$) en rechter ($V_0$) singuliere bases.

Recente theoretische arbeid [8] suggereert dat stabiele fijnafstemming een "coherente SVD-rotatievorm" volgt, waarbij een enkele orthogonale matrix $Q$ gelijktijdig op zowel de linker als de rechter singuliere bases werkt, vergezeld van een diagonale verschuiving in singularwaarden ($\Delta \Sigma$). Bestaande methoden realiseren dit slechts gedeeltelijk: additieve LoRA-stijl methoden verstrengelen rotatie en spectrum, terwijl orthogonale fijnafstemmingsmethoden rotatie afdwingen maar vaak een gebrek aan spectrale flexibiliteit vertonen. Bovendien specificeert de globale coherente rotatietheorie niet hoe dit efficiënt geïmplementeerd kan worden binnen de gestructureerde, low-rank beperkingen van praktische adapters.

2. Methodologie: CORA

De auteurs stellen CORA (Coherent Orthogonal Rotation Adaptation) voor, een methode die de globale coherente rotatietheorie uitbreidt naar een per-slice granulariteit.

2.1 Theoretische Fundering

Het artikel bewijst een per-slice analoog van de coherente rotatietheorema (Theorem 2). Door een gewichtsmatrix $W_0$ te partitioneren in rij-slices $W_i \in \mathbb{R}^{r \times k}$, tonen de auteurs aan dat onder milde regulariteitsveronderstellingen de optimale gefinetunede vorm van elke slice is:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
waarbij $Q_i$ een enkele orthogonale matrix is die op zowel de linker basis $U_i$ als de rechter basis $V_i$ van de slice werkt. Dit vestigt dat de in-basis rotaties aan beide zijden identiek moeten zijn ($Q_{U,i} = Q_{V,i} = Q_i$) om de Frobenius-perturbatie te minimaliseren.

2.2 Parametrisatie en Implementatie

Om deze vorm efficiënt te realiseren zonder dure manifold-beperkingen, gebruikt CORA een specifieke herparametrisatie:

1. Bronmatrix: De methode werkt op de rank-$r$ SVD-truncatie van het vooraf getrainde gewicht, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, waarbij de residu $W_0 - W_{lr}$ bevroren blijft.
2. Slice Partitionering: $W_{lr}$ wordt verdeeld in $s = m/r$ rij-slices.
3. Rotatie Leren: In plaats van $Q_i$ direct op de orthogonale manifold te leren, leert CORA een enkele ongeconstreerde orthogonale matrix $R_i$ per slice en definieert de rotatie als $Q_i = U_i^\top R_i U_i$. Deze gelijkenistransformatie zorgt ervoor dat de coherente rotatievoorwaarde ($Q_{U,i} = Q_{V,i}$) identiek wordt opgelegd zonder expliciete beperkingen of straffen tijdens de training.
4. Spectrale Schaling: Een optionele per-layer diagonale schaalvector $\delta$ wordt toegepast op de singularwaarden ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Cayley Map: Om te garanderen dat $R_i$ orthogonaal blijft, wordt het geparametriseerd via een closed-form Cayley-map van een leerbare skew-symmetrische matrix, waardoor convergentieradius-beperkingen worden vermeden.

2.3 Parameter-efficiëntie

CORA gebruikt $\frac{1}{2}m(r-1)$ leerbare parameters per lineaire laag (plus optionele $r$ scalars voor $\delta$). Dit is ongeveer 4$\times$ minder parameters dan LoRA bij dezelfde rank $r$ (die $r(m+k)$ gebruikt), en ongeveer 8$\times$ minder dan LoRA bij het vergelijken van prestatie-equivalente configuraties.

3. Belangrijkste Bijdragen

1. Theoretische Uitbreiding: Bewezen dat de coherente rotatietheorema van toepassing is op individuele rij-slices van een gewichtsmatrix, waarmee de globale theorie wordt uitgebreid naar de granulariteit van praktische adapters.
2. Nieuwe Parametrisatie: Introduceerde een herparametrisatie ($Q_i = U_i^\top R_i U_i$) die de coherente rotatievoorwaarde ($Q_{U,i} = Q_{V,i}$) afdwingt als een algebraïsche identiteit, waardoor de noodzaak voor orthogonaliteitsbeperkingen tijdens optimalisatie wordt geëlimineerd.
3. Efficiënt Adapter Ontwerp: Geïmplementeerd CORA als een compacte adapter met per-slice orthogonale rotaties en per-layer diagonale schaling, waarbij een hoge prestatie wordt bereikt met aanzienlijk minder parameters dan bestaande SVD-gebaseerde en algemene PEFT-methoden.

4. Experimentele Resultaten

CORA werd geëvalueerd op LLaMA-2-7B, LLaMA-3-8B en Mistral-7B over drie taakfamilies: commonsense reasoning, code generatie en wiskundige redenering.

• Commonsense Reasoning: Op LLaMA-2-7B bereikte CORA met $r=16$ (6,6M parameters) een gemiddelde nauwkeurigheid van 82,16%. Dit presteerde beter dan PiSSA en MiLoRA (beide op $r=32$, ~56M parameters) met respectievelijk 8,4 en 3,0 punten, en overtrof DoRA ($r=32$) met 2,5 punten.
• Code Generatie: Op LLaMA-3-8B bereikte CORA ($r=16$, 10,3M parameters) een 48,2 HumanEval Pass@1, wat aanzienlijk hoger is dan DiaBlo ($N=64$, 121M parameters) en LoRI ($r=32$, 45M parameters). Op Mistral-7B behield CORA een sterke prestatie (40,2 Pass@1) met slechts 10,3M parameters.
• Wiskundige Redenering: CORA presteerde competitief op GSM8K maar bleef achter op MATH vergeleken met MiLoRA. De auteurs schrijven dit toe aan de spectrale lokaliteit van wiskundige kennis; de focus van MiLoRA op minder belangrijke componenten (residu-richtingen) lijkt beter geschikt voor taken waar de hoofdcomponenten minder taak-relevante structuren coderen.
• Ablaties:
  • Gedeelde Schaal ($\delta$): Het mogelijk maken van de gedeelde spectrumschaling was cruciaal, wat de prestaties verbeterde met 0,8–2,4 punten en instorting bij lage ranks ($r=8$) voorkwam.
  • Two-Sided Rotation: Het verwijderen van de $V$-zijde rotatie (alleen $U$-zijde) veroorzaakte significante prestatiedalingen (tot 9,8 punten), wat de noodzaak van de coherente rotatievorm bevestigt.
  • Bronmatrix: Het gebruik van de volledige $W_0$ in plaats van de getrunceerde $W_{lr}$ verbeterde de MATH-prestaties, wat de hypothese valideert dat de staart-singulariteitsrichtingen wiskunde-specifieke signalen bevatten.

5. Betekenis en Claims

Het artikel claimt dat CORA succesvol additieve SVD-geinitialiseerde methoden en orthogonale rotatiefamilies verenigt onder een enkele, theoretisch onderbouwde vorm. Door de coherente rotatievoorwaarde expliciet af te dwingen die afgeleid is van minimum-perturbatie theorie, bereikt CORA een superieure parameter-nauwkeurigheid-trade-off.

De auteurs stellen dat CORA state-of-the-art resultaten bereikt in commonsense reasoning en code generatie met ongeveer 8$\times$ minder parameters dan concurrerende methoden zoals LoRA, DoRA, PiSSA en MiLoRA. Het werk demonstreert dat expliciete geometrische beperkingen (coherente rotatie) efficiënt geïmplementeerd kunnen worden via algebraïsche herparametrisatie, wat een nieuwe richting biedt voor parameter-efficiënte adaptatie die de onderliggende geometrie van vooraf getrainde gewichten respecteert.

Beperkingen opgemerkt door de auteurs:

• Vereist offline SVD-berekening en het cachen van per-slice factoren vóór de training.
• Introduceert extra matrixvermenigvuldigingen tijdens de forward pass vergeleken met standaard LoRA.
• Geëvalueerd tot 8B parameter modellen; schaalbaarheid naar 30B+ modellen is niet geverifieerd.
• Prestaties op wiskunde-taken zijn gevoelig voor de keuze van het bronspectrum (hoofdcomponenten versus residu-componenten).