🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

Dit artikel stelt geometrie-behoudende orthonormale initialisatie voor voor Low-Rank Adaptation (LoRA) in Reinforcement Learning met Verifieerbare Beloningen (RLVR), waarbij theoretisch wordt aangetoond dat deze aanpak de kloof naar volledige fijnafstemming minimaliseert, het trainen stabiliseert en bestaande varianten zoals PiSSA en MiLoRA overtreft op benchmarks voor wiskundig redeneren.

Oorspronkelijke auteurs: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, ongelooflijk slimme bibliotheek hebt (een Large Language Model) die bijna alles in de wereld al heeft gelezen. Je wilt deze bibliotheek een nieuwe, specifieke vaardigheid aanleren, zoals het oplossen van complexe wiskundige problemen.

Er zijn twee manieren om dit te doen:

Full Fine-Tuning: Je herschrijft de volledige catalogus van de bibliotheek en organiseert elke enkele boekenplank opnieuw. Dit is krachtig, maar vereist een enorme hoeveelheid energie en opslag (alsof je een hele nieuwe loods nodig hebt).
LoRA (Low-Rank Adaptation): In plaats van alles te herschrijven, voeg je gewoon een klein, plakkerig indexkaartje toe aan de voorkant van de bibliotheek. Dit kaartje bevat de nieuwe instructies. Het is goedkoop, snel en vereist geen nieuwe loods.

Het Probleem: De "RLVR" Workout

Onlangs werd een nieuwe manier om deze modellen te onderwijzen, genaamd RLVR (Reinforcement Learning with Verifiable Rewards), populair. Zie dit niet als een klaslokaal-college, maar als een intensieve fitnesssessie.

In een klaslokaal (Supervised Fine-Tuning) corrigeert de leraar simpelweg je huiswerk.
In de sportschool (RLVR) probeert het model veel verschillende antwoorden, krijgt een score (beloning) op basis van of het goed of fout is, en leert van deze ervaring.

Het probleem is dat de "kleine, plakkerige indexkaartjes" (LoRA) die perfect werkten in het klaslokaal, begonnen te falen in de sportschool. Sommige geavanceerde versies van deze kaarten (genaamd PiSSA en MiLoRA) zorgden er zelfs voor dat het model instortte, alsof een gewichtheffer een halterstang probeerde te tillen die direct vanaf het begin te zwaar was. De training werd instabiel en het model stopte met leren.

Het Onderzoek: Waarom gingen de kaarten kapot?

De onderzoekers keken naar waarom deze geavanceerde kaarten faalden. Ze vonden twee hoofdschuldigen:

Het "Zware" Begin: De geavanceerde kaarten probeerden direct de "belangrijkste" delen van de bestaande kennis van de bibliotheek (de zware, populaire boeken) te grijpen en te versterken. In de sportschool-setting was dit alsof je probeerde te sprinten voordat je zelfs maar hebt opgewarmd. Dit zorgde ervoor dat het model te snel en te ver bewoog, waardoor de regels van de workout werden overtreden.
De Verkeerde Richting: De sportschool (RLVR) heeft nodig dat het model nieuwe richtingen verkent, niet alleen wat het al weet te versterken. De oude kaarten waren te gefocust op de "hoofdwegen", waardoor het model vast kwam te zitten of de controle verloor.

De Oplossing: Het "Geometrie-behoudende" Indexkaartje

De onderzoekers realiseerden zich dat om te overleven in de sportschool, het indexkaartje orthonormaal moet zijn.

De Analogie:
Stel je voor dat de kennis van de bibliotheek een 3D-ruimte is.

Standaard LoRA is als het tekenen van een willekeurige lijn op een stuk papier. Het werkt, maar het is een beetje rommelig.
PiSSA/MiLoRA zijn als het tekenen van een lijn die probeert de zwaarste boeken op de plank te omhelzen. In de sportschool is deze lijn te "stijf" en breekt hij.
De Nieuwe Methode (LoRA-RLPO/RLMO): De onderzoekers ontwierpen een nieuw indexkaartje dat perfect rigide en gestructureerd is (orthonormaal). Het probeert de zware boeken niet te versterken; in plaats daarvan past het zich perfect aan de bestaande geometrie van de bibliotheek aan zonder extra gewicht toe te voegen.

Denk aan het als een danspartner.

De oude geavanceerde kaarten probeerden de dans te leiden met te veel kracht, waardoor de partner (het model) struikelde.
De nieuwe methode is een partner die in perfecte synchronisatie beweegt met de muziek (de bestaande structuur van de bibliotheek), maar niet te hard duwt. Het behoudt de vorm van de dansvloer zodat het model vrij kan bewegen zonder om te vallen.

Wat ze deden

Ze creëerden twee nieuwe soorten indexkaarten:

LoRA-RLPO: Stemt af op de "hoofdwegen", maar houdt de structuur licht en gebalanceerd.
LoRA-RLMO: Stemt af op de "nevenroutes" (de minder voor de hand liggende paden), maar houdt ook de structuur licht en gebalanceerd.

De Resultaten

Toen ze deze nieuwe kaarten testten in de "sportschool" (wiskundige redeneerbenchmarks):

Stabiliteit: De training crashte niet. Het model bleef kalm en stabiel.
Prestaties: Het model leerde sneller en behaalde betere scores dan de standaardmethode.
Het "Waarom": Ze bewezen wiskundig dat door het indexkaartje "orthonormaal" (perfect gestructureerd) te houden en niet het gewicht van de bestaande kennis te versterken, het model dicht bij de ideale "volledige herschrijf"-prestatie blijft zonder de enorme hoeveelheid energie te verbruiken.

Samenvatting

Het artikel zegt: "Als je een slimme AI wilt trainen met de nieuwe 'sportschool'-methode (RLVR), gebruik dan niet de fancy, zware indexkaarten die in het klaslokaal werkten. Gebruik in plaats daarvan onze nieuwe, perfect gestructureerde, lichtgewicht kaarten. Ze houden het model stabiel, voorkomen dat het kapot gaat, en helpen het om veel beter wiskundige problemen op te lossen."

Ze merkten ook op dat dit werkt voor verschillende groottes van modellen en zelfs voor programmeertaken, maar de kern van de ontdekking gaat over hoe je de training start zodat het niet explodeert.

Technische Samenvatting: Geometrie-behoudende Orthonormale Initialisatie voor Low-Rank Adaptatie in RLVR

Probleemstelling

Hoewel Low-Rank Adaptation (LoRA) en varianten daarvan de standaard zijn geworden voor parameter-efficiënte fijnafstemming onder het Supervised Fine-Tuning (SFT) paradigma, blijft hun gedrag onder Reinforcement Learning with Verifiable Rewards (RLVR) slecht begrepen. Recente observaties wijzen uit dat SVD-gebaseerde initialisatiestrategieën, specifiek PiSSA (Principal Singular values and Singular vectors Adaptation) en MiLoRA (Minor LoRA), die uitblinken in SFT, vaak onderpresteren ten opzichte van standaard LoRA en trainingsinstabiliteit vertonen in RLVR-omgevingen. Deze methoden initialiseren adapters met behulp van de top- $r$ (PiSSA) of bottom- $r$ (MiLoRA) singuliere componenten van de pre-trained gewichten, waarbij vaak singular value scaling wordt toegepast. Het artikel stelt dat de distinctieve optimalisatiedynamiek van RLVR — gekenmerkt door impliciete KL-divergentie restricties die policy drift beperken — de principes van SFT-geoptimaliseerde initialisatie ineffectief of zelfs nadelig maakt. De kernuitdaging is het identificeren van een initialisatiestrategie die RLVR-training stabiliseert terwijl de efficiëntie van low-rank adaptatie behouden blijft.

Methodologie

De auteurs stellen een theoretische analyse voor van LoRA-optimalisatiedynamiek in RLVR om een gefundeerde initialisatiestrategie af te leiden.

Theoretische Analyse

Het artikel stelt vast dat de benaderingskloof tussen LoRA en full fine-tuning wordt geminimaliseerd wanneer de low-rank matrix $A$ wordt geïnitialiseerd met orthonormale rijen en $B$ wordt geïnitialiseerd op nul.

Optimalisatiedynamiek: Onder de aanname van een $L$ -smooth verliesfunctie en begrensde gradiënten, bewijst het artikel (Theorem 5.2) dat de fout tussen de LoRA-trajectorie en de full fine-tuning trajectorie wordt gecontroleerd door de term $\|I_n - A_0^\top A_0\|_2$ . Deze term bereikt zijn minimale waarde van 1 als en slechts als $A_0$ orthonormale rijen heeft ( $A_0 A_0^\top = I_r$ ).
Stabiliteitsgrenzen: Verder demonstreert Proposition 5.3 dat orthonormale initialisatie met $B_0=0$ garandeert dat de magnitude van de eerste stap gewicht-update niet groter is dan die van full fine-tuning. Deze begrensde update is cruciaal voor het voldoen aan de impliciete KL-divergentie restricties in RLVR, wat agressieve policy-verschuivingen voorkomt die leiden tot training collapse.

Voorgestelde Initialisatiestrategieën

Geleid door deze theoretische inzichten stellen de auteurs twee "Geometry-Preserving Orthonormal" initialisatiemethoden voor die de spectrale informatie van de pre-trained gewichten behouden zonder de destabiliserende singular value scaling die in PiSSA en MiLoRA wordt gevonden:

LoRA-RLPO (Principal): Initialiseert $A_0$ met behulp van de top- $r$ rechter singuliere vectoren ( $V_r^\top$ ) van de pre-trained gewichtsmatrix $W_0$ , met $B_0 = 0$ . Dit stemt de adapter af op de hoofdrichtingen van het pre-trained model terwijl orthonormaliteit behouden blijft.
LoRA-RLMO (Minor): Initialiseert $A_0$ met behulp van de bottom- $r$ rechter singuliere vectoren ( $V_{-r}^\top$ ) van $W_0$ , met $B_0 = 0$ . Dit richt zich op de minder belangrijke subspace maar vermijdt, in tegenstelling tot MiLoRA, singular value scaling en een niet-nul $B_0$ .

Beide methoden verschillen van PiSSA en MiLoRA door $B_0=0$ in te stellen en een orthonormale $A_0$ te gebruiken zonder te schalen door singuliere waarden ( $\Sigma^{1/2}$ ).

Belangrijkste Resultaten

Experimenten werden uitgevoerd op wiskundige redeneerbenchmarks (GSM8K, MATH500, AIME 2022/2023/2024) met het DAPO-algoritme op DeepSeek-R1-Distill-Qwen-1.5B en Qwen2.5-7B modellen.

Prestaties: LoRA-RLPO behaalde de hoogste gemiddelde nauwkeurigheid (65,03%) over de benchmarks, waarmee het standaard LoRA (62,40%) en LoRA-RLMO (63,76%) versloeg, en PiSSA (4,57%) en MiLoRA (51,71%) aanzienlijk overtrof.
Trainingsstabiliteit: Het monitoren van KL-divergentie en gradiëntnormen onthulde dat PiSSA en MiLoRA lijden onder snelle KL-groei en gradiëntexplosie, wat leidt tot reward collapse. In contrast hiermee behielden LoRA-RLPO en LoRA-RLMO lage KL-divergentie trajecten die vergelijkbaar met of lager dan standaard LoRA waren, wat duidt op stabiele optimalisatie.
Ablatie-studies:
- Orthonormaliteit vs. Geometrie: Model-agnostische orthonormale baselines (DCT-LoRA, Wavelet-LoRA) presteerden beter dan standaard LoRA, wat het voordeel van orthonormaliteit alleen bevestigt. Echter, LoRA-RLPO presteerde significant beter dan deze model-agnostische methoden, wat aantoont dat het behoud van de geometrische structuur van de pre-trained gewichten (via SVD) extra winst oplevert.
- Falanalyse: Het artikel weerlegt de hypothese dat MiLoRA faalt door bijna-nul initialisatie magnitudes, aangezien de initiële adapter norm niet verwaarloosbaar is. In plaats daarvan wordt de instabiliteit toegeschreven aan de combinatie van subspace geometrie en singular value scaling, wat updates buiten het KL-budget versterkt.
- Generalisatie: De voorgestelde methoden vertoonden ook verbeterde convergentie en prestaties in SFT-taken (GLUE, GSM8K), wat suggereert dat de voordelen verder reiken dan RLVR.

Betekenis en Claims

Het artikel claimt de eerste theoretische verklaring te bieden voor waarom SVD-gebaseerde LoRA-varianten (PiSSA, MiлоRA) falen in RLVR terwijl ze slagen in SFT. De auteurs identificeren twee gekoppelde factoren die deze mislukking drijven:

Subspace Geometrie: De keuze van de singuliere subspace dicteert het optimalisatiepad.
Singular Value Scaling: De schalfactor in PiSSA/MiLoRA versterkt de update magnitudes, wat snelle schendingen van de impliciete KL-divergentie restrictie veroorzaakt die vereist is voor stabiele RLVR-training.

De betekenis van dit werk ligt in het feit dat het de orthonormale initialisatie, gepaard met de standaard keuze van $B_0=0$ , als een fundamentele oplossing voor low-rank adaptatie in RL vaststelt. Door de benaderingskloof met full fine-tuning te minimaliseren en update magnitudes te begrenzen, biedt de geometrie-behoudende orthonormale initialisatie (LoRA-RLPO/RLMO) een robuust fundament voor parameter-efficiënte RL, waardoor de instabiliteit die bij eerdere SVD-gebaseerde methoden werd waargenomen, wordt opgelost. De auteurs benadrukken dat hun analyse een verenigd kader biedt dat zowel het falen van bestaande varianten als het succes van hun eigen aanpak verklaart.