Technische Samenvatting: Niet Hoeveel, Maar Welke: Parameterplaatsing in Low-Rank Adaptation

1. Probleemstelling

Het artikel behandelt het Probleem van Parameterplaatsing binnen Low-Rank Adaptation (LoRA). Hoewel recente werken hebben aangetoond dat LoRA-adapters kunnen functioneren met drastisch gereduceerde parameteraantallen (bijvoorbeeld gedeelde willekeurige bases of spectrale parametrisaties), gaan deze methoden impliciet uit van de aanname dat prestaties voornamelijk afhankelijk zijn van de hoeveelheid trainbare parameters in plaats van hun identiteit.

De auteurs formaliseren de vraag: gegeven een vast budget van $k$ trainbare entries binnen de $B$-matrix van een LoRA-adapter (waarbij $A$ bevroren is en willekeurig geïnitieerd), heeft de specifieke keuze van welke $k$ entries getraind worden een significant effect op de downstream-prestaties? Het onderzoek isoleert parameterselectie van parameteraantal door $A$ bevroren te houden en training te beperken tot een subset van $B$.

2. Methodologie

2.1 Parameterplaatsingsstrategie

De auteurs stellen een op gradiënten gebaseerde selectieprocedure voor om de meest kritieke parameters te identificeren voordat de training begint.

• Initialisatie: $B$ wordt geïnitieerd op nul, en $A$ wordt getrokken uit een willekeurige verdeling.
• Scorefase: Het model voert $N$ forward-backward passes uit op de trainingsverdeling. Omdat $B=0$, komt de output van het model overeen met het vooraf getrainde model, en meten de gradiënten $\nabla_B L$ direct de bruikbaarheid van elke $B$-entry voor het verlagen van de loss.
• Scorefuncties: Er worden twee metrieken gedefinieerd voor elk element $(i, j)$ van $B$:
  1. Gradiëntgrootte Score ($\hat{S}$): Schat de grootte van het populatiegemiddelde van de gradiënt ($|\mathbb{E}[g_{ij}]|$). Dit selecteert elementen met richting-consistente gradiënten over voorbeelden heen.
     $$\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$$
  2. Diagonale Fisher Score ($\hat{F}$): Schat de diagonaal van de empirische Fisher-informatie ($\mathbb{E}[g_{ij}^2]$). Dit selecteert elementen waarbij de loss het meest gevoelig is voor verstoringen, en vangt zowel gemiddelde als variantie.
     $$\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$$
• Selectie: De top-$k$ elementen wereldwijd over alle lagen worden geselecteerd op basis van deze scores om een "circuit" te vormen.

2.2 Theoretische Analyse van Gradiëntstructuur

Het artikel stelt dat de effectiviteit van parameterplaatsing afhankelijk is van de gradiëntstructuur van het trainingsregime:

• Supervised Fine-Tuning (SFT): Gradiënten zijn low-rank, richting-stabiel en sterk uitgelijnd over stappen heen. Bijgevolg accumuleren willekeurige subsets van parameters coherente updates, waardoor plaatsing minder kritiek is.
• Reinforcement Learning (GRPO): Gradiënten zijn high-rank, bijna orthogonaal over stappen heen, en vertonen hoge variantie. In dit regime hebben updates aan willekeurige parameters de neiging om elkaar op te heffen (willekeurige wandeling), terwijl alleen parameters met consistent getekende, grote gradiënten betekenisvolle verplaatsing accumuleren.

2.3 Experimentele Opstelling

• Modellen: Qwen2.5 (1.5B, 3B, 7B), Llama-3.2 (3B) en Llama-3.1 (8B).
• Taken:
  • SFT: Instructievolgen (Alpaca, Bespoke-Stratos) en Vision-Language (MathVista).
  • RL: Group Relative Policy Optimization (GRPO) op wiskundige redeneerdatasets (GSM8K, MATH-500).
• Baselines: Willekeurige plaatsing, Volledige LoRA en de voorgestelde geïnformeerde plaatsing ($\hat{S}$ en $\hat{F}$).

3. Belangrijkste Resultaten

3.1 Regime-afhankelijkheid

• Onder SFT: Willekeurige en geïnformeerde plaatsing bereiken vergelijkbare prestaties. Het verschil is bescheiden (bijvoorbeeld <1% op instructievolgingsbenchmarks), wat bevestigt dat SFT-gradiënten voldoende verspreid zijn zodat willekeurige subsets bruikbare signalen vangen.
• Onder GRPO (Basismodellen): Willekeurige plaatsing faalt volledig, presterend op of nabij het niveau van het basismodel (bijvoorbeeld ~9,5% nauwkeurigheid op GSM8K voor 1.5B-modellen versus ~64% voor Volledige LoRA). Daarentegen herstelt geïnformeerde plaatsing ($\hat{S}$ en $\hat{F}$) de standaard LoRA-nauwkeurigheid, vaak gelijkend aan of overtreffend met minder dan 0,1% van de adapterparameters.
• Onder GRPO (Instruct-modellen): Hoewel willekeurige plaatsing beter presteert dan op basismodellen (vanwege bestaande beloningssignalen), biedt geïnformeerde plaatsing nog steeds een consistent voordeel, met name in out-of-distribution (OOD) generalisatie.

3.2 Efficiëntie en Stabiliteit

• Kosten: Circuitontdekking vereist slechts $N=50$ forward-backward passes, wat minder dan 10 seconden duurt op een enkele GPU (<0,5% van de kosten van volledige SFT-training).
• Stabiliteit: De geselecteerde circuits zijn zeer stabiel over verschillende willekeurige zaden en datasetsubsets. Top-10K elementen tonen >95% overlap met referentiecircuits bij gebruik van kleine steekproefgroottes.
• Generalisatie: Circuits die op één wiskundedataset zijn ontdekt (bijvoorbeeld MATH) transfereren effectief naar andere (bijvoorbeeld GSM8K, AMC, AIME), vaak presterend beter dan Volledige LoRA in OOD-situaties. Dit suggereert dat de methode een stabiel, taak-generaal subnetwerk identificeert in plaats van dataset-specifieke artefacten.

3.3 Circuitanatomie

Analyse van de geselecteerde parameters onthult een niet-willekeurige concentratie:

• Modules: Geselecteerde parameters concentreren zich sterk op residual-stream schrijvingsprojecties ($V$, $O$ en $Down$).
  • $V$ (Value) en $K$ (Key) fungeren als "attention readers", in lijn met de dominante singuliere vectoren van de vooraf getrainde gewichten.
  • $O$ (Output) en $Down$ fungeren als "residual writers", producerend spectraal geconcentreerde, low-rank updates.
• Lagen: In basismodellen concentreren circuits zich in de vroege lagen (0–4), absorberend 70–98% van het budget.
• Knockout-validatie: Het nulzetten van de top-gescoorden parameters in een getrainde adapter degradeert prestaties significant sneller dan willekeurige knockout, causaal bevestigend dat deze specifieke parameters het effect van de adapter mediëren.

4. Belangrijkste Bijdragen

1. Formalisatie van Parameterplaatsing: Het artikel scheidt de effecten van parameteraantal van parameteridentiteit, demonstrerend dat plaatsing kritiek is onder RL maar minder zo onder SFT.
2. Lichtgewicht Selectieprocedure: Stelt een op gradiënten gebaseerde scoremethode voor ($\hat{S}$ en $\hat{F}$) die effectieve sparse subsets in seconden identificeert met verwaarloosbare overhead.
3. Empirische Validatie: Toont aan dat geïnformeerde plaatsing volledige LoRA-prestaties herstelt onder GRPO op basismodellen met extreme sparsiteit (bijvoorbeeld 10K parameters op een 20M parameter-adapter), terwijl willekeurige plaatsing faalt.
4. Mechanistisch Inzicht: Biedt bewijs dat het falen van willekeurige plaatsing in RL te wijten is aan gradiëntruis en orthogonaliteit, wat coherente accumulatie in willekeurige subsets verhindert, terwijl geïnformeerde plaatsing gericht is op het sparse, consistente signaal.

5. Betekenis en Claims

Het artikel stelt dat de "hoeveel"-aanname in parameter-efficiënt fine-tunen ontoereikend is; "welke" parameters getraind worden is de bepalende factor in trainingsregimes met hoge variantie zoals Reinforcement Learning.

• Voor SFT: De bevindingen suggereren dat hoewel willekeurige plaatsing een redelijke baseline is, geïnformeerde plaatsing marginale winsten biedt en potentiële regularisatievoordelen in scenario's met extreme budgetten.
• Voor RL: Het werk demonstreert dat succesvolle sparse adaptatie in RL geïnformeerde parameterselectie vereist. Willekeurige plaatsing is structureel onbekwaam om te leren in dit regime omdat het gradiëntsignaal te luidruchtig en verspreid is voor willekeurige subsets om coherente updates te accumuleren.
• Praktische Impact: De voorgestelde methode maakt het mogelijk effectieve adapters te trainen met minder dan 0,05% van de adapterparameters, wat de geheugen- en rekenvereisten voor RL-finetuning aanzienlijk verlaagt zonder prestaties te offeren.

De auteurs concluderen dat hun aanpak een "circuit" van parameters identificeert dat functioneel kritiek is voor leren, fungerend als een impliciete regularisator die generalisatiecapaciteiten behoudt die vaak verloren gaan in dichte adapters.