💬 NLP

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation

Dieser Artikel zeigt, dass unter GRPO-Training die spezifische Platzierung der trainierbaren Parameter in der B-Matrix von LoRA für die Leistung entscheidend ist, während eine zufällige Platzierung für SFT ausreicht, und schlägt eine schnelle, kostengünstige Bewertungsmethode vor, um diese wesentlichen Parameter zu identifizieren, die sich konsistent auf Projektionen zur Beschreibung des Residualstreams konzentrieren.

Ursprüngliche Autoren: Arijit Sehanobish, Charles Lovering

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arijit Sehanobish, Charles Lovering

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Es geht nicht um die Größe des Teams, sondern darum, wen Sie einstellen

Stellen Sie sich eine riesige, unglaublich intelligente Bibliothek (ein Large Language Model) vor, die fast alles weiß. Sie möchten ihr eine neue Fähigkeit beibringen, wie das Lösen von Matheaufgaben oder das Schreiben von Code.

Normalerweise würden Sie versuchen, um diese Bibliothek zu unterrichten, ein ganz neues Team von Tutoren einzustellen, das neben ihr arbeitet. Aber ein ganzes Team zu einstellen ist teuer und langsam. Daher entwickelten Forscher eine Methode namens LoRA (Low-Rank Adaptation). Anstatt ein ganzes Team einzustellen, mieten Sie ein winziges, spezialisiertes „Adapter"-Team.

Die Frage:
Lange Zeit dachten die Leute, das Einzige, was zählte, war wie viele Leute Sie einstellten. Wenn Sie ein Budget für 100 Tutoren hatten, wählten Sie einfach 100 zufällige Leute aus einem Hut aus und hofften, dass sie gut waren.

Dieses Paper stellt eine andere Frage: Macht es einen Unterschied, welche 100 Leute Sie auswählen? Wenn Sie ein festes Budget haben, ist es besser, 100 zufällige Leute zu wählen oder 100 spezifische Leute, die tatsächlich gut für den Job sind?

Die Antwort lautet: Es kommt darauf an, wie Sie sie unterrichten.

Szenario 1: Das Klassenzimmer (Supervised Fine-Tuning / SFT)

Die Analogie: Stellen Sie sich einen Lehrer vor, der einer Klasse einen klaren, schrittweisen Vortrag hält. Alle hören zu, und die Anweisungen sind konsistent.

Was passiert: In diesem Setting sind die „Gradienten" (die Signale, die dem Modell sagen, was es lernen soll) sehr stabil und klar. Sie zeigen alle grob in die gleiche Richtung.
Das Ergebnis: Es ist nicht so wichtig, welche 100 Leute Sie auswählen. Da die Anweisungen so klar sind, wird fast jede zufällige Gruppe von 100 Leuten die Lektion verstehen und effektiv lernen.
Behauptung des Papers: Zufällige Auswahl funktioniert hier völlig gut.

Szenario 2: Das Escape Room (Reinforcement Learning / GRPO)

Die Analogie: Stellen Sie sich nun vor, Sie setzen das Modell in ein chaotisches Escape Room. Es gibt keinen Lehrer. Das Modell muss verschiedene Dinge ausprobieren, und manchmal bekommt es ein „Ding!" (Belohnung), wenn es ein Rätsel löst, und manchmal bekommt es nichts. Das Feedback ist verrauscht, verwirrend und ändert sich jedes Mal.

Was passiert: Die „Gradienten" (die Signale) sind chaotisch. Sie zeigen in alle möglichen Richtungen, und viele heben sich gegenseitig auf. Es ist wie der Versuch, sich im Nebel zu orientieren, wo der Kompass wild herumwirbelt.
Das Ergebnis: Wenn Sie 100 Leute zufällig auswählen, werden die meisten verwirrt sein. Sie werden Schritte vorwärts, dann rückwärts, dann zur Seite machen und am Ende genau dort landen, wo sie angefangen haben. Sie lernen nichts.
Die Entdeckung des Papers: Es gibt jedoch eine winzige, spezifische Gruppe von Leuten, die das Signal verstehen. Das sind diejenigen, die trotz des Rauschens konsistent in die richtige Richtung bewegen.
Die Lösung: Die Autoren entwickelten ein „Bewertungssystem". Bevor das Training beginnt, führen sie einen schnellen Test durch (der weniger als 10 Sekunden dauert), um zu sehen, welche spezifischen Leute im Adapter-Team konsistent auf das Signal reagieren.
Das Ergebnis: Als sie nur diese spezifischen „Star-Spieler" (den „Circuit") auswählten, lernte das Modell perfekt, selbst mit einem winzigen Budget. Als sie zufällige Leute auswählten, scheiterte das Modell völlig.

Die „Circuit"-Entdeckung: Die Star-Spieler finden

Die Autoren haben nicht einfach geraten, wer die Star-Spieler waren. Sie benutzten einen cleveren Trick:

Der schnelle Test: Bevor das eigentliche Training beginnt, lassen sie das Modell einige Beispiele ansehen und beobachten, wie sein „Gehirn" reagiert.
Die Bewertung: Sie vergaben eine Punktzahl für jeden einzelnen winzigen Teil des Adapters. Wenn ein Teil konsistent stark auf die Aufgabe reagierte, bekam er eine hohe Punktzahl. Wenn er verwirrt war oder zufällig reagierte, bekam er eine niedrige Punktzahl.
Die Auswahl: Sie wählten die Teile mit den höchsten Punktzahlen aus, um die einzigen zu sein, die lernen dürfen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine riesige, komplexe Maschine zu reparieren. Anstatt zu versuchen, jede einzelne Schraube festzuziehen (was langsam und teuer ist), verwenden Sie einen speziellen Sensor, um die eine Schraube zu finden, die, wenn sie gedreht wird, die ganze Maschine repariert. Das Paper fand heraus, dass man für Reinforcement Learning nur eine sehr spezifische, winzige Menge an Schrauben drehen muss, damit die Maschine funktioniert.

Wo leben diese „Star-Spieler"?

Das Paper untersuchte auch, wo diese wichtigen Teile im Gehirn des Modells liegen. Sie fanden ein Muster:

Die Leser und Schreiber: Die wichtigsten Teile sind diejenigen, die Informationen „lesen", die in den Aufmerksamkeitsmechanismus des Modells eintreten, und diejenigen, die Informationen zurück in den Hauptgedankenstrom „schreiben".
Die Analogie: Denken Sie an das Modell als eine Fabrik. Die zufälligen Teile sind die Arbeiter in der Mitte des Lagers, die nur Kartons hin und her schieben. Die „Circuit"-Teile sind die Dockarbeiter, die die LKWs beladen (Lesen), und die Versandangestellten, die die Pakete versenden (Schreiben). Wenn Sie ändern wollen, was die Fabrik produziert, müssen Sie die Dockarbeiter und Versandangestellten schulen, nicht die Leute in der Mitte des Lagers.

Zusammenfassung der Ergebnisse

Für Standard-Training (SFT): Zufällige Auswahl funktioniert gut. Das Signal ist klar, also kann jeder lernen.
Für Reinforcement Learning (GRPO): Zufällige Auswahl scheitert. Das Signal ist verrauscht. Sie müssen das „Bewertungssystem" verwenden, um die spezifischen, konsistenten Teile zu finden.
Effizienz: Dieses Bewertungssystem ist unglaublich schnell (unter 10 Sekunden) und günstig (weniger als 0,5 % der Kosten für das Training).
Leistung: Indem man den richtigen „Circuit" von Parametern auswählt, kann das Modell die gleiche hohe Leistung erzielen wie das Training des gesamten Adapters, aber mit einem winzigen Bruchteil der Ressourcen.

Kurz gesagt: Wenn das Trainingssignal verrauscht ist (wie beim Reinforcement Learning), kommt es nicht darauf an, wie viele Parameter Sie trainieren, sondern welche Sie trainieren. Die richtigen zu finden ist wie die Nadel im Heuhaufen zu finden, die tatsächlich das Gold hält.

Technische Zusammenfassung: Nicht wie viele, sondern welche: Platzierung von Parametern in der Low-Rank-Adaptation

1. Problemstellung

Die Arbeit behandelt das Problem der Parameterplatzierung im Rahmen der Low-Rank-Adaptation (LoRA). Während neuere Arbeiten gezeigt haben, dass LoRA-Adapter mit drastisch reduzierten Parameterzahlen funktionieren können (z. B. durch geteilte zufällige Basen oder spektrale Parametrisierungen), gehen diese Methoden implizit davon aus, dass die Leistung primär von der Menge der trainierbaren Parameter abhängt und nicht von deren Identität.

Die Autoren formalisieren die Frage: Bei einem festen Budget von $k$ trainierbaren Einträgen innerhalb der $B$ -Matrix eines LoRA-Adapters (wobei $A$ eingefroren und zufällig initialisiert ist), hat die spezifische Auswahl, welche $k$ Einträge trainiert werden, einen signifikanten Einfluss auf die nachgelagerte Leistung? Die Studie isoliert die Parametersélection von der Parameteranzahl, indem $A$ eingefroren bleibt und das Training auf eine Teilmenge von $B$ beschränkt wird.

2. Methodik

2.1 Strategie zur Parameterplatzierung

Die Autoren schlagen ein gradientenbasiertes Auswahlverfahren vor, um die kritischsten Parameter vor Beginn des Trainings zu identifizieren.

Initialisierung: $B$ wird auf Null initialisiert, und $A$ wird aus einer zufälligen Verteilung gezogen.
Bewertungsphase: Das Modell führt $N$ Vorwärts-Rückwärts-Pässe auf der Trainingsverteilung durch. Da $B=0$ ist, entspricht die Ausgabe des Modells dem vortrainierten Modell, und die Gradienten $\nabla_B L$ messen direkt den Nutzen jedes $B$ -Eintrags zur Verlustreduktion.
Bewertungsfunktionen: Für jedes Element $(i, j)$ $(i, j)$ von $B$ $B$ werden zwei Metriken definiert:
1. Gradienten-Magnituden-Score ( $\hat{S}$ ): Schätzt die Magnitude des Populationsmittelwerts der Gradienten ( $|\mathbb{E}[g_{ij}]|$ ). Dies wählt Elemente mit richtungskonsistenten Gradienten über die Beispiele hinweg aus.
  $\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$
2. Diagonaler Fisher-Score ( $\hat{F}$ ): Schätzt die Diagonale der empirischen Fisher-Information ( $\mathbb{E}[g_{ij}^2]$ ). Dies wählt Elemente aus, bei denen der Verlust am empfindlichsten auf Störungen reagiert, und erfasst sowohl Mittelwert als auch Varianz.
  $\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$
Auswahl: Die global top- $k$ Elemente über alle Schichten hinweg werden basierend auf diesen Scores ausgewählt, um einen „Schaltkreis" zu bilden.

2.2 Theoretische Analyse der Gradientenstruktur

Die Arbeit geht davon aus, dass die Wirksamkeit der Parameterplatzierung von der Gradientenstruktur des Trainingsregimes abhängt:

Supervised Fine-Tuning (SFT): Gradienten sind low-rank, richtungsstabil und über die Schritte hinweg hochgradig ausgerichtet. Folglich akkumuliert jede zufällige Teilmenge von Parametern kohärente Updates, was die Platzierung weniger kritisch macht.
Reinforcement Learning (GRPO): Gradienten sind high-rank, über die Schritte hinweg nahezu orthogonal und weisen eine hohe Varianz auf. In diesem Regime heben sich Updates an zufälligen Parametern tendenziell auf (Zufallsbewegung), während nur Parameter mit konsistent vorzeichenbehafteten, großen Gradienten eine bedeutende Verschiebung akkumulieren.

2.3 Experimenteller Aufbau

Modelle: Qwen2.5 (1.5B, 3B, 7B), Llama-3.2 (3B) und Llama-3.1 (8B).
Aufgaben:
- SFT: Instruktionsbefolgung (Alpaca, Bespoke-Stratos) und Vision-Language (MathVista).
- RL: Group Relative Policy Optimization (GRPO) auf mathematischen Reasoning-Datensätzen (GSM8K, MATH-500).
Basislinien: Zufällige Platzierung, Full LoRA und die vorgeschlagene informierte Platzierung ( $\hat{S}$ und $\hat{F}$ ).

3. Hauptergebnisse

3.1 Regime-Abhängigkeit

Unter SFT: Zufällige und informierte Platzierungen erzielen vergleichbare Leistungen. Die Lücke ist gering (z. B. <1% bei Benchmarks zur Instruktionsbefolgung), was bestätigt, dass SFT-Gradienten so verteilt sind, dass beliebige Teilmengen nützliche Signale erfassen.
Unter GRPO (Basis-Modelle): Zufällige Platzierung versagt vollständig und erreicht Leistungen auf oder nahe dem Niveau des Basis-Modells (z. B. ~9,5% Genauigkeit auf GSM8K für 1.5B-Modelle im Vergleich zu ~64% für Full LoRA). Im Gegensatz dazu stellt die informierte Platzierung ( $\hat{S}$ und $\hat{F}$ ) die Standard-LoRA-Genauigkeit wieder her und erreicht diese oft mit weniger als 0,1% der Adapter-Parameter oder übertrifft sie sogar.
Unter GRPO (Instruct-Modelle): Während die zufällige Platzierung besser abschneidet als bei Basis-Modellen (aufgrund bestehender Belohnungssignale), bietet die informierte Platzierung dennoch einen konsistenten Vorteil, insbesondere bei der Generalisierung außerhalb der Verteilung (OOD).

3.2 Effizienz und Stabilität

Kosten: Die Entdeckung des Schaltkreises erfordert nur $N=50$ Vorwärts-Rückwärts-Pässe, was auf einer einzelnen GPU weniger als 10 Sekunden dauert (<0,5% der Kosten für ein vollständiges SFT-Training).
Stabilität: Die ausgewählten Schaltkreise sind über verschiedene zufällige Samen und Datenteilmengen hinweg hochstabil. Top-10K-Elemente zeigen eine Überlappung von >95% mit Referenzschaltkreisen bei kleinen Stichprobengrößen.
Generalisierung: Schaltkreise, die auf einem mathematischen Datensatz entdeckt wurden (z. B. MATH), übertragen sich effektiv auf andere (z. B. GSM8K, AMC, AIME) und übertreffen Full LoRA in OOD-Szenarien oft. Dies deutet darauf hin, dass die Methode ein stabiles, aufgabenallgemeines Subnetzwerk identifiziert und nicht datensatzspezifische Artefakte.

3.3 Schaltkreis-Anatomie

Die Analyse der ausgewählten Parameter zeigt eine nicht-zufällige Konzentration:

Module: Ausgewählte Parameter konzentrieren sich stark auf Residual-Stream-Schreibprojektionen ( $V$ $V$ , $O$ $O$ und $Down$).
- $V$ (Value) und $K$ (Key) fungieren als „Aufmerksamkeitsleser" und stimmen mit den dominanten Singulärvektoren der vortrainierten Gewichte überein.
- $O$ (Output) und $Down$ fungieren als „Residualschreiber" und erzeugen spektral konzentrierte, low-rank Updates.
Schichten: Bei Basis-Modellen konzentrieren sich die Schaltkreise in den frühen Schichten (0–4) und absorbieren 70–98% des Budgets.
Knockout-Validierung: Das Nullsetzen der am höchsten bewerteten Parameter in einem trainierten Adapter verschlechtert die Leistung signifikant schneller als ein zufälliges Knockout, was kausal bestätigt, dass diese spezifischen Parameter die Wirkung des Adapters vermitteln.

4. Hauptbeiträge

Formalisierung der Parameterplatzierung: Die Arbeit trennt die Effekte der Parameteranzahl von der Parameteridentität und zeigt, dass die Platzierung unter RL kritisch ist, unter SFT jedoch weniger.
Leichtgewichtiges Auswahlverfahren: Es wird eine gradientenbasierte Bewertungsmethode ( $\hat{S}$ und $\hat{F}$ ) vorgeschlagen, die effektive spärliche Teilmengen in Sekunden mit vernachlässigbarem Overhead identifiziert.
Empirische Validierung: Es wird gezeigt, dass informierte Platzierung unter GRPO bei Basis-Modellen die volle LoRA-Leistung mit extremer Sparsamkeit wiederherstellt (z. B. 10.000 Parameter bei einem 20-Millionen-Parameter-Adapter), während zufällige Platzierung versagt.
Mechanistische Einsicht: Es werden Belege dafür geliefert, dass das Versagen zufälliger Platzierung in RL auf Gradientenrauschen und Orthogonalität zurückzuführen ist, was eine kohärente Akkumulation in beliebigen Teilmengen verhindert, während informierte Platzierung das spärliche, konsistente Signal gezielt anspricht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Annahme „wie viele" bei der parameter-effizienten Feinabstimmung unzureichend ist; „welche" Parameter trainiert werden, ist der bestimmende Faktor in Trainingsregimen mit hoher Varianz wie Reinforcement Learning.

Für SFT: Die Ergebnisse deuten darauf hin, dass, obwohl zufällige Platzierung eine vernünftige Basislinie ist, informierte Platzierung marginale Gewinne und potenzielle Regularisierungsvorteile in Szenarien mit extremem Budget bietet.
Für RL: Die Arbeit zeigt, dass eine erfolgreiche spärliche Adaptation in RL eine informierte Parametersélection erfordert. Zufällige Platzierung ist strukturell unfähig, in diesem Regime zu lernen, da das Gradientensignal zu verrauscht und verteilt ist, als dass zufällige Teilmengen kohärente Updates akkumulieren könnten.
Praktische Auswirkungen: Die vorgeschlagene Methode ermöglicht das Training effektiver Adapter mit weniger als 0,05% der Adapter-Parameter, was die Speicher- und Rechenanforderungen für RL-Feinabstimmung erheblich reduziert, ohne die Leistung zu beeinträchtigen.

Die Autoren schließen daraus, dass ihr Ansatz einen „Schaltkreis" von Parametern identifiziert, die für das Lernen funktional kritisch sind und als impliziter Regularisierer wirken, der Generalisierungsfähigkeiten bewahrt, die bei dichten Adaptern oft verloren gehen.