🤖 machine learning

Weight-Space Geometry of Offline Reasoning Training

Diese Arbeit analysiert die Geometrie des Gewichtsraums von sechs Offline-Reasoning-Trainingsmethoden auf einem Qwen3-4B-Modell und zeigt auf, dass SFT, RFT und RIFT zu nahezu kollinearen Updates mit ähnlicher Genauigkeit konvergieren, während DPO einen distinkten, nahezu orthogonalen Unterraum einnimmt, der eine signifikant überlegene Leistung bei den GSM8K- und AIME26-Benchmarks erzielt, wohingegen Offline GRPO eine beträchtliche orthogonale Komponente einführt, während es innerhalb des SFT-Loss-Beckens verbleibt.

Ursprüngliche Autoren: Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aleksandr Nikolich, Igor Kiselev, Vladimir Platonov, Karina Romanova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, riesigen Mathematiktutor (den „Lehrer“), der komplexe Probleme lösen kann. Sie möchten einem kleineren, günstigeren Schüler (dem „Schüler“) beibringen, wie dieser Tutor zu denken. Sie geben dem Schüler die Schritt-für-Schritt-Lösungen des Lehrers (sogenannte „Rollouts“) und bitten ihn, daraus zu lernen.

Das Paper stellt eine einfache, aber tiefgründige Frage: Spielt es eine Rolle, wie wir dem Schüler das Lernen beibringen?

Es gibt viele verschiedene „Lehrformeln“ (Loss-Funktionen), die Forscher verwenden. Einige sagen: „Schau nur auf die richtigen Antworten.“ Andere sagen: „Schau auf alle Antworten, aber gib Extrapunkte für die guten.“ Andere sagen: „Vergleiche die guten Antworten mit den schlechten.“

Die Autoren wollten wissen: Verändern diese verschiedenen Formeln das Gehirn (die Gewichte) des Schülers auf die gleiche Weise, oder erschaffen sie völlig unterschiedliche Arten von Denkern?

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:

1. Die „Nachahmer“-Gruppe (SFT, RFT, RIFT)

Die Analogie: Stellen Sie sich drei Schüler vor, die versuchen, eine Zeichnung zu kopieren.

Schüler A kopiert jede einzelne Linie.
Schüler B kopiert nur die Linien, die perfekt sind.
Schüler C kopiert jede Linie, zeichnet die perfekten aber etwas dunkler.

Das Ergebnis: Obwohl sie leicht unterschiedliche Regeln verwenden, zeichnen sie alle fast exakt das gleiche Bild.

Mathematisch gesehen sind die Veränderungen in ihren Gehirnen nahezu identisch (97 % ähnlich).
Sie erzielen alle etwa die gleiche Punktzahl in Mathetests (um die 87–88 %).
Fazit: Wenn Sie nur möchten, dass ein Schüler die Argumentation des Lehrers nachahmt, spielt es keine große Rolle, welche dieser drei spezifischen Formeln Sie verwenden. Sie machen im Grunde das Gleiche.

2. Der „Selbst-Anpasser“ (DFT)

Die Analogy: Dieser Schüler nutzt dasselbe Papier wie Schüler A, hat aber eine seltsame Angewohnheit: Er macht den Stift automatisch leichter, wenn er sich bereits sicher ist, und dunkler, wenn er unsicher ist.

Das Ergebnis: Diese kleine Anpassung ändert die Richtung der Zeichnung erheblich. Das Gehirn des Schülers verändert sich wesentlich anders als bei der Nachahmer-Gruppe, obwohl er keine „Belohnungswerte“ verwendet hat, um ihn zu leiten. Es ist ein einzigartiger Pfad, aber er führt nicht zwangsläufig zu einer besseren Punktzahl.

3. Der „Seitenschritt“ (Offline GRPO)

Die Analogie: Dieser Schüler schaut sich die Arbeit des Lehrers an, entscheidet sich aber, einen großen Seitenschritt zu machen. Er bleibt zwar in der gleichen allgemeinen Nachbarschaft (dem „Loss-Becken“), geht aber einen anderen Weg.

Das Ergebnis: Diese Methode drängt das Gehirn des Schülers in eine Richtung, die 67 % anders ist als die der Nachahmer-Gruppe. In den späteren Schichten des Gehirns (den „finalen Gedanken“) wächst dieser Unterschied auf fast 86 %.

Dennoch landen sie mit einer ähnlichen Punktzahl (etwa 87 %) beim Test.
Faz ich: Diese Methode erkundet eine neue Richtung, aber sie scheint keine „Superkraft“ in Bezug auf die Genauigkeit im Vergleich zu den Nachahmern freizusetzen.

4. Der „Ausreißer“ (DPO)

Die Analogie: Während alle anderen auf demselben Blatt Papier im selben Raum zeichnen, zeichnet dieser Schüler auf einer völlig anderen Leinwand, in einem anderen Raum, mit einem ganz anderen Stil.

Das Ergebnis:

Geometrie: Die Veränderungen in diesem Schülergehirn sind fast 90 Grad (orthogonal) zu allen anderen. Er tut etwas grundlegend anderes.
Die Barriere: Wenn man versuchen würde, das Gehirn dieses Schülers mit dem der Nachahmer-Gruppe zu mischen („lineare Interpolation“), würde das Ergebnis scheitern. Er befindet sich in einem anderen „Universum“ der Lösungen.
Die Punktzahl: Trotzdem erzielte dieser Schüler die höchsten Punktzahlen (93,5 % in Mathe, 30 % bei schweren Rätseln).
Der Haken: Dieser Schüler wurde mit einer 10-mal kleineren Lernrate trainiert (er machte viel kleinere, vorsichtigere Schritte). Die Autoren warnen, dass wir nicht zu 100 % sicher sein können, ob die hohe Punktzahl an der Formel liegt oder nur daran, dass er präzisere Schritte gemacht hat.

5. Die Überraschung: „Live vs. Aufgenommen“

Das Paper untersuchte auch, was passiert, wenn der Schüler aus Live-Praxis lernt (Online) im Vergleich zu aufgezeichneter Praxis (Offline).

Offline: Beim Lernen aus einem festen Satz aufgezeichneter Lehrerantworten bleibt der „Seitenschritt“-Schüler (Offline GRPO) den Nachahmern noch relativ nahe.
Online: Wenn der Schüler seine eigenen Übungsaufgaben generiert (Online GRPO), wird er vollständig orthogonal (völlig verschieden) von den Nachahmern.
Fazit: Die Tatsache, dass die „Offline“-Methoden den Nachahmern ähnlich sehen, liegt zum Teil daran, dass sie alle auf exakt denselben festen Satz von Lehrerantworten starren. Wenn man sie ihre eigenen Aufgaben generieren lässt, driften sie massiv auseinander.

Zusammenfassung

Die meisten Methoden (SFT, RFT, RIFT) sind nur verschiedene Wege, um zu sagen: „Kopiere den Lehrer.“ Sie führen zu einer ähnlichen Gehirnstruktur und ähnlichen Punktzahlen.
DPO ist der Ausreißer. Er baut eine völlig andere Gehirnstruktur auf. Er erzielt die besten Punktzahlen, tut dies aber mit einem sehr spezifischen, vorsichtigen Trainingsstil (kleine Lernrate), was einen direkten Vergleich mit den anderen schwierig macht.
Die „Offline“-Natur der Trainingsdaten ist ein wesentlicher Grund, warum viele dieser Methoden in ihrer Wirkung ähnlich erscheinen.

Das Paper kartografiert im Wesentlichen die „Geografie“ dieser Lernmethoden und zeigt auf, welche Nachbarn sind und welche auf anderen Planeten leben.

Technisches Resümee: Geometrie des Gewichtsraums beim Offline-Reasoning-Training

Problemstellung

Offline-Reinforcement-Learning-Verlustfunktionen (Losses) – wie RFT, RIFT, DFT, Offline GRPO und DPO – werden zunehmend eingesetzt, um Denkfähigkeiten (Reasoning) von großen Lehrer-Modellen auf kleinere Schüler-Modelle zu destillieren. Während diese Methoden routinemäßig anhand der Downstream-Benchmark-Genauigkeit verglichen werden, bleibt ihre mechanistische Unterscheidbarkeit unbekannt. Insbesondere ist unklar, ob unterschiedliche Verlustformulierungen qualitativ verschiedene Gewichtsaktualisierungen erzeugen oder ob sie lediglich zu ähnlichen Richtungen im Gewichtsraum konvergieren. Diese Unterscheidung ist entscheidend für Praktiker bei der Auswahl von Verlustfunktionen und für Forscher bei der Interpretation, ob „Offline RL“ einen einzelnen Mechanismus oder eine vielfältige Familie von Ansätzen darstellt.

Methodik

Die Autoren führten einen kontrollierten Vergleich im Gewichtsraum von sechs Offline-Reasoning-Trainingsmethoden durch: SFT (Supervised Fine-Tuning), RFT (Reward Fine-Tuning), DFT (Down-weighted Fine-Tuning), RIFT (Reward-Weighted In-Context Fine-Tuning), Offline GRPO und DPO (Direct Preference Optimization).

Experimentelles Setup:

Basismodell: Qwen3-4B-Instruct.
Daten: Identische mathematische Rollouts, generiert von einem Lehrer-Modell (DeepSeek-V4-Flash) auf DeepScaleR-Prompts (~40k verifizierte Mathematikprobleme). Alle Methoden verwendeten dieselben Daten, mit Ausnahme von DPO, das ~1,8K gepaarte (chosen, rejected) Proben aus denselben Rollouts konsumierte, während andere ~75K Zeilen verwendeten.
Architektur: LoRA angewendet nur auf die Attention-Projektionen (q, k, v, o) mit Rang 32 und $\alpha=64$ über 144 Module.
Trainingsprotokoll: Identische Hyperparameter (Batchgröße 32, Cosinus-Schedule, 5% Warmup) außer den Lernraten. Alle Methoden verwendeten eine Spitzenlernrate (LR) von $5 \times 10^{-6}$ , außer DPO, das $5 \times 10^{-7}$ verwendete (eine um den Faktor 10 kleinere LR gemäß Standardkonvention). Das Training lief über 1.500 Schritte, wobei die Ergebnisse bei Schritt 1.000 berichtet werden.
Analysemetriken: Die Studie analysierte die resultierenden LoRA-Gewichts-Deltas ( $\Delta W$ $Δ W$ ) mittels:
1. Kosinusähnlichkeit (global und pro Schicht).
2. Hauptwinkel-Subraumanalyse (SVD der Top-10 Singulärvektoren).
3. Linearer Modus-Konnektivität (Interpolation der Deltas und Messung der Kreuzentropie auf GSM8K).
4. Centered Kernel Alignment (CKA) der Hidden States.

Zentrale Beiträge und Ergebnisse

1. Konvergenz von Reward-gewichteten MLE-Methoden

Die Autoren fanden heraus, dass SFT, RFT und RIFT fast kollineare Gewichts-Deltas konvergieren.

Geometrie: Die Kosinusähnlichkeiten zwischen diesen Methoden liegen $\ge 0,97$ , mit den ersten Hauptwinkeln um etwa $7^\circ$ (Median).
Performance: Sie erreichen eine statistisch ununterscheidbare GSM8K-Genauigkeit (87–88%, $p \ge 0,15$ via McNemar-Test).
Implikation: Das Filtern negativer Proben (RFT) oder deren Gewichtung nach Belohnung (RIFT) ändert nicht die Richtung des Updates relativ zu einfachem SFT; es passt primlich die Schrittweite (Frobenius-Norm) an.

2. Divergenz von DFT

Trotz der Tatsache, dass DFT eine minimale Modifikation von SFT ist (Abwertung sicherer Token durch einen einzelnen multiplikativen Faktor), erzeugt DFT ein signifikant unterscheidbareres Update als jede explizit belohnungsgewichtete Methode.

Geometrie: DFT zeigt eine Kosinusähnlichkeit von $\sim 0,57$ zu SFT und divergiert stärker als belohnungsgewichtete Methoden.
Performance: Die Genauigkeit bleibt vergleichbar mit SFT/RFT/RIFT, was darauf hindeutet, dass das Verlust-Becken (Loss Basin) trotz der Richtungsverschiebung geteilt wird.

3. Offline GRPO: Orthogonale Komponenten innerhalb eines Beckens

Offline GRPO führt eine substanzielle Komponente ein, die orthogonal zur SFT-Richtung steht, aber innerhalb desselben Verlust-Beckens verbleibt.

Geometrie: Es fügt eine global orthogonale Komponente von $\sim 67\%$ hinzu, die in den späten Schichten auf $\sim 86\%$ ansteigt. Die Kosinusähnlichkeit zum SFT-Cluster liegt bei $\sim 0,74$ .
Konnektivität: Eine lineare Interpolation zwischen Offline GRPO und SFT zeigt keine Barriere, was darauf hindeutet, dass sie dasselbe Optimierungsbecken teilen.
Performance: Die Genauigkeit ist vergleichbar mit SFT/RFT/RIFT (87,3%).

4. DPO: Ein distinkter Subraum und Genauigkeitsmaximum

DPO besetzt einen nahezu orthogonalen Subraum und erreicht die höchste Genauigkeit im untersuchten Protokoll.

Geometrie: DPO ist nahezu orthogonal zu allen anderen Methoden (Kosinus $\le 0,065$ zu SFT/RFT/RIFT). Es operiert in einem Subraum mit höherem effektivem Rang (Rang $\sim 24,5$ vs. $\sim 16$ bei anderen), jedoch mit einer viel kleineren Frobenius-Norm.
Konnektivität: Eine lineare Interpolation zwischen DPO und anderen Methoden offenbart eine scharfe Barriere (nicht-monotoner Anstieg des Loss), was auf unterschiedliche Lösungsbecken hindeutet.
Repräsentationsähnlichkeit: Die CKA sinkt in den späten Schichten auf $\sim 0,46$ , was die unterschiedlichen internen Repräsentationen bestätigt.
Performance: DPO erreicht 93,5% auf GSM8K und 30,0% auf AIME26 und übertrifft damit alle anderen Methoden signifikant ( $p < 10^{-9}$ auf GSM8K).
Vorbehalt: Die Autoren merken an, dass die überlegene Performance von DPO mit seiner um den Faktor 10 kleineren Lernrate und der Verwendung von ~40-mal weniger Trainingszeilen verknüpft ist. Die Genauigkeitslücke kann ohne einen lernraten-angepassten Vergleich nicht rein der Verlustfunktion zugeschrieben werden.

5. Die Rolle des On-Policy Samplings

Ein kritischer Befund betrifft den Vergleich zwischen Offline GRPO und Online GRPO.

Offline GRPO (trainiert auf fixen Rollouts) bleibt teilweise mit SFT ausgerichtet (orthogonaler Anteil 0,67).
Online GRPO (trainiert auf On-Policy Rollouts) wird fast vollständig orthogonal zu SFT (orthogonaler Anteil 0,998).
Schlussfolgerung: Die beobachtete Richtungskonvergenz zwischen SFT und Offline GRPO ist teilweise ein Artefakt des Trainings auf denselben fixen Rollouts. Der Ersatz dieser durch On-Policy-Proben bricht diese Konvergenz auf und drängt das Update in einen völlig anderen Subraum.

Bedeutung und Behauptungen

Das Paper argumentiert, dass die „Offline-Reasoning“-Landschaft nicht monolithisch ist, sondern aus distinkten geometrischen Regimen besteht:

Reward-gewichteter MLE-Cluster: SFT, RFT und RIFT sind mechanistisch ähnlich und unterscheiden sich primär in der Schrittmagnitude.
Intermediäre Verschieber: DFT und Offline GRPO verschieben die Richtung, bleiben aber innerhalb desselben SFT-Verlustbeckens.
Orthogonale Regime: DPO und On-Policy-Methoden (wie Online GRPO) operieren in nahezu orthogonalen Subräumen mit distinkten Repräsentationsgeometrien.

Die Autoren betonen, dass DPO zwar die höchste Genauigkeit erzielt, dieses Ergebnis jedoch durch die Optimizer-Einstellungen (speziell die Lernrate) konfundiert ist. Daher behauptet das Paper nicht, dass DPO allein aufgrund seiner Verlustfunktion kausal überlegen ist, sondern dass es einen einzigartigen geometrischen Raum besetzt, der unter dem spezifischen verwendeten Protokoll bessere Ergebnisse liefert. Die Studie hebt hervor, dass „Offline RL“ keinen einzelnen Mechanismus benennt; vielmehr bestimmen die Wahl der Daten (Fixed vs. On-Policy) und die Verlustfunktion gemeinsam die Trajektorie im Gewichtsraum.

Limitierungen: Die Studie ist auf eine einzige Domäne (Mathematik), einen einzigen Basismodell-Checkpoint und Attention-only LoRA beschränkt. Der DPO-Vergleich wird aufgrund der Diskrepanz der Lernrate als unvollkommen bezeichnet, und eine vollständige Untersuchung der kontrastiven Familie (IPO, KTO, SimPO) wurde für zukünftige Arbeiten offen gelassen.