🤖 machine learning

Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward

Dieses Papier stellt VIGOR vor, eine verifiziererfreie Methode des bestärkenden Lernens, die intrinsische Gradientennorm-Belohnungen nutzt, die aus dem Policy-Modell selbst abgeleitet werden, um die Leistung von LLMs in mathematischem Denken und Code-Generierung effektiv zu verbessern, ohne auf externe Verifizierer oder Gold-Labels zurückzugreifen.

Ursprüngliche Autoren: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xuexiang Wen, Hang Yu, Linchao Zhu, Gaoang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr klugen, aber unerfahrenen Schüler (die KI) darin, komplexe Rätsel zu lösen, wie etwa Matheaufgaben oder das Schreiben von Computercode.

Normalerweise benötigen Sie, um diesen Schüler zu unterrichten, einen strengen Lehrer (einen „Verifizierer"), der jede Antwort überprüft. Ist die Antwort richtig, erhält der Schüler einen goldenen Stern. Ist sie falsch, bekommt er ein rotes X. Dies funktioniert hervorragend bei Mathematik und Programmierung, da es hier klare richtige und falsche Antworten gibt.

Das Problem:
Was passiert, wenn Sie wollen, dass der Schüler ein Gedicht schreibt, Ratschläge erteilt oder ein Problem löst, für das es keine einzelne „richtige" Antwort gibt? Sie können nicht für jede einzelne Aufgabe einen strengen Lehrer einstellen, da Sie die Antworten im Voraus nicht kennen. Ohne einen Lehrer weiß der Schüler nicht, ob er eine gute Arbeit leistet, und könnte einfach beginnen, willkürlich zu raten oder stecken zu bleiben.

Die Lösung: VIGOR (die „Selbstgefühl"-Belohnung)
Die Studie stellt eine neue Methode namens VIGOR vor. Anstatt auf einen externen Lehrer zu warten, der die Arbeit bewertet, fordert VIGOR den Schüler auf, auf seine eigenen inneren Gefühle zu hören, wie „glatt" sich seine Antwort anfühlt.

So funktioniert es, anhand einer einfachen Analogie:

1. Der „steile Hang" vs. das „flache Tal"

Stellen Sie sich das Gehirn des Schülers als eine Landschaft aus Hügeln und Tälern vor.

Eine schlechte Antwort ist wie das Stehen auf einer steilen, felsigen Klippe. Wenn der Schüler versucht, sein Denken auch nur minimal anzupassen, rutscht er gewaltsam hinunter. In mathematischen Begriffen ist dies ein „großer Gradient" (eine große, wackelige Veränderung).
Eine gute Antwort ist wie das Stehen in einem flachen, ruhigen Tal. Wenn der Schüler sein Denken leicht anpasst, bleibt er genau dort, wo er ist. Dies ist ein „kleiner Gradient" (eine glatte, stabile Veränderung).

Die Regel von VIGOR: Der KI wird gesagt, dass sie Antworten bevorzugen soll, die sich wie das flache Tal (kleine Gradienten) anfühlen, und nicht wie die steile Klippe. Die Logik lautet: „Wenn sich meine Antwort stabil anfühlt und keinen gewaltigen mentalen Ruck erfordert, um Sinn zu ergeben, ist sie wahrscheinlich eine gute."

2. Die „Längen-Falle" (Warum die Studie eine Korrektur benötigte)

Die Forscher bemerkten einen hinterhältigen Trick. Wenn der Schüler einfach eine wirklich lange Antwort schrieb, würde die „Steilheit" der Klippe natürlich kleiner erscheinen, nur weil die Neigung über eine lange Strecke verteilt war. Der Schüler könnte versuchen, durch das Schreiben riesiger, weitschweifiger Aufsätze zu „betrügen", um eine hohe Punktzahl zu erhalten, selbst wenn der Inhalt Unsinn war.

Die Korrektur (die $\sqrt{T}$ -Korrektur):
Die Studie fügt dem System ein einfaches mathematisches „Lineal" hinzu. Es besagt: „Wir werden die Steilheit messen, aber wir werden die Punktzahl basierend auf der Länge der Antwort anpassen." Dies verhindert, dass der Schüler betrügt, indem er einfach mehr Wörter schreibt. Es stellt sicher, dass die Punktzahl die Qualität des Denkens widerspiegelt und nicht nur die Länge des Textes.

3. Die „Klassenabstimmung" (Rangfolge)

Manchmal variiert das „Gefühl" der Stabilität zwischen verschiedenen Fragen stark. Eine Frage könnte sich sehr stabil anfühlen, während eine andere sich wackelig anfühlt, was einen direkten Vergleich erschwert.

Die Korrektur (Rangfolge):
Anstatt eine Rohpunktzahl zu vergeben, fordert VIGOR die KI auf, ein paar verschiedene Antworten für dieselbe Frage zu generieren und diese dann miteinander zu vergleichen.

„Welche dieser 8 Antworten fühlt sich am stabilsten an?" -> Diese erhält die höchste Belohnung.
„Welche fühlt sich am wackeligsten an?" -> Diese erhält die niedrigste Belohnung.
Dies hält das Training fair und stabil, unabhängig davon, wie schwierig die spezifische Frage ist.

Was geschah, als sie es versuchten?

Die Forscher testeten dies an Qwen2.5, einem beliebten KI-Modell.

Mathematik & Code: Sie trainierten die KI an Matheaufgaben unter Verwendung nur dieser „Selbstgefühl"-Belohnung (keine Antwortvorlagen erlaubt). Die KI wurde bei Mathematik deutlich besser.
Kreuztraining: Erstaunlicherweise wurde die KI, als sie nur mit Mathematik nach dieser Methode trainiert wurde, auch besser im Programmieren, obwohl sie während des Trainings nie ein einziges Programmierproblem gesehen hatte.
Stabilität: Andere Methoden, die versuchen, „Vertrauen" zu erraten, lassen die KI oft verrückt werden und beginnen nach einer Weile, sich zu wiederholen oder Unsinn zu schreiben. VIGOR hielt das Training glatt und stetig, wie ein ruhiger Fluss statt eines tobenden Sturms.

Zusammenfassung

VIGOR ist eine Methode, um KI ohne Lehrer zu unterrichten. Es sagt der KI: „Raten Sie nicht einfach; finden Sie die Antwort, die sich in Ihrem eigenen Geist am stabilsten und glattesten anfühlt." Indem sie ein paar technische Fehler behoben (wie den Längen-Trick), machten sie diese „Selbstprüfung" stark genug, um eine grundlegende KI in einen viel klügeren Denker zu verwandeln, ganz ohne dass die richtigen Antworten im Voraus bekannt sein mussten.

Technische Zusammenfassung: Verifier-freies RL für LLMs mittels intrinsischer Gradient-Norm-Belohnung (VIGOR)

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als leistungsfähiges Post-Training-Paradigma für Large Language Models (LLMs) etabliert, insbesondere bei推理-Aufgaben wie Mathematik und Programmierung. RLVR ist jedoch stark auf externe, domänenspezifische Verifizierer angewiesen (z. B. exakte Übereinstimmungsprüfungen für mathematische Antworten oder Unit-Tests für Code). Diese Abhängigkeit begrenzt die Skalierbarkeit auf neue Aufgaben oder Domänen, in denen solche Verifizierer nicht verfügbar oder schwer zu konstruieren sind.

Bestehende verifiziererfreie Alternativen stehen vor erheblichen Herausforderungen:

Mehrheitsvoting-Methoden: Diese leiten Pseudo-Labels aus dem Konsens mehrerer Stichproben ab. Sie gehen häufig davon aus, dass finale Antworten zuverlässig extrahiert und normalisiert werden können, was ihre Anwendbarkeit auf offene Generierung einschränkt.
Intrinsische-Signal-Methoden: Diese nutzen interne Modellsignale wie Entropie oder Selbstgewissheit. Obwohl vielversprechend, können sie im Verlauf des Trainings brüchig werden, was zu einer Degeneration der Belohnung, Instabilität und einem Zusammenbruch der Leistung führt.

Die Kernherausforderung besteht darin, ein verifiziererfreies Belohnungssignal zu entwickeln, das allgemein auf freie Formate anwendbar ist, während des Reinforcement Learning stabil bleibt und ausschließlich auf dem Policy-Modell selbst ohne Hilfskomponenten basiert.

2. Methodik: VIGOR

Die Autoren schlagen VIGOR (Verifier-free Intrinsic Gradient-Norm Reward) vor, eine Methode, die Belohnungen ausschließlich unter Verwendung der internen Trainingsdynamik des Policy-Modells berechnet.

Grundlegende Intuition

Die Methode basiert auf der Optimierungstheorie erster Ordnung. In einer Verlustlandschaft deutet eine kleinere Gradientennorm typischerweise darauf hin, dass sich die aktuellen Parameter in der Nähe eines stationären Bereichs befinden, was mildere Updates und glattere Trainingsdynamiken impliziert. VIGOR geht davon aus, dass Vollendungen, die kleinere $\ell_2$ -Normen der durch Teacher-Forcing erzeugten negativen Log-Likelihood (NLL)-Gradienten hervorrufen, besser mit der aktuellen Policy übereinstimmen und höhere Belohnungen erhalten sollten.

Algorithmische Schritte

Für einen gegebenen Prompt $x$ sampelt die Policy $\pi_\theta$ eine Gruppe von $G$ Vollendungen $\{y_i\}_{i=1}^G$ . Die Berechnung der Belohnung erfolgt wie folgt:

Berechnung der Gradientennorm: Für jede Vollendung $y$ wird die durchschnittliche tokenweise NLL $\ell_{mean}(x, y)$ berechnet. Der Gradient $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ wird bezüglich der aktuellen Parameter $\theta$ berechnet (ohne Aktualisierung des Modells). Der Gradient wird vom Berechnungsgraphen getrennt, um als skalares Signal zu dienen.
Längenkorrektur ( $\sqrt{T}$ -Skalierung): Die rohe Gradientennorm $\|g\|_2$ weist eine systematische Verzerrung auf, bei der sie mit zunehmender Sequenzlänge $T$ schrumpft, selbst wenn die Qualität nicht verbessert wird. Um dieses „Längen-Hacking" zu kompensieren, wird das Signal mit $\sqrt{T}$ skaliert:
$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$
Das negative Vorzeichen wandelt die Minimierung der Gradientennormen in ein Ziel zur Maximierung der Belohnung um.
Rangbasierte Normalisierung: Um Belohnungsskalen über verschiedene Prompts hinweg zu stabilisieren und Vergleichbarkeit sicherzustellen, werden die rohen Signale innerhalb einer Gruppe sortiert und auf eine rangbasierte Belohnung $R_{GN} \in [-1, +1]$ abgebildet. Die schlechteste Vollendung (höchste Gradientennorm) erhält $-1$, die beste (niedrigste Gradientennorm) erhält $+1$ .
Policy-Optimierung: Diese rangnormalisierten Belohnungen werden verwendet, um gruppenrelative Vorteile $\hat{A}_i$ im Rahmen des Group Relative Policy Optimization (GRPO) zu berechnen. Die Policy wird aktualisiert, um das Ziel zu maximieren und Vollendungen mit niedrigeren Gradientennormen zu fördern.

3. Hauptbeiträge

VIGOR-Rahmenwerk: Ein neuartiger verifiziererfreier intrinsischer Belohnungsmechanismus, der die $\ell_2$ -Norm von Teacher-Forcing-Gradienten als Proxy für Policy-Alignment und Trainingsstabilität nutzt.
Längenkorrektur: Die Einführung eines $\sqrt{T}$ -Skalierungsfaktors, um die systematische Längenverzerrung zu neutralisieren, die in gemittelten tokenweisen Gradientennormen inherent ist, und zu verhindern, dass das Modell Längenaufblähung ausnutzt, um Belohnungen zu maximieren.
Rangbasierte Formung: Eine Normalisierungstechnik, die Belohnungsskalen über Prompts hinweg stabilisiert, indem sie sich auf die relative Reihenfolge innerhalb der Gruppe statt auf absolute Gradientenmagnituden verlässt.
Empirische Validierung: Umfassende Experimente zeigen, dass VIGOR State-of-the-Art-verifiziererfreie Baselines (insbesondere RLIF/INTUITOR) bei Benchmarks für mathematisches Reasoning und Code-Generierung übertrifft und gleichzeitig stabile Trainingsdynamiken aufrechterhält.

4. Experimentelle Ergebnisse

Die Experimente wurden an den Modellen Qwen2.5-3B-Base und Qwen2.5-7B-Base durchgeführt, die jeweils auf dem MATH-Datensatz bzw. dem CodeContests-Datensatz trainiert wurden.

Leistung in Mathematik (Trainiert auf MATH)

Qwen2.5-7B: VIGOR verbesserte die durchschnittliche mathematische Genauigkeit um +3,31 % gegenüber der INTUITOR-Baseline. Konkret erreichte es 76,20 % auf MATH500 und 44,42 % auf AMC.
Cross-Domain-Transfer: Wenn ausschließlich auf mathematischen Daten trainiert, verbesserte VIGOR die durchschnittliche Code-Genauigkeit um +1,91 % gegenüber der INTUITOR-Baseline und demonstrierte einen effektiven Cross-Domain-Transfer.
Stabilität: Im Gegensatz zu INTUITOR, das in späteren Phasen einen Rückgang der Genauigkeit zeigte, behielt VIGOR während des gesamten Trainings eine stabile Verbesserung bei.

Leistung in Code (Trainiert auf CodeContests)

Qwen2.5-3B: VIGOR verbesserte die durchschnittliche Code-Leistung von 16,98 % auf 23,64 %.
Cross-Domain-Transfer: Das Training auf Code-Daten verbesserte den mathematischen Durchschnitt von 48,34 % auf 56,57 %.
Hinweis: Beim CodeAvg-Metrik schnitt VIGOR (23,64 %) leicht schlechter ab als INTUITOR (25,43 %), insbesondere beim CRUX-Benchmark. Die Autoren führen dies auf die Natur des Wettbewerbsprogrammierens zurück, bei der die Korrektheit oft von diskreten algorithmischen Entscheidungen abhängt, die durch Gradientenglättung nicht vollständig erfasst werden.

Analyse der Trainingsdynamik

Stabilität: VIGOR zeigte im Vergleich zu INTUITOR, das unter einer Degeneration der Belohnung litt (wobei hochbewertete Stichproben im Laufe der Zeit weniger mit der Korrektheit übereinstimmten), stabilere Trainingsdynamiken.
Längenkontrolle: VIGOR unterdrückte die Längenaufblähung effektiv. Während INTUITOR einen ausgeprägten Anstieg der Generierungslänge zeigte, produzierte VIGOR erheblich kürzere Ausgaben und konzentrierte die Optimierung auf die Qualität des Reasonings statt auf Längen-Hacking.
Rang-Genauigkeits-Monotonie: Die Analyse bestätigte einen starken monotonen Zusammenhang zwischen der Rangfolge der Gradientennorm und der Aufgaben-Genauigkeit; von VIGOR höher eingestufte Vollendungen erzielten konsistent eine höhere Genauigkeit.

Ablationsstudien

Ohne $\sqrt{T}$ -Korrektur: Das Entfernen dieser Komponente führte zu einer katastrophalen Degradation, insbesondere beim 3B-Modell, was zu einer Genauigkeit nahe Null und schwerem Längen-Hacking führte.
Ohne Rang-Formung: Das Entfernen der Rangnormalisierung führte zu Instabilität, insbesondere beim 7B-Modell, und verursachte einen signifikanten Rückgang (8,90 %) der MMLU-Pro-Leistung aufgrund des Einflusses extremer Ausreißer in den rohen Gradientenmagnituden.

5. Bedeutung und Einschränkungen

Bedeutung:
Die Arbeit behauptet, dass VIGOR eine robuste, verifiziererfreie Alternative für das RL-Post-Training bietet, die nicht auf externe Labels oder Hilfsmodelle angewiesen ist. Durch die Nutzung der intrinsischen Geometrie der Verlustlandschaft (Gradientennormen) bietet es ein stabiles Signal für die Policy-Optimierung, das sich über Domänen hinweg generalisiert (von Mathematik zu Code und umgekehrt) und die Trainingsstabilität aufrechterhält, wo andere intrinsische Methoden versagen.

Einschränkungen:

Aufgabenbereich: Die Studie zielt primär auf verifizierbare Reasoning-Aufgaben ab. Die Autoren stellen fest, dass unklar ist, wie gut VIGOR auf offenere Generierungsszenarien (z. B. lange Texte oder Dialoge) ohne zusätzliche Einschränkungen übertragbar ist.
Rechenkosten: VIGOR erfordert pro Stichprobe die Berechnung der Gradientennorm mittels automatischer Differentiation, was im Vergleich zu Forward-only-Signalen wie Likelihood oder Entropie einen nicht zu vernachlässigenden Overhead mit sich bringt.
Proxy-Charakter: Die Gradientennorm ist ein Proxy-Ziel. Die Autoren erkennen an, dass sie die downstream-Nützlichkeit nicht konsistent verfolgen kann, was Raum für potenzielle Fehlausrichtung oder Belohnungsausbeutung lässt.