🤖 machine learning

SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs

Das Papier schlägt SAGE vor, ein Framework, das die Explorationsbeschränkungen des standardmäßigen RLVR in LLMs überwindet, indem es die Reverse-KL-Anker-Verteilung durch eine Leitfunktion neu gestaltet und dadurch gleichzeitig Verbesserungen sowohl bei pass@1 als auch bei pass@k bei mathematischen Schlussfolgerungsaufgaben erzielt.

Ursprüngliche Autoren: Chanuk Lee, Minki Kang, Sung Ju Hwang

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chanuk Lee, Minki Kang, Sung Ju Hwang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Falle des „sicheren Pfads"

Stellen Sie sich vor, Sie trainieren ein großes Sprachmodell (LLM), um schwierige Matheprobleme zu lösen. Sie verwenden eine Methode namens Reinforcement Learning with Verifiable Rewards (RLVR). Denken Sie daran wie an einen Schüler, der eine Übungsklausur schreibt und nur dann einen goldenen Stern erhält, wenn er die Antwort exakt richtig hat.

Das Papier weist auf ein frustrierendes Problem hin, wie diese Schüler lernen:

Die Gewohnheit des „sicheren Pfads": Sobald der Schüler einen Weg gefunden hat, einen goldenen Stern zu erhalten, hält er sich tendenziell genau an diese Methode. Er versucht keine neuen Wege mehr, das Problem zu lösen.
Das Ergebnis: Wenn Sie den Schüler bitten, das Problem einmal zu lösen, liegt er meist richtig (hohes pass@1). Aber wenn Sie ihn bitten, 256 Mal zu versuchen, herauszufinden, ob er irgendeine andere richtige Lösung findet, scheitert er daran, neue Lösungen zu finden (niedriges pass@k).

Das Papier nennt dies „Mode Collapse". Das Modell steckt in einer Sackgasse fest und wiederholt dieselben wenigen Denkweisen, die es bereits kennt, anstatt neue, clevere Wege zur Problemlösung zu entdecken.

Warum passiert das? Das „verankerte Seil"

Um zu verhindern, dass der Schüler völlig vom Weg abkommt (Halluzinationen von Unsinn produziert), binden ihn Forscher an ein „Referenzmodell" (einen klugen, aber grundlegenden Lehrer) mit einer mathematischen Leine namens Reverse-KL-Regularisierung.

Die Analogie: Stellen Sie sich den Schüler als Hund vor und das Referenzmodell als einen Pfosten im Boden. Die Leine (Reverse-KL) hält den Hund davon ab, zu weit wegzulaufen.
Das Problem: Die Leine ist zu stark. Sie zwingt den Hund, genau neben dem Pfosten zu bleiben. Selbst wenn es einen köstlichen Knochen (eine korrekte Lösung) gibt, der 3 Meter entfernt im Gebüsch versteckt ist, kann der Hund ihn nicht erreichen, weil die Leine ihn jedes Mal zurück zum Pfosten zieht. Der Hund lernt nur, in der unmittelbaren Umgebung des Pfostens zu schnüffeln.

Die gescheiterten Lösungen

Forscher versuchten zwei offensichtliche Lösungen, aber beide schlugen fehl:

Die Leine durchschneiden: Wenn Sie die Leine vollständig entfernen, läuft der Hund wild umher. Er mag den Knochen finden, rennt aber auch in den Verkehr (halluziniert) und vergisst, wie man sich benimmt. Er betreibt „Reward Hacking" (betrügt die Prüfung).
Die Leinenart ändern: Einige versuchten, eine andere Art von Leine (Forward-KL) zu verwenden, die dem Hund mehr Spielraum lässt. Aber dies lässt den Hund oft in nutzlose Felder wandern, in denen es überhaupt keine Knochen gibt, was Energie verschwendet.

Die Lösung: SAGE (Shaping Anchors for Guided Exploration)

Die Autoren schlagen eine neue Methode namens SAGE vor. Anstatt die Leine zu durchschneiden oder ihre Art zu ändern, formen sie den Boden um den Pfosten herum neu.

Die Analogie: Stellen Sie sich vor, der Pfosten ist noch da, aber die SAGE-Methode platziert einen „Magnet" oder einen „Führer" im Gebüsch.
Wie es funktioniert: Das System betrachtet den Denkprozess des Schülers. Wenn der Schüler zögert oder verwirrt ist (hohe „Entropie" oder Unsicherheit), sagt SAGE: „Hey, das ist ein Verzweigungspunkt! Hier könnte ein neuer Pfad sein." Es stößt den Schüler sanft in diese unsicheren, unerforschten Bereiche, ohne ihn vollständig vom Lehrer wegzulaufen zu lassen.

Es ist wie ein Trainer, der im Gebüsch steht und mit einer Flagge winkt, um zu sagen: „Versuchen Sie diesen Pfad! Er sieht riskant aus, könnte aber zu einem goldenen Stern führen", während der Schüler aus Sicherheitsgründen weiterhin am Hauptlehrer festgebunden bleibt.

Wie sie es tun (die „Führungs-Funktion")

Das Papier schlägt vor, einfache Signale aus dem eigenen „Gehirn" des Modells zu verwenden, um zu entscheiden, wohin man stößt:

Überraschung: Wenn das Modell von einem Wort überrascht ist, das es gleich sagen wird, erkundet es möglicherweise etwas Neues.
Verwirrung/Unsicherheit: Wenn das Modell unsicher ist, welches Wort es als Nächstes wählen soll (hohe Entropie), ist dies ein „Verzweigungspunkt", an dem mehrere Lösungen existieren könnten.

SAGE nutzt diese Signale, um eine Führungs-Funktion zu erstellen. Es sagt im Wesentlichen: „Wenn Sie an einer Kreuzung stehen, wo Sie unsicher sind, lehnen Sie sich ein wenig stärker in die Richtung des Pfades, den Sie noch nicht zuvor genommen haben."

Die Ergebnisse: Besser beim ersten Versuch und besser bei vielen

Das Papier testete dies an schwierigen Mathewettbewerben (wie AIME und AMC).

Standard-Training (Die Sackgasse): Das Modell wird besser darin, Probleme beim ersten Versuch zu lösen, hört aber auf, neue Wege zu finden, um sie zu lösen.
SAGE-Training: Das Modell wird besser darin, Probleme beim ersten Versuch zu lösen UND es wird viel besser darin, mehrere verschiedene korrekte Lösungen zu finden, wenn ihm viele Versuche gegeben werden.

Die Kernaussage:
SAGE beweist, dass man nicht zwischen „Stabilität" (Auf dem sicheren Pfad bleiben) und „Exploration" (Neue Wege finden) wählen muss. Indem man den Anker (die Leine) intelligent neu formt, kann man das Modell anleiten, die „Büsche" zu erkunden, in denen neue Denkweisen leben, ohne es in den Verkehr laufen zu lassen.

Zusammenfassung in einem Satz

SAGE ist ein neuer Trainingstrick, der KI-Modelle sicher und stabil hält, während er sie sanft ermutigt, unerprobte, kreative Wege zur Problemlösung zu erkunden und sie daran hindert, in einem repetitiven Loop stecken zu bleiben.

Technische Zusammenfassung: SAGE – Shaping Anchors for Guided Exploration in RLVR von LLMs

1. Problemstellung

Jüngste Fortschritte im Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) haben die Fähigkeit gezeigt, die pass@1-Genauigkeit von Large Language Models (LLMs) bei推理-Aufgaben zu verbessern. Eine kritische Einschränkung hat sich jedoch herauskristallisiert: Während RLVR oft die Erfolgsraten bei einzelnen Stichproben steigert, führt es häufig nicht zu vergleichbaren Gewinnen bei pass@k (der Wahrscheinlichkeit, eine korrekte Antwort unter $k$ Stichproben zu finden).

Vorherige Analysen deuten darauf hin, dass diese Diskrepanz daher rührt, dass Standard-RLVR Mode-Collapse (oder „Support-Schrumpfung") induziert. Anstatt neuartige Reasoning-Strategien zu entdecken, kollabiert die Policy auf eine schmale Teilmenge vorexistierender, hochdichter Reasoning-Modi, die im Basis-Referenzmodell vorhanden sind. Dieses Verhalten wird den strukturellen Einschränkungen des Standard-reverse-Kullback-Leibler (reverse-KL)-Regularisierungsterms zugeschrieben. Während reverse-KL durch Verankerung der Policy an eine Referenzverteilung ( $\pi_{ref}$ ) notwendige Trainingsstabilität bietet, unterdrückt es inhärent Trajektorien mit geringer Dichte und verhindert effektiv, dass das Modell alternative, gültige Reasoning-Pfade erkundet, die außerhalb des unmittelbaren Supports des Referenzmodells liegen.

Versuche, dies durch Entfernen des KL-Terms oder Ersetzen durch Forward-KL zu lösen, haben sich als suboptimal erwiesen. Das Entfernen des KL-Terms führt häufig zu Reward Hacking und Instabilität, während Forward-KL, obwohl es den Support erweitert, häufig Wahrscheinlichkeitsmasse auf belohnungsirrelevante Regionen verteilt und somit keine Verbesserung von pass@1 erzielt. Die zentrale Herausforderung besteht darin, die stabilisierenden Vorteile von reverse-KL beizubehalten und gleichzeitig eine kontrollierte empirische Support-Erweiterung zu ermöglichen.

2. Methodik: SAGE-Rahmenwerk

Die Autoren schlagen SAGE (Shaping Anchors for Guided Exploration) vor, ein Rahmenwerk, das die reverse-KL-Regularisierung nicht als statische Einschränkung interpretiert, die abgeschwächt werden muss, sondern als dynamischen Anker, dessen Zielverteilung umgestaltet werden kann, um die Exploration zu lenken.

Kernmechanismus

Standard-Reverse-KL-RLVR optimiert:
$J(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})]$
Dies führt zu einer stationären Lösung, bei der die Policy eine exponentielle Neigung der Referenz ist: $\pi_\theta \propto \pi_{ref} \exp(r/\beta)$ . Diese multiplikative Aktualisierung verstärkt hochdichte Regionen von $\pi_{ref}$ , während sie niedrigdichte unterdrückt.

SAGE modifiziert dies durch die Einführung einer Guide-Funktion $q(x, y) > 0$ , die die Ankerverteilung selbst umgestaltet. Das neue Ziel wird zu:
$J'(\theta) = \mathbb{E}_{x,y \sim \pi_\theta} [r(x, y) - \beta \tilde{D}_{KL}(\pi_\theta \parallel q \cdot \pi_{ref})]$
Hierbei ist $\tilde{D}_{KL}$ eine Pseudo-KL-Divergenz, die für unnormalisierte Funktionen definiert ist. Die stationäre Lösung wird zu:
$\pi_\theta(y | x) \propto q(x, y) \pi_{ref}(y | x) \exp\left(\frac{1}{\beta} r(x, y)\right)$
Indem $q(x, y)$ so gestaltet wird, dass sie für untererforschte, aber potenziell gültige Reasoning-Modi groß ist, verstärkt SAGE deren Wahrscheinlichkeitsmasse, ohne die Stabilität zu brechen, die durch den Anker $\pi_{ref}$ bereitgestellt wird.

Konkretisierung durch intrinsische Signale

Um $q(x, y)$ praktisch umzusetzen, ohne während des Guide-Buildings explizite Belohnungsinformationen zu benötigen, schlagen die Autoren die Verwendung von intrinsischen Signalen vor, die aus dem Reasoning-Prozess selbst abgeleitet werden:

Zufällige Exploration: Eine Baseline unter Verwendung stochastischer Störungen.
Token-Level-Exploration: Nutzt Überraschung ( $-\log p$ ), um sich auf seltene lexikalische Wahlmöglichkeiten zu verzerren. Die Autoren stellen fest, dass dies oberflächliche Abweichungen erfasst, aber möglicherweise keine strukturellen Reasoning-Unterschiede widerspiegelt.
Branch-Level-Exploration (SAGE-Branch): Die primär vorgeschlagene Variante. Sie verwendet Entropie ( $H_t$ ) als Signal für Reasoning-Verzweigungen. Die Guide-Funktion ist definiert als:
$q_{Branch}(y_t | x, y_{<t}) = 1 + \gamma (H_t - \tau)_+$
wobei $H_t$ die Token-Level-Entropie ist, $\tau$ ein Aktivierungsschwellenwert und $\gamma$ die Stärke steuert. Dies verstärkt selektiv die Exploration an Entscheidungsstellen mit hoher Unsicherheit (Verzweigungsknoten), während Rauschen in deterministischen symbolischen Schritten unterdrückt wird.

Theoretische Garantien

Die Arbeit liefert eine theoretische Analyse (Satz 4.3), die zeigt, dass SAGE im Gegensatz zu Standard-RLVR, das durch den empirischen Support des Referenzmodells begrenzt ist, theoretisch den empirischen Support erweitern kann. Spezifisch kann SAGE, wenn die Guide-Funktion $q$ für eine belohnungsgültige Lösung $y^*$ , die sich derzeit außerhalb des empirischen Supports der Referenz-Policy befindet, hinreichend groß ist, ihr eine nicht vernachlässigbare Wahrscheinlichkeit zuweisen und so „versteckte" Reasoning-Modi effektiv wiederherstellen.

3. Hauptbeiträge

Analyse der RLVR-Einschränkungen: Die Autoren identifizieren, dass der reverse-KL-Anker, obwohl er stabilisierend wirkt, die primäre strukturelle Ursache für Mode-Collapse in RLVR ist. Sie argumentieren, dass das einfache Entfernen oder Ersetzen des KL-Terms unzureichend ist, da es den Trade-off zwischen Effizienz und Abdeckung stört.
SAGE-Rahmenwerk: Sie schlagen eine prinzipielle Methode vor, um eine kontrollierbare empirische Support-Erweiterung zu ermöglichen, indem die KL-Ankerverteilung durch eine Guide-Funktion $q(x, y)$ umgestaltet wird, anstatt den Anker zu entfernen.
Integration intrinsischer Signale: Sie zeigen auf, wie leichte, intrinsische Signale (insbesondere Entropie und Überraschung) verwendet werden können, um effektive Guide-Funktionen zu konstruieren, die keine zusätzlichen Forward-Passes oder externen Daten erfordern.
Empirische Validierung: Umfassende Experimente zeigen, dass SAGE-Varianten, insbesondere die Branch-Level-Exploration, konsistent sowohl pass@1 als auch pass@k über diverse mathematische Reasoning-Benchmarks hinweg verbessern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SAGE auf den Datensätzen AIME 2024-2025, AMC23 und MATH-500 unter Verwendung des Modells Qwen2.5-Math-7B-Base und des GRPO-Algorithmus.

Leistungssteigerungen: Die Variante GRPO + Branch erzielte die stärkste durchschnittliche Leistung und verbesserte pass@1 von 0,266 (vanilla GRPO) auf 0,284 sowie pass@256 von 0,714 auf 0,729. Sie übertraf Baselines über alle drei Datensätze hinweg.
Vergleich mit Alternativen:
- GRPO ohne KL: Zeigte höhere Trainingsbelohnungen, aber deutlich schlechtere Testzeit-Leistung (pass@1 und pass@256), was das Risiko von Reward Hacking ohne KL-Anker bestätigt.
- Forward-KL: Verbesserte pass@256 leicht, konnte jedoch die pass@1-Gewinne von SAGE nicht erreichen, was darauf hindeutet, dass es Masse auf nicht-zielgerichtete Regionen verteilt.
- Andere RL-Algorithmen: SAGE wurde erfolgreich in BNPO und DAPO integriert und löste konsistent den Trade-off, bei dem diese Methoden typischerweise pass@1 auf Kosten von pass@k verbesserten.
Analyse von Reasoning-Mustern: Qualitative Analysen zeigten, dass Standard-RLVR dominante Muster wie „Constraint Setup" verstärkte, während SAGE die Häufigkeit von Beweisen durch Widerspruch (von 0,8 % bei GRPO auf 3,3 % bei GRPO+Branch) signifikant erhöhte, einem seltenen, aber gültigen Reasoning-Modus.
Robustheit: Bei Out-of-Distribution-Evaluationen (Knights-and-Knaves-Benchmark) behielten SAGE-trainierte Modelle ihre Leistung unter Verteilungsverschiebung bei, während Standard-GRPO-Modelle eine signifikante Verschlechterung aufwiesen, was darauf hindeutet, dass SAGE Mode-Collapse mildert.
Generalisierung: Die Methode war auch bei Modellen mit langem Reasoning (DeepSeek-R1-Distill-Qwen-7B) und kleineren Modellen (Qwen2.5-1.5B/3B) effektiv und zeigte Robustheit über verschiedene Modellgrößen und Reasoning-Paradigmen hinweg.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SAGE einen praktischen und prinzipiellen Ansatz zur Minderung von Mode-Verstärkung in reverse-KL-RLVR bietet. Indem die KL-Regularisierung als kontrollierbares Instrument und nicht als starre Einschränkung behandelt wird, ermöglicht SAGE LLMs, diverse Reasoning-Trajektorien zu entdecken und zu nutzen, die gültig, aber im Basismodell unterrepräsentiert sind.

Die Autoren betonen, dass SAGE modular und orthogonal zu bestehenden Techniken (wie Advantage Shaping oder Dynamic Sampling) ist, da es die Ankerverteilung selbst und nicht die Optimierungsstruktur modifiziert. Sie positionieren SAGE als allgemeines Rahmenwerk für stabile, KL-kompatible empirische Support-Erweiterung.

Einschränkungen und Geltungsbereich:
Die Autoren geben bescheiden zu, dass SAGE innerhalb des Supports der festen Referenz-Policy operiert. Es verteilt Wahrscheinlichkeitsmasse unter Trajektorien um, die bereits unter $\pi_{ref}$ eine nicht-null Wahrscheinlichkeit haben; es kann keine völlig neuen Reasoning-Muster erzeugen, die für das Basismodell unmöglich zu produzieren sind. Sie stellen fest, dass zwar Distillation von stärkeren Teacher-Modellen die Reasoning-Grenze erweitern kann, SAGE dies jedoch ergänzt, indem es eine stabile Exploration innerhalb dieser Grenze ermöglicht. Die aktuelle Konkretisierung stützt sich auf leichte intrinsische Signale, und die Autoren schlagen vor, dass das Erlernen ausdrucksstärkerer Guide-Funktionen aus stärkeren Modellen eine vielversprechende Richtung für zukünftige Arbeiten ist.