🤖 machine learning

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

Dieser Artikel schlägt Sharpness-Guided GRPO (GRPO-SG) vor, eine token-gewichtete Variante von Group Relative Policy Optimization, die die Generalisierung beim Reinforcement Learning mit überprüfbaren Belohnungen verbessert, indem Tokens, die große Gradienten verursachen, heruntergewichtet werden, um die Schärfe zu verringern und das Training zu stabilisieren.

Ursprüngliche Autoren: Tue Le, Linh Ngo Van, Trung Le

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tue Le, Linh Ngo Van, Trung Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten Schüler (ein Large Language Model) darin, schwierige Rätsel zu lösen, wie etwa Matheaufgaben oder logische Knobeleien. Sie geben ihm keinen Lehrer, der jeden einzelnen Schritt bewertet; stattdessen erhalten Sie am Ende eine „Checkliste". Wenn die endgültige Antwort korrekt ist, erhält er einen goldenen Stern (eine Belohnung). Wenn sie falsch ist, erhält er nichts. Dies wird als Reinforcement Learning with Verifiable Rewards (RLVR) bezeichnet.

Derzeit ist die beliebteste Methode, um diesen Schüler zu unterrichten, ein Verfahren namens GRPO. Stellen Sie sich GRPO als einen Trainer vor, der sagt: „Okay, versuchen wir 5 verschiedene Wege, dieses Problem zu lösen. Diejenigen, die den goldenen Stern erhalten haben, sind gut; diejenigen, die gescheitert sind, sind schlecht. Lassen Sie uns das Gehirn des Schülers so anpassen, dass es den Gewinnern ähnlicher und den Verlierern weniger ähnelt."

Das Problem: Der „übererregte" Schüler

Die Arbeit argumentiert, dass GRPO zwar gut funktioniert, aber manchmal etwas zu aggressiv sein kann. Stellen Sie sich vor, der Schüler versucht zu lernen. Wenn er bei einem bestimmten Wort oder Schritt einen Fehler macht, schreit der Trainer vielleicht sehr laut, um ihn zu korrigieren. In mathematischen Begriffen erzeugt dies ein „scharfes" Update – eine enorme, erschütternde Veränderung im Gehirn des Schülers.

Während dies den unmittelbaren Fehler beheben mag, kann es den Schüler instabil machen. Er könnte vergessen, wie man ähnliche Probleme löst, die er früher beherrschte, oder er könnte über Kleinigkeiten überreagieren, die keine Rolle spielen. In der Sprache der Arbeit wird dies als hohe Schärfe bezeichnet, was zu einer schlechten Generalisierung führt (die Fähigkeit, neue, ungesehene Probleme zu bewältigen).

Die Lösung: Das „Vertrauensmessgerät" (GRPO-SG)

Die Autoren schlagen eine neue Methode namens GRPO-SG (Sharpness-Guided GRPO) vor.

Hier ist die einfache Analogie:
Stellen Sie sich vor, der Schüler schreibt eine Geschichte.

Wörter mit hohem Vertrauen: Dies sind Wörter, bei denen der Schüler zu 100 % sicher ist, wie „der" oder „und", oder entscheidende mathematische Symbole wie „+" oder "=". Der Schüler weiß, dass diese für den Sinn des Satzes entscheidend sind.
Wörter mit niedrigem Vertrauen: Dies sind Wörter, bei denen der Schüler ratet, wie ein ausgefallenes Adjektiv oder eine bestimmte Zahl, bei der er sich nicht sicher ist.

Bei der alten Methode (GRPO) würde der Trainer, wenn der Schüler ein Wort mit niedrigem Vertrauen geraten und es falsch gemacht hat, schreien: „NEIN! Ändere dein ganzes Gehirn!" Dies verursacht eine enorme, „scharfe" Aktualisierung, die andere Dinge zerstören könnte.

GRPO-SG wirkt wie ein weiser Trainer, der vor dem Schreien auf das „Vertrauensmessgerät" des Schülers schaut.

Wenn der Schüler unsicher ist (niedriges Vertrauen) und einen Fehler macht, flüstert der Trainer: „Okay, versuchen wir beim nächsten Mal etwas vorsichtiger zu sein", aber er macht keine enorme Veränderung. Dies verhindert, dass der Schüler in Panik gerät und überkorrigiert.
Wenn der Schüler sicher ist (hohes Vertrauen) und es richtig macht, gibt der Trainer einen starken, positiven Impuls, um diese gute Gewohnheit zu verstärken.

Wie es funktioniert (die „Wahrscheinlichkeitsformung")

Die Arbeit verwendet einen mathematischen Trick namens Probability Shaping (Wahrscheinlichkeitsformung).

Das System prüft, wie sicher das Modell bezüglich des Wortes ist, das es gerade gewählt hat (basierend auf dem „Logit", was einfach ein Score ist, wie wahrscheinlich dieses Wort ist).
Wenn der Score niedrig ist (das Modell rät), gewichtet das System die Lektion herab. Es sagt: „Lassen Sie diesen einen Fehler nicht Ihr ganzes Fundament erschüttern."
Wenn der Score hoch ist (das Modell ist sicher), gewichtet das System die Lektion hoch. Es sagt: „Das ist ein solider Zug; lassen Sie uns sicherstellen, dass wir ihn weiterhin ausführen."

Die Ergebnisse: Eine glattere Fahrt

Die Arbeit testete diese neue Methode an drei Arten von Herausforderungen:

Mathematik: Lösen von Mathematikaufgaben auf Olympiaden-Niveau.
Logik: Lösen von „Rittern und Knappen"-Rätseln (bei denen einige Leute immer lügen und andere immer die Wahrheit sagen).
Werkzeugnutzung: Auffordern der KI, eine Suchmaschine zu verwenden, um Antworten zu finden.

Was ist passiert?

Bessere Scores: Die neue Methode (GRPO-SG) erzielte bei allen diesen Tests konsistent höhere Scores als die alte Methode (GRPO). Zum Beispiel stieg bei logischen Rätseln die Erfolgsrate signifikant.
Glatteres Lernen: Wenn man die „Gradienten-Norm" beobachtet (ein Maß dafür, wie gewaltsam sich das Gehirn des Schülers verändert), war die neue Methode viel glatter. Sie hatte keine wilden Spitzen der Überkorrektur. Es war eine stetige, ruhige Fahrt nach oben.

Zusammenfassung

Die Arbeit behauptet, dass wir durch das einfache Anweisen der KI, das „Panikgefühl" von Raten mit niedrigem Vertrauen zu ignorieren und sich auf die Verstärkung von Zügen mit hohem Vertrauen zu konzentrieren, intelligentere, stabilere und besser generalisierbare Reasoning-Modelle trainieren können. Es ist wie ein Schüler zu unterrichten, auf seinen Bauchinstinkt bei dem zu vertrauen, was er weiß, und nicht über Dinge auszurasten, bei denen er noch rät.

Technische Zusammenfassung: Sharpness-Geführte Group Relative Policy Optimization durch Wahrscheinlichkeitsformung

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als primärer Treiber zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) in Domänen wie Mathematik, Logik und tool-erweiterter Fragebeantwortung etabliert. Group Relative Policy Optimization (GRPO) ist der dominierende Optimierer in diesem Setting aufgrund seiner Einfachheit und der fehlenden Abhängigkeit von einer expliziten Wertfunktion. Allerdings fehlt es aktuellen RLVR-Implementierungen oft an einer robusten Kontrolle der Generalisierung. Die Autoren identifizieren, dass das Training zu „scharfen" Updates führen kann – große, instabile Gradientenschritte –, was theoretisch mit einer schlechteren Generalisierungsleistung korreliert. Das zentrale Problem besteht darin, wie man das GRPO-Training stabilisieren und die Generalisierung verbessern kann, ohne das Lernsignal zu opfern oder komplexe architektonische Änderungen einzuführen.

Methodik: GRPO-SG

Der Artikel schlägt Sharpness-Geführte GRPO (GRPO-SG) vor, eine token-gewichtete Variante von GRPO, die darauf ausgelegt ist, die Schärfe der Optimierungsschritte zu reduzieren. Die Methodik basiert auf einer theoretischen Generalisierungsperspektive und wird über einen vertrauensbasierten Wahrscheinlichkeitsformungsmechanismus implementiert.

Theoretische Grundlage

Die Autoren betrachten GRPO erneut durch eine auf Robustheit basierende Generalisierungslinse. Sie zeigen, dass der Generalisierungsverlust durch die Summe des empirischen Trainingsverlusts und eines Schärfe-Surrogats, gemessen durch die Gradientennorm, nach oben beschränkt ist (Satz 3.3).

Kern-Erkenntnis: Kleinere Gradientennormen entsprechen weniger scharfen Updates, was eine bessere Generalisierung impliziert.
Herleitung: Durch die Analyse des Gradienten des empirischen Verlusts zeigen die Autoren, dass die Gradientennorm von token-spezifischen Gewichten beeinflusst wird. Insbesondere wirkt das Produkt eines Token-Gewichts ( $w_{i,t}$ ) und des Terms $(1 - \pi_\theta(o_{i,t}))$ (der Unsicherheit repräsentiert) direkt auf die Größe des Gradienten.

Algorithmische Implementierung

GRPO-SG modifiziert das Standard-GRPO-Ziel durch die Einführung eines Token-Gewichts $w_{i,t}$ , das als Vertrauenssignal fungiert.

Vertrauenssignal: Das Gewicht wird aus dem Logit des ausgewählten Tokens ( $h_{i,t}$ ) abgeleitet, das von der aktuellen Policy erzeugt wird. Dieses Logit dient als Proxy für das Vertrauen des Modells in das von ihm ausgewählte Token.
Wahrscheinlichkeitsformung: Eine monotone, vertrauensbewusste Abbildungsfunktion $\omega(\cdot)$ $ω (\cdot)$ wird auf das Logit angewendet, um das Gewicht zu generieren. Die spezifische Formulierung (Gleichung 20) lautet:
$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$
- $\text{sg}[\cdot]$ ist ein Stop-Gradient-Operator, um zu verhindern, dass das Modell die Gewichte manipuliert.
- $\sigma$ ist eine Sigmoid-Funktion, und $\tau, \mu, \alpha, L, U$ sind Hyperparameter, die die Glätte und die Grenzen steuern.
Mechanismus:
- Hochvertrauende Tokens: Tokens mit hohen Logits (hohes Vertrauen) erhalten höhere Gewichte, wodurch das Lernsignal bei kritischen reasoning-Schritten erhalten bleibt.
- Niedrigvertrauende Tokens: Tokens mit niedrigen Logits erhalten niedrigere Gewichte. Da niedrigvertrauende Tokens oft größere Gradienten hervorrufen (aufgrund des $(1-\pi)$ -Terms), unterdrückt ihre Herabstufung „scharfe" Updates, die das Training destabilisieren könnten.
Integration: Diese Gewichte werden direkt in das GRPO-Surrogat-Ziel integriert, wodurch Tokens, die wahrscheinlich zu übermäßig großen Gradienten führen, effektiv heruntergewichtet werden, während das Standard-Clipping im PPO-Stil und die Advantage-Normalisierung beibehalten werden.

Hauptbeiträge

Generalisierungsperspektive von GRPO: Der Artikel liefert einen theoretischen Zusammenhang zwischen RLVR-Training und einem robusten Generalisierungsziel, wobei die Generalisierung über ein Schärfe-Surrogat (Gradientennorm) charakterisiert wird.
GRPO-SG-Algorithmus: Er führt eine einfache, effektive Modifikation von GRPO ein, die das Token-Vertrauen (Logits der ausgewählten Tokens) nutzt, um die Größe der Updates zu formen, die Schärfe reduziert und dabei keine zusätzlichen Modelle oder komplexe Reward-Formung erfordert.
Empirische Validierung: Die Methode wird über diverse RLVR-Benchmarks hinweg validiert und zeigt konsistente Verbesserungen gegenüber Standard-GRPO und anderen Kontrollen auf Token-Ebene (z. B. 80/20, AR, Lopti).

Experimentelle Ergebnisse

Experimente wurden in drei unterschiedlichen RLVR-Settings durchgeführt: Mathematisches Reasoning, Agentic Question Answering (tool-erweitert) und Logikrätsel (Ritter und Knappen).

Mathematisches Reasoning: Auf Benchmarks einschließlich OlympiadBench, Minerva und MATH-500 erzielte GRPO-SG durchschnittliche Verbesserungen von +2,7 % bis +6,0 % gegenüber Standard-GRPO. Beispielsweise betrug der durchschnittliche Gewinn beim DSR-Trainingsrezept mit Qwen2.5-7B 6,0 %.
Agentic QA: Bei wissensbasierten QA-Aufgaben (unter Verwendung von VT-Search) verdoppelte GRPO-SG die Exact-Match-Genauigkeit für das Qwen2.5-3B-Modell fast (von 13,84 auf 27,29) und erzielte signifikante Gewinne beim Qwen3-4B-Modell.
Logikrätsel: Auf dem K&K-Logikrätsel-Benchmark verbesserte GRPO-SG die durchschnittliche Genauigkeit von Qwen2.5-3B von 0,42 auf 0,63 (ein relativer Gewinn von 50 %) und von Qwen2.5-7B von 0,75 auf 0,91.
Trainingsdynamik: Über die Genauigkeit hinaus zeigte GRPO-SG glattere Gradientennorm-Trajektorien und weniger Ausreißer-Spitzen im Vergleich zu GRPO (Abbildung 1), was konsistent mit dem theoretischen Ziel der Schärfereduktion ist. Die Trainingsbelohnungen waren ebenfalls höher und stabiler.

Bedeutung und Behauptungen

Der Artikel behauptet, dass GRPO-SG ein einfaches und effektives, generalisierungsorientiertes Upgrade für GRPO im Kontext von RLVR ist.

Einfachheit: Die Methode erfordert keine zusätzlichen Wertmodelle, menschlichen Labels oder komplexen architektonischen Änderungen; sie modifiziert lediglich die Token-Gewichtung innerhalb des bestehenden GRPO-Ziels.
Stabilität: Durch die explizite Kontrolle der Update-Schärfe über das Token-Vertrauen stabilisiert die Methode den Trainingsprozess und führt zu robusteren reasoning-Fähigkeiten.
Allgemeingültigkeit: Die Verbesserungen sind über verschiedene Modellgrößen (3B bis 7B+), verschiedene Modellfamilien (Qwen, Mistral, LLaMA) und diverse Reasoning-Domänen (Mathematik, Logik, agentic search) hinweg konsistent.

Die Autoren schließen, dass die explizite Kontrolle der Update-Schärfe durch vertrauensbasierte Token-Gewichtung eine gangbare Strategie ist, um die Stabilität und Leistung von RL-trainierten LLMs zu verbessern und einen praktischen Weg zu besserer Generalisierung in Settings mit verifizierbaren Belohnungen zu bieten.