🤖 AI

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

Dieses Paper stellt die Strategy-Guided Policy Optimization (SGPO) vor, ein neuartiges Framework, das das logische Denken von LLMs verbessert, indem es durch Token-Level Forward-KL-Objektive und adaptive Gewichtung wiederverwendbare Problemlösungsstrategien von starken Modellen destilliert und dadurch herkömmliche Trajektorienimitation sowie andere Baselines bei mathematischen Benchmarks übertrifft.

Ursprüngliche Autoren: Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Antwort kopieren vs. den Schlachtplan lernen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, wie man eine schwierige Matheaufgabe löst.

Der alte Weg (Trajektorien-Imitation):
Derzeit funktionieren die meisten Methoden wie ein strenger Nachahmer. Sie zeigen dem Schüler eine „perfekte“ Lösung, die ein Genie aufgeschrieben hat. Dem Schüler wird gesagt: „Schreibe exakt das auf, was das Genie geschrieben hat, Schritt für sich Schritt.“

Der Fehler: Der Schüler lernt die spezifischen Schritte für genau diese eine Aufgabe auswendig. Wenn man ihm eine leicht andere Aufgabe gibt, bleibt er stecken, weil er das „Skript“ auswendig gelernt hat, anstatt die „Logik“ zu verstehen. Er weiß zwar, was er schreiben soll, aber nicht, warum diese Schritte gewählt wurden.

Der neue Weg (SGPO):
Diese Arbeit schlägt eine neue Methode namens SGPO (Strategy-Guided Policy Optimization) vor. Anstatt den Schüler zu zwingen, das exakte Skript zu kopieren, extrahiert der Lehrer einen Strategie-Leitfaden.

Der Strategie-Leitfaden: Dies ist eine übergeordnete Karte. Sie besagt: „Dies ist eine Bruchaufgabe. Finde zuerst den Hauptnenner. Multipliziere dann beide Seiten. Isoliere dann die Variable.“ Er gibt den Plan vor, führt aber nicht die eigentliche Rechnung durch und gibt auch nicht das Endergebnis an.
Das Ziel: Der Schüler soll lernen, dieses „Wie man denkt“ zu verinnerlichen, damit er neue Probleme eigenständig lösen kann, ohne später auf die Karte angewiesen zu sein.

Wie SGPO funktioniert: Der „Coach“ und der „Spieler“

Die Forscher haben eine Trainingseinheit aufgebaut, die einer Sportpraxis gleicht, bei der es für jede einzelne Aufgabe zwei Gruppen von Spielern gibt:

Die „Autonome“ Gruppe (Der Spieler auf sich gestellt):
Der Schüler versucht, die Aufgabe ohne Hilfe zu lösen. Manchmal hat er Erfolg, manchmal scheitert er. Dies hält seine natürlichen Problemlösungsfähigkeiten wach.
Die „Strategie-Geführte“ Gruppe (Der Spieler mit einem Coach):
Der Schüler versucht dieselbe Aufgabe zu lösen, hat aber diesmal den „Strategie-Leitfaden“ (die Karte) vor sich liegen. Der Coach flüstert den Plan: „Erinnere dich, finde zuerst den Hauptnenner!“

Der magische Trick:
Das System sagt dem Schüler nicht einfach, er solle die Antwort der „Geführten“ Gruppe kopieren. Stattdessen vergleicht es die beiden Gruppen, um zu sehen, wo der Coach einen Unterschied gemacht hat.

Das „Forward-KL“-Signal (Das Rampenlicht):
Stellen Sie sich vor, der Schüler geht durch einen dunklen Wald. Die „Autonome“ Gruppe wandert ziellos umher. Die „Geführte“ Gruppe geht einen geraden Pfad, weil sie die Karte hat.
Das System betrachtet den Pfad und fragt: „Wo hat die Karte die Richtung des Schülers geändert?“
- Wenn der Schüler nur sagte: „Okay, fangen wir mal an...“ (langweilige, routinemäßige Wörter), hat die Karte nichts geändert. Ignorieren Sie das.
- Wenn der Schüler kurz davor war, eine Zahl zu raten, aber die Karte sagte: „Nein, verwende hier die quadratische Formel“, dann ist das ein kritischer Moment.
  Das System lenkt ein Rampenlicht auf diese kritischen Momente und lehrt den Schüler, auch dann eine kluge Entscheidung zu treffen, wenn die Karte später nicht mehr da ist.

Die Sicherheitsnetze (Proximal Constraints)

Einem Schüler beizubringen, seine Meinung basierend auf dem Rat eines Coaches zu ändern, kann riskant sein. Wenn man zu stark drängt, könnte er ganz vergessen, selbstständig zu denken (ein Phänomen namens „Entropie-Kollaps“).

SGPO nutzt drei Sicherheitsnetze, um die Stabilität zu gewährleisten:

Erreichbare Ziele: Es lehrt den Schüler nur Strategien, die tatsächlich in seiner Reichweite liegen. Wenn der Coach einen Zug vorschlägt, der für den Schüler zu schwer zu lernen ist, überspringt das System diesen.
Clipping (Begrenzung): Es ignoriert extreme Unterschiede. Wenn der Rat des Coaches völlig anders ist als der Instinkt des Schülers, wird keine massive, verwirrende Änderung erzwungen.
Adaptive Gewichtung (Der „Lautstärkeregler“):
- Zu Beginn des Trainings: Der Schüler ist schlecht in Mathe. Die „Lautstärke“ des Rats des Coaches wird hochgedreht. Der Schüler braucht so viel Hilfe wie möglich.
- Später im Training: Der Schüler wird klüger. Die „Lautstärke“ des Coaches wird heruntergedreht. Das System vertraut auf die eigene, wachsende Fähigkeit des Schülers und hört auf, ihn zu mikromanagen.

Was die Ergebnisse zeigen

Die Forscher testeten dies an vier schwierigen Mathe-Benchmarks (wie Highschool- und College-Wettbewerben) unter Verwendung verschiedener KI-Modelle.

Den Wettbewerb schlagen: SGPO erzielte konsistent höhere Punktzahlen als die alten „Nachahmer“-Methoden (Supervised Fine-Tuning) und andere fortgeschrittene Methoden, die Kopieren mit Reinforcement Learning mischen.
Der „Kluge Schüler“-Effekt: Die Methode funktionierte am besten bei Modellen, die bereits einigermaßen intelligent waren. Es ist wie ein Coach: Ein Coach kann einen talentierten Athleten in einen Champion verwandeln, aber es ist schwerer, einen kompletten Anfänger allein durch einen Spielbuch-Leitfaden zum Champion zu machen. Der Schüler benötigt eine Basis an Fähigkeit, um die Strategie zu verstehen.
Selektivität: Das System lernte von Natur aus, sich auf die schwierigen Teile des Problems (die Strategie) zu konzentrieren, anstatt auf die einfachen Teile (Füllwörter), wes_{halb} es Methoden übertraf, die lediglich versuchten, jedes einzelne Wort zu kopieren.

Zusammenfassende Analogie

Alte Methode: Sie geben einem Schüler einen fertigen Aufsatz und sagen: „Lerne das Wort für Wort auswendig.“ Er scheitert, wenn sich das Thema ändert.
SGPO-Methode: Sie geben dem Schüler eine Gliederung, wie man einen guten Aufsatz schreibt (Einleitung $\rightarrow$ Argument $\rightarrow$ Beleg $\rightarrow$ Schluss). Sie lassen ihn das Schreiben selbst üben, zeigen ihm aber gelegentlich die Gliederung, um seine Struktur zu korrigieren. Mit der Zeit braucht er die Gliederung nicht mehr, weil er die Struktur verinnerlicht hat. Er lernt, wie man denkt, nicht nur, was man sagt.

Technisches Resümee: Strategiegestützte Policy-Optimierung (SGPO) für LLM-Reasoning

1. Problemstellung

Derzeitige Methoden zur Destillation von Denkfähigkeiten (Reasoning) von starken auf schwache Large Language Models (LLMs) stützen sich überwiegend auf die Trajektorien-Imitation auf Instanzebene. Ob durch Supervised Fine-Tuning (SFT) an Experten-Trajektorien oder hybride Policy-Optimierung – diese Ansätze trainieren Studenden-Modelle darauf, spezifische Lösungsequenzen von Experten zu reproduzieren. Das Paper argumentiert, dass diese Einheit des Wissenstransfers fehlerhaft ist: Sie fördert das Auswendiglernen instanzspezifischer Muster anstatt den Erwerb transferierbarer Problemlösungsstrategien. Infolgedessen haben Modelle, die auf diese Weise trainiert wurden, Schwierigkeiten bei der Generalisierung auf neuartige Probleme, da sie lernen, was sie antworten sollen, anstatt wie sie schlussfolgern sollen.

Die zentrale Herausforderung besteht darin, wie man das Destillationsziel von konkreten Lösungstrajektorien hin zu wiederverwendbaren Problemlösungsstrategien verschiebt, die erklären, warum bestimmte Schritte gewählt wurden, ohne dass das Modell während der Inferenz auf externe Hinweise angewiesen ist.

2. Methodik: Strategiegestützte Policy-Optimierung (SGPO)

Die Autoren schlagen SGPO vor, ein Framework, das die Instanz-basierte Trajektorien-Imitation durch wiederverwendbare Strategie-Destillation ersetzt. Das Framework arbeitet, indem es strukturierte Strategiebeschreibungen aus den Antworten eines starken Modells extrahiert und diese nutzt, um die Reasoning-Distribution des Studenden-Modells umzugestalten.

2.1 Kernkomponenten

Für jedes Trainingsproblem $q$ konstruiert SGPO zwei Trajektorien-Gruppen:

Autonome Gruppe: Gesampelt aus der aktuellen Policy $\pi_\theta(\cdot | q)$ .
Strategiegestützte Gruppe: Gesampelt aus $\pi_\theta(\cdot | q, s)$ , wobei $s$ eine prägnante natürliche Sprachbeschreibung der Strategie ist (die den Problemtyp, den Ansatz und die prozeduralen Schritte spezifiziert), welche aus einem starken Modell extrahiert wurde, aber keine Berechnungen oder Endergebnisse enthält.

Das Framework adressiert zwei Kernfragen: Wie destillieren und Wann destillieren.

2.2 Wie destillieren: Token-Level Forward-KL-Zielsetzung

Anstatt direkt die geführte Trajektorie zu imitieren (was zu einem Kollaps zurück auf SFT führen würde), destilliert SGPO die distributionale Verschiebung, die durch die Strategie-Konditionierung induziert wird.

Forward-KL-Divergenz: Die Methode minimiert die Kullback-Leibler-Divergenz, wobei die strategiegestützte Verteilung die Referenz und die ungesteuerte Verteilung das Ziel ist ( $D_{KL}(\pi_{guided} || \pi_{unguided})$ ).
Selektivität: Im Gegensatz zur Reverse-KL, die die Policy auf einen einzelnen geführten Modus kollabieren ließe, ermutigt die Forward-KL die ungesteuerte Policy dazu, den geführten Modus abzudecken und gleichzeitig bestehende Alternativen, die durch autonome Exploration entdeckt wurden, beizubehalten.
Mechanismus: Das Ziel konzentriert den Optimierungsdruck natürlich auf jene Tokens, bei denen sich die Next-Token-Distribution unter Strategie-Konditionierung signifikant verschiebt (z. B. die Wahl einer spezifischen mathematischen Methode). Dies entspricht den strategiekritischen Entscheidungspunkten, während routinemäßige linguistische Tokens eine geringe KL-Divergenz aufweisen. Dies bietet ein selektives Destillationssignal, ohne dass explizite Token-Level-Annotationen erforderlich sind.

2.3 Stabilität und Effizienz: Proximale Constraints

Um die Trainingsstabilität und Effizienz zu gewährleisten, setzt SGPO drei Ebenen proximaler Constraints ein:

Trajektorien-Ebene (Erreichbares Ziel auswählen): Anstatt über alle korrekten geführten Trajektorien zu mitteln, wählt die Methode die einzelne geführte Trajektorie aus, die von der aktuellen ungesteuerten Policy am leichtesten erreichbar ist. Dies minimiert die distributionale Lücke, die das Modell überbrücken muss.
Token-Ebene (KL-Clipping): Token-Positionen, an denen die Divergenz zwischen geführter und ungesteuerter Distribution einen Schwellenwert $\delta$ überschreitet, werden maskiert. Dies verhindert, dass Ausreißer-Positionen die Optimierung dominieren und zu einem Entropie-Kollaps führen.
Instanz-Ebene (Adaptive Gewichtung): Ein dynamischer Gewichtungsfaktor $\alpha(q)$ $α (q)$ moduliert die Stärke der Destillation basierend auf dem Grenznutzen der Strategie-Steuerung.
- Wenn die autonome Erfolgsrate niedrig und die geführte Erfolgsrate hoch ist, ist $\alpha(q)$ groß, was die Steuerung verstärkt.
- Mit zunehmender autonomer Kompetenz des Modells sinkt $\alpha(q)$ , wodurch der Übergang vom strategiegetriebenen Training zur autonomen Optimierung ohne manuelles Scheduling erfolgt.

2.4 Gesamtziel

Der Gesamtverlust kombiniert die autonome Group Relative Policy Optimization (GRPO) mit dem proximalen Strategie-Destillations-Term:
$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$

3. Wesentliche Beiträge

Paradigmenwechsel: Verlagert die Reasoning-Destillation von der Imitation spezifischer Lösungs-Trajektorien hin zur Internalisierung wiederverwendbarer Problemlösungsstrategien.
Forward-KL-Destillation: Führt eine Token-Level Forward-KL-Zielsetzung ein, die strategisches Wissen selektiv überträgt, indem sie sich auf Wahrscheinlichkeitsverschiebungen an Entscheidungspunkten konzentriert, und übertrifft dabei die direkte Trajektorien-Imitation.
Adaptives Framework: Schlägt eine Trainingsdynamik vor, bei der die Destillationsstärke automatisch mit der Kompetenz des Modells skaliert, wodurch manuelles Curriculum-Scheduling entfällt.
Komplementäre Skalierung: Zeigt, dass der Nutzen der Strategie-Destillation mit der Kapazität des Basismodells skaliert, was darauf hindeutet, dass eine Mindestkompetenz im Reasoning erforderlich ist, um strategische Anleitung effektiv zu internalisieren.

4. Experimentelle Ergebnisse

Die Experimente wurden auf vier Benchmarks für mathematisches Reasoning (MATH500, AMC 23, OlympiadBench, AIME 24) unter Verwendung zweier Modellfamilien durchgeführt: Qwen2.5 (1.5B und 7B) und Llama-3.2 (8B).

Performance: SGPO übertraf konsistent starke Baselines, einschließlich SFT, On-Policy RL (SFT+GRPO) und Hybrid-Policy-Methoden (HPT, LUFFY).
- Auf Qwen2.5-7B-Instruct verbesserte SGPO den Durchschnittswert um 2,2 Punkte gegenüber der stärksten Baseline (LUFFY) und um 9,9 Punkte gegenüber dem Basismodell.
- Auf Qwen2.5-1.5B-Instruct verbesserte sich der Durchschnittswert um 6,7 Punkte gegenüber dem Basismodell.
Ablationsstudien:
- Das Entfernen der Strategie-Destillation reduzierte die Performance, was den Wert des Strategie-Level-Transfers gegenüber reinem RL bestätigt.
- Das Entfernen des autonomen GRPO führte zu Entropie-Kollaps und Leistungsstagnation, was die Notwendigkeit der Aufrechterhaltung der Explorations-Diversität unterstreicht.
- Das Entfernen der proximalen Constraints verursachte den größten Performance-Abfall (6,8 Punkte), was deren kritische Rolle für die Stabilität verdeutlicht.
Analyse:
- Selektivität: Das Forward-KL-Signal erreichte Spitzenwerte bei strategiekritischen Schritten (z. B. Bestimmung des kleinsten gemeinsamen Nenners), während es für routinemäßige Tokens niedrig blieb, im Gegensatz zum monoton fallenden Verlust der direkten SFT.
- Skalierung: Die Gewinne durch SGPO waren größer bei stärkeren Basismodellen, was darauf hindeutet, dass die Strategie-Destillation komplementär zur fundamentalen Reasoning-Kompetenz wirkt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass der Transfer von Wissen auf der Strategie-Ebene eine effektivere Richtung für die Reasoning-Destillation ist als die Trajektorien-Imitation.

Generalisierung: Durch die Internalisierung des Wie (Strategien) statt des Was (Trajektorien) erwerben Modelle transferierbare Fähigkeiten, die besser auf neuartige Probleme generalisieren.
Inhärente Selektivität: Die vorgeschlagene Forward-KL-Zielsetzung fungiert als automatischer Mechanismus, um strategiekritische Tokens zu identifizieren und zu verstärken, wodurch die Notwendigkeit manueller Annotation von Reasoning-Schritten entfällt.
Effizienz: Der adaptive Gewichtungsmechanismus stellt sicher, dass die Rechenressourcen auf jene Instanzen konzentriert werden, bei denen die Strategie-Steuerung den höchsten Grenznutzen bietet, was zu schnellerer Konvergenz und höheren Leistungsobergrenzen führt.

Die Autoren kommen zu dem Schluss, dass verbesserte Reasoning-Fähigkeiten potenzielle Risiken bergen können, der spezifische Fokus auf mathematisches Reasoning jedoch minimale direkte Risiken darstellt und das Framework einen robusten Weg zur Steigerung des LLM-Reasonings durch Strategie-Destillation bietet.