💬 NLP

Plan Then Action:High-Level Planning Guidance Reinforcement Learning for LLM Reasoning

Das Papier schlägt PTA-GRPO vor, ein zweistufiges Framework, das überwachtes Feinabstimmen für hochrangige Planungsanleitung mit anleitungsbewusstem Reinforcement Learning kombiniert, um die globalen Schlussfolgerungsfähigkeiten großer Sprachmodelle über diverse mathematische und wissenschaftliche Benchmarks hinweg signifikant zu verbessern.

Ursprüngliche Autoren: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Dinggen Zhang, Weida Wang, Towsif Raiyan, Benteng Chen, Qingtao Pan, Yang Ouyang, Chaoda Song, Zhiqiang Gao, Shufei Zhang, Sumon Biswas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Laufen-und-Raten"-Falle

Stellen Sie sich vor, Sie versuchen, ein sehr schwieriges Labyrinth zu lösen. Die meisten aktuellen KI-Modelle (Large Language Models) verhalten sich wie eine Person, die sofort einen Weg entlangläuft. Sie macht einen Schritt, dann den nächsten, dann den übernächsten und schaut dabei immer nur auf den Schritt direkt vor sich.

Das Paper nennt dies Chain-of-Thought (CoT). Das funktioniert bei einfachen Labyrinthen okay, aber bei komplexen verirrt sich die KI oft. Sie könnte eine falsche Abzweigung nehmen, im Kreis laufen, weil sie zu sehr auf den nächsten Schritt fokussiert ist, um das große Ganze zu sehen, oder zu spät merken, dass sie am Anfang einen Fehler gemacht hat. Bis sie das Ende erreicht, ist sie oft verwirrt oder hat die falsche Antwort gegeben.

Andere Methoden versuchen, dies zu beheben, indem sie die KI dazu bringen, viele verschiedene Pfade gleichzeitig zu „durchdenken" (wie eine Baumsuche), doch dies ist unglaublich langsam und teuer, als würde man hundert Leute einstellen, um jeden möglichen Pfad im Labyrinth gleichzeitig abzulaufen.

Die Lösung: „Plan Then Action" (PTA-GRPO)

Die Autoren schlagen eine neue Methode vor, um KI zu trainieren, die PTA-GRPO heißt. Stellen Sie sich vor, man lehrt die KI, anzuhalten und eine Karte zu zeichnen, bevor sie losläuft.

Der Prozess läuft in zwei Hauptphasen ab:

Phase 1: Der „Kartenmacher" (Supervised Fine-Tuning)

Zuerst bringen die Forscher der KI bei, wie man eine Karte erstellt. Sie nehmen bestehende Beispiele für gutes Problemlösen und bitten eine intelligente KI, die langen, detaillierten Schritte in einen kurzen, übergeordneten „Plan" oder „Entwurf" zusammenzufassen.

Analogie: Stellen Sie sich einen Koch vor. Anstatt nur jemandem beim Schneiden von Gemüse und Rühren im Topf zuzusehen, wird die KI darin unterrichtet, zuerst eine Rezeptkarte zu schreiben: „1. Zwiebeln hacken. 2. Knoblauch anbraten. 3. Sauce köcheln lassen."
Die KI lernt, diesen kurzen Plan (innerhalb von <plan>-Tags) auszugeben, bevor sie die eigentliche Arbeit beginnt (die detaillierte Überlegung innerhalb von <thought>-Tags).

Phase 2: Der „Trainer" (Reinforcement Learning)

Das ist der clevere Teil. Normalerweise kümmert sich beim Training einer KI der Trainer nur darum, ob die endgültige Antwort richtig oder falsch ist. Wenn die KI die Antwort richtig hat, aber einen seltsamen, verwirrenden Weg gewählt hat, bekommt sie ein „Gut gemacht". Wenn sie falsch liegt, heißt es „Versuch es nochmal".

Die Autoren haben die Regeln geändert. Jetzt gibt der Trainer Punkte für zwei Dinge:

Haben Sie die richtige Antwort? (Das Ergebnis)
War Ihre Karte (Plan) tatsächlich gut? (Die Anleitung)

Analogie: Stellen Sie sich einen Schüler vor, der einen Mathe-Test schreibt.
- Alter Weg: Der Lehrer prüft nur die endgültige Zahl. Wenn der Schüler die richtige Zahl geraten hat, aber Unsinn hingeschrieben hat, bekommt er eine Eins.
- PTA-GRPO-Weg: Der Lehrer prüft auch die Gliederung des Schülers. Wenn der Schüler vor dem Rechnen einen klaren, logischen Plan geschrieben hat, gibt es Extra-Punkte. Wenn sein Plan unordentlich oder falsch war, verliert er Punkte, selbst wenn er die richtige Antwort irgendwie erraten hat.

Dies zwingt die KI zu lernen, dass ein guter Plan zu einer guten Antwort führt. Sie lernt, klare, übergeordnete Strategien zu entwickeln, die ihr Denken lenken und verhindern, dass sie vom Weg abkommt.

Warum es funktioniert

Das Paper zeigt, dass die KI, wenn man sie auf diese Weise trainiert:

aufhört, „lokale" Fehler zu machen (steckenbleiben bei einem einzelnen Schritt).
eine „globale" Sicht auf das Problem entwickelt (das gesamte Labyrinth sieht).
auch bei kleineren, günstigeren Computermodellen deutlich besser bei Mathematik- und Wissenschaftsaufgaben wird.

Die Ergebnisse

Die Forscher testeten dies an zehn verschiedenen schwierigen Mathematik- und Wissenschafts-Benchmarks. Sie stellten fest, dass:

Modelle, die mit dieser „Plan Then Action"-Methode trainiert wurden, Modelle, die mit Standardmethoden trainiert wurden, konsistent übertrafen.
es bei verschiedenen Größen von KI-Modellen (von klein bis groß) gut funktionierte.
die KI nicht nur bessere Endantworten lieferte, sondern auch besser darin wurde, strukturiert und organisiert zu denken.

Zusammenfassung

Kurz gesagt lehrt das Paper der KI, anzuhalten, zu denken und einen Plan zu machen, bevor sie beginnt, ein Problem zu lösen. Indem die KI nicht nur für das Endergebnis, sondern auch für die Qualität ihres Plans belohnt wird, lernt sie, komplexe Probleme zuverlässiger zu bewältigen und die „Laufen-und-Raten"-Fehler zu vermeiden, unter denen aktuelle Systeme leiden.

Technische Zusammenfassung: Plan Then Action: Hochrangige Planungsanleitung durch Reinforcement Learning für das Schlussfolgern von LLMs

1. Problemstellung

Large Language Models (LLMs) haben durch Chain-of-Thought (CoT)-Prompting starke Schlussfolgerungsfähigkeiten unter Beweis gestellt. Der Standardprozess der Token-Generierung ist jedoch fundamental ein Markov-Entscheidungsprozess (MDP), der autoregressiv und lokal gierig ist. Dies führt zu mehreren kritischen Einschränkungen:

Fehlende globale Planung: Modelle optimieren die Token-Wahrscheinlichkeit über kurze Horizonte, was häufig zu redundanten, abdriftenden oder ungenauen Schlussfolgerungsketten führt.
Fortpflanzung von Fehlern: Frühe Fehler im Schlussfolgerungsverlauf werden über lange Horizonte hinweg fortgepflanzt, da das Modell keinen Mechanismus zur Erholung oder Umleitung besitzt.
Einschränkungen bestehender Lösungen:
- Baumbasierte Suche (z. B. MCTS): Obwohl diese Methoden die Exploration erweitern, verlassen sie sich auf wiederholte externe Abfragen, was hohe Rechenkosten verursacht und die internen Schlussfolgerungsfähigkeiten des Modells nicht stärkt.
- Standard-Reinforcement Learning (RL): Methoden wie Group Relative Policy Optimization (GRPO) optimieren ausschließlich die Richtigkeit der finalen Antwort (ergebnisbasierte Belohnungen). Sie ignorieren die Qualität der zwischengeschalteten Planungs- und Schlussfolgerungsschritte, was bedeutet, dass schlecht strukturierte Pläne dieselbe Belohnung erhalten können wie gut organisierte, falls die finale Antwort zufällig korrekt ist.

2. Methodik: PTA-GRPO

Die Autoren schlagen Plan-Then-Action Enhanced Reasoning with Group Relative Policy Optimization (PTA-GRPO) vor, ein zweistufiges Framework, das darauf ausgelegt ist, hochrangige Planung und feinabgestimmte CoT-Schlussfolgerung gemeinsam zu optimieren.

Stufe 1: Planning Structured Reasoning Cold-Start (PSR-CS)

Bevor Reinforcement Learning erfolgt, durchläuft das Modell ein Supervised Fine-Tuning (SFT), um die Fähigkeit zu erwerben, analytische Pläne zu generieren.

Datensatzkonstruktion: Die Autoren konstruieren einen Datensatz ( $D_{PSR-CS}$ ), bei dem jede Instanz ein Problem ( $q$ ), einen prägnanten hochrangigen analytischen Plan ( $t$ ) und die detaillierte Schlussfolgerung/Antwort ( $c$ ) enthält.
Plan-Generierung: Die analytischen Pläne ( $t$ ) werden aus der Ground-Truth-CoT-Schlussfolgerung unter Verwendung eines starken LLM (z. B. Qwen3-235B) zusammengefasst. Der Plan ist in <plan>...</plan>-Tags eingeschlossen, die Schlussfolgerung in <thought>...</thought> und die Antwort in <answer>...</answer>.
Ziel: Das Modell lernt die bedingte Verteilung $c = \pi_\theta(\cdot | q, t)$ und lernt effektiv, detaillierte Schlussfolgerungen an einen globalen Leitfaden zu koppeln.

Stufe 2: Plan Structure-Guided Reinforcement Learning (PSG-RL)

Aufbauend auf dem durch SFT initialisierten Modell führen die Autoren eine neue RL-Methode ein, die auf GRPO basiert und explizit die Qualität des analytischen Plans belohnt.

Prozess der Stichprobenziehung: Für eine gegebene Frage $q$ zieht die Policy $m$ Kandidaten für analytische Pläne $\{t_i\}$ heran. Für jeden Plan $t_i$ zieht das Modell $z$ detaillierte CoT-Trajektorien $\{c_{i,k}\}$ neu.
Komposite Belohnungsfunktion: Die Gesamtbelohnung $R_{total}$ $R_{t o t a l}$ besteht aus drei Komponenten:
1. Ergebnis-Belohnung ( $r_{outcome}$ ): Eine binäre Belohnung (1 oder 0) basierend darauf, ob die extrahierte finale Antwort mit der Ground Truth übereinstimmt.
2. Analytische Plan-Belohnung ( $r_{analytic}$ ): Eine neuartige Belohnung, die die Qualität des Plans $t_i$ bewertet. Sie ist definiert als die empirische Genauigkeit der $z$ neu gezogenen CoT-Trajektorien, die unter diesem spezifischen Plan generiert wurden. Pläne, die konsistent zu korrekten Antworten führen, erhalten höhere Belohnungen. Dies dient als Stellvertreter für die Planqualität und ermutigt das Modell, Pläne zu generieren, die die Schlussfolgerung effektiv leiten.
3. Format-Belohnung ( $r_{format}$ ): Erzwingt strukturelle Konsistenz (korrekte Tags) und bestraft übermäßig lange Antworten.
Optimierung: Das Modell wird unter Verwendung des Group Relative Policy Optimization-Ziels aktualisiert, wobei die komposite Belohnung zur Berechnung der Vorteile herangezogen wird.

Theoretische Basis

Die Arbeit liefert eine theoretische Analyse, die zeigt, dass die Optimierung der analytischen Plan-Belohnung die gegenseitige Information $I(\hat{y}; y | t, q)$ zwischen der vorhergesagten Antwort und der Ground Truth unter der Bedingung des Plans erhöht. Die Autoren beweisen, dass die Fehlerwahrscheinlichkeit durch die bedingte Entropie nach oben beschränkt ist, welche abnimmt, wenn die gegenseitige Information zunimmt. Somit führt eine Verbesserung der Planqualität direkt zu einer Verschärfung der Obergrenze der Fehlerwahrscheinlichkeit.

3. Hauptbeiträge

Neues zweistufiges Framework: PTA-GRPO führt ein Trainingsparadigma ein, das hochrangige Planung und Ausführung explizit trennt und optimiert und sich damit von rein ergebnisbasiertem RL löst.
Hochrangige Anleitung als Supervisionssignal: Die Methode nutzt SFT, um strukturierte Planungsfähigkeiten in das Modell zu injizieren und initialisiert es mit der Fähigkeit, Schlussfolgerungen in globale Leitfäden zusammenzufassen.
Planbewusster Belohnungsmechanismus: Die Autoren formulieren den analytischen Plan als explizite Optimierungsvariable innerhalb des RL-Ziels und verwenden die Erfolgsrate neu gezogener Trajektorien als Belohnungssignal für die Planqualität.
Empirische Validierung: Die Methode wurde über fünf diverse Basismodelle (im Bereich von 3B bis 14B Parametern) und zehn Benchmarks abdeckend Mathematik und Naturwissenschaften evaluiert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PTA-GRPO auf Benchmarks einschließlich MATH500, AIME24, AIME25, AMC23 und multimodalen Datensätzen (MMMU-Pro, EMMA, MMK-12).

Leistungssteigerungen: PTA-GRPO übertrifft konsistent Basismodelle und andere RL-Baselines (GRPO, DAPO, CPL, Full-Step-DPO).
- Bei Qwen2.5-7B-Instruct verbesserte sich die durchschnittliche Genauigkeit über Mathematik-Benchmarks von 34,23 % (Base) auf 58,46 % (PTA-GRPO) und übertraf damit GRPO (54,81 %) und DAPO (55,04 %).
- Bei Qwen3-14B erreichte PTA-GRPO einen Durchschnitt von 85,01 % und übertraf GRPO (83,08 %) sowie DAPO (83,31 %).
Datenskaling: Die Erhöhung der RL-Trainingsdaten von 4.000 auf 60.000 Stichproben führte zu konsistenten Leistungsverbesserungen, was darauf hindeutet, dass die Methode gut mit dem Datenvolumen skaliert.
Ablationsstudien: Das Entfernen des SFT Cold-Starts oder der analytischen Plan-Belohnung ( $r_{analytic}$ ) führte zu signifikanten Leistungseinbußen, was die Notwendigkeit sowohl der Initialisierung als auch des spezifischen Belohnungssignals bestätigt.
Generalisierung: Die Methode zeigte eine starke Generalisierung auf multimodale und wissenschaftliche Schlussfolgerungsaufgaben, nicht nur auf reine Mathematik.
Testzeit-Skalierung: PTA-GRPO zeigte in den Pass@K-Metriken (Pass@1 bis Pass@16) im Vergleich zu GRPO überlegene Leistungen, was auf Robustheit unter mehreren Stichprobenbedingungen hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass PTA-GRPO das „Fehlen globaler Planung" im Schlussfolgern von LLMs adressiert, indem analytische Planung als primäres Optimierungsziel und nicht nur als strukturelles Add-on behandelt wird.

Intern vs. Extern: Im Gegensatz zu baumbasierten Suchmethoden, die auf externe Berechnungen angewiesen sind, stärkt PTA-GRPO die internen Schlussfolgerungsfähigkeiten des Modells.
Robustheit: Durch die Belohnung der Qualität zwischengeschalteter Schritte (via der Plan-Belohnung) reduziert die Methode redundantes Schlussfolgern und hilft dem Modell, lokale Optima zu vermeiden, was zu stabileren und global geleiteten Trajektorien führt.
Effizienz: Die Methode erzielt diese Gewinne ohne nennenswerte zusätzliche Rechenkosten im Vergleich zum Standard-GRPO, da die Plan-Belohnung unter Verwendung desselben Rollout-Budgets berechnet wird (Neuziehung von CoTs unter generierten Plänen).
Bescheidenheit: Die Autoren räumen ein, dass die Methode, obwohl sie das Schlussfolgern in Benchmarks signifikant verbessert, keine neuen Datenquellen oder externen Werkzeuge einführt. Sie weisen zudem darauf hin, dass stärkere Schlussfolgerungsfähigkeiten potenzielle Risiken bergen (z. B. Missbrauch bei akademischem Fehlverhalten) und betonen die Notwendigkeit einer verantwortungsvollen Bereitstellung und Forschung zur Ausrichtung.

Zusammenfassend geht die Arbeit davon aus, dass die explizite Optimierung auf hochrangige Planungsanleitung in Verbindung mit der Richtigkeit der finalen Antwort ein entscheidender Schritt hin zu zuverlässigerem, kohärenterem und generalisierbarem Schlussfolgern in Large Language Models ist.