💻 computer science

Knowing What to Solve Before How: Preplan Empowered LLM Mathematical Reasoning

Das Papier schlägt PPC (Preplan-Plan-CoT) vor, ein neuartiges Framework, das eine explizite „Preplan"-Phase einführt, um Problemtypen und Werkzeuge vor der Planung zu klären, was die mathematische Schlussfolgerungsleistung von LLMs über mehrere Benchmarks hinweg erheblich verbessert, ohne zusätzliche Inferenzkosten zu verursachen.

Ursprüngliche Autoren: Shaojie Wang, Liang Zhang

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shaojie Wang, Liang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Matheproblem zu lösen, ähnlich wie ein komplexes Puzzle. In der Vergangenheit versuchten Large Language Models (LLMs), diese zu lösen, indem sie direkt in die Arbeit einsteigten: „Okay, fangen wir an, schrittweise zu rechnen, bis wir eine Antwort erhalten." Dies wird als Chain-of-Thought bezeichnet.

Doch je schwieriger die Probleme werden, führt dieser Ansatz „einfach anfangen zu arbeiten" oft dazu, dass das Modell den Überblick verliert, in Sackgassen gerät oder Zeit mit Methoden verschwendet, die nicht zum Puzzle passen.

Um dies zu beheben, versuchten Forscher einen neuen Ansatz: Plan-then-Solve. Sie sagten dem Modell: „Stopp! Schreibe zuerst einen Plan, dann führe die Arbeit aus." Dies half, doch das Papier argumentiert, dass es immer noch ein fehlendes Puzzleteil gab. Das Modell plante, wie die Mathematik zu lösen sei, nahm sich aber keine Zeit, wirklich zu verstehen, was das Problem eigentlich verlangte.

Hier ist die Lösung des Papiers, einfach erklärt:

Der fehlende Schritt: Der „Preplan"

Die Autoren führen eine neue Phase namens Preplan ein. Denken Sie daran wie an einen Trainer, der mit einem Athleten spricht, bevor das Rennen startet.

Der alte Weg (Frage → Plan → Lösen): Der Athlet hört das Startsignal und beginnt sofort zu laufen und denkt: „Ich werde schnell laufen, dann links abbiegen, dann sprinten." Sie laufen vielleicht schnell, aber wenn sie in die falsche Richtung laufen, ist die Geschwindigkeit egal.
Der neue Weg (Frage → Preplan → Plan → Lösen): Bevor der Athlet überhaupt daran denkt zu laufen, sagt der Trainer: „Warte. Schau dir die Strecke an. Es ist eine Rundstrecke mit einem steilen Hügel. Der Wind weht uns entgegen. Wir müssen Energie für den Hügel sparen, nicht am Start sprinten."

Dieser „Preplan" führt kein Laufen (Rechnen) aus. Er analysiert lediglich das Gelände (den Problemtyp), wählt das richtige Gangschaltung (die Werkzeuge/Konzepte) aus und erkennt die Fallen (Fehlerquellen).

Das Problem beim Erstellen des Preplans

Die Autoren stellten fest, dass das Modell, wenn sie es einfach baten, diesen „Preplan" zu schreiben, oft schummelte.

Leckage: Anstatt die Strecke zu analysieren, begann das Modell versehentlich, die Rennschritte zu beschreiben („Zuerst werde ich 10 Meter laufen..."). Es übersprang die Analyse und ging direkt zum Plan über.
Spoiler: Das Modell analysierte die Strecke, löste aber heimlich das Matheproblem innerhalb der Analyse („Der Hügel ist 50 Meter hoch, also werde ich die Zeit berechnen..."). Es verdarb die Überraschung, indem es die Arbeit zu früh erledigte.

Um dies zu beheben, baute das Team einen strengen Filter (wie einen Schiedsrichter mit Pfeife). Wenn der „Preplan" echte Mathematik oder schrittweise Anweisungen enthielt, pfiff der Schiedsrichter, verwarf die Antwort und ließ das Modell es erneut versuchen. Dies stellte sicher, dass der Preplan rein dem Verständnis des Problems diente, nicht seiner Lösung.

Das „treue" Belohnungssystem

Sobald das Modell gelernt hatte, einen guten Preplan zu schreiben, mussten die Forscher sicherstellen, dass das Modell ihm tatsächlich folgte. Manchmal sind Modelle wie Schüler, die einen tollen Lernplan schreiben, ihn dann aber ignorieren und etwas anderes lernen.

Um dies zu verhindern, schufen sie ein spezielles Belohnungssystem (wie ein Punktesystem in einem Videospiel):

Die Punktzahl: Das Modell erhält Punkte für die richtige Antwort.
Der Loyalitätsbonus: Das Modell erhält zusätzliche Punkte nur dann, wenn die Schritte, die es unternimmt (der Plan), tatsächlich den Ratschlägen im Preplan folgen.
Die Strafe: Wenn das Modell einen Preplan schreibt, der wie Mathematik aussieht (um den Filter zu betrügen), verliert es Punkte.

Dies zwingt das Modell, den Preplan als echte Landkarte zu behandeln. Wenn die Landkarte sagt „Geh nach Norden", kann das Modell nicht einfach beschließen, „nach Süden" zu gehen und auf das Beste zu hoffen.

Die Ergebnisse

Die Forscher testeten diese neue Methode (genannt PPC) an vier verschiedenen KI-Modellen und fünf schwierigen Mathewettbewerben.

Bessere Genauigkeit: Die neue Methode erhielt öfter die richtige Antwort als jede vorherige Methode, insbesondere bei den schwierigsten Problemen.
Schnelleres Denken: Überraschenderweise verwendete das Modell, obwohl es einen zusätzlichen „Preplan"-Abschnitt schreiben musste, tatsächlich weniger Wörter insgesamt, um das Problem zu lösen. Warum? Weil es keine Zeit damit verschwendete, im Kreis zu laufen oder falsche Methoden auszuprobieren. Es wusste von Anfang an genau, wohin es gehen musste.

Zusammenfassung

Das Papier argumentiert, dass man, um schwierige Probleme zu lösen, nicht einfach in das „Wie" einsteigen sollte. Man muss sich zuerst einen Moment Zeit nehmen, um das „Was" zu verstehen. Indem man die KI zwingt, vor dem Erstellen eines Plans innezuhalten, den Problemtyp zu analysieren und Fallstricke zu identifizieren, wird die KI zu einem viel intelligenteren und effizienteren Problemlöser. Es ist der Unterschied zwischen einem hektischen Läufer und einem strategischen Navigator.

Technische Zusammenfassung: Preplan-Ermöglichte Mathematische Schlussfolgerung von LLMs (PPC)

1. Problemstellung

Derzeitige planbasierte Schlussfolgerungsmethoden für Large Language Models (LLMs) haben ein Frage → Plan → CoT-Paradigma etabliert. Obwohl effektiv, identifizieren die Autoren eine fundamentale, paradigmatische Lücke in diesem Ansatz: Sowohl die Planungs- als auch die Ausführungsphase sind ausschließlich darauf ausgerichtet zu entscheiden, wie ein Problem zu lösen ist (Schritte zu organisieren und diese auszuführen), während die vorangehende Frage, was zu lösen ist, vollständig implizit bleibt.

Die Phase „Was zu lösen ist" umfasst die Erkennung des Problemtyps, die Identifizierung anwendbarer Werkzeuge und Konzepte, das Markieren von Randbedingungen und das Antizipieren von Fallstricken. Bestehende Methoden gehen davon aus, dass dieses Verständnis implizit während der Planerstellung entsteht. Eine Fehleranalyse (Abbildung 1) zeigt jedoch, dass ein erheblicher Teil der Misserfolge aktueller planbasierter Methoden nicht auf Rechenfehler zurückzuführen ist, sondern auf ein Versagen, die Natur des Problems korrekt zu verstehen (z. B. die fehlerhafte Identifizierung einer homogenen quadratischen Gleichung, was zu einem ineffizienten Lösungsweg führt).

2. Methodik: Das PPC-Framework

Um diese Lücke zu schließen, schlagen die Autoren PPC (Preplan-Plan-CoT) vor, ein Framework, das eine explizite Preplan-Phase einführt und ein neues Frage → Preplan → Plan → CoT-Paradigma schafft. Der Preplan ist eine umfassende, nicht-rechnerische Analyse, die festlegt, was zu lösen ist, und überlässt das Wie der nachfolgenden Planungs- und Ausführungsphase.

Das Framework adressiert zwei Hauptherausforderungen durch eine spezifische Pipeline:

Herausforderung 1: Datenkonstruktion (Verhinderung von Leckagen und Spoilern)

Die Generierung sauberer Preplan-Überwachungsdaten ist schwierig, da Modelle dazu neigen, zu Verhaltensweisen des Typs „Wie man löst" zurückzukehren.

Leckage-Fehler: Der Preplan probt die Schrittabfolge des bevorstehenden Plans.
Spoiler-Fehler: Der Preplan führt Zwischenschritte unter dem Deckmantel der Analyse durch.

Lösung: Die Autoren entwerfen eine Drei-Phasen-Generierungspipeline, die durch einen Spoiler-Score-Detektor geschützt ist.

Drei-Phasen-Generierung: Trajektorien werden strikt von links nach rechts generiert: $y_{pp} \sim \pi_{pp}(\cdot|q)$ , $y_p \sim \pi_p(\cdot|q, y_{pp})$ und $y_e \sim \pi_e(\cdot|q, y_p)$ . Der Preplan-Prompt verbietet explizit Herleitungen, erweiterte Formeln und berechnete Werte.
Spoiler-Score-Filterung: Ein regelbasierter Score $s(\cdot) \in \{0, \dots, 6\}$ aggregiert Signale von Herleitungen und Antwortenthüllungen (z. B. Phrasen wie „vereinfacht zu", hohe Dichte an Gleichungen, lange inline-mathematische Bereiche, mehrstellige Konstanten). Trajektorien werden nur beibehalten, wenn $s(y_{pp}) \leq \tau_s$ (wobei $\tau_s=2$ ) UND die finale Antwort korrekt ist. Dies stellt sicher, dass der Preplan eine reine Problemverständnisanalyse ist und keine getarnte Lösung.

Herausforderung 2: Einhaltung während des Trainings (Sicherstellung des Nutzens)

Selbst mit sauberen Daten könnte ein Modell lernen, einen oberflächlich korrekten Preplan zu generieren, ihn jedoch während der Planungsphase zu ignorieren.

Lösung: Die Autoren erweitern Group Relative Policy Optimization (GRPO) um eine komposite Belohnungsfunktion $R(y)$ , die strukturelle und semantische Ausrichtung erzwingt:
$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$

$R_{out}$ (Ergebnis-Belohnung): Verwendet Teilpunkte basierend auf einer von einem LLM bewerteten Nähe des Lösungswegs (nicht nur binäre Korrektheit), um Gradienten für fast-korrekte Trajektorien bereitzustellen.
$R_{adh}$ (Einhaltungs-Belohnung): Ein LLM-Kritiker bewertet die strategische Ausrichtung zwischen Preplan und Plan. Entscheidend ist, dass ein hochwertiger Plan, der den Preplan ignoriert, eine niedrige Punktzahl erhält, was das Modell zwingt, der Anleitung des Preplans tatsächlich zu folgen.
$R_{fmt}$ (Format-Wächter): Stellt sicher, dass die Ausgabe genau eine Instanz jedes Tags (<preplan>, <plan>, <execute>) in der richtigen Reihenfolge mit einer eingeklammerten Antwort enthält.
$R_{sty}$ (Stil-Strafe): Wiederverwendet den Spoiler-Score $s(\cdot)$ als Strafe während des RL. Wenn der Preplan während des Trainings wieder in rechnerische Inhalte abdriftet, wird die Belohnung bestraft, wodurch die während der Datenkonstruktion etablierte konzeptionelle Integrität gewahrt bleibt.

3. Hauptbeiträge

Konzeptionell: Das Papier formalisiert eine paradigmatische Lücke in bestehenden Schlussfolgerungsmethoden: die explizite Modellierung von wie zu lösen versus die implizite Behandlung von was zu lösen ist. Es schlägt das Frage → Preplan → Plan → CoT-Paradigma vor, um dies zu adressieren.
Methodisch:
- Konstruktion des ersten Schlussfolgerungsdatensatzes mit expliziter Preplan-Überwachung, geschützt durch einen Spoiler-Score-Detektor gegen Leckage- und Spoiler-Fehler.
- Entwicklung einer kompositen GRPO-Belohnung, die die Ausrichtung zwischen Plan und Preplan explizit erzwingt und verhindert, dass das Modell den Preplan als dekorativen, aber ignorierten Schritt behandelt.
Empirisch: Umfassende Evaluierung über vier Backbones (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) und fünf mathematische Benchmarks (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Experimentelle Ergebnisse

Leistung: PPC erzielt die besten Ergebnisse bei 39 von 40 Metriken über alle Benchmarks und Backbones hinweg.
Verbesserungen: Im Vergleich zu den stärksten Baselines (Plan-Tuning, PTA-GRPO) verbessert PPC maj@16 um +2,23 und pass@16 um +3,06.
Effizienz: Trotz der Hinzufügung einer zusätzlichen Phase generiert PPC weniger Tokens als vollständiges CoT und deutlich weniger als PTA-GRPO. Der Preplan und der Plan schränken die Ausführung auf einen einzigen Lösungsweg ein und vermeiden die redundanten Umwege, die bei unbeschränktem CoT üblich sind.
Treue: Eingriffe zur Laufzeit (Mischen von Preplan-Sätzen, Verwendung von nicht übereinstimmenden Preplans oder generische Platzhalter) führen zu starken Leistungseinbrüchen (z. B. fällt maj@16 bei Qwen3-4B mit nicht übereinstimmenden Preplans von 97,2 auf 46,8). Dies bestätigt, dass das Modell tatsächlich auf den Inhalt des Preplans angewiesen ist und ihn nicht nur produziert.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass die primäre Einschränkung aktueller planbasierter Schlussfolgerung nicht das Fehlen von Planung ist, sondern das Fehlen einer dedizierten Phase für das Problemverständnis. Indem das „Was zu lösen ist" durch den Preplan explizit gemacht wird, kann das Modell geeignete Werkzeuge und Strategien auswählen, bevor es sich auf einen Lösungsweg festlegt.

Die Autoren betonen, dass diese Verbesserung nicht lediglich auf Prompting zurückzuführen ist (wie durch die Baseline „Prompt-Only" gezeigt wird, die schlechter abschneidet), sondern das Erlernen des Paradigmas durch die spezifische Datenkonstruktion und das Training mit der kompositen Belohnung erfordert. Das Framework zeigt, dass explizites Problemverständnis gleichzeitig höhere Genauigkeit und größere Inferenzeffizienz liefert, ohne im Vergleich zum Standard-CoT zusätzlichen Token-Overhead einzuführen.