Technisches Resümee: CATPO (Critique-Augmented Tree Policy Optimization)

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich zu einem dominierenden Paradigma zur Verbesserung der Denkfähigkeiten von Large Language Models (LLMs) entwickelt. Während baumbasierte Methoden wie TREERPO durch die Generierung dichter, schrittweiser Belohnungssignale mittels baumstrukturierter Rollouts die flache Trajektorien-Sampling-Methode verbessern, leiden sie unter einer kritischen Ineffizienz: rechentechnischer Verschwendung durch uninformative Bäume.

Aktuelle baumbasierte Ansätze behandeln alle gesampelten Bäume während des Trainings als gleichwertig. Viele Bäume liefern jedoch kaum oder gar kein nützliches Gradientensignal:

• Dead-correct trees (Tot-korrekte Bäume): Alle Blätter sind erfolgreich. Das Modell hat das Problem bereits gemeistert, was keinen kontrastiven Signal zur Verbesserung bietet.
• Dead-wrong trees (Tot-falsche Bäume): Alle Blätter scheitern. Ohne positive Zweige kollabieren die gruppenspezifischen Vorteile gegen Null, was den Rollout für Gradienten-Updates unbrauchbar macht.
• Stale trees (Veraltete Bäume): Das Vertrauen des Policy-Modells bildet die Belohnungsverteilung bereits perfekt ab, was zu abnehmenden Grenzerträgen führt.

Bestehende Methoden wie DAPO und GRESO adressieren ähnliche Probleme bei flachen Rollouts durch das Filtern von Prompts, operieren jedoch auf Prompt-Ebene. Sie können die interne Struktur eines Baum-Rollouts nicht diagnostizieren oder reparieren, in dem bestimmte Zweige überraschend oder fehlerhaft sein können, während andere dies nicht sind.

Methodik

CATPO (Critique-Augmented Tree Policy Optimization) adressiert diese Verschwendung durch eine vierphasige Pipeline, die Baum-Rollouts auf Baum-Ebene diagnostiziert, repariert und umgewichtet.

1. Baum-Informativitäts-Score ($F(T)$)

CATPO führt eine Metrik ein, um den Nutzen eines Baumes $T$ für Policy-Updates zu quantifizieren. Dieser Score wird mit zusätzlichen Kosten von Null berechnet, indem er auf Daten basiert, die bereits während des Samplings generiert wurden. Er kombiniert zwei Signale:

• Blatt-Ergebnis-Diversität: Gemessen durch die Bernoulli-Varianz der Blatt-Erfolgsrate ($\hat{p}$), berechnet als $\hat{p}(1-\hat{p})$. Dieser Term wird maximiert, wenn die Ergebnisse gemischt sind (einige korrekt, andere inkorrekt) und ist Null, wenn alle Blätter übereinstimmen.
• Policy-Reward-Dekorrelation: Gemessen durch $1 - \rho^2_{\pi,r}$, wobei $\rho_{\pi,r}$ die Pearson-Korrelation zwischen Knoten-Log-Wahrscheinlichkeiten und propagierten Belohnungen ist. Dies erfasst die verbleibende Unsicherheit, bei der das Vertrauen der Policy die Belohnungsstruktur nicht linear erklärt.

Der endgültige Score ist $F(T) = \hat{p}(1-\hat{p}) \cdot (1 - \rho^2_{\pi,r})$. Bäume werden basierend auf Schwellenwerten in vier Regime klassifiziert:

• Dead-correct/Dead-wrong: Niedrige Diversität (nahezu einstimmige Ergebnisse).
• Stale: Moderates Signal.
• Informative: Hohe Diversität und Dekorrelation.

2. Kritik-gesteuerte Heilung (Critique-Guided Healing)

Für dead-wrong trees (bei denen alle Zweige scheitern) verwirft CATPO den Rollout nicht. Stattdessen versucht es, den Baum zu „heilen“:

1. Fehleridentifikation: Eine Breitensuche lokalisiert den flachsten Knoten $v^*$, an dem alle Kinder gescheitert sind (Belohnung < $\epsilon$).
2. Kritik-Generierung: Das Policy-Modell selbst wird aufgefordert, eine natürlichsprachliche Kritik des Fehlers am Knoten $v^*$ zu generieren, um den spezifischen logischen oder mathematischen Fehler zu identifizieren.
3. Grafting (Anpflanzung): Das Modell wird erneut mit dem Problem, der Teil-Lösung bis $v^*$ und der generierten Kritik gefüttert, um $k$ verfeinerte Fortsetzungen zu produzieren.
4. Re-Propagation: Diese neuen Zweige werden an der Stelle $v^*$ an den Baum angepflanzt, neu bewertet und die Belohnungen werden von unten nach oben propagiert. Dies verwandelt einen „toten“ Baum in einen mit positiver Belohnungsdiversität.

3. Informativitäts-gewichteter Verlust

Die finale Trainings-Zielfunktion skaliert den Beitrag jedes Baumes zum Policy-Gradienten durch seinen normalisierten Informativitäts-Score $w(T) = F(T) / \bar{F}$.

• Informative Bäume erhalten das volle Gewicht und treiben die Parameter-Updates voran.
• Dead-correct und stale Bäume werden geringer gewichtet.
• Geheilte Bäume werden als informativ behandelt, sofern der Heilungsprozess erfolgreich war.

Die Zielfunktion verwendet einen geklippten Surrogate-Loss (ähnlich wie PPO/TREERPO), bei dem die Vorteile durch $w(T)$ moduliert werden, wodurch die Updates auf die nützlichsten Daten konzentriert werden, während die gesamte Gradienten-Magnitude erhalten bleibt.

Kernbeiträge

1. Baum-Ebene-Diagnose: CATPO ist die erste Methode, die die Baum-Informativität explizit diagnostiziert und in den RL-Trainingszyklus eingreift, um uninformative Bäume zu korrigieren, und damit über das Prompt-basierte Filtern hinausgeht.
2. Kostenlose Scoring-Verfahren: Der Informativitäts-Score $F(T)$ nutzt bestehende Baum-Sampling-Statistiken (Blatt-Ergebnisse und Log-Wahrscheinlichkeiten) ohne zusätzliche Modelle oder extra Forward-Passes.
3. Kritik-gesteuerte Heilung: Ein neuartiger Mechanismus, der das Trainingssignal aus „dead-wrong trees“ zurückgewinnt, indem das Policy-Modell seine eigenen Fehler kritisiert und korrigierte Zweige anpflanzt, wodurch verschwendete Rechenleistung in nützliche Trainingsdaten umgewandelt wird.
4. Gewichtete Optimierung: Ein Informativitäts-gewichteter Verlust, der hochwertige Bäume dynamisch priorisiert und so die Stichproben-Effizienz verbessert.

Experimentelle Ergebnisse

Die Experimente wurden auf Qwen2.5-Math-1.5B durchgeführt, das auf dem MATH-Datensatz trainiert wurde, und über vier Benchmarks evaluiert: AIME24, MATH-500, OlympiadBench und MinervaMath.

• Performance: CATPO erreichte eine Makro-Genauigkeit von 37,5 % und übertraf damit die Baseline TREERPO (35,6 %) um 1,9 % und den flachen-Trajektorien-Ansatz GRPO (32,7 %) um 4,8 %.
• Schwierigere Aufgaben: Die Verbesserungen waren auf schwierigeren Benchmarks (AIME24 und OlympiadBench) am deutlichsten ausgeprägt, wo die Baseline einen höheren Anteil an dead-wrong trees produziert, was CATPO mehr Möglichkeiten zur Signalwiederherstellung gibt.
• Generalisierung: Signifikante Gewinne wurden auf MinervaMath (außerhalb der Trainingsverteilung) beobachtet, was darauf hindeutet, dass die Methode hilft, transferierbare Denkstrategien zu lernen, anstatt zu überoptimieren.
• Hypothesen-Validierung:
  • H1: Der Informativitäts-Score $F(T)$ zeigte eine starke positive Korrelation (Spearman $\rho = 0,62$) mit den Gradienten-Normen pro Baum, was ihn als zuverlässigen Proxy für den Trainingsnutzen validiert.
  • H2: Die kritik-gesteuerte Heilung verbesserte die Informativität von 88,1 % der dead-wrong trees erfolgreich durch die Einführung mindestens eines korrekten Zweigs.

Bedeutung und Ansprüche

Das Paper behauptet, dass CATPO einen effizienteren und effektiveren Ansatz für RLVR bei LLM-Reasoning bietet, indem es direkt das Problem des „Abfalls“ anspricht, der bei baumbasiertem Sampling inhärent ist. Durch die Unterscheidung zwischen informativen und uninformativen Bäumen und die aktive Reparatur letzterer konzentriert CATPO die Rechenressourcen auf die Daten, die das Lernen vorantreiben. Die Autoren betonen, dass dieser Ansatz keine separaten Reward-Modelle oder Value-Netzwerke benötigt, wodurch die Einfachheit des GRPO/TREERPO-Paradigmas beibehalten wird, während gleichzeitig die Performance bei komplexen Denkaufgaben signifikant gesteigert wird. Die Methode wird als komplementäre Weiterentwicklung des bestehenden baubasierten RL präsentiert, die gezielt die interne Struktur von Rollouts adressiert, welche bisherige Methoden ignorierten.