📊 statistics

TREK: Distill to Explore, Reinforce to Refine

TREK ist ein allgemeines, gestuftes Trainingsframework, das die Group Relative Policy Optimization (GRPO) durch die Verwendung von Forward-KL-Distillation verbessert, um die Explorationsfähigkeiten eines Modells bei schwierigen Prompts durch verifizierte Kandidatenlösungen von externen oder internen Lehrern zu erweitern, wodurch die Konvergenz beschleunigt und die Leistung bei komplexen mathematischen und agentischen Denkaufgaben verbessert wird.

Ursprüngliche Autoren: Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (der KI) beizubringen, wie man sehr schwierige Rätsel löst. Sie haben ein leistungsstarkes Werkzeug namens GRPO (Group Relative Policy Optimization). Betrachten Sie GRPO als einen Coach, der dem Schüler sagt: „Versuche, dieses Rätsel auf 16 verschiedene Arten zu lösen. Wenn du es richtig hast, großartig! Wenn du es falsch hast, versuche herauszufinden, welcher deiner 16 Versuche der „am wenigsten falsche“ war, und versuche, mehr davon zu machen.“

Das funktioniert großartig, wenn der Schüler bereits nah an der Antwort ist. Aber was passiert, wenn das Rätsel so schwer ist, dass keiner der 16 Versuche auch nur annähernd richtig ist? Der Schüler dreht sich im Kreis, rät wild um sich und stolpert nie über den richtigen Weg. Der Coach ist festgefahren, weil es keinen „guten“ Versuch gibt, den man verstärken könnte.

Hier führt das Paper TREK (Teacher-Routed Exploration via Forward KL) ein.

Die Kernidee: Die „Handbuch“-Analogie

TREK verändert das Spiel, indem es ein Handbuch (den „Lehrer“) einführt.

Das Problem: Der Schüler steckt bei einem bestimmten schweren Rätsel fest. Er kann die Lösung nicht aus eigener Kraft finden.
Die Intervention: Anstatt den Schüler einfach wieder blind raten zu lassen, bittet TREK das Handbuch, das Rätsel zu lösen. Das Handbuch ist klüger (oder hat mehr Zeit/Werkzeuge) und findet die korrekte Lösung.
Der Filter: Das Handbuch findet vielleicht viele Wege, das Rätsel zu lösen. TREK kopiert nicht einfach alles. Es schaut sich das aktuelle Leistungsniveau des Schülers an und wählt die Lösung aus, die derjen, die der Schüler sich bereits vorstellen könnte, am nächsten kommt. Es ist, als würde das Handbuch sagen: „Hier ist die Antwort, aber ich zeige dir die Version, die nur einen Schritt von dem entfernt ist, was du bereits weißt.“
Das „Dehnen“ (Forward KL): Bevor der Schüler wieder zurückkehrt, um eigenständig zu üben, gibt TREK ihm eine kurze, fokussierte Lektion über genau diese „nahe“ Lösung. Es ist wie ein kurzes Aufwärmtraining, das die Muskeln des Schülers flexibel genug macht, um diesen neuen Punkt zu erreichen.
Die Rückkehr: Jetzt kehrt der Schüler zum „16 Versuche“-Spiel zurück. Dank des Aufwärmtrainings kann er nun endlich die korrekte Lösung erreichen. Sobald er sie erreichen kann, kann der ursprüngliche Coach (GRPO) übernehmen und ihm helfen, sie zu meistern.

Warum dies besonders ist

Die meisten bisherigen Methoden versuchten, den Schüler zu unterrichten, indem sie ihm die Antworten des Handbuchs zeigten, während der Schüler bereits versuchte, das Rätsel zu lösen. Aber wenn der Schüler völlig verloren ist, hilft es nicht, ihm die Antwort zu zeigen; es fühlt sich einfach wie Magie an.

TREK ist anders, weil es die Antwort des Handbuchs als eine Landkarte zu einem neuen Gebiet behandelt, nicht nur als eine Copy-Paste-Anweisung. Es zielt spezifisch auf die Momente ab, in denen der Schüler völlig feststeckt, nutzt das Handbuch, um einen Pfad zu finden, der erreichbar ist, und „dehnt“ dann die Fähigkeit des Schülers, diesen Pfad zu gehen.

Die Ergebnisse: Schneller und intelligenter

Das Paper testete dies bei zwei Arten von Herausforderungen:

Mathematische Rätsel (AIME): Stellen Sie sich einen Mathematikwettbewerb vor. Die Standardmethode (GRPO) löste etwa 37 % der schweren Probleme richtig. Mit TREK, unter Verwendung eines superintelligenten Handbuchs, sprang die Punktzahl auf über 40 %. Noch beeindruckender: Als der Schüler versuchte, sein eigenes Gehirn mit zusätzlichen Hinweisen zu nutzen (anstatt eines externen Handbuchs), verbesserte sich das Ergebnis ebenfalls signifikant.
Roboter-Aufgaben (ALFWorld & ScienceWorld): Stellen Sie sich einen Roboter vor, der versucht, ein Zimmer zu reinigen oder ein wissenschaftliches Experiment durchzuführen. Dies sind lange, komplexe Aufgaben, bei denen der Roboter oft die Orientierung verliert.
- Die Standardmethode blieb bei den schwierigsten Aufgaben stecken und brauchte sehr lange, um sie zu lösen.
- TREK half dem Roboter, die schwierigsten Aufgaben viel früher im Trainingsprozess zu bewältigen. Es ist, als wäre der Roboter nicht stundenlang im Dunkeln herumgewandert; das Handbuch hat das Licht gerade so weit eingeschaltet, dass es dem Roboter die Tür zeigen konnte, und dann konnte der Roboter durch die Tür gehen, ganz allein.

Das „Geheimrezept“

Das Paper betont, dass TREK sehr flexibel ist. Das „Handbuch“ muss nicht eine andere, größere KI sein. Es kann sein:

Eine superintelligente externe KI (Black-box).
Dieselbe KI, der jedoch mehr Zeit oder bessere Werkzeuge zum Nachdenken gegeben wurden (White-box/Self-context).
Dieselbe KI, die lediglich mit einem „Spickzettel“ ihrer eigenen vergangenen Fehler arbeitet.

Der entscheidende Punkt ist, dass TREK die Antworten des Handbuchs nur verwendet, wenn der Schüler wirklich feststeckt, und es nur die Antworten auswählt, die nah genug sind, damit der Schüler tatsächlich daraus lernen kann. Es ist ein intelligenter, gestufter Ansatz: Erkunden mit Hilfe, Dehnen, um den neuen Punkt zu erreichen, und dann Verfeinern auf eigene Faust.

Kurz gesagt: TREK ist eine Methode, die verhindert, dass die KI mit dem Kopf gegen die Wand rennt, indem sie ihr kurzzeitig eine Leiter reicht, ihr zeigt, wie man klettert, und sie dann ziehen lässt, den Rest des Weges alleine zu klettern.

Technisches Resümee: TREK – Distill to Explore, Reinforce to Refine

1. Problemstellung

Das Paper adressiert einen spezifischen Ausfallmodus von Group Relative Policy Optimization (GRPO) bei der Anwendung auf komplexe Reasoning-Aufgaben. Während GRPO effektiv ist, wenn die aktuelle Policy (Student) bereits nützliche Lösungs-Trajektorien sampelt, stagniert es häufig bei schwierigen Prompts, bei denen die korrekten Lösungsmodi außerhalb des aktuellen On-Policy-Supports des Studenten liegen.

In diesen schwierigen Regimen sampelt der Student wiederholt plausible, aber strukturell ähnliche, falsche Trajektorien. Die Knappheit liegt nicht am Belohnungssignal (Verifizierer können korrekte Lösungen bewerten, sofern sie gefunden werden), sondern vielmehr an der Explorations-Abdeckung (Exploration Coverage) des Lösungsraums. Das Standard-GRPO, eine On-Policy-Methode, kann Verhaltensweisen nicht verstärken, die es nicht sampelt. Folglich scheitern größere Rollout-Gruppen oder schärfere relative Advantages oft daran, die enge Region des aktuellen Supports des Studenten zu verlassen.

Bestehende Destillations- und Lehrer-informierte Methoden konzentrieren sich weitgehend darauf, die Supervision oder das Credit Assignment für Trajektorien zu verbessern, die der Student bereits erreicht. Sie adressieren nicht direkt das Regime, in dem der Student selten eine belohnungstragende Trajektorie sampelt. Die Kernherausforderung lautet: Wie können wir nützliches Verhalten überhaupt sampelbar machen, wenn die ungestützte Exploration des Studenten versagt?

2. Methodik: TREK

Die Autoren schlagen TREK (Teacher-Routed Exploration via Forward KL) vor, ein gestuftes Verfahren, das Destillation als Erweiterung des Explorations-Supports statt als einfache Imitation umformuliert.

Kernphilosophie

TREK betrachtet einen Lehrer (extern oder selbst-augmentiert) nicht als universelles Verhaltensziel, sondern als einen Proposal-Mechanismus. Die Methode basiert auf einer Output-only-Schnittstelle, was bedeutet, dass sie nur verifizierte Output-Trajektorien erfordert, keine Lehrer-Logits, Hidden States oder Wahrscheinlichkeiten. Dies ermöglicht die Verwendung von Black-Box-Lehrern, White-Box-Lehrern oder demselben Modell mit zusätzlichem Inferenz-Kontext (z. B. Reflexion, längere Reasoning-Budgets oder Lessons aus Fehlern).

Der TREK-Algorithmus

Das Verfahren trennt die Verfügbarkeit von Prompt-Level-Proposals von der Trajektorien-Level-Erreichbarkeit:

Prompt-Routing (Hard Prompt Mining):
- Für jeden Prompt $x$ schätzt das System die ungestützte Pass-Rate des Studenten $p_S(x)$ durch Sampling von $K$ Rollouts.
- Wenn $p_S(x) \leq \tau_{low}$ (was auf einen schwierigen Prompt hindeutet, bei dem der Student versagt), wird der Prompt zur Proposal-Phase geroutet. Einfache Prompts verbleiben im Standard-GRPO-Stream.
Proposal-Generierung & Selektion:
- Eine Proposal-Quelle $\pi_T$ (ein stärkeres Modell oder dasselbe Modell mit zusätzlichem Kontext) generiert Kandidaten-Lösungen für die gerouteten schwierigen Prompts.
- Trajektorien werden durch einen Verifizierer $V$ gefiltert. Nur verifizierte Erfolge werden beibehalten.
- Reachability-Filtering: Unter den verifizierten Trajektorien rankt das System diese nach der Likelihood des aktuellen Studenten (gemessen über ein getrimmtes, längengestütztes Negative Log-Likelihood, $d_S$ ).
- Die Top- $r$ student-proximalen verifizierten Proposals werden beibehalten. Dies stellt sicher, dass der Student nicht aufgefordert wird, Lösungen zu imitieren, die zu weit von seinen aktuellen Fähigkeiten entfernt sind, sondern sich stattdessen auf Modi konzentriert, die er plausibel erreichen kann.
Forward-KL-Konsolidierung (Warm-Start):
- Die beibehaltenen Trajektorien bilden einen Datensatz $D_{scaf}$ .
- Ein kurzer Forward-KL-Update wird angewendet: $\min KL(q_{prop} \parallel \pi_\theta)$ .
- Dieses Ziel bestraft den Studenten dafür, eine niedrige Wahrscheinlichkeit für die verifizierten Proposal-Modi zuzuweisen, was diese Lösungsmodi effektiv in den Support des Studenten „zieht“. Dies unterscheidet sich von der Standard-Destillation (die oft $KL(\pi_\theta \parallel q_{prop})$ minimiert oder On-Policy-Destillation nutzt).
On-Policy-Verfeinerung:
- Nach dem kurzen Forward-KL-Warm-Start kehren die Prompts in den Standard-GRPO-Rollout-Stream zurück.
- Der Student, der nun den erweiterten Support inklusive der verifizierten Modi besitzt, kann diese sampeln und erhält relative Advantages vom Verifizierer, um die Policy weiter zu verfeinern.

3. Wichtigste Beiträge

Identifizierung eines Ausfallmodus: Das Paper identifiziert „fehlenden Explorations-Support“ als einen distinkten Engpass für GRPO bei schwierigen Reasoning-Prompts, der sich von Reward-Sparsity unterscheidet.
Destillation als Exploration: Es formuliert eine Sichtweise der Destillation speziell zur Erweiterung des erreichbaren Supports des Studenten, statt lediglich die Supervision auf bereits gesampelten Trajektorien zu verdichten.
Das TREK-Verfahren: Ein einfacher, gerouteter Algorithmus, der die Schwierigkeit der Prompts von der Erreichbarkeit der Trajektorien entkoppelt und einen kurzen Forward-KL-Schritt nutzt, um verifizierte Proposals zu konsolidieren, bevor er zu GRPO zurückkehrt.
Black-Box-Kompatibilität: Durch die Anforderung lediglich verifizierter Outputs ist die Methode kompatibel mit externen Black-Box-Lehrern, White-Box-Lehrern oder Self-Context-Augmentation, was sie in praktischen Settings breit anwendbar macht.
Trainingseffizienz: Es zeigt, dass die Injektion verifizierter Lösungsmodi vor Beginn des RL die Lernrate bei den schwierigsten Aufgabentypen signifikant beschleunigt und die Anzahl der Optimierungsschritte reduziert, die erforderlich sind, um eine hohe Performance zu erreichen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten TREK bei mathematischem Reasoning (AIME 2024/2025) und agentischen Planungsaufgaben (ALFWorld, ScienceWorld).

Mathematisches Reasoning (Qwen3 Modelle)

Setup: Getestet auf 1.7B, 8B und 14B Qwen3 Modellen. Die Proposals stammten von DeepSeek-V4 (extern) oder demselben Qwen3 Modell mit Self-Context (Failure Lessons).
Performance: TREK übertraf direktes GRPO konsistent über alle Skalen hinweg.
- Qwen3-8B: Verbesserte AIME 2025 von 36,9 % auf 40,3 % und AIME 2024 von 47,9 % auf 51,1 % (unter Verwendung von DeepSeek-V4 Proposals).
- Self-Context Variante: Selbst ohne externen Lehrer verbesserte die Self-Context Variante AIME 2025 auf 38,5 % und AIME 2024 auf 49,6 %.
Ablation: Das Ersetzen der Forward-KL-Konsolidierung durch eine On-Policy-Destillations-ähnliche (OPD) Supervision führte zu einer geringeren Performance, was bestätigt, dass das Forward-KL-Ziel überlegen ist, um die Modus-Abdeckung auf schwierigen Prompts zu erweitieren.

Agentische Aufgaben (Qwen2.5-7B-Instruct)

ALFWorld: Die Erfolgsrate stieg von 75,8 % (GRPO) auf 82,8 % (TREK mit DeepSeek-V4) und 80,4 % (Self-Context).
ScienceWorld: Die Erfolgsrate verdoppelte sich mehr als: von 12,5 % (GRPO) auf 26,7 % (TREK mit DeepSeek-V4) und 23,4 % (Self-Context).
Analyse der Aufgabenschwierigkeit: Die Gewinne konzentrierten sich auf die schwierigsten Aufgabentypen (z. B. „Heat & Place“, „Examine in Light“), bei denen die Baseline-GRPO-Performance am niedrigsten war. Leichte Aufgaben zeigten kaum oder gar keine Verbesserung, was bestätigt, dass die Methode den Explorations-Engpass adressiert.
Trainingsdynamik: TREK erreichte hohe Erfolgsraten viel früher im Training als GRPO. Beispielsweise erreichte TREK auf ALFWorld bereits bei Schritt 20 eine Erfolgsrate von über 60 %, während GRPO unter 50 % blieb und etwa 5-mal mehr Schritte benötigte, um das gleiche Niveau zu erreichen.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass TREK einen generalisierbaren Rahmen bietet, um On-Policy-Reasoning-Systeme zu verbessern, wenn der primäre Engpass die Unfähigkeit ist, belohnungstragende Trajektorien zu sampeln.

Komplementarität: TREK wird als komplementär zu bestehenden Methoden präsentiert (wie Token-Weighting oder Verbesserungen beim Credit Assignment), die innerhalb des aktuellen Supports des Studenten operieren. TREK operiert davor und stellt sicher, dass der Support überhaupt existiert.
Effizienz: Der primäre Vorteil liegt nicht unbedingt darin, das asymptotische Maximum zu erhöhen (da GRPO dies mit massiver Rechenleistung schließlich erreichen kann), sondern darin, das Trainingsbudget drastisch zu reduzieren, das zur Entdeckung schwieriger Lösungsmodi erforderlich ist.
Praktikabilität: Die Abhängigkeit von verifizierten Outputs statt interner Lehrer-Daten macht die Methode robust für reale Anwendungen, in denen Black-Box-Lehrer oder Self-Reflection-Loops üblich sind, aber interne Modellzustände nicht zugänglich sind.

Die Autoren kommen zu dem Schluss, dass dieses „Distill to Explore, Reinforce to Refine“-Paradigma auf andere Post-Training-Frameworks (z. B. DAPO, GSPO) und Szenarien des kontinuierlichen Kompetenzerwerbs übertragen werden kann, indem es einen strukturierten Weg bietet, neue Fähigkeiten via verifizierter Proposals einzuführen, bevor diese durch On-Policy-Reinforcement stabilisiert werden.