🤖 AI

Selective Off-Policy Reference Tuning with Plan Guidance

Das Papier stellt Selective Off-Policy Reference Tuning (SORT) vor, eine Methode, die Planführung nutzt, um Reparaturupdates aus Referenzlösungen abzuleiten und damit fehlgeschlagene Rollouts in strukturaware Lernsignale zu verwandeln, die die reasoning-Leistung im Vergleich zu Standard-GRPO-Ansätzen erheblich verbessern, insbesondere bei schwächeren Modellen.

Ursprüngliche Autoren: Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „stille" Versagen

Stellen Sie sich vor, Sie unterrichten einen Schüler (eine KI), um schwierige Matheaufgaben zu lösen. Sie geben ihm eine Aufgabe, und er versucht, sie zu lösen.

Das gute Szenario: Manchmal bekommt der Schüler es richtig. Sie sagen: „Gut gemacht!" und er lernt aus diesem Erfolg.
Das schlechte Szenario: Manchmal ist die Aufgabe so schwer, dass der Schüler 8 verschiedene Wege versucht, sie zu lösen, und alle 8 Versuche falsch sind.

Bei Standard-KI-Trainingsmethoden (genannt GRPO) gerät der Lehrer in Verwirrung, wenn ein Schüler bei einer schwierigen Aufgabe jedes Mal versagt. Das System sagt: „Nun, da er nichts richtig gemacht hat, gibt es keine Möglichkeit zu sagen, welcher Teil seines Denkens gut und welcher schlecht war. Also ignorieren wir diese Aufgabe einfach und fahren fort."

Das Papier argumentiert, dass dies eine enorme Verschwendung ist. Selbst wenn die Antwort falsch ist, hat der Schüler oft eine „verifizierte Referenzlösung" (den richtigen Lösungsschlüssel). Das Problem ist, dass das bloße Kopieren des Lösungsschlüssels schlecht ist, weil es den Schüler zwingt, die gesamte Lösung auswendig zu lernen, einschließlich langweiliger Teile wie „schreibe die Zahl 5" oder „füge ein Komma hinzu", anstatt die schwierigen Logikschritte zu lernen, die tatsächlich zum Versagen geführt haben.

Die Lösung: SORT (Der „Plan"-Detektiv)

Die Autoren schlagen eine neue Methode namens SORT (Selective Off-Policy Reference Tuning with Plan Guidance) vor. Stellen Sie es sich als intelligentes Tutor-System vor, das das Problem des „stillen Versagens" behebt, ohne zu ändern, wie der Schüler versucht, Probleme zu lösen.

So funktioniert SORT, Schritt für Schritt:

1. Der „Puffer" (Speichern der Versagen)

Wenn die KI eine schwierige Aufgabe versucht und jedes Mal falsch liegt, wirft SORT die Aufgabe nicht weg, sondern legt sie in einen speziellen „Wartezimmer" (einen Puffer). Es wartet, bis es einige dieser schweren Versagen gesammelt hat, und verarbeitet sie dann separat.

2. Der „Plan" (Der Bauplan)

Für jedes gescheiterte Problem betrachtet SORT den richtigen Lösungsschlüssel. Aber es liest nicht einfach die Antwort; es fordert die KI auf, einen „Plan" oder einen „Bauplan" aus dieser Antwort zu extrahieren.

Analogie: Stellen Sie sich den Lösungsschlüssel als ein langes, chaotisches Rezept für einen Kuchen vor. Der „Plan" ist nur die Liste der kritischen Schritte: „Ofen vorheizen", „Mehl mischen", „Eier unterheben". Er ignoriert den langweiligen Teil wie „die Arbeitsplatte abwischen" oder „langsam rühren".

3. Der „Doppel-Check" (Der magische Test)

Dies ist die Kerninnovation. SORT nimmt die KI und bittet sie, den richtigen Lösungsschlüssel zweimal zu betrachten:

Test A: „Hier ist die Aufgabe. Schau dir nun diesen Schritt im Lösungsschlüssel an. Wie wahrscheinlich ist es, dass du diesen Schritt errätst?" (Die KI hat keine Hilfe).
Test B: „Hier ist die Aufgabe UND hier ist der 'Plan' (der Bauplan). Schau dir nun denselben Schritt im Lösungsschlüssel an. Wie wahrscheinlich ist es, dass du ihn errätst?"

4. Der „Glühbirnen-Moment" (Selektivität)

SORT vergleicht die beiden Ergebnisse:

Wenn die KI den Schritt bereits gut erraten konnte: Der „Plan" ändert nicht viel. Dies sind normalerweise langweilige, routinemäßige Schritte (wie das Schreiben von Zahlen). SORT sagt: „Wir müssen die KI dies nicht lehren; sie weiß es bereits."
Wenn die KI den Schritt schlecht erraten konnte, aber der „Plan" es einfach machte: Dies ist der „Glühbirnen-Moment". Die KI erkennt: „Ah! Wenn ich gewusst hätte, dass der Plan darin besteht, 'auf Parität zu prüfen', hätte ich diesen Schritt erraten können!"
- Dies sind die kritischen logischen Schritte (die Logiklücken).
- SORT gibt diesen spezifischen Schritten einen riesigen Schub beim Lernen. Es sagt der KI: „Konzentriere all deine Energie hier! Hier ist es, wo du versagt hast, und dies ist der Schlüssel, um es zu beheben."

Warum dies besser ist als andere Methoden

Standard-Kopieren (SFT): Wie einen Schüler zu zwingen, eine ganze Schulbuchseite Seite für Seite abzuschreiben. Sie lernen die Handschrift und das Format, aber vielleicht nicht die Logik.
Andere „Hinweis"-Methoden: Einige Methoden geben der KI Hinweise, während sie versucht, das Problem zu lösen. Dies verändert, wie die KI während des Tests denkt.
SORT: SORT lässt den „Denkprozess" der KI (das Rollout) völlig in Ruhe. Es repariert nur das „Nachhilfe nach der Schule" (das Update). Es verwendet den „Plan" nur, um herauszufinden, welche spezifischen Wörter im richtigen Lösungsweg am wichtigsten zu lernen sind.

Die Ergebnisse

Das Papier testete dies an drei verschiedenen KI-Modellen (von klein bis groß) und acht verschiedenen Mathe- und Logik-Benchmarks.

Der Gewinner: SORT schlug die Standardmethoden konsequent.
Der große Sieg: Es half den schwächsten Modellen am meisten. Das ergibt Sinn, weil schwächere Modelle öfter versagen, was bedeutet, dass sie mehr „stille Versagen" zu beheben haben.
Die Effizienz: Es ließ die KI keine längeren, schwafeligen Antworten schreiben (ein häufiger Nebeneffekt anderer Methoden). Es machte die Antworten einfach intelligenter.

Zusammenfassungs-Analogie

Stellen Sie sich einen Trainer vor, der einen Basketballspieler beobachtet, der 8 Würfe hintereinander verfehlt.

Alter Weg: Der Trainer sagt: „Du hast alles verfehlt. Wir ignorieren diese Übung."
Schlechter Weg: Der Trainer sagt: „Schau dir dieses perfekte Video eines Profis an, der den Wurf macht. Kopiere jede Bewegung, sogar wie er seine Schuhe bindet."
SORT-Weg: Der Trainer sagt: „Schauen wir uns das Video des Profis an. Ich werde den genauen Moment hervorheben, in dem er die Knie beugte, und den genauen Winkel, in dem er den Ball losließ. Das sind die zwei Dinge, die du verpasst hast. Ignoriere den Rest des Videos; lass uns einfach diese zwei spezifischen Bewegungen üben."

Indem SORT sich nur auf die „strukturellen" Bewegungen konzentriert, die der Spieler verpasst hat, hilft es der KI, schneller und intelligenter zu lernen, besonders wenn die Dinge wirklich schwer sind.

Technischer Überblick: Selektives Off-Policy-Referenz-Tuning mit Planführung (SORT)

1. Problemstellung

Reinforcement Learning from Verifiable Rewards (RLVR), insbesondere Group Relative Policy Optimization (GRPO), hat das logische Schlussfolgern in Sprachmodellen verbessert, indem es gesampelte Lösungen verstärkt, die positive Ergebnisse liefern. Allerdings tritt bei GRPO auf „schwierigen Prompts" eine kritische Fehlermode auf, bei der jede gesampelte Rollout-Folge falsch ist. In diesen Szenarien kollabiert der gruppenrelative Vorteil auf null, da keine Varianz in den Belohnungen vorliegt (alle sind null), wodurch der Prompt für das Policy-Gradient-Update unsichtbar wird.

Diese Prompts mit Null-Belohnung sind oft die informativsten Trainingssignale, da sie mit verifizierten Referenzlösungen einhergehen, die die fehlende Schlussfolgerungsstruktur enthalten. Standardansätze zur Nutzung dieser Referenzen – wie einheitliches Supervised Fine-Tuning (SFT) oder Imitation ganzer Trajektorien – versagen jedoch, da sie Kernentscheidungen des logischen Schlussfolgerns mit routinemäßiger Algebra, Formatierung und oberflächlicher Wortwahl vermischen. Diese uniforme Imitation kann zu einem Kollaps der Policy oder zu unnötiger Ausführlichkeit führen, ohne die Genauigkeit des logischen Schlussfolgerns zu verbessern. Bestehende Führungsansätze verändern oft die Rollout-Verteilung oder verlassen sich auf externe Lehrer, was Komplexität oder Verteilungsverschiebungen einführt.

2. Methodik: SORT

Die Autoren schlagen Selektives Off-Policy-Referenz-Tuning mit Planführung (SORT) vor, einen zusätzlichen Reparaturmechanismus, der speziell für GRPO-Gruppen mit Null-Belohnung entwickelt wurde. SORT arbeitet, ohne den primären GRPO-Prozess zur Generierung von Rollouts zu modifizieren.

Kernmechanismus

Pufferung und Verzögerung: Wenn ein Prompt nur falsche Rollouts liefert (Null-Belohnungs-Gruppe), wird er nicht verworfen. Stattdessen werden der Prompt und seine verifizierte Referenzlösung gepuffert.
Planextraktion: Für jedes gepufferte Beispiel extrahiert das aktuelle Modell einen „Schlussfolgerungsplan" aus der Referenzlösung. Dieser Plan ist eine geordnete Übersicht über wesentliche Schlussfolgerungsentscheidungen (z. B. Lemmata, Fallunterscheidungen, Constraint-Propagation), wird jedoch nicht als Zielsequenz für die Generierung verwendet.
Duale Evaluation (diagnostischer Kontext): Das Modell bewertet die Referenz-Token zweimal unter derselben Policy:
- Basisbedingung: Die Token-Wahrscheinlichkeit wird nur unter Berücksichtigung des Problem-Prompts berechnet.
- Plan-konditionierte (Lehrer-)Bedingung: Die Token-Wahrscheinlichkeit wird unter Berücksichtigung des Problem-Prompts plus des extrahierten Schlussfolgerungsplans berechnet.
Token-Salienz-Bewertung: Die Methode berechnet das Log-Verhältnis zwischen der plan-konditionierten Wahrscheinlichkeit und der Basiswahrscheinlichkeit. Token, deren Wahrscheinlichkeit unter Plan-Konditionierung signifikant ansteigt, werden als „strukturell informativ" identifiziert (d. h., sie repräsentieren Schlussfolgerungsschritte, die das Modell verpasst hat, aber lernen kann, wenn die Struktur explizit ist). Routinetoken (Algebra, Formatierung) zeigen kaum Veränderungen.
Geometrische Gewichtung: SORT konstruiert einen zusätzlichen Verlust unter Verwendung einer geometrischen Mittelwert-Gewichtung:
$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$
Dieses Gewicht kombiniert die Stabilität der Unterstützung des Basismodells (aus Dynamic Fine-Tuning, DFT) mit der Selektivität des plan-konditionierten Lehrers. Token, die mit dem Plan vorhersehbarer werden, werden hochgewichtet; solche, die dies nicht tun, werden herabgewichtet oder unverändert gelassen.

Theoretische Garantien

Die Autoren formalisieren SORT unter Verwendung eines Ground-Truth-Plan-Modells. Sie beweisen, dass sich das SORT-Gewicht, wenn der extrahierte Plan den wahren Schlussfolgerungsplan annähert, zu einem „Orakel"-Gewicht konvergiert, das genau die strukturell kritischen Token hervorhebt. Die Regret-Schranke wird als proportional zum Extraktionsfehler des Plans ( $\gamma$ ) und zur Basiswahrscheinlichkeit nachgewiesen, was sicherstellt, dass die Methode bei schlechter Planextraktion graceful zu DFT-ähnlichem Verhalten degradieren.

3. Hauptbeiträge

Identifikation von Null-Vorteil-Fehlern: Das Papier identifiziert Prompts mit Null-Belohnung als spezifischen Engpass in GRPO, bei dem der Gruppenvorteil null ist, und führt SORT ein, um diese zu reparieren, ohne die Rollout-Generierung zu verändern.
Plan-Konditionierung desselben Modells: Im Gegensatz zu Methoden, die Off-Policy-Spuren stärkerer Modelle injizieren oder externe Lehrer verwenden, nutzt SORT dasselbe Modell, um einen Plan zu extrahieren und Referenz-Token zu bewerten, wodurch externe Abhängigkeiten vermieden werden.
Geometrische Mittelwert-Token-Gewichtung: Ein neuartiges Gewichtungsschema, das DFT-artige Unterstützungsawareness mit plan-konditionierter Selektivität integriert und mathematisch nachgewiesen ist, um eine Orakel-Gewichtung struktureller Token zu approximieren.
Empirische Validierung: Umfassende Experimente, die konsistente Verbesserungen gegenüber GRPO und führungs-basierten Baselines über verschiedene Modellgrößen und Benchmarks hinweg demonstrieren.

4. Experimentelle Ergebnisse

Die Methode wurde an drei instruktionsangepassten Backbones (Llama-3.2-3B, Qwen2.5-7B und Qwen3-4B) über acht Benchmarks hinweg evaluiert, darunter in-Distribution-Mathematikaufgaben (AIME, AMC, MATH-500) und Out-of-Distribution-Schlussfolgern (GPQA, MMLU-Pro).

Leistungssteigerungen: SORT schnitt konsistent besser ab als reines GRPO und andere Baselines (LUFFY, ReLIFT, Scaf-GRPO).
- Beim schwächsten Modell (Llama-3.2-3B) verbesserte SORT den In-Distribution-Durchschnitt von 17,8 % auf 23,9 % und den Out-of-Distribution-Durchschnitt von 22,5 % auf 33,8 %.
- Bei stärkeren Modellen lieferte SORT marginale, aber konsistente Gewinne, was seine Nützlichkeit bestätigt, selbst wenn Null-Belohnungs-Gruppen weniger häufig auftreten.
Vergleich mit Baselines:
- vs. SFT/ReLIFT: Im Gegensatz zu SFT oder ReLIFT, die oft die Antwortlänge und Ausführlichkeit erhöhten, ohne die Genauigkeit zu verbessern (insbesondere bei schwächeren Modellen), behielt SORT kompakte Generierungen bei und steigerte gleichzeitig das logische Schlussfolgern.
- vs. LUFFY: LUFFY, das stärkere Off-Policy-Spuren mischt, zeigte weniger Selektivität und verschlechterte die Leistung bei Out-of-Distribution-Aufgaben manchmal.
Trainingsdynamik: SORT verbesserte die Belohnungswerte ohne die bei anderen Methoden beobachtete Längenausdehnung. Es reparierte schwierige Prompts effektiv, indem es spezifische Schlussfolgerungstoken anvisierte, anstatt ganze Trajektorien zu imitieren.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass SORT eine fundamentale Einschränkung von RLVR adressiert: die Unfähigkeit, aus den schwierigsten Prompts zu lernen, bei denen Exploration fehlschlägt. Indem verifizierte Referenzen nicht als zu kopierende Trajektorien, sondern als Evidenz für einen Schlussfolgerungsplan behandelt werden, wandelt SORT „alles-falsch"-Fehler in strukturierte, token-selektive Lernsignale um.

Die Autoren betonen, dass SORT ein konservatives, zusätzliches Update ist, das den ursprünglichen GRPO-Rollout-Prozess bewahrt. Es erfordert keine externen Lehrer, synthetisierten Trajektorien oder Änderungen an der Inferenzverteilung. Die Methode ist besonders für schwächere Modelle von Bedeutung, bei denen Null-Belohnungs-Gruppen am häufigsten auftreten, und bietet einen Weg, die Fähigkeiten des logischen Schlussfolgerns zu verbessern, ohne die Rechenkosten für die Generierung korrekter Rollouts für jeden Prompt. Der Ansatz wird als „selektive Form der Selbst-Distillation" dargestellt, die die Fallstricke der übermäßigen Betonung einfacher, routinemäßiger Token vermeidet und sich auf die unsicheren, strukturell kritischen Schritte des logischen Schlussfolgerns konzentriert.