🤖 machine learning

Multi-Rollout On-Policy Distillation via Peer Successes and Failures

Dieser Beitrag stellt Multi-Rollout On-Policy Distillation (MOPD) vor, ein Framework, das das Training großer Sprachmodelle verbessert, indem es sowohl erfolgreiche als auch gescheiterte Peer-Rollouts nutzt, um reichhaltigere, instanzadaptive Lehrersignale zu konstruieren und dadurch Standardmethoden, die jeden Rollout unabhängig behandeln, zu übertreffen.

Ursprüngliche Autoren: Weichen Yu, Xiaomin Li, Yizhou Zhao, Xiaoze Liu, Ruowang Zhang, Haixin Wang, Yinyi Luo, Chen Henry Wu, Gaurav Mittal, Matt Fredrikson, Yu Hu

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Weichen Yu, Xiaomin Li, Yizhou Zhao, Xiaoze Liu, Ruowang Zhang, Haixin Wang, Yinyi Luo, Chen Henry Wu, Gaurav Mittal, Matt Fredrikson, Yu Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Lernen von der gesamten Gruppe, nicht nur von einer Person

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, ein kniffliges Rätsel zu lösen. Auf die alte Art (Standard-Training) würden Sie dem Schüler ein Rätsel geben, ihn versuchen lassen, es zu lösen, und dann nur sagen: „Sie haben es richtig gelöst!" oder „Sie haben es falsch gelöst!", basierend auf der endgültigen Antwort.

Das Problem dabei ist: Wenn sie es falsch machen, wissen Sie nicht, warum. Haben sie einen kleinen Rechenfehler gemacht? Haben sie die Regeln missverstanden? Oder hatten sie einfach beim ersten Versuch Glück? Sie sehen nur das Endergebnis, nicht die Reise.

MOPD (Multi-Rollout On-Policy Distillation) ändert das Spiel. Anstatt den Versuch eines einzelnen Schülers isoliert zu betrachten, betrachtet es eine ganze Gruppe von Versuchen, die derselbe Schüler zur gleichen Zeit am gleichen Rätsel unternimmt.

Stellen Sie sich einen Trainer vor, der ein Basketballteam beim Üben von Freiwürfen beobachtet.

Die alte Art: Der Trainer beobachtet einen Spieler beim Wurf. Wenn der Ball durch den Korb geht, großartig. Wenn er daneben geht, sagt der Trainer nur „Daneben".
Die MOPD-Art: Der Trainer beobachtet, wie der Spieler 8 Mal hintereinander wirft.
- 3 Würfe gehen durch (Erfolge).
- 5 Würfe gehen daneben (Misserfolge).

Der Trainer (die „Lehrer"-KI) hat nun ein viel reichhaltigeres Bild. Er kann genau sehen, wie die erfolgreichen Würfe aussahen (die perfekte Wurfkurve, der richtige Handgelenks-Schnapp) und genau, wie die gescheiterten Würfe aussahen (zu viel Kraft, zu weit links angezielt).

Wie es funktioniert: Das „Peer"-System

Das Paper stellt ein System vor, bei dem die KI sowohl als Schüler als auch als Lehrer agiert, aber ihre eigenen „Peers" (andere Versuche, die zur gleichen Zeit unternommen wurden) nutzt, um sich selbst zu unterrichten.

Die Versuchs-und-Irrtums-Sitzung: Für jede Frage generiert die KI mehrere Antworten (Rollouts) gleichzeitig.
Der Verifizierer: Ein strenger Prüfer (wie ein Compiler für Code oder ein Mathelöser) bewertet sie. Manche werden als „Korrekt" markiert, andere als „Falsch".
Der Peer-Kontext: Wenn die KI versucht, von einer spezifischen Antwort zu lernen, betrachtet sie nicht nur diese Antwort. Sie betrachtet die anderen Antworten, die in derselben Sitzung generiert wurden.
- Positive Peers: Sie betrachtet die korrekten Antworten, um zu sagen: „Hey, so sieht ein guter Pfad aus."
- Negative Peers: Sie betrachtet die falschen Antworten, um zu sagen: „Ah, ich sehe hier einen häufigen Fehler. Mach diesen spezifischen Schritt nicht."

Die zwei Strategien: Imitation vs. Kontrast

Die Forscher testeten zwei Möglichkeiten, diese Peers zu nutzen:

Positive Peer-Imitation: Der Lehrer betrachtet nur die erfolgreichen Peers. Es ist wie ein Schüler, der nur die „A+"-Arbeiten in der Klasse studiert. Das hilft, sagt aber nicht, was man vermeiden soll.
Kontrastive Erfolg-Misserfolg-Bedingung (Der Gewinner): Der Lehrer betrachtet sowohl die erfolgreichen Arbeiten als auch die gescheiterten Arbeiten. Es ist wie ein Lehrer, der sagt: „Schauen Sie sich diesen perfekten Aufsatz an, aber schauen Sie sich auch diesen an, der gescheitert ist, weil er die Schlussfolgerung vergessen hat. Stellen Sie sicher, dass Sie den ersten machen und den Fehler im zweiten vermeiden."

Das Paper fand heraus, dass der „kontrastive" Ansatz (Mischung aus Erfolg und Misserfolg) am besten funktionierte. Er half der KI zu verstehen, nicht nur was zu tun ist, sondern speziell, wo andere Versuche schiefgingen, wodurch das Lernsignal viel schärfer wurde.

Warum das wichtig ist

Das Paper behauptet, dass durch die Nutzung dieser „Gruppendynamik" die KI schneller und besser lernt als frühere Methoden.

Es ist wie ein Detektiv: Anstatt nur zu wissen, dass ein Verbrechen passiert ist (der Endstand), kann die KI die Fußspuren des Verdächtigen (die Denk-Schritte) sehen und sie mit den Fußspuren unschuldiger Menschen (erfolgreiche Peers) und anderen Verdächtigen, die Fehler machten (gescheiterte Peers), vergleichen.
Es behebt spezifische Fehler: Das Paper zeigt, dass diese Methode der KI hilft, spezifische, wiederkehrende Fehler viel schneller zu stoppen (wie das Vergessen einer Bedingung in einem Matheproblem oder das Vertauschen von Variablennamen im Code) als Methoden, die jeden Versuch als einsames, isoliertes Ereignis behandeln.

Die Ergebnisse

Die Forscher testeten dies an:

Programmierung: Schreiben von Programmen, die Tests bestehen.
Mathematik: Lösen komplexer Matheprobleme.
Wissenschaft: Beantworten schwieriger Wissenschaftsfragen.
Werkzeugnutzung: Lernen, wie man Software-Werkzeuge korrekt verwendet.

In all diesen Bereichen übertraf die MOPD-Methode die Standard-Trainingsweisen. Der „gemischte" Kontext (Betrachtung sowohl von Gewinnern als auch von Verlierern) produzierte konsistent die intelligentesten Ergebnisse.

In Kürze

MOPD ist eine intelligentere Art, KI zu unterrichten. Anstatt jeden Versuch als Soloperformance zu behandeln, betrachtet es Lernen als Gruppenaktivität. Indem sie den aktuellen Versuch eines Schülers mit seinen eigenen kürzlichen Erfolgen und Misserfolgen vergleicht, erhält die KI eine viel klarere, detailliertere Karte davon, was funktioniert und was nicht, was zu schnellerem und zuverlässigerem Lernen führt.

Technische Zusammenfassung: Multi-Rollout On-Policy Distillation durch Peer-Erfolge und -Misserfolge

Problemstellung

Large Language Models (LLMs) werden häufig nach dem Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) nachtrainiert. In diesem Paradigma werden gesampelte Lösungen von Antwortprüfern, Unit-Tests oder aufgaben spezifischen Verifizierern bewertet. Obwohl diese Belohnungen effektiv sind, sind sie typischerweise spärlich: Sie geben an, ob eine gesamte Trajektorie erfolgreich ist oder scheitert, bieten aber nur begrenzte Hinweise darauf, welche spezifischen Tokens oder Denk schritte das Ergebnis verursacht haben.

On-Policy Distillation (OPD) behebt die bei der Offline-Distillation inhärente Verteilungsabweichung, indem sie den Schüler auf Trajektorien trainiert, die aus seiner eigenen Policy gesampelt wurden, und Lehrerurteile in dichte Token-Ebenen-Signale umwandelt. Allerdings leiden bestehende OPD-Methoden unter einer kritischen Ineffizienz: Sie behandeln jede Rollout unabhängig. Wenn mehrere Rollouts für denselben Prompt generiert werden, wird das Lehrersignal für eine Trajektorie berechnet, ohne Zugriff auf die anderen Versuche zu haben, die vom selben Schüler gesampelt wurden. Dieses Design verwirft die lokale Struktur der Rollout-Gruppe. Für rechenintensive Aufgaben ist diese lokale Struktur hochgradig informativ; erfolgreiche Rollouts enthüllen gültige Lösungsstrategien, während gescheiterte Rollout plausible, aber falsche Denkpfade, fehlende Einschränkungen oder Ausführungsfehler aufzeigen. Die isolierte Behandlung von Rollouts verhindert, dass der Lehrer Alternativen vergleicht, um festzustellen, wo eine erfolglose Trajektorie von einer erfolgreichen abweicht.

Methodik: Multi-Rollout On-Policy Distillation (MOPD)

Die Autoren schlagen Multi-Rollout On-Policy Distillation (MOPD) vor, ein Peer-konditioniertes Distillations-Framework, das die lokale Rollout-Gruppe des Schülers explizit nutzt, um informativere Lehrersignale zu konstruieren.

Kernmechanismus

Für jeden Prompt $x$ sampelt der Schüler eine Gruppe von $N$ On-Policy-Trajektorien, $Y(x) = \{y^{(i)}\}_{i=1}^N$ . Diese werden von einem Verifizierer $R$ bewertet und basierend auf einem Schwellenwert $\tau$ in erfolgreiche ( $Y^+$ ) und gescheiterte ( $Y^-$ ) Mengen partitioniert.

Bei der Überwachung eines Ziel-Rollouts $y^{(i)}$ konditioniert MOPD die Lehrerverteilung $q_\phi$ nicht nur auf den Prompt und das Präfix des Ziels, sondern auch auf Peer-Rollouts aus derselben Gruppe (unter Ausschluss des Ziels selbst). Die Lehrerverteilung wird zu:
$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$
wobei $C_i(x)$ der Peer-Kontext ist, der aus $Y^+_{-i}(x)$ und $Y^-_{-i}(x)$ konstruiert wird.

Strategien zur Peer-Kontext-Konstruktion

Die Arbeit untersucht zwei Hauptstrategien zur Konstruktion von $C_i(x)$ :

Positive Peer-Imitation: Der Lehrer wird nur auf erfolgreiche Peer-Trajektorien konditioniert. Dies behandelt erfolgreiche Rollouts als „Peer-Experten", liefert positive Evidenz für gültige Denkmuster und verankert den Schüler an mehreren gültigen Ableitungsstilen statt an einer einzigen Referenz.
Kontrastive Erfolg-Misserfolg-Konditionierung: Der Lehrer wird sowohl auf erfolgreiche als auch auf gescheiterte Peer-Trajektorien konditioniert. Erfolgreiche Peers zeigen auf, wovon das Ziel eine Ähnlichkeit aufweisen sollte, während gescheiterte Peers als strukturierte negative Evidenz dienen, um irreführende Lösungswege zu identifizieren, die vermieden werden sollten. Dieser kontrastive Ansatz hilft dem Lehrer, zwischen oberflächlich ähnlichen korrekten und inkorrekten Trajektorien zu unterscheiden, insbesondere bei Aufgaben mit spärlichen terminalen Belohnungen.

Das Trainingsziel minimiert die Divergenz (Reverse KL für Mathematik, Jensen-Shannon für andere) zwischen der Verteilung des Schülers und der peer-konditionierten Lehrerverteilung über die Token-Sequenz hinweg.

Hauptbeiträge

Framework-Innovation: MOPD ist das erste Framework, das den Lehrer explizit auf dem lokalen Versuchs-und-Irrtums-Raum einer Multi-Rollout-Gruppe eines Schülers konditioniert und die unabhängige Trajektorien-Überwachung in einen vergleichenden Lernprozess verwandelt.
Doppelte Evidenz-Nutzung: Die Methode nutzt sowohl erfolgreiche Peers (positive Evidenz) als auch gescheiterte Peers (negative Evidenz). Die Autoren zeigen, dass gescheiterte Peers nicht bloß Rauschen sind, sondern strukturierte Signale über plausible Fehler, Einschränkungen und Formatierungsfehler liefern.
Signalqualitäts-Analyse: Die Arbeit führt eine direkte Analyse der Selbst-Lehrer-Signalqualität durch und misst, wie gut verschiedene Kontextkonstruktionen die Lehrer-Scores mit den Ground-Truth-Verifizierer-Belohnungen in Einklang bringen. Dies vermeidet Verwechslungen, die mit einfachen Antwort-Wiederherstellungstests verbunden sind.
Empirische Validierung: Umfassende Experimente in den Bereichen Competitive Programming, mathematisches Reasoning, wissenschaftliche QA und Tool-Use zeigen konsistente Verbesserungen gegenüber Standard-On-Policy-Baselines (GRPO, SDPO).

Experimentelle Ergebnisse

Die Autoren evaluierten MOPD an vier Familien von Aufgaben:

Mathematisches Reasoning (AIME2024/2025, HMMT25): MOPD verbesserte den Mean@8 im Vergleich zu SDPO erheblich. Bemerkenswert ist, dass SDPO, das auf reichhaltiges Umgebungsfeedback angewiesen ist, bei mathematischen Aufgaben unterperformte, bei denen nur binäre Verifizierer-Belohnungen verfügbar sind, während sich die peer-augmentierte Überwachung von MOPD als hochwirksam erwies.
Competitive Programming (LiveCodeBench v6): MOPD erzielte unter den verglichenen Methoden State-of-the-Art-Ergebnisse und erreichte 61,82 Mean@8 sowie 67,23 Pass@8 auf Qwen3-8B und übertraf dabei SDPO und GRPO.
Science QA und Tool-Use: MOPD erzielte die beste Leistung in allen Teilbereichen (Biologie, Chemie, Physik, Materialwissenschaft) sowie bei Tool-Use-Benchmarks.

Wichtige Erkenntnisse aus der Analyse

Überlegenheit gemischter Kontexte: Der Kontext „2 Erfolge + 1 Misserfolg" erzielte konsistent die höchste Übereinstimmung mit Verifizierer-Belohnungen über Ranking-Metriken (Spearman, Kendalls $\tau$ ) und Diskriminierungs-Metriken (Pairwise Accuracy, Success AUC).
Rolle der Misserfolge: Während erfolgreiche Peers der Haupttreiber der Signalqualität sind, schärft das Hinzufügen eines gescheiterten Peers zu einem reinen Erfolgskontext die Entscheidungsgrenzen erheblich (z. B. Erhöhung der Pairwise Accuracy von 0,32 auf 0,40).
Vielfalt: MOPD generiert Lösungen mit signifikant höherer lexikalischer (Distinct-1/2) und struktureller (AST Jaccard-Distanz) Vielfalt im Vergleich zu Baselines, was darauf hindeutet, dass Peer-Konditionierung die Exploration verschiedener Lösungsstrategien fördert.
Effizienz: Der rechnerische Overhead von MOPD ist moderat; die Gesamtzeit pro Schritt steigt im Vergleich zu SDPO nur um 9,1 % bei LiveCodeBench und um 33,3 % bei Science QA.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass eine effektive On-Policy-Distillation das Versuchs-und-Irrtums-Verhalten der Multi-Rollouts des Schülers ausnutzen sollte, anstatt Rollouts als isolierte Stichproben zu behandeln. Indem der Lehrer auf Peer-Erfolge und -Misserfolge konditioniert wird, verwandelt sich MOPD in ein lokales Diagnosemodell, das instanzspezifische Fehler erkennen und plausible Misserfolge von korrekten Lösungen unterscheiden kann.

Die Autoren behaupten, dass die Gewinne aus treuerer, instanzadaptiver Überwachung resultieren. Der gemischte Erfolg-Misserfolg-Kontext bringt Lehrer-Scores besser mit Verifizierer-Belohnungen in Einklang, was darauf hindeutet, dass die Methode die strukturierten Informationen erfolgreich nutzt, die innerhalb einer einzelnen Sampling-Gruppe verfügbar sind. Dieser Ansatz schließt die Lücke zwischen Reinforcement Learning (das gruppenrelative Vorteile nutzt) und Distillation (die Token-Ebenen-Überwachung nutzt) und bietet einen Weg, die Reasoning-Fähigkeiten kleinerer Modelle zu verbessern, ohne externe, größere Lehrer oder komplexe Reward-Modellierung zu benötigen.

Die Arbeit kommt zu dem Schluss, dass, obwohl Peer-Konditionierung eine zusätzliche Kontextlänge einführt, die daraus resultierenden Verbesserungen in Korrektheit, Vielfalt und Trainingsstabilität die Kosten rechtfertigen, insbesondere in Domänen, in denen verifizierbare Belohnungen verfügbar, aber spärlich sind.