🤖 AI

The Role of Feedback Alignment in Self-Distillation

Diese Arbeit zeigt, dass Selbstdistillation dann am effektivsten ist, wenn der Selbst-Lehrer auf schrittweise abgestimmte Kritiken eines gefrorenen Kritikers konditioniert ist, da diese strukturelle Ausrichtung gezielt nur fehlerhafte Token adressiert und korrektes Denken bewahrt, wodurch Methoden, die binäre Belohnungen oder Referenzlösungen verwenden, signifikant übertroffen werden.

Ursprüngliche Autoren: Semih Kara, Oğuzhan Ersoy

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Semih Kara, Oğuzhan Ersoy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu lernen, wie man komplexe mathematische Rätsel löst. Sie haben einen klugen Freund (den „Solver“), der versucht, die Rätsel zu lösen, aber manchmal Fehler macht. Und Sie haben einen super-schlauen Tutor (den „Critic“), der die Arbeit des Freundes prüfen und ihm sagen kann, was schiefgelaufen ist.

Dieses Paper handelt davon, wie der Tutor das beste Feedback geben kann, damit der Freund tatsächlich lernt und von selbst besser wird, ohne dass der Tutor ihm jedes Mal die Antwort zuflüstern muss.

Das Problem: Wie man lehrt, ohne die Hand zu halten

Normalerweise trainieren wir KI-Modelle auf eine von zwei Arten:

Die „Ja/Nein“-Methode: Das Modell versucht, ein Problem zu lösen, und wir sagen einfach nur „Richtig“ oder „Falsch“. Das ist wie ein Lehrer, der eine Prüfung nur mit einem roten Stift am Ende bewertet. Der Schüler weiß, dass er versagt hat, aber er weiß nicht, welcher Schritt zum Scheitern geführt hat.
Die „Kopiere den Meister“-Methode: Wir zeigen dem Schüler eine perfekte Lösung, die von einem Experten geschrieben wurde, und sagen: „Kopiere dies.“ Das Problem hierbei ist, dass der Experte das Problem vielleicht auf eine völlig andere Weise löst als der Schüler. Wenn der Schüler in den ersten drei Schritten richtig lag, der Experte diese aber anders gemacht hat, wird der Schüler verwirrt sein und denken, dass seine eigenen korrekten Schritte falsch waren.

Die Lösung: Selbst-Destillation (Der „Zwei-Hüte-Trick“)

Die Forscher verwendeten einen cleveren Trick namens Selbst-Destillation. Stellen Sie sich vor, der Schüler setzt zwei verschiedene Hüte auf:

Hut A (Der Schüler): Versucht, das Rätsel alleine zu lösen.
Hut B (Der Lehrer): Versucht, dasselbe Rätsel zu lösen, darf aber dieses Mal ein „Spickzettel“ (Feedback) vom Tutor lesen, bevor er antwortet.

Das Ziel ist es, den „Schüler-Hut“ darauf zu trainieren, genau wie der „Lehrer-Hut“ zu agieren, auch wenn der Spickzettel nicht da ist. Auf diese Weise verinnerlicht der Schüler die Weisheit des Tutors.

Das Experiment: Drei Wege, den Spickzettel zu schreiben

Die Forscher testeten drei verschiedene Möglichkeiten, den „Spickzettel“ (den Kontext) für den Lehrer-Hut zu schreiben:

Die „Bewertungsbogen“-Methode (GRPO): Nur eine einfache „Richtig“ oder „Falsch“-Bewertung am Ende.
- Ergebnis: Der Schüler lernt ein wenig, aber es ist, als würde man versuchen, eine Nadel im Heuhaufen zu finden. Er weiß nicht genau, wo er sich vertan hat.
Die „Perfekte Lösung“ (RefSol): Der Spickzettel enthält die vollständige, perfekte Lösung, die von einem Experten geschrieben wurde.
- Ergebnis: Besser als der Bewertungsbogen, aber immer noch unordentlich. Da der Experte vielleicht schreibt „Schritt 1: Addiere 5“, während der Schüler schrieb „Schritt 1: Berechne die Summe“, wird der Schüler verwirrt. Der Lehrer versucht, den Schüler zu zwingen, jeden Schritt an den Stil des Experten anzupassen, selbst die Schritte, die der Schüler richtig gemacht hat. Es ist wie ein Trainer, der zu einem Läufer sagt: „Du bist gut gelaufen, aber du hättest die Knie höher heben, die Arme anders schwingen und in einem anderen Rhythmus atmen sollen“, obwohl der Läufer bereits perfekt lief.
Die „Schritt-für-Schritt-Kritik“ (StepAlignFB): Dies ist der Gewinner. Der Tutor sieht sich die tatsächliche Arbeit des Schülers an. Wenn der Schüler einen Schritt richtig gemacht hat, sagt der Tutor: „Toll, mach genau so weiter.“ Wenn der Schüler einen Fehler gemacht hat, sagt der Tutor: „Stopp hier. Du bist bei Schritt 4 falsch abgebogen. Hier ist die Korrektur“, und fährt dann unter Verwendung des eigenen Stils des Schülers fort.
- Ergebnis: Dies war die effektivste Methode. Es ist wie ein Trainer, der den Läufer beobachtet und sagt: „Deine ersten drei Schritte waren perfekt, behalte diesen Rhythmus bei! Aber dein vierter Schritt war zu kurz. Korrigiere nur diesen einen, und mache dann genau so weiter, wie du warst.“

Die große Entdeckung: „Faithful Scribe“ (Der treue Schreiber)

Das Paper fand heraus, dass das Wichtigste die Ausrichtung (Alignment) ist. Das Feedback muss zu dem eigenen Weg des Schülers passen.

Die „Induction Head“-Analogie: Die Forscher entdeckten, dass KI-Modelle eine eingebaute Gewohnheit namens „Induktion“ haben. Wenn man ihnen ein Muster im Text zeigt, neigen sie dazu, es zu kopieren.
- Wenn man dem Schüler seine eigene falsche Antwort zeigt und dann sagt „Korrigiere dies“, wird die KI verwirrt und kopiert den falschen Teil immer wieder, weil er direkt dort im Text steht.
- Die gewinnende Strategie war, die korrekten Teile des Schülers Wort für Wort zu kopieren (damit die KI sie als „gut“ ansieht und sie beibehält), aber den falschen Teil wegzulassen und durch die Korrektur zu ersetzen. Dies überlistet die KI dahingehend, dass sie denkt: „Oh, die Teile, die ich vorher geschrieben habe, waren gut, also werde ich sie behalten. Der Teil, der fehlt, muss derjenige sein, der korrigiert werden muss.“

Das Fazit

Das Paper kommt zu dem Schluss, dass die Art und Weise, wie man Feedback gibt, wichtiger ist als nur irgendein Feedback zu geben.

Schlechtes Feedback: „Du hast versagt.“ (Zu vage)
Akzeptables Feedback: „Hier ist die perfekte Antwort.“ (Zu unterschiedlich zum Stil des Schülers, was zu Verwirrung führt)
Bestes Feedback: „Du hast diese Schritte perfekt gemacht. Du hast bei diesem spezifischen Schritt einen Fehler gemacht. Hier ist die Korrektur. Und nun mache genau so weiter, wie du warst.“

Durch die Verwendung dieser „Schritt-ausgerichteten Kritik“ lernte das Modell, seine Fehler zu korrigieren, ohne das Vertrauen in die Teile zu verlieren, die es bereits richtig gemacht hatte, was zu wesentlich besseren mathematischen Fähigkeiten führte als die anderen Methoden.

Technisches Resümee: Die Rolle von Feedback-Alignment bei der Selbst-Distillation

Problemstellung

Das Post-Training von Large Language Models (LLMs) für logisches Denken stützt sich typischerweise auf Reinforcement Learning from Verifiable Rewards (RLVR), wie etwa Group Relative Policy Optimization (GRPO). Obwohl RLVR effektiv ist, leidet es unter spärlicher Kreditausweisung (sparse credit assignment): Eine einzelne skalare Belohnung für die finale Antwort gibt keinen Aufschluss darüber, an welcher Stelle im Reasoning-Trace das Modell einen Fehler gemacht hat. Im Gegensatz dazu bietet Knowledge Distillation eine dichte, Token-basierte Supervision, erfordert jedoch Zugriff auf die Logits eines stärkeren Teacher-Modells, was oft nicht verfügbar oder kostspielig ist.

Selbst-Distillation versucht, diese Lücke zu schließen, indem dasselbe Modell als Student und Teacher unter verschiedenen Kontexten verwendet wird. Der Student konditioniert nur auf die Frage, während der „Self-Teacher“ auf die Frage plus zusätzlichen Kontext (z. B. Referenzlösungen oder Feedback) konditioniert. Vorherige Arbeiten haben diesen Kontext jedoch weitgehend als eine feste Wahl behandelt, ohne zu untersuchen, wie die Struktur des Feedbacks das Lernsignal beeinflusst. Diese Arbeit stellt die Frage: Welche Form des Feedbacks erzeugt den effektivsten Self-Teacher für die Selbst-Distillation?

Methodik

Die Autoren implementieren ein Solver–Critic-Setup, um die Selbst-Distillation im Bereich des mathematischen Denkens zu untersuchen.

Setup: Ein trainierbarer Solver ( $\pi_\theta$ ) generiert Reasoning-Traces für mathematische Probleme. Ein eingefrorener Critic ( $\pi_{critic}$ ) analysiert diese Traces und erzeugt Feedback. Der Solver wird anschließend mittels Selbst-Distillation aktualisiert, indem die Divergenz zwischen seiner Output-Verteilung (konditioniert auf die Frage allein) und der Verteilung des Self-Teachers (konditioniert auf die Frage plus das Feedback des Critics) minimiert wird.
Experimentelle Bedingungen: Die Studie vergleicht drei verschiedene Feedback-Kontexte:
- GRPO: Ein Standard-RLVR-Baseline unter Verwendung binärer Belohnungen (korrekt/inkorrekt) ohne Selbst-Distillation.
- RefSol (Reference Solution): Der Self-Teacher ist auf eine Ground-Truth-Referenzlösung (Chain-of-Thought) eines stärkeren Modells konditioniert.
- StepAlignFB (Step-Aligned Critique): Der Self-Teacher ist auf eine Kritik konditioniert, die vom Critic generiert wurde. Entscheidend ist, dass diese Kritik strukturell ausgerichtet ist auf den spezifischen Reasoning-Trace des Solvers. Der Critic wird angewiesen, die korrekten Schritte des Solvers wortgetreu zu kopieren und nur die spezifischen Schritte zu modifizieren, in denen Fehler auftreten, um den Stil und die Notation des Solvers für die korrekten Teile beizubehalten.
Mechanismus-Analyse: Die Autoren analysieren den „Per-Token Advantage“ (das Log-Verhältnis der Wahrscheinlichkeiten zwischen Teacher und Student), um zu verstehen, wie verschiedene Feedback-Typen das Verhalten des Modells verschieben. Sie untersuchen zudem die Rolle von „Induction Heads“ (Mechanismen, die In-Context-Muster kopieren), in der Art und Weise, wie das Modell wortgetreue Wiederholungen im Feedback verarbeitet.

Zentrale Beiträge & Erkenntnisse

1. Step-Aligned Feedback übertrifft Referenzlösungen

Die StepAlignFB-Bedingung liefert die größten Leistungssteigerungen und übertrifft sowohl GRPO als auch die auf RefSol basierende Selbst-Distillation.

Ergebnisse: Auf dem OpenMathReasoning-Datensatz (Avg@12 Metrik) erreichte StepAlignFB 35,83, verglichen mit 30,56 für RefSol und 19,72 für GRPO.
Bedeutung: Trotz der Tatsache, dass StepAlignFB niemals die Ground-Truth-Ableitung sieht, übertrifft es RefSol. Dies deutet darauf hin, dass die Ausrichtung (Alignment) des Feedbacks auf die spezifische Trajektorie des Solvers entscheidender ist als die bloße Anwesenheit einer korrekten Lösung.

2. Implizite Prozess-Supervision durch strukturelle Ausrichtung

Die Per-Token-Advantage-Analyse offenbart den Mechanismus hinter dem Erfolg von StepAlignFB:

Lokalisierung: Step-aligned Feedback konzentriert distributional Shifts (negative Advantages) spezifisch auf jene Tokens, an denen das Reasoning fehlschlägt. Es verstärkt korrekte Schritte, indem es diese wortgetreu beibehält (was positive Advantages erzeugt). Dies imitiert das Verhalten eines Process Reward Models (PRM), wird jedoch vollständig aus natürlicher Sprachfeedback abgeleitet, ohne ein separates Reward-Modell trainieren zu müssen.
Diffusion in RefSol: Im Gegensatz dazu führt die Konditionierung auf eine Referenzlösung zu einem „diffusen suppressiven Signal“. Selbst wenn der Schritt des Solvers korrekt ist, verwendet die Referenzlösung oft eine andere Formulierung oder Notation. Dies führt dazu, dass der Self-Teacher korrekte Tokens bestraft, nur weil sie von der Referenz abweichen, wodurch das Lernsignal durch stilistische Diskrepanzen verwässert wird.

3. Die Rolle des Induction-Head-Kopierens

Das Paper identifiziert ein kritisches Designmuster für das Feedback des Critics, das als „Faithful-Scribe Convention“ bezeichnet wird:

Vollständige wortgetreue Wiederholung: Wenn der Critic den gesamten Versuch des Solvers (einschließlich der Fehler) wortgetreu wiederholt, verankern sich die Induction Heads des Modells an den inkorrekten Tokens, was dazu führt, dass der Teacher den Fehler reproduziert.
Auslassung: Wenn der Critic die korrekten Schritte des Solvers gänzlich weglässt, driftet die Verteilung des Teachers von der korrekten Argumentation des Solvers weg.
Partielle Wiederholung (Die Lösung): Die optimale Strategie besteht darin, die korrekten Schritte des Solvers wortgetreu bis zum Fehler zu wiederholen, den fehlerhaften Schritt durch eine Korrektur zu ersetzen und dann fortzufahren. Dies nutzt das Kopieren durch Induction Heads, um korrekte Präfixe zu verstärken, während die Korrektur die Fehlerstelle steuern kann.

Bedeutung und Behauptungen

Das Paper argumentiert, dass der primäre Vorteil der Selbst-Distillation nicht bloß der Zugriff auf zusätzlichen Kontext ist, sondern der Zugriff auf einen Kontext, dessen Struktur mit der Reasoning-Trajektorie des Studenten übereinstimmt.

Strukturelle Ausrichtung > Feedback-Qualität: Eine vollständige, korrekte Ableitung ist ein starkes Signal, aber in der Selbst-Distillation scheitert sie, weil sie in der Oberflächenform von der Spur des Solvers abweicht. Step-aligned Critique ist erfolgreich, weil es die tatsächliche Spur des Solvers adressiert und das Signal genau dort konzentriert, wo das Reasoning fehlschlägt.
Implizites PRM: Step-aligned Feedback bietet eine Form der impliziten Prozess-Supervision, die Fehler lokalisiert, ohne den Rechenaufwand für das Training eines separaten Schritt-basierten Reward-Modells zu erfordern.
Praktischer Kompromiss: Obwohl StepAlignFB überlegen ist, stellen die Autoren fest, dass es ein leistungsfähiges Kritik-Modell erfordert, um qualitativ hochwertiges, step-aligned Feedback zu generieren, was die Trainingskosten und die Systemkomplexität im Vergleich zu einfacher RefSol-Konditionierung oder binären Belohnungen erhöht.

Die Studie beschränkt sich auf den OpenMathReasoning-Datensatz und das mathematische Denken; die Autoren geben explizit an, dass weitere Arbeiten nötig sind, um zu bestimmen, ob diese Vorteile auf andere Domänen, Modellgrößen oder Solver-Critic-Konfigurationen übertragbar sind.