🤖 AI

Finding the Evidence: Discovering Decision-Supporting Tokens for On-Policy Reasoning Distillation

Das Papier schlägt DEAR vor, ein neuartiges On-Policy-Distillations-Framework, das den Reasoning-Transfer verbessert, indem es nicht nur Entscheidungspunkte über die Unsicherheit des Studenten identifiziert, sondern auch kritische unterstützende Evidenz-Token durch Ähnlichkeit und Divergenz der Hidden States, wodurch es Standardmethoden bei Mathe- und Code-Benchmarks übertrifft.

Ursprüngliche Autoren: Jinwei Xiao, Zhuowen Han, Yueqing Sun, Zhengxi Lu, Yuxin Liu, Zhiyuan Yao, Wentao Chen, Qi Gu, Xunliang Cai

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinwei Xiao, Zhuowen Han, Yueqing Sun, Zhengxi Lu, Yuxin Liu, Zhiyuan Yao, Wentao Chen, Qi Gu, Xunliang Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Lehrling (dem Schüler) beizubringen, komplexe Rätsel zu lösen, indem er einem Meisterhandwerker (dem Lehrer) zusieht.

In der Welt der KI wird dieser Prozess als On-Policy Distillation bezeichnet. Der Lehrling versucht, ein Problem zu lösen, während der Lehrer zuschaut und jedes einzelne Wort korrigiert, das der Lehrling schreibt.

Das Paper argumentiert, dass die derzeitige Art und Weise, dies zu tun, fehlerhaft ist. Es ist, als würde der Lehrer jedes einzelne Wort korrigieren, das der Lehrling schreibt, von „Lass uns anfangen“ bis hin zu „Die Antwort ist 42“. Dies überfordert den Lehrling mit zu viel Rauschen.

Die Autoren haben entdeckt, dass nicht alle Wörter gleichwertig sind. Sie fanden heraus, dass Denkketten tatsächlich zwei sehr unterschiedliche Arten von „Wissen“ enthalten, und dass man sie auf zwei verschiedene Arten lehren muss.

Die zwei Arten von Wissen: Die „Wendung“ und der „Beweis“

Um die Entdeckung des Papers zu verstehen, stellen Sie sich vor, der Lehrling navigiert durch ein Labyrinth.

Entscheidungs-Token (Die Wendungen): Dies sind die Momente, in denen der Lehrling einen Pfad wählen muss. „Soll ich links oder rechts gehen?“ „Soll ich addieren oder subtrahieren?“
- Wie wir sie finden: Wenn der Lehrling unsicher ist, zögert er. In der KI-Sprache bedeutet dies hohe Unsicherheit (oder hohe „Entropie“). Aktuelle Methoden sind gut darin, diese Momente zu erkennen, weil der Lehrling sichtlich verwirrt ist.
- Analogie: Dies sind die Kreuzungen. Der Lehrer weiß, wann er stoppen und sagen muss: „Hey, schau hier her! Hier musst du intensiv nachdenken.“
Evidenz-Token (Der Beweis): Dies sind die Schritte, die der Lehrling nach einer Entscheidung unternimmt. „Ich habe mich für links entschieden, also werde ich 10 Schritte gehen.“
- Das Problem: Manchmal ist der Lehrling selbstbewusst, aber falsch. Er sagt vielleicht selbstbewusst: „Ich werde 10 Schritte gehen“, aber der Lehrer weiß, dass der Pfad eigentlich 12 Schritte lang ist. Weil der Lehrling so selbstbewusst ist, zögert er nicht. Sein „Unsicherheitsmesser“ bleibt niedrig.
- Der blinde Fleck: Aktuelle Lehrmethoden suchen nur nach den „unsicheren“ Momenten (den Wendungen). Sie übersehen diese „selbstbewusst falschen“ Schritte komplett. Der Lehrling lernt zwar, wo er abbiegen muss, aber nicht, wie er den Pfad korrekt beschreitet. Er lernt das Skelett der Argumentation, aber nicht das Fleisch und Blut.

Die Lösung: DEAR (Decision-Evidence Aware Reasoning)

Die Autoren schlagen eine neue Methode namens DEAR vor. Anstatt nur nach Verwirrung zu suchen, nutzt DEAR einen zweistufigen Detektivprozess, um die verborgenen „selbstbewusst falschen“ Schritte zu finden.

Schritt 1: Finde die Wendungen (Entscheidungen)
Genau wie zuvor sucht das System nach den Momenten, in denen der Lehrling unsicher ist. Dies sind die „Entscheidungs-Token“.

Schritt 2: Finde den Beweis (Evidenz)
Dies ist der clevere Teil. Sob es das System eine „Wendung“ findet, fragt es: „Welche anderen Schritte in diesem Satz sind mit dieser Wendung verbunden?“

Die Analogie: Stellen Sie sich vor, der Lehrling schreibt eine Geschichte. Die „Wendung“ ist der Plot-Twist. Die „Evidenz“ ist der Absatz, der erklärt, warum dieser Twist passiert ist. Selbst wenn der Lehrling die Erklärung selbstbewusst schreibt (und vielleicht ein Detail falsch wiedergibt), ist dieser Absatz dennoch tief mit dem Plot-Twist verbunden.
Wie DEAR es macht: Es untersucht die „verborgenen Gedanken“ (interne Daten) der KI. Es prüft, ob die „selbstbewussten“ Wörter eine ähnliche „Vibe“ oder einen ähnlichen Kontext mit den „unsicheren“ Entscheidungswörtern teilen. Wenn sie dies tun, markiert DEAR sie als wichtige Evidenz-Token, die korrigiert werden müssen, selbst wenn der Lehrling keine Verwirrung gezeigt hat.

Es fügt zudem eine „Lückenprüfung“ hinzu: Wenn Lehrer und Schüler sich bei einem Schritt stark uneinig sind, erhält dieser Schritt besondere Aufmerksamkeit.

Warum das wichtig ist (Die Ergebnisse)

Das Paper hat dies an Mathematikproblemen und Programmieraufgaben getestet.

Das Ergebnis: Indem man dem Lehrling nicht nur beibrachte, wo er abbiegt, sondern auch, wie er den Pfad beschreitet (die Evidenz), wurde der Schüler viel besser.
Die Zahlen:
- In Mathematik-Wettbewerben verbesserte die neue Methode die Punktzahlen um bis zu 2,5 Prozentpunkte.
- In der Programmierung verbesserte sie die Punktzahlen um bis zu 5,7 Prozentpunkte.
- Entscheidend ist, dass sie am meisten bei den schwierigsten Problemen half, bei denen lange Denkketten erforderlich sind.

Zusammenfassung in Kürze

Denken Sie an die alte Methode als einen Lehrer, der den Schüler nur dann stoppt, wenn er an einer Kreuzung verloren wirkt.
DEAR ist ein Lehrer, der den Schüler an der Kreuzung stoppt UND auch die Schritte kontrolliert, die er unmittelbar danach unternommen hat, um ihn zu korrigieren, selbst wenn der Schüler selbstbewusst in die falsche Richtung gelaufen ist.

Durch das Finden dieser „verborgenen“ Fehler lernt der Schüler die vollständige Logik der Lösung, nicht nur die übergeordneten Entscheidungen.

Technisches Resümee: Die Suche nach dem Beweis für On-Policy-Reasoning-Distillation

1. Problemstellung

On-Policy-Distillation (OPD) hat sich als dominantes Paradigma etabliert, um kleine Modelle durch die Bereitstellung von dichter Token-Ebene-Supervision durch ein Lehrer-Modell das Schlussfolgern (Reasoning) beizubringen. Aktuelle OPD-Methoden stehen jedoch vor einer kritischen Einschränkung: Sie versagen dabei, zwischen verschiedenen Arten von Wissen innerhalb von Reasoning-Ketten zu unterscheiden. Das Training auf allen Tokens verwässert das Lernsignal, während jüngste entropiebasierte Selektionsmethoden (z. B. Wang et al., 2026) lediglich „Entscheidungs-Tokens“ (Decision Tokens) erfassen (Positionen, an denen der Student unsicher ist), aber „Evidenz-Tokens“ (Evidence Tokens) übersehen.

Das Paper identifiziert einen strukturellen blinden Fleck bestehender Methoden:

Entscheidungs-Tokens (Decision Tokens): Positionen, an denen der Student echte Unsicherheit aufweist (z. B. Verzweigungspunkte, Strategiewahlen). Diese werden natürlich durch hohe Student-Entropie identifiziert.
Evidenz-Tokens (Evidence Tokens): Zwischenschritte, die Entscheidungen rechtfertigen (z. B. Ableitungen, Variablen-Substitutionen). Diese treten oft dort auf, wo der Student zuversichtlich, aber falsch liegt. Da der Student zuversichtlich ist, ist die Entropie niedrig, was diese Tokens für entropiebasierte Selektoren unsichtbar macht. In der Folge bleibt substanzielles Reasoning-Wissen unübertragen, was dazu führt, dass Studenten zwar wissen, wann sie verzweigen müssen, aber nicht, wie sie die Verzweigung korrekt ausführen.

2. Methodik: DEAR (Decision-Evidence Aware Reasoning Distillation)

Die Autoren schlagen DEAR vor, einen zweistufigen Token-Selektionsmechanismus, der darauf ausgelegt ist, sowohl Entscheidungs- als auch Evidenz-Tokens für das OPD-Training zu erfassen.

Stufe 1: Identifikation von Entscheidungen (Decision Identification)

Die Methode identifiziert Entscheidungs-Tokens zunächst mittels der Student-Entropie ( $H^S_t$ ). Die Top- $p\%$ -Tokens mit der höchsten Entropie werden als Entscheidungsmenge ( $D$ ) ausgewählt. Diese Tokens markieren das „Skelett“ des Reasoning-Prozesses, bei dem der Student eine Wahl treffen muss.

Stufe 2: Entdeckung von Evidenz (Evidence Discovery)

Um die unterstützenden Evidenz-Tokens zu finden, welche die Entropie übersieht, nutzt DEAR die Beziehung zwischen Entscheidungen und ihrem umgebenden Kontext:

Kontextuelle Ähnlichkeit: Die Methode extrahiert die Hidden States des Studenten ( $h^L_t$ ) aus der tiefsten Transformer-Schicht. Für jeden Nicht-Entscheidungs-Token berechnet sie die Cosinus-Ähnlichkeit zum nächstgelegenen Entscheidungs-Anker (irgendein Token in der Menge $D$ ). Eine hohe Ähnlichkeit deutet darauf hin, dass der Token am selben Reasoning-Kontext teilnimmt (d. h. er ist Teil der Ableitung, die eine Entscheidung stützt).
Knowledge Gap Boosting: Nicht alle kontextuell ähnlichen Tokens erfordern eine Korrektur. Um Tokens zu priorisieren, bei denen dem Studenten das Wissen fehlt, integriert die Methode die Lehrer-Student-Divergenz ( $\delta_t = |\log \pi_\theta(y_t) - \log \pi_T(y_t)|$ ).
Scoring: Ein Evidenz-Salienz-Score ( $s_j$ ) wird für Nicht-Entscheidungs-Tokens berechnet:
$s_j = \hat{a}_j \times (1 + \hat{\delta}_j)$
Wobei $\hat{a}_j$ die normalisierte Cosinus-Ähnlichkeit ist (die als Gate fungiert, um Rauschen zu filtern) und $\hat{\delta}_j$ die normalisierte Divergenz (die Tokens mit großen Wissenslücken verstärkt).
Selektion: Die Top- $q\%$ -Nicht-Entscheidungs-Tokens mit den höchsten Scores bilden die Evidenzmenge ( $E$ ).

Finales Trainingsziel

Der finale Trainingssatz $S$ ist die Vereinigung von Entscheidungen und Evidenz ( $S = D \cup E$ ). Der OPD-Loss wird ausschließlich über diese ausgewählten Tokens berechnet, um sicherzustellen, dass das Modell sowohl die Verzweigungsstrategie als auch die substanziellen Zwischenschritte lernt.

3. Kernbeiträge

Dekomposition von Reasoning-Ketten: Das Paper zeigt empirisch auf, dass Reasoning-Ketten aus zwei unterschiedlichen Arten von Wissen bestehen, die verschiedene Entdeckungsmechanismen erfordern: Entscheidungen (hohe Entropie) und Evidenz (niedrige Entropie, hohe Divergenz).
Entdeckungsmechanismus: Es führt eine Methode ein, um „selbstbewusst falsche“ Evidenz-Tokens zu entdecken, indem Hidden-State-Cosinus-Ähnlichkeit (um Tokens mit Entscheidungen zu verknüpfen) mit Divergenz-Boosting (um Wissenslücken zu priorisieren) kombiniert wird. Dies überwindet die strukturelle Unmöglichkeit der entropiebasierten Selektion, diese Tokens zu finden.
Leistungssteigerungen: DEAR übertrifft Standard-OPD und Offline-Wissensdistillation über mehrere Benchmarks hinweg konsistent.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DEAR über drei Student-Teacher-Konfigurationen (unterschiedliche Modellfamilien und Größen) auf sechs mathematischen Reasoning-Benchmarks und drei Code-Generierungs-Benchmarks.

Mathematisches Reasoning:
- DEAR erreichte eine Verbesserung von bis zu 2,5 Prozentpunkten (pp) bei Wettbewerbs-Mathematik (z. B. AIME) im Vergleich zu Standard-OPD.
- Die Gewinne waren am ausgeprägtesten bei der „Cross-Family“-Distillation (Setting B: Qwen2.5-1.5B Student, Qwen3-4B Teacher), wo die Wissenslücke am größten ist.
- Bei AIME 2024 (Setting A) erreichte DEAR eine Genauigkeit von 4,58 % gegenüber 2,08 % für Standard-OPD (eine 2,2-fache Verbesserung).
Code-Generierung:
- DEAR verbesserte die Pass-Raten um +5,74 pp bei MBPP, +2,13 pp bei HumanEval und +2,56 pp bei APPS.
- Bemerkenswerterweise verschlechterte Standard-OPD die Leistung auf MBPP im Vergleich zum Basismodell, während DEAR dies löste, was darauf hindeutet, dass es Rauschen in der Codegenerierung effektiv herausfiltert.
Signal-Analyse:
- Die reine Entropie-Selektion erfasste nur etwa 39 % der gesamten Gradientenmasse.
- Die Einbeziehung von Evidenz-Tokens durch DEAR erhöhte die Erfassung der Gradientenmasse auf ~76 %, was die effektive Lernsignal fast verdoppelt.
- Die Analyse bestätigte, dass Evidenz-Tokens in der „Low-Entropy, High-Divergence“-Region konzentriert sind, die von entropiebasierten Methoden systematisch ignoriert wird.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass vollständige Reasoning-Distillation erfordert, nicht nur zu übertragen, wo entschieden wird, sondern auch das Wissen, das diese Entscheidungen rechtfertigt.

Jenseits der Entropie: Die Arbeit stellt die vorherrschende Annahme infrage, dass hoch-entropische Tokens die alleinigen Träger von Reasoning-Fähigkeiten sind. Sie zeigt, dass „selbstbewusste Fehler“ kritisches, unübertragenes Wissen enthalten.
Strukturelle Einsicht: Durch die Identifizierung der Tatsache, dass Evidenz-Tokens im Hidden-State-Raum um Entscheidungen clustern, liefert das Paper einen Mechanismus zur Rückgewinnung substanzieller Reasoning-Schritte, die zuvor für Selektionsalgorithmen unsichtbar waren.
Skalierbarkeit: Die Gewinne skalieren mit der Schwierigkeit der Probleme; schwierigere Probleme mit längeren Evidenz-Ketten profitieren am meisten vom Entdeckungsmechanismus für Evidenz.

Die Autoren bleiben bescheiden und merken an, dass die Entscheidungs-Evidenz-Struktur primär in Mathematik und Code verifiziert wurde und dass die aktuelle Token-Klassifizierung auf oberflächlichen Heuristiken statt auf kausaler Intervention beruht. Sie schlagen vor, dass zukünftige Arbeiten ein adaptives Scheduling der Selektionsverhältnisse ( $p, q$ ) während des Trainings untersuchen könnten.