Technische Zusammenfassung: Adaptive Lehrer-Exposition für Selbst-Distillation im LLM-Reasoning (ATESD)

1. Problemstellung: Lehrerseitige Expositionsdiskrepanz

Während On-Policy-Selbst-Distillation (OPSD) als dominante Methode zur Verbesserung des Reasoning von Large Language Models (LLM) hervorgetreten ist, indem sie die Überwachung mit den eigenen Rollouts des Schülers abstimmt, identifiziert diese Arbeit einen kritischen, bisher ununtersuchten Engpass: die lehrerseitige Expositionsdiskrepanz.

Bei der Standard-OPSD konditioniert der „Lehrer" (eine eingefrorene Kopie des Modells) bei der Bereitstellung von Token-Level-Überwachung auf die vollständige Referenzlösung (privilegiertes Chain-of-Thought). Die Autoren argumentieren, dass diese Standardannahme – dass mehr privilegierte Information immer eine bessere Überwachung darstellt – fehlerhaft ist.

• Die Diskrepanz: Wenn die vollständige Referenz-Reasoning die aktuelle Kompetenz des Schülers weit übersteigt (häufig bei schwierigen Problemen), werden die resultierenden Token-Ziele zu stark, um absorbiert zu werden. Die Vorhersageverteilung des Lehrers wird übermäßig scharf und konzentriert sich auf Token, die der Schüler noch nicht generieren kann, wodurch ein Überwachungssignal entsteht, das informativ, aber nicht lernbar ist.
• Empirische Evidenz: Kontrollierte Durchläufe mit festen Expositionsniveaus ($\alpha \in [0, 1]$) auf AIME 2024 offenbaren zwei Schlüsselmuster:
  1. Suboptimalität der vollen Exposition: Mittlere Expositionsniveaus (z. B. $\alpha=0,5$) übertreffen oft die volle Exposition ($\alpha=1,0$).
  2. Monotones Wachstum der Diskrepanz: Die Lehrer-Schüler-Verteilungsdiskrepanz (gemessen durch On-Policy-KL-Divergenz und Top-1-Abweichung) wächst monoton, je mehr privilegierte Reasoning der Lehrer sieht.
  3. Regime-Abhängigkeit: Das optimale Expositionsniveau variiert je nach Problemschwierigkeit (einfache Probleme bevorzugen volle Exposition; schwierige Probleme bevorzugen geringere Exposition), was darauf hindeutet, dass ein einzelnes festes Standardwert unzureichend ist.

2. Methodik: ATESD

Um dies zu adressieren, schlagen die Autoren die Adaptive Lehrer-Exposition für Selbst-Distillation (ATESD) vor. Dieses Framework behandelt die Lehrer-Exposition nicht als festen Hyperparameter, sondern als eine lernbare, vom Trainingszustand abhängige Kontrollvariable.

Kernkomponenten

1. Expositionsmodulierter Lehrer:

   • Anstatt auf die vollständige Referenz $y^*$ zu konditionieren, konditioniert der Lehrer auf einen abgeschnittenen Präfix $truncate(y^*, \alpha_t)$, wobei $\alpha_t \in [0, 1]$ das Expositionsverhältnis ist.
   • Der Schnitt erfolgt nur am Reasoning-Präfix; die finale in Klammern gesetzte Antwort wird stets beibehalten, um die Aufgabenbeschränkung zu wahren.
   • Das Schüler-Rollout-Protokoll bleibt unverändert (On-Policy-Sampling aus dem Problem-ausschließenden Prompt), wodurch sichergestellt wird, dass der Vergleich isoliert den Effekt des Lehrerkontexts erfasst.

2. Beta-Expositionscontroller ($\pi_\phi$):

   • Ein leichtgewichtiges Multi-Layer Perceptron (MLP) bildet kompakte Trainingszustandsstatistiken (z. B. aktueller Verlust, Diskrepanz-EMAs, Schüler-Selbstvertrauen) auf die Konzentrationsparameter $(a_t, b_t)$ einer Beta-Verteilung ab.
   • Der Controller sampelt ein globales Expositionsverhältnis $\alpha_t$ für ein Hold-Fenster von $H$ Schüler-Updates. Dies stellt sicher, dass eine einzelne Entscheidung ein kurzes Episode-Intervall steuert und eine stabile Kreditvergabe ermöglicht.
   • Die Beta-Verteilung ist so eingeschränkt, dass sie unimodal ist ($a, b > 1$), was der Policy erlaubt, ein bevorzugtes Expositionsniveau mit variierendem Vertrauen zu lernen.

3. Geschlossener Regelkreis-Training mit verzögerter Kreditvergabe:

   • Herausforderung: Expositionsentscheidungen beeinflussen den zukünftigen Lernfortschritt des Schülers, nicht nur den unmittelbaren Verlust. Eine Entscheidung mit hoher Exposition könnte langfristig vorteilhaft sein, auch wenn sie einen vorübergehenden Verlustspike verursacht.
   • Lösung: Der Controller wird mittels REINFORCE mit einem diskontierten Lernfortschritts-Belohnungssignal trainiert.
   • Belohnungssignal ($R$): Setzt sich aus zwei Teilen zusammen:
     • $G_{lp}$: Diskontierte Summe positiver Verlustverbesserungen über ein Lookahead-Fenster ($L$ Schritte).
     • $G_{gt}$: Ein lehrerbasiertes Kredit-Score basierend auf der Log-Wahrscheinlichkeit verifizierter Referenz-Token, wodurch sichergestellt wird, dass die gewählte Exposition weiterhin mit der Ground Truth übereinstimmt.
   • Dieser Ansatz adressiert das Problem der verzögerten Kreditvergabe, das der On-Policy-Distillation inhärent ist, und vermeidet die kurzsichtige Verzerrung von einstufigen Verlust-Proxy-Metriken.

3. Hauptbeiträge

1. Identifikation der lehrerseitigen Expositionsdiskrepanz: Die Arbeit formalisiert die Beobachtung, dass vollständige privilegierte Reasoning nicht universell optimal ist und dass die Diskrepanz mit der Exposition wächst, was den Wechsel von festen Standardwerten zu adaptiver Steuerung motiviert.
2. ATESD-Framework: Eine neuartige Methode, die Exposition als kontinuierliche, lernbare Variable über einen Beta-Policy-Controller modelliert, der mit einem Zwei-Zeitskalen-Schema (schnelle Schüler-Updates, langsame Controller-Updates) und verzögerten Belohnungssignalen trainiert wird.
3. Empirische Validierung: Umfassende Experimente zeigen, dass adaptive Exposition konsistent feste Exposition und Standard-Baselines über verschiedene Modellgrößen und Reasoning-Benchmarks hinweg übertrifft.

4. Experimentelle Ergebnisse

Die Methode wurde an AIME 2024, AIME 2025 und HMMT 2025 unter Verwendung von Qwen3-Modellen (1,7B, 4B und 8B) evaluiert.

• Leistungssteigerungen: ATESD übertraf konsistent die OPSD-Baseline und andere RL/Distillation-Baselines (SFT, GRPO).
  • Qwen3-1,7B: +0,95 Average@12 Punkte über OPSD.
  • Qwen3-4B: +2,05 Average@12 Punkte über OPSD (Erreichen von 65,65 Average@12).
  • Qwen3-8B: +2,33 Average@12 Punkte über OPSD.
• Ablationsstudien:
  • Verzögerte Kreditvergabe: Das Entfernen des verzögerten Lookahead-Belohnungssignals (Verwendung unmittelbarer einstufiger Rückmeldung) verschlechterte die Leistung signifikant (52,22 vs. 59,17), was die Notwendigkeit einer langfristigen Kreditvergabe bestätigt.
  • Gelernt vs. Fest: Die gelernte Policy (59,17) übertraf die beste feste Expositionseinstellung (57,44) und die unkontrollierte stochastische Exposition (54,94), was beweist, dass der Controller eine dynamische Strategie lernt und nicht einfach eine statische optimale Konstante auswählt.
  • Reduktion der Diskrepanz: Auf festen positiven Trajektorien reduzierte die adaptive Exposition die Token-Level-Lehrer-Schüler-KL-Divergenz (von 0,0136 auf 0,0061), was zeigt, dass sie verhindert, dass der Lehrer den Schüler übermäßig einschränkt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass adaptive Lehrer-Exposition eine effektive neue Achse für die Reasoning-Selbst-Distillation darstellt. Indem der Zugriff des Lehrers auf privilegierte Information als kontrollierbare Variable und nicht als feste Annahme behandelt wird, löst ATESD das Analogon der Rollout-Diskrepanz auf der Überwachungsseite.

Die Autoren betonen, dass ihr Beitrag nicht lediglich ein neues Curriculum oder eine andere Schüler-Trainingsverteilung ist, sondern eine fundamentale Verschiebung darin, wie der Lehrer auf Referenzlösungen konditioniert. Die Methode etabliert, dass:

• Vollständige Exposition ein suboptimaler Standardwert ist.
• Exposition an das aktuelle Lernregime des Schülers angepasst werden muss.
• Das Erlernen dieser Exposition Mechanismen der verzögerten Kreditvergabe erfordert, ähnlich denen im Reinforcement Learning.

Die Arbeit schließt, dass ATESD eine robuste, skalierbare Verbesserung für post-training Reasoning-Modelle bietet, insbesondere wenn die Modellkapazität zunimmt, wobei künftige Arbeiten eine pro-Sample-Schwierigkeitskonditionierung und die Anwendung auf breitere Reasoning-Domänen jenseits mathematischer Wettbewerbe untersuchen könnten.