💬 NLP

Skill-Conditioned Gated Self-Distillation for LLM Reasoning

Dieser Beitrag stellt Skill-Conditioned Gated Self-Distillation (SGSD) vor, ein neuartiges Framework, das das Schlussfolgern von LLMs verbessert, indem es einen Skill-Bank für die Validierung von Lehrer-Hypothesen und gated Distillation nutzt, wodurch eine überlegene Leistung gegenüber GRPO und wettbewerbsfähige Ergebnisse gegenüber answer-conditioned Methoden unter schwächeren Annahmen privilegierter Informationen erzielt werden.

Ursprüngliche Autoren: Jiazhen Huang, Xiao Chen, Xiao Luo, Yong Dai, Senkang Hu, Yuzhi Zhao

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiazhen Huang, Xiao Chen, Xiao Luo, Yong Dai, Senkang Hu, Yuzhi Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einen Schüler zum Denken bringen

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem KI-Modell) beizubringen, schwierige Matheprobleme zu lösen.

Der alte Weg (der „spärliche" Ansatz):
Normalerweise lassen Sie den Schüler versuchen, ein Problem zu lösen. Wenn er die endgültige Antwort richtig hat, sagen Sie „Gut gemacht!". Wenn er es falsch macht, sagen Sie „Versuchen Sie es noch einmal."

Das Problem: Das ist wie ein Lehrer, der nur die Abschlussprüfung bewertet. Der Schüler weiß nicht, wo er in der Mitte des Aufsatzes einen Fehler gemacht hat. Er könnte einen winzigen Logikfehler in Schritt 3 gemacht haben, aber da die Endantwort falsch war, sagt der Lehrer einfach „Durchgefallen". Der Schüler lernt sehr langsam, weil das Feedback zu vage ist.

Der Weg der „Selbstdistillation":
Um dies zu beheben, lassen Forscher den Schüler als eigenen Lehrer fungieren. Der Schüler generiert eine Lösung, und eine „Lehrer-Version" desselben Schülers (die etwas mehr Kontext hat) bewertet jedes einzelne Wort, das der Schüler geschrieben hat. Dies liefert dichtes, spezifisches Feedback.

Der Haken: Die meisten Methoden gehen davon aus, dass der „Lehrer" immer den perfekten Lösungsschlüssel oder ein perfektes Beispiel zum Kopieren hat. Aber was, wenn wir keinen Lösungsschlüssel haben? Was, wenn wir nur eine Liste mit „Tipps und Tricks" (Fertigkeiten) und „Häufigen Fehlern" haben, die möglicherweise oder auch nicht zutreffen?

Die neue Idee: SGSD (die „Skill-Conditioned Gated"-Methode)

Die Autoren schlagen SGSD vor, einen intelligenteren Weg, diese „Tipps und Tricks" zu nutzen, ohne davon auszugehen, dass sie immer richtig sind.

1. Die Fertigkeitenbank (der „Spickzettel")

Anstatt einen perfekten Lösungsschlüssel zu haben, verfügt die KI über eine Fertigkeitenbank. Dies ist eine Bibliothek aus:

Allgemeinen Fertigkeiten: „Wenn Sie einen Bruch sehen, versuchen Sie, einen gemeinsamen Nenner zu finden."
Häufigen Fehlern: „Vergessen Sie nicht zu prüfen, ob der Nenner null ist."

Diese sind wie Haftnotizen, die von früheren Schülern hinterlassen wurden. Sie sind hilfreich, aber nicht perfekt. Manchmal ist eine Haftnotiz relevant; manchmal gilt sie für ein völlig anderes Problem.

2. Der Multi-Lehrer-Pool (das „Gremium von Experten")

Wenn der Schüler vor einem neuen Matheproblem steht, wählt das System nicht einfach eine Haftnotiz aus. Es zieht einige relevante heraus und erstellt ein Gremium von Lehrern.

Lehrer A betrachtet das Problem mit „Tipps #1" im Hinterkopf.
Lehrer B betrachtet es mit „Tipps #2" im Hinterkopf.
Lehrer C betrachtet es mit „Fehlerwarnung #3" im Hinterkopf.

Alle diese Lehrer versuchen vorherzusagen, was der Schüler als Nächstes schreiben sollte.

3. Der „Türsteher" (der Realitätscheck)

Hier kommt der wichtigste Teil. Das System weiß, dass ein Lehrer falsch liegen könnte. Vielleicht ist „Tipps #1" tatsächlich schlechte Beratung für dieses spezifische Problem.

Das System verwendet also einen Türsteher (den Verifizierer), um die Lehrer zu prüfen:

Der Schüler löst das Problem und erhält ein Endergebnis (Richtig oder Falsch).
Der Türsteher betrachtet die Ratschläge der Lehrer.
- Szenario A (Hilfreich): Der Schüler hat es richtig gemacht, und Lehrer A sagte: „Ja, tun Sie das!" -> Der Türsteher sagt: „Toll! Lehrer A hat recht. Lassen Sie uns von ihnen lernen."
- Szenario B (Irreführend): Der Schüler hat es falsch gemacht, aber Lehrer A sagte: „Ja, tun Sie das!" -> Der Türsteher sagt: „Warten Sie, Lehrer A hat schlechte Ratschläge gegeben! Wir müssen das Gegenteil von dem tun, was sie sagten."
- Szenario C (Unsicher): Der Rat des Lehrers ist schwach oder verwirrend. -> Der Türsteher sagt: „Ich vertraue diesem Lehrer nicht. Ignorieren Sie sie vorerst."

Dies ist der „Gated"-Teil. Es kopiert den Lehrer nicht blind; es validiert, ob der Rat des Lehrers das Ergebnis tatsächlich geholfen oder geschadet hat.

4. Das „Robuste" Lernen (Nicht überreagieren)

Manchmal schreit ein Lehrer mit extremer Zuversicht „TUN SIE DAS!", selbst wenn er leicht danebenliegt. Wenn die KI zu sehr auf diese extreme Stimme hörte, könnte sie verwirrt werden.

Die SGSD-Methode verwendet ein Sicherheitsventil. Es sagt:

Wenn Lehrer und Schüler übereinstimmen, nichts tun (kein Lernbedarf).
Wenn sie ein wenig disagree, ist das der „Sweet Spot" zum Lernen.
Wenn sie sich massiv disagree (extreme Diskrepanz), sagt das System: „Das ist wahrscheinlich Rauschen oder ein Fehler", und dämpft das Signal, damit die KI nicht überreagiert.

Warum ist das eine große Sache?

Kein Lösungsschlüssel erforderlich: Im Gegensatz zu anderen Methoden, die eine perfekte Referenzantwort benötigen, um die KI zu unterrichten, benötigt SGSD nur einen „Ja/Nein"-Verifizierer (Haben Sie die richtige Zahl bekommen?) und eine Bibliothek von Fertigkeiten.
Umgang mit schlechten Ratschlägen: Es weiß, wie man damit umgeht, wenn ein „Tipp" für das aktuelle Problem tatsächlich falsch ist. Es dreht den Rat um, anstatt ihn blind zu befolgen.
Bessere Ergebnisse: Bei Tests in schwierigen Mathewettbewerben (wie AIME und HMMT) half diese Methode einem kleinen KI-Modell (Qwen3-1.7B), deutlich besser zu schneiden als Standardmethoden, und schlug sogar Methoden, die Zugang zu perfekten Lösungsschlüsseln hatten.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie lernen Autofahren.

Alte Methode: Sie fahren, und wenn Sie einen Unfall haben, bekommen Sie ein Ticket. Wenn Sie keinen Unfall haben, bekommen Sie einen goldenen Stern. Sie wissen nicht, ob Sie zu schnell gefahren sind oder geschwankt haben.
SGSD-Methode: Sie haben ein Armaturenbrett mit einer Liste von „Fahrtipps" (z. B. „Spiegel vor dem Abbiegen prüfen").
- Sie fahren.
- Das System prüft: „Sind Sie sicher am Ziel angekommen?"
- Wenn Sie es geschafft haben und der Tipp „Spiegel prüfen" verwendet wurde, sagt das System: „Gut gemacht, machen Sie weiter so."
- Wenn Sie einen Unfall hatten, aber der Tipp „Spiegel prüfen" verwendet wurde, sagt das System: „Dieser Tipp hat diesmal nicht geholfen; vielleicht haben Sie zu spät geprüft. Versuchen wir beim nächsten Mal den gegenteiligen Ansatz."
- Wenn ein Tipp zu vage war, ignoriert das System ihn.

Indem die KI ständig prüft, ob die „Tipps" in Echtzeit tatsächlich funktioniert haben, lernt sie viel schneller und zuverlässiger zu reasoning.

Technische Zusammenfassung: Skill-Conditioned Gated Self-Distillation für LLM-Reasoning

1. Problemstellung

Das Reasoning von Large Language Models (LLM) wird häufig durch Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) verbessert, wie etwa Group Relative Policy Optimization (GRPO). Während RLVR lediglich einen Verifizierer und keine Token-level-Annotationen erfordert, leidet es unter spärlichen, verzögerten und nahezu einheitlichen Belohnungssignalen über gesamte Reasoning-Trajektorien hinweg. On-Policy-Selbstdistillation (SD) adressiert dies, indem sie einen stärkeren „Lehrer"-Kontext nutzt, um dichte Token-level-Supervision bereitzustellen. Bestehende SD-Methoden verlassen sich jedoch typischerweise auf vertrauenswürdige privilegierte Informationen (PI), wie Referenzantworten oder erfolgreiche Spuren, die in Regimen schwacher Supervision möglicherweise nicht verfügbar sind (z. B. wenn nur ein Verifizierer existiert).

Die Arbeit untersucht, ob PI stattdessen aus einer erfahrungsbasierten Skill-Bank abgeleitet werden kann – einer Sammlung kompakter, wiederverwendbarer natürlichsprachlicher Prinzipien und Fehlermuster. Die zentrale Herausforderung besteht darin, dass abgerufene Skills nicht inhärent vertrauenswürdig sind; sie können für ein spezifisches Problem irrelevant, veraltet oder irreführend sein. Darüber hinaus kann das blinde Imitieren eines Lehrers, der auf einem potenziell falschen Skill basiert, die Leistung verschlechtern. Die zentrale Frage lautet: Können erfahrungsbasierte Skills als ausschließlich für das Training bestimmte privilegierte Informationen dienen, ohne anzunehmen, dass jeder abgerufene Skill vertrauenswürdig ist?

2. Methodik: Skill-Conditioned Gated Self-Distillation (SGSD)

Die Autoren schlagen SGSD vor, ein Framework, das skill-basierte Selbstdistillation als Problem der Lehrer-Hypothesenvalidierung behandelt und nicht als bedingungsloses Imitieren. Die Methode operiert auf einem einzigen Policy-Modell $\pi_\theta$ , das unter verschiedenen Kontexten sowohl als Schüler als auch als Lehrer fungiert.

2.1 Aufbau einer strukturierten Skill-Bank

SGSD verwaltet eine strukturierte Bank $B = \{G, E\}$ , die Folgendes enthält:

Allgemeine Skills ( $G$ ): Wiederverwendbare Reasoning-Prinzipien (was zu tun ist).
Häufige Fehler ( $E$ ): Fehlermuster, Ursachen und Vermeidungsstrategien (was zu vermeiden ist).
Die Bank wird über einen „Cold-Start"-Prozess initialisiert, bei dem erfolgreiche Spuren zu Skills und gescheiterte Spuren zu Fehlern zusammengefasst werden. Während des Trainings wird die Bank online aktualisiert, indem neue Kandidaten aus jüngsten Rollouts zusammengeführt werden.

2.2 Skill-konditionierter Multi-Lehrer-Pool

Für ein gegebenes Problem $x$ ruft das System die Top- $K$ Skill-Fehler-Paare ab. Jedes Paar $(g_k, e_k)$ wird mit dem Problem konkateniert, um einen einzigartigen Lehrer-Kontext $c_k(x) = g_k \oplus e_k \oplus x$ zu bilden.

Schüler: Stichproben eine Rollout $y$ unter Verwendung nur des einfachen Prompts $x$ .
Lehrer: Ein Pool von $K$ Lehrern, die jeweils dieselben Policy-Gewichte teilen (Stop-Gradient), aber auf ein spezifisches abgerufenes Skill-Fehler-Paar konditioniert sind. Alle Lehrer bewerten denselben Schüler-Rollout.

2.3 Ergebnis-validierte Lehrer-Polarität

Anstatt anzunehmen, dass alle Lehrer korrekt sind, validiert SGSD deren Haltung gegen das Verifizierer-Ergebnis $r \in \{-1, 1\}$ .

Gap-Berechnung: Berechnung der Log-Wahrscheinlichkeits-Lücke $\Delta^{(k)}_t$ zwischen Lehrer $k$ und dem Schüler für jedes Token.
Robuste Support-Schätzung: Berechnung eines robusten Support-Scores $\tilde{a}_k$ durch Maskieren von Nicht-Reasoning-Tokens, Clipping extremer Gaps und Mittelwertbildung.
Polaritätsinferenz: Bestimmung der Polarität des Lehrers $\rho_k$ $ρ_{k}$ basierend auf der Übereinstimmung zwischen dem Support des Lehrers ( $\tilde{a}_k$ $\tilde{a}_{k}$ ) und dem Ergebnis ( $r$ $r$ ):
- Hilfreich: Lehrer unterstützt einen Erfolg oder unterdrückt einen Misserfolg ( $\rho_k = +1$ ).
- Irreführend: Lehrer unterstützt einen Misserfolg oder unterdrückt einen Erfolg ( $\rho_k = -1$ ).
- Unsicher: Ist der Support-Score nahe Null, wird der Lehrer ignoriert ( $\rho_k = 0$ ).

2.4 Robustes Gated-Distillations-Ziel

Die finale Verlustfunktion aggregiert die gewichteten, polaritätsbewussten Abweichungen:
$L_{SGSD}(x) = \sum_{k=1}^{K_x} \alpha_k(x) \rho_k \bar{\ell}^{(k)}$
Wobei $\bar{\ell}^{(k)}$ ein gated loss $\ell_{gate}(\Delta)$ ist, der folgendes leistet:

Nahe Null sein, wenn Lehrer und Schüler übereinstimmen (vernachlässigbare Gaps).
Für moderate Abweichungen wachsen (informativer Bereich).
Für extreme Fehlanpassungen sättigen, um zu verhindern, dass Ausreißer-Logits den Gradienten dominieren.
Die Ableitung dieses Verlusts stellt sicher, dass das Update begrenzt ist und sich im informativen Bereich wie eine lokale Reverse-KL-Näherung verhält, während extreme Signale unterdrückt werden.

3. Hauptbeiträge

Formulierung: Die Arbeit führt das Konzept ein, erfahrungsbasierte Skills als privilegierte Informationen für mathematisches Reasoning zu nutzen und formuliert das Problem als Lehrer-Hypothesenvalidierung statt als Standard-Imitation.
Framework (SGSD): Ein Multi-Lehrer-, skill-konditioniertes Selbstdistillations-Framework, das die Lehrer-Polarität aus der Übereinstimmung zwischen Lehrer-Support und Rollout-Ergebnissen ableitet und ein robustes gated objective nutzt, um verrauschte oder konfliktreiche Signale zu handhaben.
Empirische Validierung: Demonstriert auf mehreren mathematischen Reasoning-Benchmarks (AIME24, AIME25, HMMT25), wobei SGSD GRPO konsistent übertrifft und mit answer-conditioned Selbstdistillation (OPSD) konkurrieren kann, trotz der Arbeit unter einer schwächeren PI-Annahme (Skills vs. Ground-Truth-Antworten).

4. Experimentelle Ergebnisse

Experimente wurden mit Qwen3-Modellen (1.7B, 4B, 8B) durchgeführt, die auf DAPO-Math-17K trainiert und auf Wettbewerbs-Benchmarks evaluiert wurden.

Leistung: Auf Qwen3-1.7B verbesserte SGSD die durchschnittliche Genauigkeit über AIME24, AIME25 und HMMT25 von 37,4 % auf 43,7 %. Dies entspricht einer Verbesserung von 6,2 % gegenüber GRPO und einer Verbesserung von 1,7 % gegenüber OPSD (welches vertrauenswürdige Referenzantworten verwendet).
Stabilität: Im Gegensatz zu OPSD, das in späteren Trainingsstadien eine Verschlechterung zeigte, behielt SGSD stabile Verbesserungen bei. Dies wird dem Ergebnis-Validierungsmechanismus zugeschrieben, der irreführende Skill-Signale filtert.
Ablationsstudien:
- Das Entfernen der Polaritätsvalidierung führte zum Leistungsabsturz, was bestätigt, dass blindes Folgen von Skills schädlich ist.
- Die Verwendung eines einzelnen Lehrers war dem Multi-Lehrer-Pool unterlegen, was den Wert diverser Hypothesen unterstreicht.
- Die robuste Support-Schätzung (Maskieren, Clipping, Thresholding) war entscheidend für die Stabilität.
- Das Hinzufügen von Referenzantworten zum skill-konditionierten Lehrer führte zu Leistungseinbußen, was darauf hindeutet, dass das Mischen von vertrauenswürdigen und nicht-vertrauenswürdigen PI inkonsistente Update-Richtungen erzeugt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SGSD zeigt, dass erfahrungsbasierte Skills auch dann nützliche dichte Supervision bieten können, wenn ihre Richtung nicht vorab verifiziert ist, vorausgesetzt, ihre Polarität wird gegen On-Policy-Evidenz validiert.

Schwächere Annahme: SGSD erzielt konkurrenzfähige Ergebnisse mit answer-conditioned Methoden (OPSD), während es lediglich die Existenz eines Verifizierers und einer Skill-Bank annimmt, anstatt Ground-Truth-Referenzlösungen.
Mechanismus: Der Erfolg beruht darauf, abgerufene Skills als Hypothesen zu behandeln, die validiert werden müssen, und nicht als Anweisungen, die befolgt werden müssen. Das gated objective extrahiert effektiv informative Lehrer-Schüler-Abweichungen, während es Rauschen und extreme Signale unterdrückt.
Limitationen: Die Autoren stellen fest, dass die Methode derzeit primär für mathematisches Reasoning mit automatischer Verifizierung evaluiert wird. Erweiterungen auf offene Generierung würden kalibrierte Richter erfordern. Zudem basiert der Aufbau der Skill-Bank auf einem einfachen Cold-Start und hierarchischem Zusammenführen, was in zukünftiger Arbeit von adaptiveren Strategien profitieren könnte.

Zusammenfassend bietet SGSD einen Weg, um das Reasoning von LLMs in Szenarien zu verbessern, in denen Ground-Truth-Antworten nicht verfügbar sind, indem es die eigene, sich entwickelnde Erfahrung des Modells nutzt, um seine eigenen Lehrsignale zu generieren und zu validieren.