🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

Das Papier schlägt Near-Policy Distillation (NPD) vor, ein asynchrones Framework, das die on-policy-Wissensdistillation beschleunigt, indem es die Generierung vom Training entkoppelt und $\Delta$ -IFD-Filterung zur Minderung von Policy-Verzögerungen einsetzt, wodurch eine 8,1-fache Geschwindigkeitssteigerung und eine überlegene Leistung im Vergleich zu standardmäßiger SFT und größeren Modellen erreicht wird.

Ursprüngliche Autoren: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Lehrer-Schüler"-Diskrepanz

Stellen Sie sich vor, Sie unterrichten einen Schüler (ein kleines KI-Modell) darin, Aufsätze zu schreiben, indem Sie ihn einen Meisterlehrer (ein riesiges KI-Modell) kopieren lassen.

Der alte Weg (Standard-Distillation): Sie geben dem Schüler eine Liste von Aufsätzen, die der Lehrer bereits geschrieben hat. Der Schüler lernt sie auswendig. Doch wenn der Schüler eine Prüfung schreibt, muss er aus dem Nichts heraus schreiben. Da er nur die perfekten Antworten des Lehrers auswendig gelernt hat, gerät er in Verwirrung, wenn er seine eigenen Sätze generieren muss. Es ist wie ein Schüler, der ein Skript aufsagen kann, aber einfriert, wenn man ihn auffordert, zu improvisieren.
Der „On-Policy"-Weg (Die teure Lösung): Um dies zu beheben, lassen Sie den Schüler zuerst eigene Aufsätze schreiben und zeigen diese dann dem Lehrer zur Korrektur. Das funktioniert hervorragend, weil der Schüler aus seinen eigenen Fehlern lernt. Allerdings ist es unglaublich langsam. Jedes Mal, wenn der Schüler einen Satz schreibt, muss der Lehrer anhalten, ihn lesen, bewerten und Feedback geben, bevor der Schüler den nächsten Satz schreiben darf. Es ist wie ein Tutor, der dem Schüler verweigert, ein Wort zu schreiben, bis er den vorherigen Satz nicht bewertet hat.

Die Lösung: Near-Policy Distillation (NPD)

Die Autoren schlagen eine neue Methode namens Near-Policy Distillation vor. Stellen Sie sich dies als eine Hochgeschwindigkeits-Fertigungsstraße vor, die die Vorteile der „On-Policy"-Methode beibehält, ohne die Langsamkeit.

So funktioniert es, aufgeteilt in drei Teile:

1. Die asynchrone Fertigungsstraße (Entkopplung)

Anstatt dass Lehrer und Schüler in einem langsamen, eins-zu-eins-Gespräch arbeiten, trennt NPD sie voneinander.

Die Aufgabe des Schülers: Das Schülermodell läuft schnell auf einem Computer und generiert Tausende von Aufsätzen (Antworten) gleichzeitig, wie eine Fabrik, die Produkte herstellt. Es wartet nicht auf den Lehrer.
Die Aufgabe des Lehrers: Sobald der Schüler einen großen Stapel Aufsätze hat, betrachtet das Lehrermodell sie alle auf einmal. Da der Lehrer nicht darauf wartet, dass der Schüler tippt, kann er sie in „Paketen" verarbeiten (wie ein ganzes Buchkapitel auf einmal zu lesen, statt Seite für Seite).
Das Ergebnis: Dies ist 8,1-mal schneller als die alte langsame Methode, weil der Computer nicht untätig auf Feedback wartet.

2. Der „Sicherheitsfilter" (Der ∆-IFD-Mechanismus)

Es gibt einen Haken. Da der Schüler Aufsätze generiert, bevor der Lehrer sie bewertet, könnte der Schüler ein wenig „betrunken" von seinen eigenen Ideen werden. Er könnte beginnen, Unsinn zu schreiben oder Dinge, die völlig falsch sind, weil seine „Richtlinie" (seine Denkweise) von der des Lehrers abgewichen ist.

Um dies zu beheben, führt das Papier einen intelligenten Filter namens ∆-IFD ein.

Die Analogie: Stellen Sie sich vor, der Schüler ist ein Anfängerkoch und der Lehrer ein Michelin-Stern-Koch. Der Schüler kocht eine Reihe von Gerichten.
- Zone 1 (Degeneriert): Der Schüler kocht etwas so Einfaches und Seltsames (wie eine Schüssel mit klarem Wasser), dass selbst der Lehrer denkt, es sei zu einfach, aber der Schüler verwirrt ist. Der Filter wirft dies weg.
- Zone 2 (Kognitive Entkopplung): Der Schüler kocht ein Gericht, bei dem er sich sehr sicher ist, aber der Michelin-Koch hält es für Müll. Dies ist gefährlich, weil der Schüler stur im Unrecht ist. Der Filter wirft dies weg.
- Zone 3 (Die proximale Lernzone): Der Schüler kocht etwas, das knapp über seinem Fähigkeitsniveau liegt, aber der Lehrer stimmt zu, dass es gut und hilfreich ist. Dies ist die einzige Zone, aus der der Schüler lernt.

Dieser Filter stellt sicher, dass der Schüler nur von „Goldilocks"-Beispielen lernt – nicht zu einfach, nicht zu schwer und nicht gefährlich falsch. Dies hält das Training stabil, obwohl Schüler und Lehrer nicht in Echtzeit miteinander sprechen.

3. Das „sparse Update" (Das gelegentliche Zurücksetzen)

Normalerweise könnten bei diesen schnellen Fertigungsstraßen die Ideen des Schülers im Laufe der Zeit zu weit vom Stil des Lehrers abweichen.

Die Lösung: Anstatt die gesamte Fabrik anzuhalten, um jede einzelne Sekunde zu synchronisieren (was langsam ist), stoppt NPD die Linie nur gelegentlich, um das Gehirn des Schülers auf den aktuellen Stil des Lehrers zurückzusetzen.
Das Ergebnis: Das Papier stellte fest, dass ein solches „Zurücksetzen" nur ein- oder zweimal während des gesamten Trainingsprozesses ausreicht, um alles auf Kurs zu halten, was enorme Mengen an Zeit spart.

Das große Finale: Ein Super-Schüler

Das Papier zeigt, dass diese Methode nicht nur den Schüler schneller trainiert, sondern ihn auch klüger macht.

Das Ergebnis: Sie nahmen ein kleines 1-Milliarden-Parameter-Modell (eine „winzige" KI) und trainierten es mit dieser Methode.
Der Vergleich: Dieses winzige Modell erzielte nach dem Training mit NPD und etwas zusätzlichem Reinforcement Learning 68,73 % in einem schwierigen Reasoning-Test.
Der Schock: Es schlug ein viel größeres, berühmtes Modell (Qwen3-1.7B) mit 1,7 Milliarden Parametern, das 63,69 % erreichte.

Zusammenfassung

Near-Policy Distillation ist wie die Einrichtung einer Hochgeschwindigkeits-Fabrik, in der ein Schüler aus dem Feedback eines Lehrers lernt, ohne in einer Schlange warten zu müssen. Es verwendet einen intelligenten Filter, um schlechte Beispiele zu verwerfen, und gelegentliche Zurücksetzungen, um den Schüler auf dem richtigen Weg zu halten. Das Ergebnis ist eine winzige KI, die schneller, günstiger lernt und am Ende klüger ist als viel größere Modelle.

Technische Zusammenfassung: Near-Policy Distillation (NPD)

1. Problemstellung

Die Standard-Wissensdistillation (Knowledge Distillation, KD) für autoregressive Large Language Models (LLMs) steht vor einem fundamentalen Verteilungsungleichgewicht: Schülermodelle werden auf teacher-forced Sequenzen trainiert, generieren jedoch während der Inferenz autoregressive Sequenzen. Während On-Policy-Methoden (z. B. GKD, DistiLLM) dies durch Training auf vom Schüler generierten Ausgaben (SGOs) mildern, verlassen sie sich auf rechenintensive, reinforcement-learning-ähnliche (RL) Frameworks. Diese Frameworks erfordern eine synchrone Inferenz zwischen Lehrer und Schüler, was die Nutzung von Sequence Packing verhindert und zu niedrigen Token-Auslastungsraten sowie einem langsamen Trainingsdurchsatz führt. Umgekehrt unterstützt das Standard-Supervised Fine-Tuning (SFT) zwar Sequence Packing, korrigiert jedoch nicht die Verteilungsverschiebung zur Inferenzzeit, was zu Exposure Bias und Fehlerakkumulation führt.

2. Methodik: Near-Policy Distillation (NPD)

Die Autoren schlagen Near-Policy Distillation (NPD) vor, ein asynchrones Framework, das die Schülergenerierung vom Trainingsloop entkoppelt. Diese Neuformulierung ermöglicht es dem System, die verteilungsmatching-Vorteile der On-Policy-Distillation zu approximieren, während der hohe Durchsatz des Off-Policy-SFT erhalten bleibt.

Kernarchitektur

Die NPD-Pipeline besteht aus drei asynchronen Phasen:

Schülergesteuerte Generierung: Das aktuelle Schülermodell generiert Antworten für einen Prompt-Datensatz. Diese Sequenzen werden in hochdurchsatzfähigen Batches generiert (z. B. unter Verwendung von vLLM).
Lehrer-Annotation via Packed Parallel Prefill: Im Gegensatz zu On-Policy-Methoden, die eine synchronisierte autoregressive Dekodierung erfordern, verkettet NPD mehrere Schülerantworten zu festen Sequenzen. Das Lehrermodell verarbeitet diese über einen parallelen Prefill-Schritt, um Logits zu generieren. Nur die Top- $k$ -Logits werden aufgezeichnet, um Speicherbedarf und Überwachungsqualität auszubalancieren.
Kombinierte Optimierung: Das Schülermodell wird unter Verwendung einer Standard-SFT-Architektur mit einer kombinierten Verlustfunktion aktualisiert:
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
wobei $L_{KD}$ eine Top- $k$ -KL-Divergenz ist, die nur über die hochkonfidenten Vorhersagen des Lehrers berechnet wird.

Adressierung des Policy-Lags: $\Delta$ -IFD und Sparse Updates

Die asynchrone Natur von NPD führt zu Policy-Lag, bei dem die Daten-Generierungsstrategie von der aktuellen Trainingsstrategie abweicht und potenziell Rauschen einführt. NPD wirkt diesem mit zwei Mechanismen entgegen:

$\Delta$ -IFD-Filterung: Ein heuristischer Mechanismus zur Stichprobenselektion, der auf der Metrik Instruction-Following Difficulty (IFD) basiert. Er berechnet die differentielle Schwierigkeit: $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ .
- Degenerierte Zone ( $\Delta IFD < 0$ ): Stichproben, bei denen der Lehrer konfidenter ist als der Schüler (oft triviale oder bedeutungslose Muster), werden verworfen.
- Kognitive Diskonnekt-Zone ( $\Delta IFD > \tau$ ): Stichproben, bei denen der Schüler konfident ist, der Lehrer jedoch hochgradig unsicher (was auf schwere Fehler hindeutet), werden verworfen.
- Proximale Lernzone ( $0 \le \Delta IFD \le \tau$ ): Nur Stichproben, bei denen der Lehrer die Grundqualität bestätigt und die Schwierigkeitslücke moderat ist, werden beibehalten. Dies stellt sicher, dass Updates innerhalb einer „sicheren proximalen Lernzone" bleiben.
Sparse Student Updates: Um zu verhindern, dass die Generierungsstrategie signifikant abweicht, wird das Schülermodell nur periodisch aktualisiert (z. B. einmal alle 10 Epochen) statt kontinuierlich. Dies minimiert die Rechenkosten der Policy-Synchronisation, während der „near-policy"-Zustand erhalten bleibt.

Synergie mit Reinforcement Learning (RL)

NPD dient als überlegene Initialisierung für nachfolgendes RL (z. B. GRPO). Durch das ausschließliche Training auf hochwertigen, gefilterten Daten konzentriert sich die Wahrscheinlichkeitsmasse des Schülers auf eine Mannigfaltigkeit logisch korrekter Trajektorien. Dies verengt den Explorationsraum effektiv für die nachfolgende RL-Phase, ermöglicht es ihr, ineffiziente stochastische Exploration zu umgehen und sich auf eine feinkörnige Optimierung zu konzentrieren.

3. Hauptbeiträge

NPD-Framework: Ein asynchrones Distillations-Framework, das Generierung vom Training entkoppelt, Sequence Packing ermöglicht und im Vergleich zu On-Policy-Baselines eine 8,1-fache Beschleunigung bei gleichzeitiger Beibehaltung ihrer Leistungsvorteile erzielt.
Stabilisierungsmechanismen: Die Integration von sparse updates und dem $\Delta$ -IFD-Filtermechanismus mildert Policy-Lag und Stichprobenrauschen effektiv. Dies verhindert, dass Rauschen die Gradienten dominiert, und stabilisiert empirisch die Optimierungstrajektorie, wobei die KL-Divergenz unter 0,10 gehalten wird.
RL-Initialisierung: Die Methode zeigt, dass NPD-trainierte Modelle einen deutlich besseren Startpunkt für RL bieten, den Suchraum verengen und eine höhere asymptotische Leistung ermöglichen.

4. Experimentelle Ergebnisse

Die Experimente wurden mit openPangu-Embedded-7B als Lehrer und openPangu-Embedded-1B als Schüler durchgeführt, ergänzt durch Vergleiche mit Qwen2.5-Math-Modellen.

Distillationsleistung: NPD übertraf das Standard-SFT um 8,09 % und den Standard-SeqKD-Ansatz um 4,83 % auf einem großskaligen industriellen Datensatz (1,2 Mio. Stichproben).
Effizienz: Im Vergleich zur state-of-the-art On-Policy-Methode DistiLLM-2 erreichte NPD eine überlegene Genauigkeit auf den GSM8K- und MATH-500-Benchmarks mit einer 8,1-fachen Reduktion der Trainingszeit (1,48 NPU-Stunden vs. 12,00 NPU-Stunden pro Epoche).
RL-Synergie: Als Initialisierung für GRPO erzielt das NPD-Modell eine durchschnittliche Endpunktzahl von 68,73 % über 11 Benchmarks.
Vergleich mit State-of-the-Art: Das finale openPangu-Embedded-1B-RL-Modell (1 Mrd. Parameter) übertraf das deutlich größere Qwen3-1.7B (63,69 %) mit einer Punktzahl von 68,73 %. Es erzielte zudem führende Punktzahlen bei GSM8K (87,60 %) und MATH-500 (84,76 %).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass NPD einen skalierbaren Weg hin zu allgegenwärtiger Intelligenz auf Endgeräten bietet, indem sie Hochleistungs-KI mit Edge-Einschränkungen in Einklang bringt. Durch die effektive Verengung des Explorationsraums für nachfolgendes RL und die Ermöglichung effizienten Sequence Packings zeigt das Framework, dass fortschrittliche Trainings- und Alignierungsmethoden wirkungsvoller sein können als die bloße Skalierung der Modellgröße. Die Autoren betonen, dass ihr Ansatz die Kosten für das Training und den Einsatz besser ausgerichteter kleinerer Modelle senkt und leistungsstarke LLMs für reale Einsatzszenarien zugänglicher macht, die niedrige Latenz und Datenschutz erfordern.

Die Arbeit schließt, dass NPD zwar durch die Verteilung des Lehrers eingeschränkt ist, seine Fähigkeit jedoch, systemische Fehler über $\Delta$ -IFD zu filtern und das Training durch sparse updates zu stabilisieren, es zu einer robusten Lösung für den effizienten Wissenstransfer in autoregressiven Modellen macht.