💻 computer science

PHF: Privileged Hidden Flow for On-Policy Self-Distillation

Das Papier schlägt Privileged Hidden Flow (PHF) vor, eine neuartige On-Policy-Self-Distillation-Methode, die das Training von Reasoning-Modellen verbessert, indem sie die geometrische Trajektorie der Übergänge der verborgenen Zustände ausrichtet, anstatt nur Ausgabeverteilungen oder punktuelle verborgene Zustände, was konsistente Leistungssteigerungen über mehrere Modellgrößen hinweg liefert.

Ursprüngliche Autoren: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuhan Li, Mingxu Zhang, Dazhong Shen, Ying Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Schüler das Denken beibringen, nicht nur das Antworten

Stellen Sie sich vor, Sie bringen einem Schüler (dem KI-Modell) bei, wie man ein schwieriges mathematisches Problem löst.

Auf die alte Art des Vorgehens (genannt OPSD) geben Sie dem Schüler das Problem. Der Schüler versucht, es zu lösen. Dann zeigen Sie ihm die „richtige“ Lösung (die Privilegierte Referenz). Sie sagen dem Schüler: „Schau dir deine Antwort an. Sie war falsch. Schau dir die Antwort des Lehrers an. Sie war richtig. Versuche, deinen nächsten Tipp so aussehen zu lassen wie den Tipp des Lehrers.“

Das Problem bei dieser Methode ist, dass sie nur die Endantwort überprüft. Es ist, als würde ein Lehrer eine Mathearbeit bewerten, indem er nur auf die Zahl im Kästchen am Ende schaut, ohne die Schritte zu prüfen, die der Schüler zu ihr genommen hat. Der Schüler könnte die richtige Antwort durch Glück erhalten, oder er nutzt einen seltsamen, ineffizienten Denkprozess, der zufällig einmal funktioniert.

Die neue Idee: PHF (Privileged Hidden Flow)

Die Autoren dieses Papers, PHF, sagen: „Lassen Sie uns nicht nur die Endantwort überprüfen. Lassen Sie uns beobachten, wie sich das Gehirn des Schülers bewegt, während er nachdenkt.“

Sie nennen dies „Hidden Flow“ (Verborgener Fluss).

Die Analogie: Der Wanderer und der Bergführer

Stellen Sie sich vor, der Schüler ist ein Wanderer, der versucht, einen Berggipfel (die Lösung) zu erreichen.

Der Schüler wandert allein den Berg hinauf und schaut auf die Karte (das Problem).
Der Lehrer ist ein erfahrener Bergführer, der den Berg bereits erklommen hat und den perfekten Pfad kennt (die Referenzlösung).

Die alte Methode (OPSD):
Der Führer wartet, bis der Wanderer den Gipfel erreicht hat. Wenn der Wanderer am falschen Ort ist, sagt der Führer: „Du musst hier sein.“ Der Wanderer versucht, beim nächsten Mal an diesen Punkt zu springen. Aber der Wanderer weiß nicht, wie er effizient dorthin gelangt; er kennt nur das Ziel.

Die neue Methode (PHF):
Der Führer beobachtet die Schritte des Wanderers, während dieser geht.

Richtung: Der Führer sieht, dass der Wanderer einen Schritt mit einem leicht falschen Winkel macht. Der Führer sagt: „Ziele nicht nur auf den Gipfel; beachte, dass ich nach Nordosten gehe, aber du gehst nach Norden. Ändere deine Richtung, um meiner zu entsprechen.“
Die Form des Pfades: Der Führer betrachtet den gesamten Weg. „Ich habe einen Zickzack-Pfad genommen, um einen Abgrund zu vermeiden. Du hast eine gerade Linie genommen und wärst fast gestürzt. Deine Pfadform ist falsch, auch wenn du dich allgemein bergauf bewegst.“

PHF zwingt den Schüler nicht dazu, in jedem Moment exakt an derselben Stelle wie der Lehrer zu stehen (da die „Verdrahtung“ des Schülers etwas anders sein kann). Stattdessen zwingt es den Schüler, sich in die gleiche Richtung zu bewegen und der gleichen Form des Pfades zu folgen wie der Lehrer.

Wie es funktioniert (Das „Geheimrezept“)

Das Paper führt einige spezifische Kniffe ein, um dies umzusetzen, ohne die KI zu überfordern:

„Schritte“ abgleichen, nicht „Positionen“:
Normalerweise versucht man, wenn man das Gehirn eines Lehrers kopiert, jeden einzelnen Gedanken (Hidden State) exakt anzugleichen. Aber das Gehirn des Schülers verändert sich während des Lernens, sodass das Ziel für einen „exakten Treffer“ ständig in Bewegung ist. Es ist, als versuche man, ein bewegliches Ziel zu treffen, während man sich selbst auch bewegt.

PHFs Lösung: Anstatt die Position anzugleichen, gleicht PHF die Bewegung (den Übergang/Transition) an. Es fragt: „Hast du einen Schritt in die gleiche Richtung gemacht wie ich?“ Dies ist viel stabiler. Es ist, als würde man sagen: „Gehe in die gleiche Richtung, in die ich gehe“, anstatt: „Stehe exakt dort, wo ich stehe.“

Der „Geometrie“-Check:
PHF überprüft auch die Form des Pfades. Wenn der Pfad des Lehrers erst links und dann rechts kurvt, sollte der Pfad des Schülers dasselbe tun. Es spielt keine Rolle, ob sich der Schüler an einem anderen Teil des Berges befindet; die Form seines Denkprozesses sollte dennoch gleich aussehen.
Die gesamte Reise betrachten:
Anstatt nur eine Ebene des KI-Gehirns zu überprüfen (wie etwa nur den ersten Schritt eines Matheproblems), überprüft PHF jede Ebene des Gehirns. Es stellt sicher, dass der Schüler vom allerersten Gedanken bis zum allerletzten korrekt denkt.

Die Ergebnisse: Funktioniert es?

Die Forscher haben dies an drei verschiedenen Größen von KI-Modellen (klein, mittel, groß) mit schwierigen Matheaufgaben (wie den AIME- und HMMT-Wettbewerben) getestet.

Das Setup: Sie hielten alles andere exakt gleich: Gleiche Trainingszeit, gleiche Probleme, gleiche Rechenleistung. Der einzige Unterschied war das Hinzufügen dieser neuen „Hidden Flow“-Regel.
Das Ergebnis: In jedem einzelnen Fall erzielten die mit PHF trainierten Modelle bessere Punktzahlen als die Modelle, die mit der alten Methode trainiert wurden.
- Das kleine Modell verbesserte sich um etwa 2,2 Punkte.
- Das mittlere Modell verbesserte sich um etwa 1,5 Punkte.
- Das große Modell verbesserte sich um etwa 1,7 Punkte.

Warum das wichtig ist (Ohne Hype)

Das Paper stellt eine sehr spezifische, bescheidene Behauptung auf: Wir haben einen Weg gefunden, den „Lösungsschlüssel“ während des Trainings effektiver zu nutzen.

Es erfordert keinen neuen, superintelligenten Lehrer-KI.
Es erfordert nicht, dass die KI das Problem 100 Mal probiert, um die beste Antwort zu finden.
Es ändert nichts daran, wie die KI in der realen Welt eingesetzt wird (die fertige KI sieht im Test immer noch nur das Problem und gibt eine Antwort; sie benötigt den Lösungsschlüssel nicht).

Es lehrt die KI einfach, den Denkprozess des Lehrers nachzuahmen (den Fluss der Hidden States), anstatt nur das Endergebnis zu kopieren. Es ist, als würde man einem Schüler sagen: „Lerne nicht nur die Antwort auswendig; lerne, wie ein Experte denkt“, und dies auf eine mathematisch stabile Weise tun, die das Gehirn des Schülers nicht verwirrt.

Zusammenfassung in einem Satz

PHF ist ein neuer Trainingskniff, der hilft, KI-Modelle besser im Mathematiklernen zu machen, indem er ihnen beibringt, denselben Pfad zu gehen wie ein erfahrener Lehrer, anstatt nur zu versuchen, am Ende am selben Ort zu stehen.

Technisches Resümee: Privileged Hidden Flow für On-Policy Self-Distillation

Problemstellung

On-Policy Self-Distillation (OPSD) ist eine Technik zum Training von Reasoning-Modellen, bei der ein Student-Modell seine eigenen Rollouts sampelt und von einem „privilegierten“ Teacher supervidiert wird. Dieser Teacher besitzt dieselbe Architektur wie der Student, ist jedoch an zusätzliche Informationen gebunden, wie etwa eine verifizierte Referenzlösung, während der Student nur den Problem-Prompt sieht.

Bestehende OPSD-Zielsetzungen konzentrieren sich ausschließlich auf den Abgleich der Output-Verteilung (der Next-Token-Wahrscheinlichkeiten) zwischen dem Student und dem privilegierten Teacher. Dies richtet zwar die finalen Vorhersagen aus, versäumt es jedoch, die interne Berechnung zu supervidieren, die diese Vorhersagen erzeugt. Speziell beeinflusst der privilegierte Kontext die intermediären Hidden States und die Trajektorie dieser Zustände durch die Schichten des Netzwerks. Aktuelle Methoden beschränken sich auf die Kontrolle des finalen Output-Heads, wodurch der „Hidden Flow“ – wie sich die internen Repräsentationen des Modells Schritt für Schritt entlang des Rollouts entwickeln – unkontrolliert bleibt. Das Paper postuliert, dass die Destillation dieses internen Prozesses die Reasoning-Leistung verbessern kann, ohne das grundlegende On-Policy-Trainingssetup zu verändern.

Methodik: Privileged Hidden Flow (PHF)

Die Autoren schlagen Privileged Hidden Flow (PHF) vor, eine Methode, die das Standard-OPSD durch die Destillation der Bewegung von Hidden States statt der Zustände selbst erweitert.

Kernmechanismus

Anstatt den Hidden-Vektor des Studenten $h^S_{\ell,t}$ dazu zu zwingen, den Vektor des Teachers $h^T_{\ell,t}$ an derselben Token-Position (punktweise Übereinstimmung) zu entsprechen, gleicht PHF die Transitionen zwischen Token-Positionen ab.

Definition der Transition: Für eine Menge ausgewählter generierter Positionen $W = \{w_1, \dots, w_m\}$ ist die lokale Hidden-Transition definiert als die Differenz zwischen benachbarten Positionen: $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$ .
Normalisierung: Diese Transitionen werden auf Einheitsrichtungen normalisiert, um sich auf die Geometrie der Bewegung statt auf die Magnitude zu konzentrieren.
Loss-Komponenten:
- Direction Loss ( $L_{dir}$ ): Richtet die Richtung der Studenten-Transitionen an den Teacher-Transitionen an jeder Schicht aus.
- Geometry Loss ( $L_{geo}$ ): Gleicht die Gram-Matrix der Transition-Richtungen ab. Dies erfasst die relationale Struktur der Trajektorie (z. B. welche Schritte parallel, orthogonal oder entgegengesetzt verlaufen) statt absoluter Koordinaten.
- Neighboring-Layer Relation ( $L_{adj}$ ): Berechnet die Relation zwischen Transition-Richtungen in benachbarten Schichten ( $\ell$ und $\ell+1$ ), um sicherzustellen, dass die Transformation der Bewegung über die Tiefe hinweg konsistent mit dem Teacher ist.

Strukturelle Invarianzen

Ein wesentlicher theoretischer Beitrag von PHF sind die Invarianzeigenschaften, die das Problem des „Representational Drift“ adressieren, bei dem sich die Hidden-Koordinaten während des Trainings verschieben:

Offset-Invarianz: Der Loss bleibt unverändert, wenn ein konstanter Offset zur gesamten Trajektorie des Studenten oder des Teachers hinzugefügt wird.
Skalen-Invarianz: Der Loss ist invariant gegenüber einer positiven skalaren Multiplikation der Transitionen (vor der Normalisierung).
Orthogonale Invarianz: Der Geometrie-Term ist invariant gegenüber unabhängigen orthogonalen Transformationen der Studenten- und Teacher-Transition-Sets.

Diese Eigenschaften ermöglichen es PHF, die Form und Richtung des Reasoning-Prozesses zu supervidieren, ohne dass der Student und der Teacher exakt dieselben Punkte im hochdimensionalen Hidden-Space einnehmen müssen.

Trainings-Rezept

Teacher-Quelle: Der privilegierte Teacher ist ein Exponential Moving Average (EMA) des Online-Studenten, konditioniert auf die Referenzlösung.
Aggregation: Die Methode aggregiert den Transition-Loss über alle Schichten hinweg, anstatt eine Teilmenge auszuwählen, und kombiniert den lokalen Transition-Loss mit der benachbarten Schicht-Relation.
Zielsetzung: Der finale Loss ist $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$ , wobei der Koeffizient $\alpha$ fest auf 0,05 über alle Skalen hinweg gesetzt ist.
Constraints: Die Methode verwendet ein festes Fenster von 128 generierten Positionen zur Speicherverwaltung und führt keine Reward-Modelle, Correctness-Routing oder zusätzliche Rollouts ein.

Zentrale Beiträge

Privileged Transition-Transport Objective: Führt einen neuartigen Loss ein, der normalisierte Token-zu-Token Hidden-Transitionen und deren Trajektorien-Geometrie abgleicht und damit über das punktweise State-Matching hinausgeht.
Theoretische Charakterisierung: Beweist, dass der Transport-Loss exakte algebraische Invarianzen gegenüber Trajektorien-Offsets und orthogonalen Transformationen besitzt, was ihn vom Standard-Hidden-State-Matching unterscheidet.
All-Layer Aggregation: Zeigt, dass das Mitteln des Transition-Loss über alle Schichten, kombiniert mit einer festen benachbarten Schicht-Relation, konsistente Verbesserungen liefert, ohne dass eine manuelle Schichtselektion erforderlich ist.
Empirische Validierung: Validiert das feste Rezept über drei Modellskalen (Qwen3-1.7B, 4B und 8B) unter dem offiziellen OPSD-Mathematik-Reasoning-Protokoll.

Experimentelle Ergebnisse

Die Autoren evaluierten PHF auf den Benchmarks AIME 2024, AIME 2025 und HMMT 2025 unter Verwendung der Average@12 Metrik (mittlere Korrektheit über 12 Samples pro Problem).

Leistungssteigerungen: Unter einem festen 100-Schritt-Trainingsplan verbesserte PHF den Average@12-Aggregat gegenüber dem reproduzierten OPSD-Baseline-Modell:
- Qwen3-1.7B: +2,2 Punkte (40,83 $\to$ 43,06)
- Qwen3-4B: +1,5 Punkte (61,89 $\to$ 63,39)
- Qwen3-8B: +1,7 Punkte (64,26 $\to$ 65,94)
Konsistenz: Die Gewinne waren über alle Skalen und fast alle einzelnen Benchmark-Zellen hinweg positiv.
Ablationsstudien:
- Direction vs. Geometry: Weder die Direction-only noch die Geometry-only Varianten konnten das volle PHF-Rezept über alle Skalen hinweg erreichen, was darauf hindeutet, dass beide Komponenten notwendig sind.
- Layer-Selektion: Eine „Selected Layers“-Kontrollgruppe (Matching einer kleinen, handverlesenen Teilmenge) schnitt schlechter ab als die All-Layer-Aggregation, was die Entscheidung für die Mittelung über die Tiefe stützt.
- Pointwise Matching: Das Paper stellt fest, dass punktweises Hidden-State-Matching eine kompetitive Boundary-Kontrolle darstellt, aber weniger robust gegenüber Representational Drift ist als der Transition-basierte Ansatz.

Bedeutung und Ansprüche

Das Paper behauptet, dass PHF eine modeste, aber bedeutsame Verbesserung des OPSD-Frameworks bietet, indem es privilegierte Informationen struktureller nutzt.

Prozess-basierte Supervision: Die primäre Bedeutung liegt in der Demonstration, dass privilegierte Referenzen einen spezifischen „Hidden Process“ (wie sich das Modell durch seinen eigenen Rollout bewegt) induzieren, der destilliert werden kann. PHF erfasst diesen Prozess, ohne zu verlangen, dass der Student die absoluten Hidden-Koordinaten des Teachers übernimmt.
Deployment-Kompatibilität: Im Gegensatz zu Methoden, die zum Testzeitpunkt Reward-Modelle oder externe Verifizierer benötigen, behält PHF das OPSD-Deployment bei: Das evaluierte Modell ist der Online-Student, und während der Inferenz sind keine privilegierten Informationen erforderlich.
Effizienz: Die Methode fügt lediglich einen skalaren Loss-Koeffizienten und ein Speicherfenster für Hidden States hinzu, wodurch der Rechenaufwand für zusätzliche Rollouts oder komplexe Routing-Mechanismen vermieden wird.
Umfang der Ansprüche: Die Autoren betonen explizit, dass ihre Evidenz auf ein festes Rezept, eine spezifische Modellfamilie (Qwen3) und mathematische Reasoning-Aufgaben begrenzt ist. Sie behaupten nicht, dass Hidden-Flow-Matching jeden Aspekt des Reasonings (z. B. Beweisqualität oder Kalibrierung) verbessert oder eine universelle Lösung ist, sondern dass es eine konsistente, positive aggregierte Verschiebung bietet, wenn es auf On-Policy Self-Distillation angewendet wird.