💬 NLP

Geometric Self-Distillation for Reasoning Generalization

Das Papier stellt GeoSD vor, ein geometrisches Selbstdistillations-Framework, das einen Hellinger-Verlust und eine proximale Fisher-Rao-Strafe mit Natural-Gradient-Updates kombiniert, um den durch Standard-On-Policy-Distillation verursachten Out-of-Distribution-Reasoning-Drift zu mildern und dadurch die In-Distribution-Leistung zu bewahren, während die Generalisierung über verschiedene Modellskalen hinweg signifikant verbessert wird.

Ursprüngliche Autoren: Josip Jukić, Ivan Titov

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Josip Jukić, Ivan Titov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „übermütigen Tutors“

Stellen Sie sich vor, Sie sind ein Schüler, der lernt, komplexe Matheaufgaben zu lösen. Sie haben einen Tutor (den „Lehrer“), der unglaublich klug ist, aber einen geheimen Vorteil hat: Der Tutor kann den Lösungsschlüssel sehen, während Sie noch versuchen, die Aufgabe zu verstehen.

In der Welt der KI nennt man das Privileged Context Self-Distillation. Die KI (der „Schüler“) versucht, ein Problem zu lösen, und dieselbe KI (die als „Lehrer“ fungiert) schaut sich das Problem plus die vollständige Lösung an, um den Schüler anzuleiten.

Das Problem:
Da der Tutor die Antwort sieht, ist er oft sehr sicher bezüglich des nächsten Schritts, selbst wenn der Schüler die Logik dahinter noch nicht begriffen hat.

Der alte Weg (Standard-Training): Der Schüler kopiert den Tutor blind. Wenn der Tutor sagt: „Mach diesen Schritt!“, mit 100 %iger Zuversicht, gerät der Schüler in Panik und zwingt sein Gehirn dazu, zuzustimmen, auch wenn er nicht versteht, warum.
Das Ergebnis: Der Schüler wird zum „Papagei“. Er wird sehr gut darin, die spezifischen Probleme zu lösen, die er geübt hat (In-Distribution), aber wenn man ihm eine neue Art von Problem gibt (Out-of-Distribution), versagt er kläglich. Er hat den Lösungsschlüssel auswendig gelernt, anstatt die Logik zu verstehen. Er wird selbstbewusst falsch.

Die Lösung: GEOSD (Der „geometrische“ Ansatz)

Die Autoren führen GEOSD (Geometric Self-Distillation) ein. Anstatt dem Schüler nur zu sagen „Kopiere mich“, agiert GEOSD wie ein weiser Coach, der die Geometrie des Lernens versteht. Es nutzt zwei Haupttricks, um zu verhindern, dass der Schüler in schlechte Gewohnheiten verfällt.

Trick 1: Der „Überlappungs“-Filter (Der Händedruck)

Die Metapher: Stellen Sie sich vor, der Schüler und der Tutor schütteln sich die Hände.

Standard-Training: Der Tutor zieht die Hand des Schülers so fest er kann, ungeachtet dessen, ob der Schüler überhaupt festhält. Wenn der Tutor stark und der Schüler schwach ist, wird der Schüler vom Kurs abgelenkt.
GEOSD: Der Zug ist proportional dazu, wie sehr sie sich bereits die Hände halten.
- Wenn der Schüler bereits mit dem Tutor übereinstimmt (sie haben eine „Überlappung“), zieht der Tutor sanft, um diese Übereinstimmung zu verstärken.
- Wenn der Schüler verwirrt ist und die Idee des Tutors kaum unterstützt, lockert der Tutor seinen Griff. Er zwingt den Schüler nicht dazu, eine Überzeugung zu übernehmen, die der Schüler noch nicht selbst stützen kann.

Warum es hilft: Es verhindert, dass der Schüler die „Übermütigkeit“ des Tutors bei Schritten blind kopiert, die er selbst noch nicht versteht.

Trick 2: Das „Ankerseil“ (Die Sicherheitsleine)

Die Metapher: Stellen Sie sich vor, der Schüler geht auf einem Seil und versucht, einen neuen Tanz zu lernen.

Standard-Training: Der Schüler macht riesige, hektische Schritte, um mit dem Tutor Schritt zu halten. Mit der Zeit driftet er so weit von seinem ursprünglichen Gleichgewicht weg, dass er vom Seil fällt, sobald sich die Musik ändert (neue Probleme).
GEOSD: Der Schüler ist durch ein dehnbares Seil an einen kürzlichen Checkpoint (eine „sichere Version“ seiner selbst von vor ein paar Minuten) gebunden.
- Der Tutor kann den Schüler zwar nach vorne ziehen, aber das Seil verhindert, dass er zu weit und zu schnell abdriftet.
- Dies stellt sicher, dass der Schüler die neuen Bewegungen lernt, ohne sein ursprüngliches Gleichgewicht zu verlieren.

Warum es hilft: Es stoppt das „Driften“. Der Schüler verbessert sich, ohne völlig zu vergessen, wer er war, wodurch er flexibel genug bleibt, um neue, ungesehene Probleme zu bewältigen.

Das Geheimrezept: „Geometrie“ vs. „Gerade Linien“

Die Arbeit verwendet schicke mathematische Begriffe wie „Hellinger-Loss“ und „Fisher–Rao-Distanz“. Hier ist die einfache Version:

Normales Training (Euklidisch): Betrachtet das Lernen wie das Gehen auf einem flachen Gitter. Man bewegt sich um einen festen Betrag nach „links“ oder „rechts“. Aber in der KI kann eine Bewegung nach „links“ das Verhalten des Modells wild verändern, während eine Bewegung nach „rechts“ um viel mehr kaum etwas bewirkt.
GEOSD (Geometrisch): Betrachtet das Lernen wie das Gehen auf einer Kugel.
- Stellen Sie sich die Vorhersagen der KI als Punkte auf einem Ball vor.
- GEOSD misst die Distanz dadurch, wie weit man entlang der Oberfläche des Balls laufen muss, um von einem Punkt zum anderen zu gelangen.
- Dies stellt sicher, dass jeder Schritt der KI danach gemessen wird, wie sehr er tatsächlich das Verhalten der KI verändert, und nicht nur, wie sehr er den Computercode verändert.

Die Ergebnisse: Was ist passiert?

Die Autoren testeten dies an mathematischen Problemen (wie den AIME- und AMC-Wettbewerben) unter Verwendung verschiedener Größen von KI-Modellen (von klein bis riesig).

Alte Methoden: Die Modelle wurden besser in den Übungsaufgaben, aber schlechter in den neuen, kniffligen Aufgaben. Sie wurden übermütig und starr.
GEOSD: Die Modelle wurden besser in den Übungsaufgaben UND signifikant besser in den neuen, kniffligen Aufgaben (mit einer Verbesserung von durchschnittlich 5,7 % bis 8,6 %).
Das „Warum“: Wenn die alten Methoden scheiterten, „entzogen sie die Masse“ von alternativen Antworten. Sie zwangen die KI, eine einzige falsche Antwort mit 100 %iger Sicherheit zu wählen. GEOSD hielt die anderen Optionen lebendig, was es der KI ermöglichte, unsicher und flexibel zu bleiben, was entscheidend für das Lösen neuer Probleme ist.

Zusammenfassende Analogie

Standard-Training ist wie ein Schüler, der ein Skript auswendig lernt. Wenn sich die Szene ändert, erstarrt er.
GEOSD ist wie ein Schüler, der die Prinzipien des Schauspielerns lernt. Er hört auf die Regie (Tutor), aber übernimmt die Regieanweisung nur, wenn er sie in seiner eigenen Performance spüren kann. Er bleibt in seinem eigenen Stil verwurzelt (der Anker), damit er sich an jede neue Szene anpassen kann.

Die Arbeit kommt zu dem Schluss, dass wir, um KI beim Denken intelligenter zu machen, sie nicht einfach nur den „Lösungsschlüssel“ kopieren lassen sollten. Wir müssen sie sanft führen, ihr aktuelles Verständnis respektieren und sie in ihrer Kernlogik verankern.

Technisches Resümee: Geometrische Selbst-Distillation zur Generalisierung des Schlussfolgerns

1. Problemstellung

On-Policy-Distillation (OPD) hat sich als praktische Post-Training-Strategie für Large Language Models (LLMs) etabliert, die eine dichte, auf Token-Ebene basierende Supervision auf Trajektorien bereitstellt, die vom Studenten-Modell selbst generiert wurden. Eine spezifische und effektive Variante, die Privileged-Context Self-Distillation (OPSD), konditioniert den „Lehrer“ (dasselbe Modell) auf zusätzliche Informationen, wie etwa einen vollständigen Lösungspfad oder einen Hinweis, während der Student aus dem ursprünglichen Problemkontext allein schlussfolgern muss.

Obwohl dieses Setup reichlich Supervision bietet, identifiziert das Paper einen kritischen Fehlermodus: Predictive Drift (Vorhersage-Drift). Da der Lehrer über privilegierten Kontext verfügt, kann er mit hoher Zuversicht Fortsetzungen festlegen, die angesichts der Lösung zwar offensichtlich sind, aus der Perspektive des Studenten jedoch unsicher oder nicht begründet bleiben. Standardmäßige Distillations-Ziele (z. B. die Kullback–Leibler-Divergenz) gewichten die Präferenzen des Lehrers nach dessen eigener Wahrscheinlichkeitsmasse. Infolgedessen ist das Gradientensignal an Zuständen, an denen der Lehrer eine hohe Konfidenz aufweist, der Student jedoch eine geringe Wahrscheinlichkeit zuweist (geringe Überlappung), sehr stark. Über viele Updates hinweg führen diese starken Züge dazu, dass der Student die konfidenten Fortsetzungen des Lehrers übernimmt, noch bevor seine eigene Information diese rechtfertigen kann. Diese Akkumulation unpassender Updates führt zu Drift, wodurch das Modell Unsicherheit unterdrückt und die Out-of-Distribution (OOD)-Fähigkeit beim Schlussfolgern verschlechtert, was oft in einer „konfidenten Übereinstimmung bei falschen Antworten“ resultiert.

Bestehende Ansätze versuchen dies zu mildern, indem sie unzuverlässige Lehrersignale filtern oder die Divergenzgewichte umgestalten (z. B. durch Reverse KL oder Filtermechanismen). Die Autoren argumentieren jedoch, dass diese Methoden das Kernproblem nicht adressieren: wie weit ein vertrauenswürdiges Signal den Studenten bewegen sollte. Die bloße Selektion kann die Magnitude der Aktualisierung nicht regulieren, und eine ungeprüfte Bewegung akkumuliert sich zu einem globalen Drift.

2. Methodik: GEOSD

Die Autoren führen GEOSD (Geometric Self-Distillation) ein, ein Ziel, das darauf ausgelegt ist, diesem Drift entgegenzuwirken, indem es das Vorhersageverhalten als Bewegung innerhalb eines spezifischen geometrischen Raums von Next-Token-Verteilungen behandelt. Die Methode operiert auf zwei komplementären Arten:

A. Lokale Druckabschwächung (Hellinger-Loss)

Anstelle der Standard-KL-Divergenz verwendet GEOSD einen Hellinger-Loss, um den „Zug“ des Lehrers an jedem besuchten Zustand zu modulieren.

Mechanismus: Die Hellinger-Distanz leitet sich aus der Geometrie des Wahrscheinlichkeitssimplex unter einer Quadratwurzel-Einbettung ( $p \to \sqrt{p}$ ) ab, wobei die Verteilungen auf einer Hypersphäre liegen. Der Gradient des Hellinger-Loss skaliert jede Lehrer-Präferenz durch das geometrische Mittel der Studenten- und Lehrer-Wahrscheinlichkeiten ( $\sqrt{p_i q_i}$ ).
Effekt: Wenn der Lehrer einem Token eine hohe Wahrscheinlichkeit zuweist, der Student jedoch eine Wahrscheinlichkeit nahe Null zuweist, verschwindet der Überlappungsterm und der Gradientenzug wird abgeschwächt. Umgekehrt werden geteilte Präferenzen stark übertragen. Dies stellt sicher, dass die Supervision graduell zunimmt, wenn Student und Lehrer in Übereinstimmung kommen, anstatt den Studenten zu zwingen, die konfidenten, aber nicht begründeten Fortsetzungen des Lehrers sofort zu übernehmen.

B. Globale Driftkontrolle (Fisher–Rao-Proximalterm)

Während die Überlappungsgewichtung den Zug an einzelnen Zuständen begrenzt, verhindert sie nicht die Akkumulation kleiner, vernünftiger Updates zu einem großen globalen Drift über das Training hinweg.

Mechanismus: GEOSD fügt einen proximalen Term hinzu, der die Distanz zwischen der aktuellen Studenten-Verteilung und einem jüngsten Checkpoint ( $\theta_{ckpt}$ ) bestraft. Diese Distanz wird mittels der Fisher–Rao-Distanz (der Bogenlänge auf der Hypersphäre) gemessen, welche die akkumulierte Verschiebung in der Geometrie der Vorhersageverteilungen verfolgt.
Effekt: Dies fungt als „bewegte Vertrauensregion“, die abrupte Verschiebungen dämpft, während sie stetige Bewegungen erlaubt, wenn das Lehrersignal konsistent ist. Im Gegensatz zum Ankern am ursprünglichen Modell (was eine Adaptation verhindern würde), erlaubt das Ankern an einem jüngeren Checkpoint dem Modell, sich anzupassen, während es verhindert wird, zu weit von seinem jüngsten, stabilen Verhalten abzuweichen.

C. Natural-Gradient-Update

Sowohl der Hellinger-Loss als auch der Fisher–Rao-Proximalterm sind Distanzen in derselben Geometrie der Next-Token-Verteilungen. Um dieses Ziel zu optimieren, nutzt GEOSD ein Natural-Gradient-Update.

Mechanismus: Anstatt Parameter im euklidischen Raum zu aktualisieren, wird das Update durch die Fisher-Informationsmatrix (effizient approximiert via K-FAC) präkonditioniert.
Effekt: Dies stellt sicher, dass jeder Schritt die kleinste Änderung an den Vorhersagen des Studenten bewirkt, die das Ziel verbessert, anstatt einen Schritt fester Größe im Parameterraum zu machen. Der proximale Term fungiert effektiv als „Checkpoint-Rückzug“ in dieser Geometrie und führt die Policy basierend auf der verhaltensbezogenen Salienz der Parameterrichtungen zurück zum Checkpoint.

3. Zentrale Beiträge

GEOSD-Zielsetzung: Ein Selbst-Distillations-Framework, das Lehrer-Präferenzen durch die Lehrer-Student-Überlappung (via Hellinger-Loss) gewichtet und den Vorhersage-Drift von einem jüngeren Checkpoint (via Fisher–Rao-Distanz) bestraft, optimiert durch Natural Gradients in einer vereinheitlichten Geometrie.
Empirische Verbesserung: GEOSD bewahrt die In-Distribution (ID)-Gewinne der Selbst-Distillation und verbessert gleichzeitig signifikant die OOD-Fähigkeit beim Schlussfolgern. Über drei Modellfamilien (Qwen3, Olmo, DeepSeek-R1) und fünf Skalierungen (1.7B bis 32B) hinweg verbessert es die durchschnittliche OOD-Genauigkeit um 5,7–8,6 Punkte, während Standard-KL-Ziele die OOD-Leistung verschlechtern.
Mechanistische Analyse: Das Paper charakterisiert, warum das Standard-Matching beim OOD scheitert: Es konzentriert die Wahrscheinlichkeitsmasse auf die Top-Wahl des Lehrers, indem es Alternativen bei Zuständen hoher Entropie „entleert“, was zu einer konfidenten Übereinstimmung bei falschen Antworten führt. GEOSD hält die Dominanz der Top-Wahl aufrecht, lässt aber alternative Fortsetzungen „in Reichweite“, um einen vorzeitigen Kollaps zu verhindern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GEOSD auf Benchmarks für mathematisches Schlussfolgern (DAPO-Math für das Training; AIME 2024/2025, AMC 2023, MATH-500 für OOD-Tests).

Performance: GEOSD erreichte die beste OOD-Genauigkeit über alle getesteten Benchmarks und Modellfamilien hinweg. Beispielsweise verbesserte GEOSD auf Qwen3-8B die OOD-Genauigkeit um +8,6 Punkte gegenüber dem Basismodell, verglichen mit einer Degradierung von -8,1 Punkten durch Forward KL.
Robustität: Die Gewinne hielten über variierende Mengen an privilegiertem Kontext (von kurzen Präfixen bis zu vollständigen Lösungen) und über verschiedene Modellskalen (1.7B bis 32B) hinweg stand.
Ablation: Das Entfernen des Hellinger-Überlappungsgewichts, des Fisher–Rao-Proximalterms oder des Natural-Gradient-Updates führte zu signifikanten Einbußen in der OOD-Leistung, was bestätigt, dass alle drei Komponenten notwendig sind.
Falscher Konsens: Die Analyse zeigte, dass Standardmethoden (wie Forward KL) bei Zuständen hoher Entropie hohe Raten an „falschem Konsens“ (Proben, die sich stark auf falsche Antworten einigen) aufweisen. GEOSD reduzierte diese Rate sogar unter das Niveau des Basismodells und bewahrte eine informative Selbstkonsistenz.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Verschlechterung des OOD-Schlussfolgerns in der Privileged-Context Self-Distillation nicht nur ein Resultat der Verwendung unzuverlässiger Signale ist, sondern eine Folge dessen, wie diese Signale das Modell bewegen. Standardmäßige Ziele erlauben es der Konfidenz des Lehrers, den Studenten vorzeitig in einen engen Modus zu zwingen, indem sie die Wahrscheinlichkeitsmasse lebensfähiger Alternativen entziehen.

GEOSD demonstriert, dass effektive Distillation beim Schlussfolgern nicht nur davon abhängt, welchen Lehrersignalen man vertrauen sollte, sondern auch davon, wie weit diese Signale den Studenten bewegen dürfen. Durch die geometrische Regulierung dieser Bewegung – die Abschwächung von Zügen, bei denen der Student keinen Support hat, und das Verankern der Trajektorie an einem kürzlich stabilen Zustand – erreicht GEOSD einen überlegenen Kompromiss zwischen In-Distribution-Leistung und Out-of-Distribution-Generalisierung. Die Autoren kommen zu dem Schluss, dass die Kontrolle des Predictive Drift essenziell ist, um die Selbst-Distillation bei Aufgaben des Schlussfolgerns zu skalieren.

Angemerkte Limitationen: Die Autoren räumen ein, dass ihre Erkenntnisse derzeit nur für mathematisches Schlussfolgern etabliert sind. Die Anwendbarkeit von Überlappungsgewichtung und Fisher–Rao-Driftkontrolle auf andere Domänen (z. B. Code oder wissenschaftliches Schlussfolgern), in denen Zustände hoher Entropie andere Strukturen aufweisen können, bleibt ungetestet. Zudem setzt die Methode voraus, dass die Basis-Policy bereits breit kompetent ist; bei sehr schwachen Basismodellen könnte der Mechanismus nützliche Signale unterdrücken, die große Verhaltensänderungen erfordern.