🤖 AI

Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillatio

Diese Arbeit identifiziert, dass eine auf reiner Ausgangs-Matching basierende Quantization-Aware Distillation (QAD) die interne Repräsentationsgeometrie von NVFP4-Modellen nicht bewahren kann, was zu einer Leistungsverschlechterung bei Reasoning- und Coding-Aufgaben führt, und schlägt CKA-QAD vor, eine Methode, die schichtweise Gram-Matrizen abgleicht, um die Genauigkeit durch die Aufrechterhaltung der internen Struktur wiederherzustellen.

Ursprüngliche Autoren: Fangbo Tu, Junhua Zhao, Chi Liu, Xin Chen, Haifeng Wu, Jian Wan, Srinivasan Manoharan

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fangbo Tu, Junhua Zhao, Chi Liu, Xin Chen, Haifeng Wu, Jian Wan, Srinivasan Manoharan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten Meisterkoch (den Lehrer), der ein perfektes, komplexes Gericht kochen kann. Nun wollen Sie einem Schülerkoch (dem Schüler) beibringen, genau dasselbe Gericht zu kochen, aber mit einem großen Haken: Der Schüler darf nur ein winziges, minderwertiges Set an Messbechern und Löffeln verwenden (dies ist NVFP4-Quantisierung, eine Methode, um die Größe des Modells für eine schnellere, günstigere Nutzung zu verkleinern).

Normalerweise würden Sie dem Schülerchen sagen: „Achte darauf, dass der Geschmack deines Gerichts exakt meinem entspricht.“ In der Welt der KI nennt man das Output Matching (oder KL-Divergenz). Man prüft das Endergebnis (die „Logits“ oder die Wahrscheinlichkeit des nächsten Wortes) und sagt dem Schüler: „Wenn dein Gericht so schmeckt wie meines, machst du einen guten Job.“

Das Problem: Der „falsche“ Abgleich

Die Autoren dieser Arbeit entdeckten einen überraschenden Fehler in dieser Methode.

Sie fanden heraus, dass der Schülerkoch schummeln konnte. Der Schüler konnte seine Zutaten und Kochschritte auf eine völlig verrückte, chaotische Weise umstellen, aber irgendwie entsprach der Geschmack am Ende dennoch dem Gericht des Meisterkochs.

Die Realität: Die interne Küche des Schülers (interne Geometrie) war ein Chaos. Die Zutaten wurden in der falschen Reihenfolge gemischt, die Hitze wurde seltsam angewendet und die „Geschmackslandkarte“ war zerstört.
Die Illusion: Weil der Geschmack am Ende stimmte, dachte der Lehrer, der Schüler würde lernen. Aber als der Schüler versuchte, ein neues, komplexes Gericht zu kochen (wie ein mathematisches Problem oder Code), scheiterte er, weil seine interne Küche desorganisiert war.

Das Papier nennt dies „Output Matching masking Internal Degradation“ (Output-Matching maskiert die interne Degradation). Der Schüler sieht an der Oberfläche gut aus, aber sein Gehirn ist darunter durcheinandergebracht. Dies war besonders schlimm für Modelle, die darauf trainiert wurden, tief zu „denken“ (Reinforcement Learning-Modelle), bei denen die interne Logik entscheidend ist.

Die Lösung: CKA-QAD (Der „Küchen-Bauplan“-Check)

Um dies zu beheben, führten die Autoren eine neue Lehrmethode namens CKA-QAD ein.

Anstatt nur den Geschmack am Ende zu prüfen, fügten sie eine Regel hinzu: „Dein Küchenlayout muss wie meines aussehen.“

Sie verwendeten ein mathematisches Werkzeug namens CKA (Centered Kernel Alignment). Betrachten Sie CKA als einen Bauplan-Scanner. Es ist egal, ob der Schüler andere Töpfe oder Pfannen verwendet (es ignoriert geringfügige Skalierungsänderungen); es geht darum, ob die Beziehung zwischen den Zutaten dieselbe ist.

Wenn der Meisterkoch Salz vor Pfeffer gibt, muss der Schüler dasselbe tun.
Wenn der Meisterkoch Mehl und Eier in einem bestimmten Muster mischt, muss der Schüler dieses Muster nachahmen.

Durch das Hinzufügen dieses „Bauplan-Checks“ zum Training wird der Schüler gezwungen, seine interne Küche organisiert zu halten und nicht nur den Geschmack vorzutäuschen.

Was passierte, als sie es ausprobierten?

Die Forscher testeten dies an zwei verschiedenen KI-Modellen (einem riesigen Hybridmodell und einem kleineren Reasoning-Modell).

Der alte Weg (Nur Geschmack): Der Schüler konnte das Endergebnis imitieren, aber sein internes „Gehirn“ driftete vom Lehrer weg. Als er gebeten wurde, schwierige Mathe- oder Programmieraufgaben zu lösen, stolperte er.
Der neue Weg (Geschmack + Bauplan): Der Schüler lernte, seine interne Küche organisiert zu halten, während er gleichzeitig den Geschmack traf.
- Ergebnis: Der Schüler lieferte nicht nur die richtigen Antworten, sondern erzielte sie sogar besser bei komplexen Aufgaben wie Mathe (AIME25) und Coding (LiveCodeBench).
- Effizienz: Diese neue Methode fügte dem Trainingsprozess nur einen winzigen Bruchteil an Zeit (etwa 0,5 %) und Speicher (etwa 7 %) hinzu. Es war ein kleiner Preis für einen viel klügeren Schüler.

Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass für KI-Modelle, die beim Verkleinern (Komprimieren) gut funktionieren sollen, nicht nur das Endergebnis zählt. Man muss sicherstellen, dass die interne Struktur des Modells der des Originals treu bleibt.

Einfach ausgedrückt: Wenn Sie möchten, dass eine kleine KI klug ist, sagen Sie ihr nicht nur „Gib die richtige Antwort“. Sagen Sie ihr auch: „Denke auch auf die richtige Weise.“ Indem wir prüfen, wie das Modell denkt (seine interne Geometrie) und nicht nur, was es sagt, können wir kleine, schnelle KI-Modelle erschaffen, die tatsächlich zu tiefgründigem Denken fähig sind.

Technisches Resümee: Jenseits des Output-Matching bei der NVFP4 LLM-Destillation

1. Problemstellung

Da Large Language Models (LLMs) zunehmend in Latenz- und Speicher-beschränkten Produktionsumgebungen eingesetzt werden, wächst die Nachfrage nach Präzisionsformaten für die Inferenz mit geringer Bitbreite, insbesondere NVFP4 (ein 4-Bit-Fließkommaformat mit feingranularer Blockskalierung). Während Quantization-Aware Distillation (QAD) als robuste Methode zur Wiederherstellung der Genauigkeit etabliert hat, die durch Post-Training-Quantisierung (PTQ) verloren geht – indem die Ausgabeverteilung eines quantisierten Studenten mittels KL-Divergenz mit einem Vollpräzisions-Lehrer abgleicht –, identifiziert dieses Paper einen kritischen Fehler im vorherrschenden Paradigma.

Die Autoren argumentieren, dass die Ausgabe-Ebene-Ausrichtung allein unzureichend für eine getreue Kapazitätswiederherstellung ist. Ihre Analyse zeigt, dass die standardmäßige QAD, die ausschließlich auf die KL-Divergenz optimiert, eine signifikante degradierte interne Repräsentation maskieren kann. Konkret bedeutet dies, dass das Studentenmodell zwar erfolgreich die Logits des Lehrers abbilden kann, seine internen Aktivungsgeometrien jedoch eine unbeabsichtigte Reorganisation (Drift) erfahren. Dieses „Shortcut Learning“ ist besonders schwerwiegend bei Modellen, die ein Reinforcement Learning (RL) Post-Training durchlaufen haben, bei denen die für komplexe Denk- und Codierungsaufgaben erforderlichen internen semantischen Hierarchien trotz hoher Output-Genauigkeit beeinträchtigt werden.

2. Methodik: CKA-QAD

Um die Diskrepanz zwischen Output-Matching und interner Geometrie zu adressieren, schlagen die Autoren CKA-QAD vor, eine Methode, die die Standard-QAD um einen Centered Kernel Alignment (CKA) Regularisierer erweitert.

Kernmechanismus

Anstatt sich ausschließlich auf die Distillation auf Logit-Ebene zu verlassen, führt CKA-QAD einen leichtgewichtigen Regularisierer ein, der die schichtweisen Gram-Matrizen der Aktivierungen von Student und Lehrer abgleicht.

CKA-Metrik: Die Methode nutzt lineares CKA, welches die Ähnlichkeit zwischen zentrierten Aktivierungsmatrizen ( $\bar{H}_t$ und $\bar{H}_s$ ) misst. CKA wurde aufgrund seiner Invarianz gegenüber orthogonalen Transformationen und isotroper Skalierung gewählt, was es robust gegenüber den nicht-stationären Aktivierungsverteilungen und Skalenverschiebungen macht, die mit NVFP4-Quantisierung einhergehen.
Zielfunktion: Die Gesamtfunktion komb combinations die Standard-Top-K-KL-Divergenz-Verlustfunktion ( $L_{TopK-KL}$ ) mit einem dynamischen CKA-Ausrichtungsterm ( $L_{CKA}$ ):
$L_{total} = L_{TopK-KL} + \text{sg}\left(\frac{L_{TopK-KL}}{L_{CKA} + \epsilon}\right) L_{CKA}$
Die Verwendung eines Stop-Gradient (sg) Operators und der dynamischen Skalierung ermöglicht es, den CKA-Term gegen den Logit-Verlust auszubalancieren, ohne manuelles Hyperparameter-Tuning eines globalen Gewichts $\lambda$ zu erfordern.

Implementierungsdetails

Schichtauswahl: CKA wird auf den Ausgaben der korrespondierenden Decoder-Blöcke berechnet (nach Attention/MLP/Mamba-Updates). Die Autoren schließen Pre-Normalization-Aktivierungen, Attention-Gewichte und KV-Cache-Zustände explizit aus, um Artefakte durch Residual-Stream-Skalen und autoregressive Abhängigkeiten zu vermeiden.
Engineering-Optimierungen: Um den Rechenaufwand für die Berechnung von CKA über viele Schichten hinweg zu bewältigen:
1. Top-K Distillation: Der KL-Verlust wird nur auf den Top 8192 Logits des Lehrers berechnet.
2. Feature-Space CKA: CKA wird über Feature-Kovarianzmatrizen ( $\bar{H}^\top \bar{H}$ ) anstatt über explizite Token-to-Token Gram-Matrizen berechnet, was die Speicherkomplexität reduziert.
3. Hook-basierte Erfassung: Aktivierungen werden über Forward-Hooks erfasst, wobei die Lehrer-Aktivierungen vom Berechnungsgraph abgetrennt sind.

3. Zentrale Beiträge

Diagnose von QAD-Fehlermodi: Das Paper liefert eine Repräsentations-Diagnose, die zeigt, dass eine reine KL-Distillation den Repräsentations-Drift verstärken kann, insbesondere in den mittleren Transformer-FFN-Schichten und Mamba-State-Blöcken. Dieser Drift korreliert mit Leistungsengpässen bei Reasoning- und Coding-Aufgaben.
CKA-gestützte NVFP4 QAD: Die Einführung von CKA-QAD, einer Methode, die explizit die interne Repräsentationsgeometrie während der Low-Bit-Distillation bewahrt. Dies stellt die Ausrichtung nahezu auf BF16-Niveau wieder her, bei minimalem Overhead.
Empirische Validierung: Umfassende Evaluierung auf zwei unterschiedlichen Architekturen:
- Nemotron 3 Nano: Ein hybrides Mamba–Transformer MoE-Modell mit RL-Post-Training.
- Qwen3-4B-Thinking-2507: Ein kompaktes Transformer-Reasoning-Modell.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CKA-QAD im Vergleich zu BF16-Lehrern, NVFP4 PTQ-Baselines und der Standard-KL-only QAD.

Repräsentations-Ausrichtung

Nemotron 3 Nano: Die Standard-QAD (nur KL) führte zu einem signifikanten Abfall der durchschnittlichen CKA (0,958) im Vergleich zu PTQ (0,993), mit einem schweren Kollaps in der letzten Schicht (0,740). CKA-QAD stellte die durchschnittliche CKA auf 0,994 und die CKA der letzten Schicht auf 0,985 wieder her, was fast dem BF16-Lehrer entspricht.
Qwen3-4B: Ähnliche Trends wurden beobachtet, wobei die KL-only QAD die durchschnittliche CKA auf 0,98 und die CKA der letzten Schicht auf 0,86 senkte. CKA-QAD stellte diese auf 0,99 bzw. 0,97 wieder her.

Downstream-Genauigkeit

CKA-QAD zeigte konsistente Verbesserungen in komplexen Reasoning- und Coding-Benchmarks:

AIME25 (Mathematisches Denken): Verbesserung von 68,5 % (KL-only) auf 72,3 % (CKA-QAD) bei Qwen3-4B.
GPQA-D (Expertenwissen): Verbesserung von 59,5 % auf 61,1 %.
LiveCodeBench-v5 (Code-Generierung): Verbesserung von 57,9 % auf 59,8 %.
Nemotron 3 Nano: Zeigte eine ähnliche Erholung, wobei AIME25 von 87,9 % auf 88,3 % und LiveCodeBench von 68,9 % auf 70,3 % stieg.

Effizienz-Overhead

Die Methode führt moderate Trainingskosten ein:

Wall-clock time: +0,5 % pro Schritt.
Peak VRAM: +7,0 %.
Durchsatz: -0,5 %.
Konvergenz: Die Schritte bis zum Erreichen des Ziel-KL wurden leicht reduziert (-3,3 %).

5. Bedeutung und Ansprüche

Das Paper positioniert die CKA-gestützte Repräsentations-Ausrichtung als praktisches Komplement zum Output-Matching für die Quantisierungs-Wiederherstellung von LLMs. Die Autoren behaupten:

Funktionale Ausrichtung ist notwendig, aber nicht ausreichend: Das Abgleichen von Ausgabeverteilungen garantiert nicht die Bewahrung der internen semantischen Topologie, die für tiefes Denken erforderlich ist.
Geometrie-Bewahrung unterstützt Low-Bit-Generalisierung: Indem verhindert wird, dass der Student „Shortcut“-Mappings lernt, die zwar die Verlustfunktion erfüllen, aber die interne Struktur degradieren, hilft die CKA-Regularisierung der aggressiven Quantisierung dabei, die während des Post-Trainings (insbesondere RL) kodierten feingranularen semantischen Hierarchien beizubehalten.
Robustheit gegenüber Quantisierungsartefakten: Im Gegensatz zu punktweisen Feature-Lossen (z. B. MSE) ist die Invarianz von CKA gegenüber Skalierung und Rotation besonders geeignet für NVFP4, wo blockweise Skalierung nicht-stationäre Verteilungen induziert.

Die Autoren kommen zu dem Schluss, dass die Bewahrung der internen Geometrie entscheidend für Aufgaben ist, die eine mehrstufige Feature-Propagation erfordern, wie mathematisches Denken und Code-Synthese, und dass CKA-QAD einen praktikablen Weg für die High-Fidelity Low-Bit-Bereitstellung von LLMs mit minimalem Engineering-Overhead bietet.