Technisches Resümee: Lehrer-Supervision über Repräsentations-Äquivalenzklassen

1. Problemstellung

Knowledge Distillation wird traditionell als die Wahl dessen gerahmt, was innerhalb eines Lehrer-Modells angeglichen werden soll: Logits (Ausgabeverteilungen), verborgene Merkmale (Hidden Features) oder die Relationen von Stichproben. Diese Rahmung setzt voraus, dass eine Repräsentation eines Lehrers über „absolute Koordinaten“ verfügt, die ein Schüler direkt angleichen kann.

Das Paper argumentiert, dass diese Prämisse fundamental fehlerhaft ist. Eine vortrainierte Repräsentation ist keine feste Matrix, sondern nur bis auf eine orthogonale-und-isotrope-Skalierungs-Äquivalenzklasse identifizierbar. Da der nachgeschaltete „Leser“ (Gewichte) jede Rotation oder Skalierung der Repräsentation absorbieren kann, ohne die Ausgabefunktion des Netzwerks zu verändern, tragen die spezifischen Koordinaten eines Merkmalsvektors keine intrinsische Bedeutung. Folglich ist der Versuch, die Merkmale eines Lehrers „Basis für Basis“ anzugleichen, ein schlecht gestelltes (ill-posed) Ziel. Das Paper postuliert, dass Fähigkeit (z. B. Perplexity, Top-1-Genauigkeit) keine Eigenschaft der Repräsentation selbst ist, sondern eine Invariante der Äquivalenzklasse der Repräsentation – spezifisch der Ausgabefunktion.

2. Methodik und theoretischer Rahmen

2.1 Repräsentation als Äquivalenzklasse

Die Autoren definieren eine Repräsentation $H$ (Layer-Aktivierungen) nicht als feste Matrix, sondern als Orbit unter der Wirkung der Gruppe $G = O(d) \times \mathbb{R}^+$ (orthogonale Rotationen und isotrope Skalierung).

• Annahme 2.1 (Absorbierbare Reparametrisierung): Jede Koordinatenänderung $h \mapsto c h Q$ in einer Repräsentation kann durch eine entsprechende Änderung der nachgeschalteten Gewichte $W_{in} \mapsto c^{-1} Q^\top W_{in}$ kompensiert werden, wodurch die Netzwerkfunktion $f$ unverändert bleibt.
• Proposition 2.1 (Schlecht gestellte Natur des absoluten Angleichens): Da die Funktion unter dieser Gruppenwirkung invariant ist, ist eine Verlustfunktion, die die Distanz zwischen absoluten Koordinaten minimiert (z. B. $\|H_T - H_S\|_F$), schlecht gestellt. Sie bestraft funktionenerhaltende Reparametrisierungen, und ihr Minimierer hängt von einer willkürlichen Wahl eines Repräsentanten innerhalb der Äquivalenzklasse ab.

2.2 Der Quotientenraum und Fähigkeit

Das Paper unterscheidet zwischen zwei Quotientenräumen:

1. Repräsentations-Quotient ($\pi_{rep}$): Kollabiert die Repräsentation $H$ allein zu ihrer Äquivalenzklasse $[H]$. Invariante hier sind die Gram-Matrix, CKA (Centered Kernel Alignment) und Hauptwinkel. Diese messen die geometrische Ähnlichkeit, bestimmen aber nicht die Ausgabefunktion.
2. Gemeinsamer Quotient ($\pi_{joint}$): Kollabiert das Paar $(H, \theta_{downstream})$ gemeinsam. Die Ausgabefunktion $f$ ist eine wohldefinierte Funktion auf diesem gemeinsamen Quotienten.

Proposition 3.2 etabliert, dass Fähigkeit eine Klassen-Invariante ist, die auf dem gemeinsamen Quotienten definiert ist. Daher kann ein Distillations-Ziel nur dann Fähigkeit übertragen, wenn es auf die Ausgabefunktions-Invariante auf diesem Quotienten abzielt.

2.3 Taxonomie der Distillations-Ziele

Basierend auf dem Quotienten-Rahmen kategorisiert das Paper Distillations-Verlustfunktionen in drei Familien:

• (A) Relationales Matching: Zielt auf den Repräsentations-Quotienten ab (z. B. CKA, normierte Gram-Matrix). Diese sind basis-invariant, übertragen aber nicht eigenständig Fähigkeit, da sie den Koordinatenrahmen des Lesers ignorieren.
• (B) Align-then-Match (Ausrichten und dann Anpassen): Schätzt eine Alignment-Abbildung (z. B. Procrustes-Rotation oder eine Linear-Map mit geringer Kapazität $W$), um einen Repräsentanten innerhalb der Klasse zu fixieren, und gleicht dann absolute Koordinaten an. Dies ist notwendig für Aufgaben, die koordinatenspezifische Merkmalskonsumtion erfordern (z. B. Grafting), führt aber Alignment-Rauschen ein.
• (C) Logit-Distillation: Zielt direkt auf den gemeinsamen Quotienten ab, indem Ausgabeverteilungen angeglichen werden. Da die Ausgabe bereits eine Funktion der gemeinsamen Klasse ist, ist dieses Ziel nativ auf dem korrekten Quotienten definiert und erfordert keinen Alignment-Schritt.

3. Zentrale Beiträge

1. Geometrische Neukontextualisierung: Das Paper reframt die Lehrer-Supervision von „Matching von Merkmalen“ hin zum „Transferieren der Repräsentations-Äquivalenzklasse“. Es identifiziert Fähigkeit als eine Klassen-Invariante (die Ausgabefunktion) statt als eine Eigenschaft einer spezifischen Merkmalsmatrix.
2. Beweis der Unbestimmtheit: Es beweist formal, dass das absolute Merkmals-Matching schlecht gestellt ist, da es Punkte innerhalb derselben funktionalen Faser trennt und somit gültige Reparametrisierungen bestraft.
3. Verlust-Taxonomie: Es liefert eine vereinheitlichte geometrische Erklärung für Feature-Matching, relationale Distillation, Alignment und Grafting, indem es diese durch den Teil der Klassenstruktur unterscheidet, den sie fixieren.
4. Empirische Validierung: Durch kontrollierte Restaurations- und Cross-Width-Distillations-Experimente an Qwen2.5 und Llama-3.1 isoliert das Paper den Mechanismus des Fähigkeitstransfers.

4. Experimentelle Ergebnisse

4.1 Restaurationsstudie (Qwen2.5, Llama-3.1)

Die Autoren korrumpierten ein Lehrer-Modells, indem sie einen Bruchteil seiner Layer neu initialisierten, und versuchten, es mit verschiedenen Zielen zu restaurieren.

• Ergebnis 1: Das Training mit ausschließlich einem basis-invarianten relationalen Verlust ($L_{CKA}$) stellte die Geometrie der Repräsentation erfolgreich wieder her (CKA $\approx$ 0.99), scheiterte jedoch an der Restaurierung der Fähigkeit (Perplexity-Ratio $10^2$–$10^4$ schlechter, Top-1 $\approx$ 0).
• Ergebnis 2: Das Training mit ausschließlich einem Logit-Verlust ($L_{logit}$) stellte die Fähigkeit fast perfekt wieder her (Perplexity-Ratio $\approx$ 1.01, Top-1 $\approx$ 0.98), ohne die verborgenen Repräsentationen auszurichten (CKA blieb niedrig).
• Fazit: Das Ausrichten von Repräsentationen und die Restaurierung der Funktion sind nahezu orthogonal zueinander. Fähigkeit wird exklusiv durch den Ausgabefunktions-Term getrieben.

4.2 Die Rolle des Weight Tying

• In Modellen mit gekoppelten Input/Output-Embeddings (Qwen2.5-0.5B) ist der Output-Head fixiert, sodass das Matching der Logits allein ausreicht, um die Funktion wiederherzustellen.
• In Modellen mit entkoppelten Heads (Qwen2.5-7B, Llama-3.1-8B) erforderte die Wiederherstellung der Fähigkeit das explizite Training des Output-Heads zusammen mit dem Logit-Verlust. Dies bestätigt, dass der „Leser“ an den Koordinatenrahmen der neuen Repräsentation angepasst werden muss.

4.3 Cross-Width Distillation

In einem echten Cross-Width-Distillations-Szenario (Lehrer: 1.5B, Schüler: 0.5B):

• Nur Feature-Matching (selbst mit einer gelernten Projektion $W$) führte dazu, dass das Schüler-Modell kollabierte (Perplexity $> 10^6$).
• Nur Logit-Matching bewahrte und verbesserte die Leistung des Schülers leicht.
• Das Hinzufügen eines Feature-Terms zum Logit-Matching bot keinen Vorteil und war oft sogar leicht schädlich.
• Ein Ersatzexperiment mit einer optimal gelösten Alignment-Map bestätigte, dass Feature-only-Supervision strukturell fehlschlägt, nicht aufgrund von Optimierungsschwierigkeiten.

4.4 Grafting und Subspace-Überlappung

Das Paper validiert, dass der Erfolg von Modul-Grafting durch die Überlappung der Rand-Subräume (gemessen durch CKA oder Procrustes-Residual) zwischen Donor und Host bestimmt wird. Eine hohe Überlappung ist notwendig, aber nicht hinreichend; Grafts nahe der Output-Schicht scheitern selbst bei hoher Überlappung aufgrund der Sensitivität gegenüber minimalen Abweichungen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Intuition, dass Distillation „in der Basis“ stattfindet, „im Geist richtig, aber im Buchstaben falsch“ ist.

• Kernbehauptung: Die Lehrer-Supervision sollte auf die Äquivalenzklasse abzielen, nicht auf die Koordinaten. Fähigkeit wird durch die Ausgabefunktions-Invariante übertragen.
• Praktische Implikation: Für den Transfer von Fähigkeit ist das Logit-Matching das einzige Ziel, das nativ auf dem korrekten Quotienten definiert ist. Feature-Matching (selbst relationales oder ausgerichtetes) ist unzureichend für den Transfer von Fähigkeit und dient nur dem Transfer geometrischer Strukturen oder spezifischen Aufgaben wie Grafting, bei denen eine explizite Koordinaten-Ausrichtung erforderlich ist.
• Geltungsbereich: Das Paper betont, dass Distillation Replikation, nicht Kreation ist. Sie überträgt die Ausgabefunktion des Lehrers auf dem durch den Korpus abgedeckten Subraum. Es beansprucht nicht, neue Fähigkeiten jense_it der bestehenden Funktion des Lehrers zu generieren oder einen Transfer zwischen Familien mit unterschiedlichen Tokenizern zu lösen.

Das Paper schließt mit der Feststellung: „Was ein Lehrer weiß, lebt in der Klasse; was übertragen wird, ist der Teil dieser Klasse, den das Ziel und der Korpus tatsächlich adressieren.“