🤖 AI

Teacher Supervision over Representation Equivalence Classes

Dit artikel herformuleert kennisdistillatie als een geometrisch probleem van het afstemmen van equivalentieklassen van de representaties van de docent in plaats van absolute kenmerken, waarbij wordt aangetoond dat hoewel het uitlijnen van verborgen representaties de modelgeometrie herstelt, alleen het afstemmen van logits de functionele capaciteit herstelt.

Oorspronkelijke auteurs: Sang Il Han

Gepubliceerd 2026-07-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sang Il Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernpuzzel: Waarom het "Kopiëren" van het Brein Niet Werkt

Stel je voor dat je een meesterkok (de Docent) hebt en een leerling (de Student). Je wilt dat de leerling precies kookt zoals de meester.

In de wereld van AI proberen onderzoekers de leerling meestal te onderwijzen door de interne aantekeningen van de meester te laten zien (de verborgen kenmerken binnen de "hersenen" van de computer). Ze zeggen: "Kijk naar deze getallen in het midden van het proces; zorg dat jouw getallen precies lijken op de mijne."

De grote ontdekking van het artikel: Deze aanpak is kapot. Je kunt de interne aantekeningen van de leerling wel identiek laten lijken aan die van de meester, maar de leerling zal nog steeds vreselijk eten koken. Het artikel bewijst dat het matchen van de "aantekeningen" (interne kenmerken) niet garandeert dat het "gerecht" (de uiteindelijke output/capaciteit) goed is.

Het Grote Idee: Het "Vertalingsprobleem"

Waarom gebeurt dit? Het artikel gebruikt een geometrische uitleg die verrassend eenvoudig is.

De Analogie: De Kaart en het Kompas
Stel je voor dat de interne aantekeningen van de docent een kaart zijn die op een stuk papier is getekend.

Het Probleem: De kaart van de docent is getekend met een specifiek kompas (Noord is boven). Maar de kaart van de student is getekend waarbij Noord naar het Oosten wijst.
De Fout: Als je probeert de kaart van de docend regel voor regel te kopiëren zonder het kompas te corrigeren, kopieer je de verkeerde richtingen. Zelfs als de lijnen hetzelfde lijken, wijzen ze naar andere plekken.
De Realiteit: Het interne "brein" van de docent heeft geen vast kompas. Het kan zijn interne aantekeningen draaien, flippen of uitrekken, zolang het uiteindelijke resultaat (de output) maar hetzelfde blijft. Het artikel noemt dit een Equivalence Class (equivalentieklasse). Dit betekent dat er oneindig veel manieren zijn om een "gedachte" intern op te schrijven, maar er is slechts één manier om het uiteindelijke antwoord te formuleren.

De Oplossing van het Artikel:
Probeer niet de interne aantekeningen (de kaart) te matchen. Match het uiteindelijke antwoord.
Als je de student dwingt om exact hetzelfde uiteindelijke gerecht (de output) te maken als de docent, zal de student vanzelf uitzoeken hoe hij zijn eigen interne aantekeningen moet ordenen om dat voor elkaar te krijgen. Het artikel noemt dit Output Function Matching.

Drie Manieren om te Onderwijzen (en Waarom Twee Falen)

Het artikel categoriseert onderwijsmethoden in drie groepen:

De "Interne Aantekening" Match (Feature Distillation):
- Wat het doet: Probeert de verborgen getallen van de student gelijk te maken aan die van de docent.
- De Gebreken: Het is alsof je een zin probeert te kopiëren die geschreven is in een taal die je niet spreekt, letter voor letter, zonder het alfabet te kennen. Omdat het "alfabet" (het coördinatenstelsel) kan veranderen, kopieer je misschien het verkeerde. Het artikel laat zien dat je een match van 99% kunt hebben op de interne aantekeningen, maar dat het model nog steeds niet werkt.
- Oordeel: Slaagt er niet in om capaciteit over te dragen.
De "Relatie" Match (Relational Distillation):
- Wat het doet: In plaats van getallen te kopiëren, kopieert het hoe de getallen zich tot elkaar verhouden (bijv. "Zin A is meer vergelijkbaar met B dan met C").
- De Gebreken: Dit is beter omdat het het specifieke "alfabet" negeert en kijkt naar de vorm van de data. Echter, het garandeert nog steeds niet dat het uiteindelijke antwoord correct is. Het herstelt de vorm van het brein, maar niet de stem van het brein.
- Oordeel: Herstelt de geometrie, maar herstelt niet de functie.
De "Uiteindelijke Antwoord" Match (Logit Distillation):
- Wat het doet: Negeert de interne aantekeningen volledig. Het zegt simpelweg: "Wanneer de docent 'Appel' zegt, moet jij ook met dezelfde zekerheid 'Appel' zeggen."
- Het Succes: Dit werkt perfect. Omdat het uiteindelijke antwoord het enige is dat hetzelfde moet blijven, ongeacht hoe de interne aantekeningen gedraaid zijn, dwingt het matchen van het uiteindelijke antwoord het hele systeem om correct uit te lijnen.
- Oordeel: Draagt capaciteit over.

Het "Restauratie" Experiment

Om dit te bewijzen, voerden de onderzoekers een dramatisch experiment uit:

Ze namen een werkend AI-model en "door elkaar gehusseld" de interne hersenen (de interne aantekeningen vernietigd).
Ze probeerden dit te herstellen door de gehusselde aantekeningen te dwingen te matchen met de originele aantekeningen van de docent.
- Resultaat: De interne aantekeningen zagen er perfect uit (9% match), maar het model was nog steeds kapot en kon niet praten.
Ze probeerden het model te herstellen door het te dwingen de uiteindelijke antwoorden van de docent te matchen (de gehusselde aantekeningen negerend).
- Resultaat: Het model begon onmiddellijk weer te werken, zelfs terwijl de interne aantekingen nog steeds rommelig waren.

De Les: Je kunt een perfecte interne structuur hebben met nul capaciteit, maar je kunt geen capaciteit hebben zonder de juiste outputfunctie.

De "Grafting" Analogie: Organen Transplanteren

Het artikel kijkt ook naar Grafting (een stuk van het ene model nemen en in het andere plaatsen).

De Regel: Je kunt alleen een stuk van een brein transplanteren als de "taal" van de twee breinen overlapt.
De Metafoor: Stel je voor dat je een USB-C kabel in een USB-A poort probeert te pluggen. Zelfs als de kabel van hoge kwaliteit is, zal het niet werken tenzij je een adapter hebt.
De Bevinding: Als de twee modellen verschillende "talen" spreken (hun interne subruimten overlappen niet), mislukt de transplantatie. Maar als ze genoeg gemeenschappelijke grond delen, slaagt de transplantatie. Het artikel voorspelt succes op basis van hoeveel hun "talen" overlappen, niet op basis van hoe vergelijkbaar hun ruwe getallen zijn.

Samenvatting: Wat Moeten We Doen?

Het artikel concludeert met een simpele regel voor iedereen die AI traint:

Stop met het direct kopiëren van de "gedachten" (de verborgen lagen). Dat zijn slechts willekeurige coördinaten die kunnen veranderen.
Begin met het kopiëren van de "spraak" (de uiteindelijke output).
De Gouden Regel: Als je wilt overdragen wat een model kan doen, moet je matchen wat het zegt. De interne mechanica zal zichzelf wel ordenen, zolang de uiteindelijke output maar correct is.

In één zin: De kennis van een docent zit niet opgeslagen in de specifieke interne getallen; het zit opgeslagen in de relatie tussen de input en het uiteindelijke antwoord. Om van een docent te leren, moet je de antwoorden matchen, niet de aantekeningen.

Technische Samenvatting: Docent-supervisie over Representatie-equivalentieklassen

1. Probleemstelling

Kennisdistillatie wordt traditioneel geframed als een keuze over wat er gematcht moet worden binnen een docentmodel: logits (outputverdelingen), verborgen kenmerken (hidden features) of steekproefrelaties. Deze framing veronderstelt dat de representatie van een docent "absolute coördinaten" bezit die een student direct kan matchen.

Dit artikel betoogt dat deze premisse fundamenteel gebrekkig is. Een gepre-trainde representatie is geen vaste matrix, maar is alleen identificeerbaar tot op een orthogonaal-en-isotroop-schaalbare equivalentieklasse. Omdat de downstream "lezer" (gewichten) elke rotatie of herschaling van de representatie kan absorberen zonder de outputfunctie van het netwerk te veranderen, dragen de specifieke coördinaten van een featurevector geen intrinsieke betekenis. Bijgevolg is het proberen te matchen van de kenmerken van een docent "basis-voor-basis" een slecht gedefinieerd (ill-posed) doel. Het artikel stelt dat capaciteit (bijv. perplexiteit, top-1 nauwkeurigheid) geen eigenschap is van de representatie zelf, maar een invariant van de equivalentieklasse van de representatie — specifiek, de outputfunctie.

2. Methodologie en Theoretisch Kader

2.1 Representatie als een Equivalentieklasse

De auteurs definiëren een representatie $H$ (laag-activaties) niet als een vaste matrix, maar als een baan onder de actie van de groep $G = O(d) \times \mathbb{R}^+$ (orthogonale rotaties en isotrope schaling).

Aanname 2.1 (Absorbeerbare Herparametrisatie): Elke coördinatenwijziging $h \mapsto c h Q$ in een representatie kan worden gecompenseerd door een overeenkomstige wijziging in de downstream gewichten $W_{in} \mapsto c^{-1} Q^\top W_{in}$ , waardoor de netwerkfunctie $f$ onveranderd blijft.
Propositie 2.1 (Slecht gedefinieerdheid van Absoluut Matchen): Omdat de functie invariant is onder deze groepswerking, is een verliesfunctie die de afstand tussen absolute coördinaten minimaliseert (bijv. $\|H_T - H_S\|_F$ ) slecht gedefinieerd. Het straft functie-behoudende herparametrisaties af en de minimizer ervan hangt af van een willekeurige keuze van een vertegenwoordiger binnen de equivalentieklasse.

2.2 De Quotiëntruimte en Capaciteit

Het artikel maakt onderscheid tussen twee quotiëntruimtes:

Representatie Quotiënt ( $\pi_{rep}$ ): Reduceert de representatie $H$ alleen tot zijn equivalentieklasse $[H]$ . Invarianten hier zijn de Gram-matrix, CKA (Centered Kernel Alignment) en hoofdhoeken (principal angles). Deze meten geometrische gelijkenis maar bepalen niet de outputfunctie.
Gezamenlijke Quotiënt ( $\pi_{joint}$ ): Reduceert het paar $(H, \theta_{downstream})$ samen. De outputfunctie $f$ is een goed gedefinieerde functie op deze gezamenlijke quotiënt.

Propositie 3.2 stelt vast dat capaciteit een klasse-invariant is, gedefinieerd op de gezamenlijke quotiënt. Daarom kan een distillatie-objectief alleen capaciteit overdragen als het zich richt op de output-functie-invariant op deze quotiënt.

2.3 Taxonomie van Distillatie-objectieven

Op basis van het quotiëntkader categoriseert het artikel distillatieverliezen in drie families:

(A) Relationele Matching: Richt zich op de representatie-quotiënt (bijv. CKA, genormaliseerde Gram). Deze zijn basis-invariant maar dragen op zichzelf geen capaciteit over omdat ze de coördinatenruimte van de lezer negeren.
(B) Align-then-Match: Schat een uitlijningskaart (alignment map) in (bijv. een Procrustes-rotatie of een laag-capaciteit lineaire kaart $W$ ) om een vertegenwoordiger binnen de klasse vast te leggen, en matcht vervolgens absolute coördinaten. Dit is noodzakelijk voor taken die coördinat-specifieke feature-consumptie vereisen (bijv. grafting), maar introduceert uitlijningsruis.
(C) Logit Distillatie: Richt zich direct op de gezamenlijke quotiënt door outputverdelingen te matchen. Omdat de output al een functie is van de gezamenlijke klasse, is dit objectief van nature gedefinieerd op de juiste quotiënt en is er geen uitlijningsstap nodig.

3. Belangrijkste Bijdragen

Geometrische Herformulering: Het artikel herformuleert docent-supervisie van "het matchen van kenmerken" naar "het overdragen van de representatie-equivalentieklasse". Het identificeert capaciteit als een klasse-invariant (de outputfunctie) in plaats van een eigenschap van een specifieke feature-matrix.
Bewijs van Slecht Gedefinieerdheid: Het bewijst formeel dat absoluut feature-matchen slecht gedefinieerd is omdat het punten binnen een enkele functionele vezel scheidt en daarmee geldige herparametrisaties bestraft.
Verlies-Taxonomie: Het biedt een verenigde geometrische verklaring voor feature-matching, relationele distillatie, uitlijning en grafting, waarbij het onderscheid maakt op basis van welk deel van de klassestructuur wordt vastgelegd.
Empirische Validatie: Door gecontroleerde herstel- en cross-width distillatie-experimenten op Qwen2.5 en Llama-3.1, isoleert het de mechanismen van capaciteitsoverdracht.

4. Experimentele Resultaten

4.1 Herstelstudie (Qwen2.5, Llama-3.1)

De auteurs corrumpeerden een docentmodel door een fractie van de lagen opnieuw te initialiseren en probeerden dit te herstellen met verschillende objectieven.

Resultaat 1: Trainen met enkel een basis-invariante relationele loss ( $L_{CKA}$ ) herstelde succesvol de representatie-geometrie (CKa $\approx$ 0,99) maar faalde in het herstellen van de capaciteit (perplexity ratio $10^2$ – $10^4$ slechter, top-1 $\approx$ 0).
Resultaat 2: Trainen met enkel een logit loss ( $L_{logit}$ ) herstelde de capaciteit bijna perfect (perplexity ratio $\approx$ 1,01, top-1 $\approx$ 0,98) zonder de verborgen representaties uit te lijnen (CKA bleef laag).
Conclusie: Het uitlijnen van representaties en het herstellen van de functie zijn bijna orthogonale taken. Capaciteit wordt uitsluitend gedreven door de output-functie-term.

4.2 De Rol van Gewicht-Tying (Weight Tying)

In modellen met gekoppelde input/output embeddings (Qwen2.5-0.5B) is de output head vast, waardoor logit-matching alleen volstaat om de functie te herstellen.
In modellen met ontkoppelde heads (Qwen2.5-7B, Llama-3.1-8B) vereiste het herstellen van de capaciteit het expliciet trainen van de output head naast de logit loss. Dit bevestigt dat de "lezer" moet worden uitgelijnd met de coördinatenruimte van de nieuwe representatie.

4.3 Cross-Width Distillatie

In een echte cross-width distillatie-setting (Docent: 1.5B, Student: 0.5B):

Alleen feature-matching (zelfs met een geleerde projectie $W$ ) veroorzaakte een instorting (collapse) van het studentmodel (perplexity $> 10^6$ ).
Alleen logit-matching behield en verbeterde zelfs licht de prestaties van de student.
Het toevoegen van een feature-term aan de logit-matching bood geen voordeel en was vaak licht schadelijk.
Een surrogaat-experiment met een optimaal opgeloste uitlijningskaart bevestigde dat feature-only supervisie structureel faalt, niet door optimalisatieproblemen.

4.4 Grafting en Subspace Overlap

Het artikel valideert dat het succes van module grafting wordt bepaald door de overlap van de rand-subspaces (gemeten met CKA of Procrustes residu) tussen de donor en de host. Een hoge overlap is noodzakelijk maar niet voldoende; grafts nabij de output-laag falen zelfs bij een hoge overlap vanwege de gevoeligheid voor kleine mismatches.

5. Betekenis en Claims

Het artikel beweert dat de intuïtie dat distillatie "in de basis" plaatsvindt "geestelijk juist maar letterlijk onjuist" is.

Kernclaim: Docent-supervisie moet zich richten op de equivalentieklasse, niet op de coördinaten. Capaciteit wordt overgedragen via de output-functie-invariant.
Praktische Implicatie: Voor het overdragen van capaciteit is logit-matching het enige objectief dat van nature gedefinieerd is op de juiste quotiënt. Feature-matching (zelfs relationeel of uitgelijnd) is onvoldoende voor capaciteitsoverdracht en is alleen nuttig voor het overdragen van geometrische structuur of voor specifieke taken zoals grafting waar coördinat-uitlijning expliciet vereist is.
Scope-beperking: Het artikel benadrukt dat distillatie replicatie is, geen creatie. Het draagt de outputfunctie van de docent over op de subspace die door de trainingscorpus wordt gedekt. Het claimt niet nieuwe capaciteiten te genereren buiten de bestaande functie van de docent of om cross-familie transfer met mismatchende tokenizers op te lossen.

Het artikel concludeert dat "wat een docent weet, leeft in de klasse; wat wordt overgedragen, is het deel van die klasse dat het objectief en de corpus daadwerkelijk targeten."