Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation

Dit onderzoek toont aan dat kennisdistillatie, hoewel het de output van grotere modellen behoudt, leidt tot significante interne herschikkingen waarbij studentenonderdelen worden gecomprimeerd en herorganiseerd, wat gevolgen heeft voor de robuustheid en generalisatie van deze modellen.

De kern

🧠 De Kunst van het "Kopieerwerk": Wat gebeurt er echt in een slimme AI?

Stel je voor dat je een meesterkok (de leraar) hebt die fantastisch kan koken. Hij heeft een enorme keuken vol met speciale apparatuur, duizenden ingrediënten en een team van 50 helpers. Hij kan elke gerecht perfect bereiden.

Nu wil je dat deze meesterkok zijn kennis doorgeeft aan een kookleerling (de student). Maar de leerling heeft een kleine keuken, slechts een paar basispotten en maar 10 helpers. Het doel van Kennisdistillatie (de techniek uit dit paper) is om de leerling zo te trainen dat hij net zo goed kookt als de meester, maar dan met minder middelen.

Tot nu toe dachten we dat de leerling gewoon de recepten van de meester overnam. Maar dit onderzoek, getiteld "Distilled Circuits", kijkt dieper: Hoe werkt de leerling eigenlijk van binnen?

🔍 De Grote Ontdekking: Het is niet alleen een kopie

De onderzoekers (Reilly Haskins en Benjamin Adams) hebben gekeken wat er gebeurt in de "hersenen" van de leerling. Ze ontdekten iets verrassends:

1. De leerling werkt anders: De leerling probeert niet 1-op-1 te kopiëren. In plaats daarvan herorganiseert hij zijn kleine keuken. Hij gooit sommige apparaten weg die de meester gebruikte, en hij dwingt de resterende helpers om meerdere taken tegelijk te doen.

   • Analogie: De meester had 5 mensen die alleen maar aardappels schilde. De leerling heeft maar 1 persoon die aardappels schilt, maar diezelfde persoon moet ook nog de ui snijden en de pan schoonmaken.

2. Het is kwetsbaar (Brits): Omdat de leerling zo veel op zijn weinige helpers vertrouwt, wordt het systeem kwetsbaar. Als je één van die drukke helpers uitvalt (een "component" in de computer), stort het hele gerecht in. De meester had genoeg redundante (overbodige) helpers om dit op te vangen; de leerling niet.

   • Analogie: Als de meester één kookpoot kwijtraakt, kan hij het gerecht nog steeds maken. Als de leerling zijn enige mes kwijtraakt, kan hij niets meer doen.

3. Het lijkt goed, maar is het niet: Aan de buitenkant lijkt de leerling net zo goed te koken als de meester (beide maken een heerlijke stoofschotel). Maar als je kijkt hoe ze het doen, zien ze er heel anders uit. De leerling gebruikt soms "afkortingen" of trucs die de meester niet gebruikt. Dit werkt goed in de klas, maar kan falen als je in een nieuwe situatie komt (bijvoorbeeld als je een ander type aardappel moet schillen).

📏 Een nieuwe meetlat voor "Hersenwerk"

Omdat het moeilijk is om te zien hoe deze interne hersenwerkzaamheden veranderen, hebben de onderzoekers een nieuwe meetlat (een algoritme) bedacht.

• De oude manier: Kijken of de uitkomst hetzelfde is (bijv. "Hebben ze allebei de stoofschotel gemaakt?").
• De nieuwe manier: Kijken of ze dezelfde manier van denken gebruiken. De onderzoekers meten niet alleen het resultaat, maar ook hoe belangrijk elk stukje van de hersenen is voor dat resultaat.

Ze ontdekten dat je vaak denkt dat twee modellen hetzelfde zijn omdat ze hetzelfde antwoord geven, maar dat hun interne "denkpaden" compleet verschillend zijn. De nieuwe meetlat kan dit onderscheid zien.

🌍 Wat betekent dit voor de toekomst?

Dit onderzoek is belangrijk voor drie redenen:

1. Veiligheid: Als we slimme AI's gebruiken voor belangrijke dingen (zoals medische diagnoses of zelfrijdende auto's), is het gevaarlijk als ze "kwetsbare" interne werkwijzen hebben. Ze werken perfect in de test, maar kunnen crashten bij een klein onverwacht probleem.
2. Betere AI's: Als we begrijpen hoe een leerling zijn hersenen herschikt, kunnen we betere leerling-modellen bouwen die niet alleen slim zijn, maar ook robuust (weerbestendig).
3. Geen blinde vlekken meer: We kunnen nu zien of een klein model echt de kennis van een groot model heeft "begrepen", of dat het alleen maar heeft "geleerd" om het juiste antwoord te raden zonder de onderliggende logica te begrijpen.

🎯 Samenvatting in één zin

Hoewel kleine AI-modellen (studenten) vaak net zo goed presteren als grote modellen (meesters), werken ze van binnen heel anders: ze zijn slimmer in het comprimeren van taken, maar daardoor ook kwetsbaarder en minder betrouwbaar in nieuwe situaties.

De les: Kijk niet alleen naar het eindresultaat, maar ook naar hoe het werk van binnen wordt gedaan. Soms is een klein, kwetsbaar model een gevaarlijke keuze als je zekerheid nodig hebt.

Technische samenvatting

Titel: Distilled Circuits: Een Mechanistisch Onderzoek naar Interne Herstructurering in Kennisdistillatie

Auteurs: Reilly Haskins en Benjamin Adams (Universiteit van Canterbury)
Publicatie: Transactions on Machine Learning Research (03/2026)

---

1. Het Probleem

Kennisdistillatie (Knowledge Distillation, KD) is een veelgebruikte techniek om grote neurale modellen (leraren) te comprimeren tot kleinere, snellere studentenmodellen door hen te trainen om de uitvoeringen van de leraar na te bootsen. Hoewel KD effectief is voor het behalen van vergelijkbare prestaties met minder parameters, blijft de vraag open wat er precies gebeurt met de interne computationele processen tijdens dit proces.

Bestaand onderzoek focust voornamelijk op het optimaliseren van de overdracht van output, maar er is weinig inzicht in de interne mechanismen die in het studentenmodel ontstaan. Er bestaat een risico dat studentenmodellen niet de onderliggende redeneermechanismen van de leraar kopiëren, maar in plaats daarvan gebruikmaken van heuristieken of "snelle routes" (shortcuts) die minder robuust zijn en slechter generaliseren bij veranderingen in de data-distributie.

2. Methodologie

De auteurs passen technieken uit mechanistische interpretabiliteit (Mechanistic Interpretability, MI) toe om de interne circuits, representaties en activatiepatronen te analyseren.

• Onderzochte Modellen:
  • Primair: GPT2 (leraar, 124M parameters) en DistilGPT2 (student, 82M parameters).
  • Validatie: BERT vs. DistilBERT (bidirectioneel) en Llama-3.1-8B vs. Llama-3.1-Minitron-4B (grotere modellen).
• Taken:
  • Numerieke reeks voltooiing: Het voorspellen van het volgende getal in een sequentie (gebaseerd op Lan et al., 2024).
  • Indirect Object Identification (IOI): Het identificeren van het indirecte object in een zin.
  • Vraagbeantwoording: Gebruik van het SimpleQA dataset.
• Analysetechnieken:
  • Circuit Discovery: Gebruik van iteratief "pruning" (weglaten van componenten) en "path patching" om de subgraph van neuronen (attention heads en MLP's) te identificeren die cruciaal zijn voor de taak.
  • Component Vergelijking: Analyse van Query-Key (QK) matrices voor attention heads en PCA (Principal Component Analysis) op residual stream activaties voor MLP's om functionele overeenkomsten te vinden.
  • Validatie: Causale tests via "activation patching" (het vervangen van corrupte activaties door schone) en "linear probing" om te bepalen waar en hoe informatie decodable is.
• Nieuwe Metric: De auteurs introduceren een Alignment Metric die functionele uitlijning kwantificeert op basis van:
  1. Invloedsscores (hoeveel draagt een component bij aan de prestatie?).
  2. Representatieve gelijkenis (cosine similarity van activaties).
  3. Een gewogen som die functionele overeenkomst beloont, zelfs als de interne structuur verschilt.

3. Belangrijkste Bevindingen

A. Interne Herstructurering en Compressie

Studentenmodellen herorganiseren hun interne circuits aanzienlijk ten opzichte van de leraar:

• Compressie: Meerdere functies van de leraar worden samengevoegd in één enkele component (bijv. één MLP in de student vervangt twee MLP's in de leraar).
• Verwijdering: Sommige componenten die in de leraar aanwezig zijn (zoals "similar member detection" in GPT2) worden volledig verwijderd in de student, wat suggereert dat deze als niet-essentieel worden beschouwd voor de efficiëntie.
• Herindeling: De diepte van de circuits verschuift; functies die in de leraar in latere lagen plaatsvinden, kunnen in de student in eerdere lagen worden uitgevoerd.

B. Verhoogde Kwetsbaarheid (Brittleness)

Een cruciale bevinding is dat studentenmodellen kwetsbaarder zijn:

• Afhankelijkheid van enkele componenten: Studenten vertrouwen veel sterker op een kleiner aantal kritieke componenten. Als deze worden geablateerd (uitgeschakeld), stort de prestatie vaak volledig in.
• Data: Bij het ablatie-experiment op de numerieke reeks-taak leidde het verwijderen van een cruciale attention head bij DistilGPT2 tot een prestatiedaling van -87,73%, terwijl de leraar (GPT2) slechts -33,18% verloor.
• Dit geldt voor alle onderzochte modelparen (GPT, BERT, Llama), wat aantoont dat dit een fundamenteel gevolg is van distillatie en niet specifiek voor één architectuur.

C. De Alignment Metric

De voorgestelde metric toont aan dat output-similariteit (zoals logit-differentie) geen betrouwbare indicator is voor interne functionele uitlijning:

• Modellen kunnen vergelijkbare output geven, maar volledig verschillende interne circuits gebruiken.
• De metric bestraft "functionele divergentie" en belooont het behoud van de onderliggende berekeningslogica.
• De metric is schaalbaar en model-onafhankelijk, waardoor het nuttig is voor het selecteren van studentenmodellen die niet alleen goed presteren, maar ook betrouwbaar zijn.

4. Bijdragen

1. Mechanistisch Inzicht: Het eerste diepgaande onderzoek dat toont hoe KD interne circuits herstructureert, comprimeert en componenten verwijdert, in plaats van ze slechts te kopiëren.
2. Robuustheidsanalyse: Het aantonen dat distillatie leidt tot een verhoogde afhankelijkheid van individuele componenten, wat de robuustheid van studentenmodellen ondermijnt (minder bestand tegen ruis of distributiewijzigingen).
3. Nieuwe Evaluatiemetric: De introductie van een Alignment Metric die functionele uitlijning kwantificeert op basis van invloed en representatie, wat een beter alternatief biedt voor puur op output gebaseerde evaluaties.
4. Generalisatie: Het bewijzen dat deze patronen (compressie, verhoogde afhankelijkheid, verwijdering van functies) consistent zijn over verschillende architecturen (autoregressief vs. bidirectioneel) en modelgroottes.

5. Significantie en Implicaties

De bevindingen hebben belangrijke gevolgen voor de praktijk van Machine Learning:

• Veiligheid en Betrouwbaarheid: In hoog-risico toepassingen (zoals medische diagnose of juridische analyse) kan het gebruik van een gedistilleerd model riskant zijn als het interne mechanisme "brittle" (kwetsbaar) is. Een model dat goed presteert op de trainingsdata kan falen bij kleine veranderingen in de input.
• Model Selectie: De auteurs adviseren om bij het kiezen van een studentenmodel niet alleen naar de nauwkeurigheid te kijken, maar ook de Alignment Metric en robuustheidsscores te evalueren.
• Toekomstig Onderzoek: Het artikel roept op tot het ontwikkelen van distillatiestrategieën die specifiek gericht zijn op het behoud van robuuste interne circuits, en niet alleen op het minimaliseren van output-fouten.

Conclusie:
Kennisdistillatie is effectief voor compressie, maar het "prijs" die daarvoor wordt betaald, is een fundamentele verandering in de interne computationele architectuur. Studentenmodellen worden efficiënter maar kwetsbaarder, omdat ze complexe, verspreide circuits van de leraar vervangen door geconcentreerde, maar minder robuuste mechanismen. De voorgestelde alignment metric biedt een noodzakelijk hulpmiddel om deze trade-off te kwantificeren en te managen.