💬 NLP

DistillLens: Symmetric Knowledge Distillation Through Logit Lens

Dit paper introduceert DistillLens, een raamwerk dat Large Language Models comprimeert door via de Logit Lens symmetrische kennisdistillatie toe te passen op de tussenliggende denkprocessen van leraar- en leerlingmodellen, wat leidt tot superieure prestaties op instructievolgbenchmarks vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Manish Dhakal, Uthman Jinadu, Anjila Budathoki, Rajshekhar Sunderraman, Yi Ding

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Manish Dhakal, Uthman Jinadu, Anjila Budathoki, Rajshekhar Sunderraman, Yi Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent (de leraar) die een complexe taart bakt, en je hebt een leerling (de student) die die taart moet leren maken.

In de traditionele manier van lesgeven (wat in de AI-wereld "Knowledge Distillation" heet), kijkt de meesterkok alleen naar het eindresultaat. Hij zegt: "Kijk, dit is de perfecte taart. Probeer er eentje te maken die er precies zo uitziet."

Het probleem? De leerling ziet alleen de eindtaart. Hij weet niet hoe de meester het heeft gedaan. Hij weet niet hoeveel suiker er in het beslag zat, hoe lang hij de oven op welke stand heeft gezet, of hoe hij de room heeft opgeslagen. De leerling probeert de taart te "raden" door blindelings te kopiëren. Soms lukt het, maar vaak is de taart van de leerling niet zo lekker, of hij breekt in elkaar als hij een nieuwe taart moet bakken die net iets anders is.

DISTILLLENS is een nieuwe manier van lesgeven die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Logit Lens": Een X-ray bril voor gedachten

In de paper noemen ze dit de Logit Lens. Stel je voor dat je de meesterkok een bril geeft die door zijn hoofd heen kijkt. Deze bril laat zien wat de kok op dat moment denkt, terwijl hij nog aan het bakken is.

Stap 1: De bril projecteert wat de kok denkt over de ingrediënten (de "verborgen staten") naar een lijst met mogelijke keuzes (de "woordenschat").
Stap 2: In plaats van alleen naar de eindtaart te kijken, kijken we nu naar elke stap in het proces. Wat dacht de kok toen hij de eieren klopte? Wat dacht hij toen hij de oven inschakelde?

2. De "Symmetrische" les: Geen "ja-maar", maar "precies zo"

Tot nu toe gebruikten AI-systemen vaak een onevenwichtige manier van corrigeren.

De oude manier (Asymmetrisch): Als de leerling dacht dat er veel suiker in moest, maar de meester dacht dat er weinig in moest, kreeg de leerling een harde klap. Maar als de leerling dacht dat er weinig suiker in moest, terwijl de meester dacht dat er veel in moest, werd het vaak genegeerd. Dit zorgt voor een onduidelijke leerling die soms te zeker is van zichzelf en soms te onzeker.
De DISTILLLENS-methode (Symmetrisch): Deze methode is eerlijk. Het zegt: "Als je denkt dat er te veel suiker in moet, krijg je een waarschuwing. Als je denkt dat er te weinig in moet, krijg je ook een waarschuwing."
- Het dwingt de leerling om precies op hetzelfde niveau van twijfel en zekerheid te zitten als de meester. De leerling moet niet alleen het antwoord weten, maar ook hoe hij er aan komt.

3. Waarom werkt dit beter?

In de paper laten ze zien dat als je alleen naar het eindantwoord kijkt, de leerling de "reis" mist.

Voorbeeld: Stel je voor dat je een wiskundeproefopgave moet oplossen. Als je alleen het eindantwoord (42) leert, kun je het niet toepassen op een andere som. Maar als je de stappen leert (eerst dit, dan dat, en let op die valkuil), kun je elke som oplossen.
DISTILLLENS zorgt ervoor dat de leerling de stap-voor-stap redenering van de meester overneemt. De leerling bouwt zijn eigen "gedachtenproces" op dat identiek is aan dat van de meester.

Het resultaat

De onderzoekers hebben dit getest met verschillende AI-modellen (zoals GPT-2 en Llama).

Resultaat: De leerlingen die met DISTILLLENS werden getraind, maakten betere antwoorden dan diegenen die alleen naar het eindantwoord keken. Ze waren slimmer, maakten minder fouten en konden beter omgaan met nieuwe vragen.
Bonus: Het kost wel iets meer tijd om te trainen (want je moet naar alle stappen kijken), maar het kost geen extra tijd om de AI later te gebruiken. Het is alsof je de leerling extra hard laat oefenen in de klas, zodat hij in het examen perfect presteert zonder dat het examen zelf langer duurt.

Kortom:
DISTILLLENS is als een meesterkok die niet alleen zegt "kijk naar de taart", maar die de leerling door een magische bril laat kijken naar elke stap van het bakproces, en die de leerling streng corrigeert als hij ook maar een beetje afwijkt van de juiste gedachtegang. Zo wordt de leerling niet alleen een kopie, maar een echte meester in het vak.

Probleemstelling

Traditionele Knowledge Distillation (KD) technieken voor het comprimeren van Large Language Models (LLMs) richten zich uitsluitend op het optimaliseren van de uiteindelijke output (logits) van het leraar-model. Hierbij wordt het leraar-model behandeld als een "black box". Hoewel dit efficiënt is, negeert het de evolutie van het denkproces (thought process) dat plaatsvindt in de tussenliggende lagen van het model.

De auteurs identificeren twee kritieke tekortkomingen in bestaande methoden die proberen deze kloof te overbruggen:

Feature-based distillation (MSE): Methoden die Mean Squared Error (MSE) gebruiken om tussenliggende features te aligneren, veronderstellen een isotrope ruimte. In werkelijkheid zijn taal-embeddings echter sterk anisotroop, wat betekent dat MSE fouten niet correct weegt op basis van waarschijnlijkheid.
Asymmetrische KL-divergentie: Methoden die de Kullback-Leibler (KL) divergentie gebruiken, zijn asymmetrisch. Forward KL straft het onderschatten van hoge waarschijnlijkheidstokens zwaar af (leidt tot "mean-seeking" gedrag), terwijl Reverse KL het overschatten van lage waarschijnlijkheidstokens straft (leidt tot "mode-seeking" gedrag). Dit creëert een onevenwichtige alignatie die de rijke onzekerheidsprofielen in de tussenlagen niet volledig vastlegt.

Het gevolg is dat het student-model weliswaar convergeert naar de juiste eindantwoorden, maar een fundamenteel ander "denkproces" doorloopt dan het leraar-model, wat leidt tot slechtere generalisatie.

Methodologie: DISTILLLENS

De auteurs introduceren DISTILLLENS, een raamwerk dat de tussenliggende denkprocessen van student en leraar symmetrisch aligneert. De kern van de methode bestaat uit drie stappen:

Logit Lens Projectie:
In plaats van de ruwe hidden states direct te vergelijken, projecteert DISTILLLENS de tussenliggende hidden states ( $h^{(l)}$ ) van zowel de leraar als de student naar de vocabulaire-ruimte. Dit gebeurt via de Logit Lens techniek:
$p^{(l)}(y|x) = \text{softmax}(W_U h^{(l)})$
Hierbij is $W_U$ de unembedding matrix. Hierdoor worden de interne representaties vertaald naar kansverdelingen over tokens, wat semantische interpretatie mogelijk maakt.
Symmetrische Divergentie (JSD):
Om de distributies in de vocabulaire-ruimte te aligneren, gebruikt DISTILLLENS een symmetrisch doelwit, specifiek de Jensen-Shannon Divergentie (JSD), in plaats van asymmetrische KL-divergentie.
- Theoretisch inzicht: De auteurs bewijzen dat JSD een "dubbelzijdige straf" (dual-sided penalty) oplegt. Het straft zowel overconfidence (wanneer de student een token te hoog scoort als de leraar dit laag scoort) als underconfidence (wanneer de student een token te laag scoort) af.
- Dit zorgt voor een convex optimalisatielandschap dat de student dwingt om de onzekerheidsprofielen van de leraar nauwkeurig na te bootsen, in plaats van alleen naar de modus of het gemiddelde te zoeken.
Modulaire Training:
De methode fungeert als een modulaire regularisatieterm ( $L_{inter}$ ) die wordt toegevoegd aan de standaard taakverliesfunctie ( $L_{task}$ ). De totale loss is:
$L_{total} = L_{task} + \lambda \cdot L_{inter}$
Waarbij $L_{inter}$ het gemiddelde van de JSD is over een subset van tussenliggende lagen die via een uniforme mapping (op basis van diepte) aan elkaar gekoppeld zijn.

Belangrijkste Bijdragen

Nieuw Framework: Introductie van DISTILLLENS, dat voor het eerst de interne denkprocessen van LLMs symmetrisch distilleert via projectie naar de vocabulaire-ruimte.
Theoretische Analyse: Een wiskundige afleiding die aantoont dat symmetrische divergentie (JSD) een dubbelzijdige straf oplegt, wat voorkomt dat het student-model over- of ondervertrouwd wordt in de tussenliggende stappen.
Empirische Validatie: Uitgebreide experimenten tonen aan dat het aligneren van tussenliggende "thought trajectories" superieur is aan bestaande feature-transfer methoden.

Resultaten

De auteurs hebben DISTILLLENS getest op verschillende architecturen (GPT-2 en Llama) en datasets (Dolly, SelfInst, Vicuna, etc.).

Prestaties: DISTILLLENS presteert consistent beter dan standaard KD (FKL), Sequence-Level KD, en geavanceerde divergentie-methoden (zoals AKL en RKL).
- Bij het distilleren van GPT-2-340M van een 1.5B leraar, bereikte DISTILLLENS een gemiddelde Rouge-L score van 23.72, wat zelfs de prestaties van de leraar (23.52) lichtjes overtrof.
- Bij GPT-2-120M steeg de score van 17.74 (standaard KD) naar 21.12.
Vergelijking met Feature Transfer: Het systeem overtreft directe feature-regressie (MSE) en asymmetrische feature-distillatie (FDD) aanzienlijk.
On-policy vs. Off-policy: Hoewel on-policy methoden (waarbij het student-model op zijn eigen generaties traint) vaak betere resultaten geven, zijn ze computationally duur en traag. DISTILLLENS bereikt vergelijkbare prestaties als on-policy methoden maar met de snelheid van off-policy training, omdat het geen zelf-generatie vereist tijdens het trainen.
Exposure Bias: Door de interne denkprocessen te aligneren, vermindert DISTILLLENS de "exposure bias" (het verschil tussen trainings- en inferentiedistributie) aanzienlijk, wat resulteert in robuustere generaties.

Betekenis en Impact

DISTILLLENS markeert een verschuiving in kennisdistillatie van het alleen kopiëren van het eindresultaat naar het kopiëren van het redeneerproces.

Interpretatie: Het paper benadrukt dat de tussenliggende lagen van LLMs waardevolle informatie bevatten over semantische onzekerheid die essentieel is voor correct redeneren.
Efficiëntie: Het biedt een computatie-efficiënte route om complexe redeneercapaciteiten over te dragen naar kleinere modellen zonder de inferentie-efficiëntie te beïnvloeden (de student behoudt zijn oorspronkelijke architectuur).
Toekomst: De methode opent de deur voor het distilleren van complexe redeneervaardigheden in zeer kleine modellen en kan potentieel worden uitgebreid naar cross-architectuur distillatie.

Kortom, DISTILLLENS bewijst dat het "leren van het denken" van een leraar-model, via symmetrische alignatie van tussenliggende lagen, leidt tot superieure student-modellen in vergelijking met traditionele methoden.