🤖 machine learning

Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

Het artikel stelt IF-Beta voor, een efficiënt kennisdistillatie-framework dat invloedfuncties en een leerbaar op de bètaverdeling gebaseerd samplingsbeleid benut om data-pruning te optimaliseren, waardoor studentmodellen die getraind zijn op aanzienlijk verminderde data en rekenkracht beter presteren dan modellen die gedistilleerd zijn op volledige datasets.

Oorspronkelijke auteurs: Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Een Leerling Onderwijzen met een "Dieet"

Stel je voor dat je een meesterkok bent (de Docent) die een leerling (de Student) probeert te leren hoe je een perfect gerecht bereidt. Meestal moet je de leerling leren door hem te laten oefenen op elk enkel recept in je enorme kookboek. Dit duurt eeuwig, verbruikt veel brandstof (rekenkracht) en is uitputtend.

Knowledge Distillation (KD) is het proces waarbij de meesterkok de leerling begeleidt. Het doel is om de leerling zo goed te maken dat hij bijna net zo goed kan koken als de meester, maar dan veel sneller en met minder apparatuur.

De paper wijst echter op een probleem: zelfs al is de uiteindelijke leerling klein en efficiënt, het trainingsproces is nog steeds enorm omdat de leerling het hele kookboek moet lezen. De auteurs stellen de vraag: "Wat als we de leerling alleen een zorgvuldig geselecteerd 'dieet' van de belangrijkste recepten zouden geven? Zou hij dan niet net zo goed kunnen leren, maar sneller en met minder inspanning?"

Dit is de kern van de gedachte achter Distill on a Diet.

Het Probleem met Huidige Methoden

Voordat deze paper verscheen, probeerden mensen de "beste" recepten voor de leerling te selecteren met twee hoofdmethoden, die beide gebreken vertoonden:

De "Her-trainingsmethode": Om te weten welke recepten moeilijk of makkelijk zijn, moet je de leerling eerst de hele uitvoering van het boek laten doormaken. Dat doet het doel om tijd te besparen teniet! Het is alsof je een detective inhuurt om de leerling een maand lang te observeren, alleen maar om te bepalen welke recepten je hem moet laten zien.
De "Vuistregel-methode": Sommige mensen gebruiken simpelweg regels, zoals: "Kies de recepten van gemiddelde moeilijkheid." Maar dit is rigide. Soms zijn de "gemiddelde" recepten niet de beste; soms heb je een mix nodig van zeer makkelijke en zeer moeilijke recepten. Het is als een strikt dieetplan dat niet aanpast aan wat je lichaam daadwerkelijk nodig heeft.

De Oplossing: IF-Beta

De auteurs stellen een nieuw systeem voor genaamd IF-Beta. Dit combineert twee slimme ideeën om het perfecte "dieet" van data te kiezen zonder dat er eerst een model opnieuw getraind hoeft te worden.

1. De "Influence Function" (De Kristallen Bol)

Stel je voor dat je een kristallen bol hebt die je kan vertellen: "Als we dit specifieke recept uit het kookboek zouden verwijderen, zou het koken van de leerling dan slechter of beter worden?"

In de paper wordt dit de Influence Function (IF) genoemd.

De oude manier: Deze kristallen bol was meestal kapot of te duur om te gebruiken.
De nieuwe manier: De auteurs hebben een manier gevonden om deze kristallen bol efficiënt te laten werken. Ze gebruiken een techniek genaamd Flat Validation Minima (FVM). Zie dit als het "scherpen" van de intuïtie van de docent. Door het kennislandschap van de docent "vlakker" en stabieler te maken, kan de kristallen bol nauwkeurig voorspellen welke datapunten echt belangrijk zijn, zonder dat de leerling eerst moet worstelen voordat de voorspelling gedaan kan worden.

2. De "Beta Policy" (De Flexibele Chef)

Zod eens weet welke recepten belangrijk zijn (via de kristallen bol), hoe kies je ze dan?

De oude manier: Gebruik een stijve liniaal. "Neem de bovenste 10% moeilijkste" of "Neem alles tussen score 5 en 7." Dit is als een dieet dat zegt: "Eet precies 3 appels en 2 bananen," ongeacht hoe hongerig je bent.
De nieuwe manier: De auteurs gebruiken een Beta Policy. Stel je een flexibel, rekbaar net voor dat van vorm kan veranderen. In plaats van een stijve liniaal, leert dit net de perfecte vorm om de beste data te vangen. Het kan uitrekken om vooral moeilijke voorbeelden te vangen, of juist makkelijke, of een perfecte mix, afhankelijk van wat het beste werkt voor de specifieke docent en student. Het is een "leerbaar" dieet dat zich aanpast aan de situatie.

Hoe het Werkt (De "Bilevel" Dans)

Het systeem werkt als een tweetrapsdans om het perfecte dieet te vinden:

De Inner Loop (De Oefening): Het systeem simuleert snel hoe de leerling leert op een kleine, tijdelijke dieet van data. Om dit super snel te maken, traint het systeem niet een heel nieuw brein; het traint slechts een eenvoudige "lineaire kop" (zoals een snelle mentale aantekening) bovenop de bevroren kennis van de docent.
De Outer Loop (De Coach): Het systeem controleert hoe goed de leerling presteerde op dit tijdelijke dieet. Als het dieet goed was, past de "Coach" (de Beta Policy) de vorm van het net aan om de volgende keer nóg betere data te vangen. Als het dieet slecht was, hervormt de Coach het net.

Dit gebeurt zeer snel, waardoor het systeem de optimale subset van data kan vinden zonder de zware kosten van volledige training.

De Resultaten: Minder Voedsel, Beter Koken

De auteurs testten dit op beroemde beelddatasets (zoals CIFAR en ImageNet). De resultaten waren verrassend:

Beter dan Volledige Data: In veel gevallen presteerde een leerling die getraind werd op slechts 50% tot 70% van de data (met het IF-Beta dieet) zelfs beter dan een leerling die getraind werd op 100% van de data.
Sneller en Goedkoper: Omdat ze minder data gebruikten, duurde de training aanzienlijk minder lang en kostte het minder rekenkracht.
De Concurrentie Verslaan: IF-Beta versloeg alle andere methoden, inclusuif de methoden die dure her-training of rigide regels vereisten.

De Kernboodschap

De paper betoogt dat de kwaliteit van data belangrijker is dan de kwantiteit. Net zoals een mens een vaardigheid sneller kan leren met een paar hoogwaardige mentoren en voorbeelden dan door elk boek in de bibliotheek te lezen, kan een machine learning model ook beter leren als we zijn "dieet" van trainingsdata zorgvuldig cureren.

De auteurs noemen dit "Distill on a Diet" omdat ze de student-modellen een kleinere, meer voedzame en zorgvuldig geselecteerde portie data voeren, waardoor ze sterker en sneller groeien dan wanneer ze gedwongen zouden worden de gehele dataset naar binnen te werken.

Technische Samenvatting: Distill on a Diet: Efficiënte Knowledge Distillation via Learnable Data Pruning

Probleemstelling

Knowledge Distillation (KD) is een standaardtechniek voor het comprimeren van grote teacher-modellen naar compacte student-modellen voor efficiënte inferentie. Het trainingsproces zelf blijft echter computationeel duur, aangezien studenten doorgaans over de gehele dataset worden gedestilleerd onder begeleiding van een grote teacher. Hoewel data pruning (het selecteren van een deelverzameling van trainingsvoorbeelden) een veelbelovende weg biedt om deze kosten te verlagen, worden bestaande methoden in de context van KD geconfronteerd met twee kritieke obstakels:

Efficiëntie-effectiviteitsttrade-off in score-estimatie: Hoge-getrouwheid metrieken zoals EL2N, Forgetting of AUM vertrouwen op trainingsdynamiek (bijv. per epoch voorspellingen) die niet beschikbaar zijn wanneer er slechts een vooraf getrainde teacher wordt geleverd. Het berekenen van deze scores vereist het dure hertrainen van de teacher, wat de efficiëntiewinst van pruning tenietdoet. Daartegenover staan eenvoudigere metrieken zoals de Cross-Entropy (CE) loss, die weliswaar computationeel goedkoop zijn, maar onbetrouwbaar omdat overgeparameteriseerde netwerken kunnen overfitten op harde of foutief gelabelde samples, wat resulteert in lage loss-waarden die de werkelijke moeilijkheidsgraad van een sample niet weerspiegelen.
Rigide en Suboptimale Sampling: Bestaande pruning-strategieën vertrouwen vaak op vaste heuristieken (bijv. top-k selectie, gestratificeerde sampling met vaste cutoffs, of sliding windows). Deze rigide regels slagen er niet in om zich aan te passen aan de specifieke datadistributies en teacher-student dynamiek van verschillende KD-settings, wat leidt tot suboptimale deelverzamelingen.

Methodologie: IF-Beta

De auteurs stellen IF-Beta voor, een framework dat Influence Functions (IF) verenigt met een leerbaar probabilistisch samplingbeleid om de bovenstaande uitdagingen aan te pakken.

1. Influence Function als Post-Hoc Estimator

Om hertraining te vermijden, maakt het paper gebruik van Influence Functions om de belangrijkheid van samples direct te schatten vanuit een vooraf getrainde teacher.

Flat Validation Minima (FVM): Om de IF-estimatie in diepe netwerken te stabiliseren, finetunen de auteurs de vooraf getrainde teacher op de validatieset met behulp van Sharpness-Aware Minimization (SAM). Dit dwingt lokale vlakheid af in het loss-landschap, wat de betrouwbaarheid van de influence-schattingen aanzienlijk verbetert vergeleken met standaard IF-methoden.
Score Computatie: De invloed van een trainingssample $z_{tr}$ op de validatieset wordt benaderd met behulp van de gradiënt van de loss met betrekking tot de gefinetunede teacher-parameters en de inverse Hessian (benaderd via een diagonale Fisher Information matrix voor efficiëntie). Dit levert een score op waarbij lagere waarden duiden op moeilijkere/informatievere samples.

2. Learnable Beta Policy

In plaats van vaste heuristische selectie, introduceert IF-Beta een Beta Policy geparametriseerd door een Beta-distributie.

Adaptieve Sampling: Gegeven genormaliseerde influence-scores gemapt naar $[0, 1]$ , wordt de selectiekans voor elk sample gemodelleerd door een Beta-distributie $Beta(\alpha(\phi), \beta(\phi))$ . De parameters $\alpha$ en $\beta$ worden gecontroleerd door leerbare parameters $\phi$ , waardoor het beleid in staat is om zijn vorm aan te passen (bijv. focussen op harde samples, gemakkelijke samples, of een specifiek venster) aan de specifieke KD-taak.
Bilevel Optimalisatie: De optimalisatie van de beleidsparameters $\phi$ $ϕ$ wordt geformuleerd als een bilevel-probleem:
- Inner Loop: Traint een student-model (specifiek een lineaire classifier op bevroren teacher-features) op de deelverzameling gesampled door het huidige beleid, waarbij de KD-loss wordt geminimaliseerd.
- Outer Loop: Update $\phi$ om de validatieprestaties van de student te maximaliseren die getraind is op de gesamplede deelverzameling.
Efficiënte Proxy: Om de bilevel-optimalisatie hanteerbaar te maken, traint de inner loop geen volledig neuraal netwerk. In plaats daarvan optimaliseert het een lichtgewicht lineaire classifier die gekoppeld is aan de bevroren teacher-features. Deze "proxy-student" formulering legt de KD-dynamiek vast met verwaarloosbare computationele kosten.

Belangrijkste Bijdragen

IF voor KD: Het paper toont aan dat Influence Functions, wanneer ze gestabiliseerd zijn via Flat Validation Minima, dienen als een effectieve en efficiënte post-hoc score estimator voor KD, waardoor de noodzaak voor dure teacher-hertraining die vereist is door traject-gebaseerde metrieken wordt geëlimineerd.
Learnable Beta Policy: De auteurs introduceren een geparametriseerde Beta-distributie voor data pruning, die de rigiditeit van vaste heuristische regels (zoals top-k of vaste vensters) overwint door een adaptieve sampling-distributie te leren via bilevel-optimalisatie.
Efficiënte Bilevel Optimalisatie: Door de inner loop te formuleren als een lineaire classifier op bevroren features, bereikt het framework een efficiënte optimalisatie van het pruning-beleid zonder de verbijsterende kosten van volledige student-hertraining tijdens de zoekfase.

Experimentele Resultaten

Uitgebreide experimenten op CIFAR-10, CIFAR-100 en ImageNet met diverse teacher-student architecturen (ResNet, WideResNet, ViT) tonen aan:

Superieure Prestaties: IF-Beta presteert consistent beter dan baselines (inclusief hertraining-vrije methoden zoals Medium-Difficulty en hertraining-gebaseerde methoden zoals DUAL) over een breed scala aan pruning-ratio's.
Presteren boven Full-Data Distillation: Opmerkelijk genoeg stelt IF-Beta studenten die getraind zijn op aanzienlijk minder data en compute in staat om de prestaties te overtreffen van studenten die gedestilleerd zijn op de volledige dataset. Bijvoorbeeld, op CIFAR-10 behaalde het behouden van slechts 70% van de data een nauwkeurigheid van 95,69% vergeleken met 95,50% voor full-data distillatie.
Computationele Efficiëntie: Zelfs wanneer rekening wordt gehouden met de kosten van het pruning-proces, bereikt IF-Beta de prestaties van full-data distillatie in aanzienlijk minder tijd (bijv. 0,806x de kosten op CIFAR-10).
Generalisatie: De methode generaliseert naar niet-KD standaard supervised learning settings en diverse KD-objectieven (Relational, FitNets, Attention Transfer), wat aantoont dat de kwaliteit van de datadeelverzameling een cruciale factor is die onafhankelijk is van het specifieke distillatie-algoritme.

Betekenis en Claims

Het paper betoogt dat de kwaliteit van de trainingsdata vaak belangrijker is dan de specifieke details van het distillatie-algoritme. Door de meest informatieve samples efficiënt te identificeren en te selecteren, positioneert IF-Beta data curation als een fundamentele en praktische hefboom voor het verbeteren van de efficiëntie en effectiviteit van moderne trainingspipelines. Het werk suggereert dat "distilleren op een dieet" — het gebruik van een zorgvuldig geprunte deelverzameling in plaats van de volledige dataset — een betere generalisatie en lagere computationele kosten kan opleveren, wat de aanname uitdaagt dat meer data altijd gelijkstaat aan betere distillatie-resultaten.