Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10

Deze systematische studie naar CIFAR-10 demonstreert dat de capaciteit van de student een cruciale moderator is voor de effectiviteit van kennisdistillatie, waarbij wordt onthuld dat grotere studenten (R34) aanzienlijk meer profiteren dan kleinere (R18), terwijl ook de noodzaak wordt benadrukt om implementatiefouten en mismatches in de invoerresolutie te herstellen om optimale distillatieprestaties te bereiken.

De kern

Stel je voor dat je een jonge leerling probeert te onderwijzen (de Student) hoe je een meesterkok wordt. Je hebt een beroemde, zeer bekwame chef (de Docent) die alles weet over koken. Het doel van dit onderzoek is om uit te zoeken wat de beste manier is voor de leerling om van de meester te leren, zodat ze geweldige maaltijden kunnen bereiden zonder de volledige keuken of jarenlange ervaring van de meester nodig te hebben.

In de wereld van Kunstmatige Intelligentie wordt dit proces Knowledge Distillation genoemd. Het onderzoek onderzoekt drie belangrijke zaken: hoe groot de student is, hoe de docent onderwijst, en of de keuken zelf wel correct is ingericht.

Hier is wat de studie heeft gevonden, eenvoudig uitgelegd:

1. De grootte van de student is het belangrijkst

De onderzoekers probeerden drie verschillende "groottes" studenten te onderwijzen met behulp van dezelfde meesters.

• De Kleine Leerling (ResNet-18): Deze student is klein en heeft een beperkt brein. Zelfs toen de docent zeer slim was, had deze kleine student moeite om veel nieuwe informatie te leren.
• De Middelgrote Leerling (ResNet-34): Deze student is groter en heeft meer capaciteit. Zelfs toen het gat tussen de vaardigheid van de docent en de vaardigheid van de student hetzelfde was als bij de kleine student, leerde de middelgrote student veel meer.

De Analogie: Stel je voor dat je een peuter (Kleine Student) en een tiener (Middelgrote Student) probeert te leren hoe ze een complexe puzzel moeten oplossen. Zelfs als de docent het perfect aan beide uitlegt, zal de tiener de logica veel beter begrijpen en onthouden, simpelweg omdat deze een grotere "mentale werkruimte" heeft. De studie vond dat een grotere student meer van de "geheime kennis" van de docent (genaamd dark knowledge) kan absorberen, ongeacht hoe veel beter de docent is dan de student.

2. De "Bug" in de onderwijsmethode

Er zijn twee hoofdmiddelen om de student te onderwijzen:

• Logit-KD (Het Eindantwoord): De docent laat de student de uiteindelijke kansen zien van wat het antwoord zou kunnen zijn (bijv. "80% kans dat het een kat is, 20% hond").
• Feature-KD (De Tussenstappen): De docent laat de student zien hoe zij tijdens het proces naar de afbeelding kijken (bijv. "Kijk eerst naar deze randen en vormen").

De Ontdekking: De onderzoekers ontdekten dat in veel eerdere studies de methode van de "Tussenstappen" (Feature-KD) leek te falen of slechter presteerde dan de methode van het "Eindantwoord" (Logit-KD). Ze ontdekten dat dit niet kwam omdat de methode slecht was, maar door een fout in de code.

De Analogie: Stel je voor dat de docent probeert de hand van de student te begeleiden terwijl deze tekent. In de oude, foutieve versie hield de docent de hand van de student per ongeluk te losjes vast, waardoor deze wild heen en weer schokte. De student kon de techniek niet leren. Zodra de onderzoekers de "handbegeleiding" herstelden (een technische fix genaamd gradient clipping), werd de methode van de "Tussenstappen" plotseling net zo goed, en soms zelfs beter, dan de methode van het "Eindantwoord".

3. De keuken eerst repareren voordat er onderwezen wordt

Voordat ze überhaupt begonnen met lesgeven, merkten de onderzoekers op dat de "keuken" (de computerarchitectuur) was ingericht voor een enorme feestzaal (hoog-resolutie afbeeldingen zoals 224x224), maar dat ze probeerden te koken op een klein aanrecht (kleine afbeeldingen zoals 32x32).

De Ontdekking: De standaardopstelling vermaalde de kleine afbeeldingen, waardoor ze onherkenbaar werden voordat de docent zelfs maar begon. Toen ze de keukenopstelling aanpasten aan het kleine aanrecht, sprong de eigen prestatie van de docent met een enorme 5 procentpunten omhoog.

De Analogie: Het is alsoals proberen iemand te leren autorijden, maar het stuur is kapot en de remmen zitten vast. Geen matter hoe goed de instructeur ook is, de student kan niets leren. Het repareren van de auto (de architectuur) verbeterde de resultaten tien keer meer dan welke geavanceerde onderwijstechniek dan ook.

Samenvatting van de bevindingen

1. Grotere Studenten Leren Beter: Een middelgrote student leert aanzienlijk meer van een docent dan een kleine student, zelfs als de docent even "slim" is relatief aan beiden.
2. Geef de Methode Niet de Schuld: De onderwijsmethode van de "Tussenstappen" werkt geweldig, maar alleen als de code correct is geschreven. Een kleine programmeerfout had het succes verborgen.
3. Fix de Basis Eerst: Voordat je geavanceerde onderwijstrucs probeert, moet je ervoor zorgen dat het computermodel correct is gebouwd voor de grootte van de afbeeldingen die het verwerkt. Als de fundering niet goed is, zal geen enkele vorm van onderwijs helpen.

Het paper concludeert dat om de beste resultaten te behalen, je een student nodig hebt met genoeg hersencapaciteit om te leren, een foutvrije onderwijsmethode, en een correct gebouwd computermodel.

Technische samenvatting

Technische Samenvatting: Capaciteit van de Student Moduleert de Effectiviteit van Knowledge Distillation

Probleemstelling

Knowledge Distillation (KD) is een veelgebruikte strategie voor het comprimeren van diepe neurale netwerken door een kleiner "student"-model te trainen om de zachte outputdistributies of intermediaire kenmerken van een groter "teacher"-model na te bootsen. Ondanks de prevalentie ervan blijft de relatieve effectiviteit van verschillende KD-paradigma's (gebaseerd op logits versus gebaseerd op kenmerken/features) contextafhankelijk. Een cruciale, onderbelichte vraag is of een sterkere teacher altijd een betere student oplevert, en specifiek hoe de capaciteitsrelatie tussen teacher en student de effectiviteit van distillatie moduleert. Eerdere studies suggereren dat een excessieve mismatch in capaciteit de transfer kan hinderen, maar systematisch bewijs over meerdere teacher-student-paren en KD-strategieën op gecontroleerde benchmarks is beperkt gebleven. Bovendien kunnen discrepanties in de bestaande literatuur met betrekking tot de prestaties van Feature-KD versus Logit-KD voortkomen uit implementatie-artefacten in plaats van fundamentele algoritmische beperkingen.

Methodologie

De auteurs voerden een systematische ablatie-studie uit op de CIFAR-10 dataset (32×32 afbeeldingen, 10 klassen) met behulp van ResNet-gebaseerde architecturen. De studie richtte zich op drie specifieke configuraties van teacher-student-capaciteit:

1. R50→R18: Een grote Bottleneck-gebaseerde teacher (23,5M params) naar een kleinere BasicBlock student (11,2M params).
2. R34→R18: Een medium BasicBlock teacher (21,8M params) naar dezelfde BasicBlock student (11,2M params).
3. R50→R34: De grote Bottleneck teacher (23,5M params) naar een grotere BasicBlock student (21,8M params).

Experimentele Controles en Correcties:

• Architectuur: De auteurs corrigeerden de standaard ResNet-stem voor 32×32 inputs. Ze vervingen de standaard 7×7 convolutie (stride 2) en MaxPool door een 3×3 convolutie (stride 1) en Identity mapping. Deze modificatie behoudt de ruimtelijke resolutie, wat cruciaal is voor CIFAR-10, en werd consistent toegepast op alle modellen.
• Implementatie-rigor: De studie identificeerde en corrigeerde een kritieke bug in Feature-KD implementaties: het uitsluiten van parameters van de projectielaag van gradient clipping. Deze omissie veroorzaakte optimalisatie-instabiliteit (niet-geclippte gradiënten tot 4,65) die de prestaties van Feature-KD onderdrukte.
• Protocol: Experimenten werden uitgevoerd met drie random seeds (0, 1, 2) om het gemiddelde ± de standaarddeviatie te rapporteren. Hyperparameters voor Logit-KD ($\alpha \in \{0,3, 0,5, 0,7\}$, $T \in \{2, 3, 4\}$) en Feature-KD ($\alpha \in \{0,3, 0,5, 0,7\}$, $\beta=0,5$) werden systematisch geabradeerd.
• Verliesfuncties: De studie vergeleek Logit-KD (het minimaliseren van de KL-divergentie tussen temperatuur-geschaalde distributies) en Feature-KD (het uitlijnen van intermediaire feature maps via MSE en cosinus-gelijkenis na 1×1 projectie).

Belangrijkste Bijdragen

1. Student-capaciteit als Modererende Factor: De studie levert bewijs dat student-capaciteit een primaire determinant is van de KD-winst. R34-studenten profiteerden consistent meer van distillatie dan R18-studenten, zelfs wanneer de nauwkeurigheidsverschillen tussen teacher en student vergelijkbaar waren.
2. Implementatie-correctheid in Feature-KD: De auteurs toonden aan dat een specifieke gradient clipping bug (het uitsluiten van projectielagen) de prestaties van Feature-KD kunstmatig onderdrukte, wat leidde tot misleidende vergelijkingen waarbij Logit-KD superieur leek. Het corrigeren van deze bug onthulde dat Feature-KD concurrerend is met of superieur is aan Logit-KD in specifieke capaciteitsconfiguraties.
3. Architecturale Vereisten: De studie benadrukt dat een input-resolutie-bewuste architectuur een vereiste is voor effectieve distillatie. Het corrigeren van de ResNet-stem voor 32×32 inputs verhoogde de teacher-nauwkeurigheid met meer dan 5 procentpunten (pp), een effect dat een orde van grootte groter is dan enige KD-winst.
4. Systematische Ablatie: Het artikel biedt een reproduceerbare benchmark die Logit-KD en Feature-KD vergelijkt over drie verschillende capaciteitsparen onder gecontroleerde condities, waarbij de effecten van capaciteitsverschillen worden geïsoleerd van implementatie-ruis.

Resultaten

• Capaciteitsmodulatie:
  • R50→R34: Feature-KD behaalde de hoogste winst van +0,30 pp (95,55% vs. 95,25% baseline), waarmee het Logit-KD (+0,21 pp) versloeg.
  • R34→R18: Feature-KD leverde een winst op van +0,18 pp, terwijl Logit-KD een verbetering van 0,00 pp liet zien.
  • R50→R18: Logit-KD presteerde beter dan Feature-KD (+0,21 pp vs. +0,08 pp). De auteurs schrijven de lagere Feature-KD prestaties hier toe aan de beperkte capaciteit van de R18 student, in plaats van aan een fout in de feature-gebaseerde distillatie.
• Impact van Implementatie-bugs: In het R50→R18 paar vertoonde de "buggy" Feature-KD (geen projectie clipping) een misleidende winst van +0,26 pp (enkele seed). Na correctie en middeling over drie seeds, daalde de winst naar +0,08 pp, wat het werkelijke prestatieverschil ten opzichte van Logit-KD onthulde.
• Architecturale Impact: De correctie van de stem verhoogde de ResNet-50 teacher nauwkeurigheid van een lagere baseline naar 95,81% en de ResNet-34 naar 95,70%, wat aantoont dat architecturale afstemming met de input-resolutie impactvoller is dan het distillatieproces zelf.

Betekenis en Claims

Het artikel concludeert dat student-capaciteit een sleutelfactor is die de effectiviteit van KD moduleert. Een grotere student (R34) lijkt in staat om meer "dark knowledge" te extraheren uit een teacher dan een kleinere student (R18), ongeacht het ruwe nauwkeurigheidsverschil tussen hen. Dit suggereert dat de omvang van het teacher-student-verschil alleen onvoldoende een voorspeller is voor het succes van distillatie.

De auteurs benadrukken dat implementatie-correctheid cruciaal is, met name voor Feature-KD, waarbij aanvullende trainbare componenten (projectielagen) zorgvuldige behandeling vereisen (bijv. gradient clipping) om optimalisatie-instabiliteit te voorkomen. De studie stelt dat eerdere rapportages over de onderpresterende aard van Feature-KD artefacten waren van dergelijke bugs in plaats van fundamentele beperkingen van de aanpak.

Ten slotte stelt het artikel dat architecturale correctheid voorafgaat aan distillatie. Zonder de juiste aanpassing van de netwerkstem aan de input-resolutie (32×32), leveren KD-experimenten misleidende resultaten op, omdat de baseline prestaties ernstig worden aangetast.

Beperkingen: De auteurs merken op dat deze bevindingen specifiek zijn voor CIFAR-10 en een beperkte set ResNet-paren. Hoewel de resultaten directioneel en suggestief zijn, zouden sterkere causale claims met betrekking tot de effecten van student-capaciteit replicatie vereisen over grotere datasets (bijv. ImageNet) en meer diverse architecturen. De studie gebruikt drie seeds, wat standaard is voor pre-prints, maar tekortschiet aan de vijf-seed protocollen die steeds vaker worden verwacht voor formele statistische significantie.