💻 computer science

LEAP: Layer-skipping Efficiency via Adaptive Progression for Vision Transformer Distillation

Het artikel stelt LEAP voor, een trainingscurriculum voor Vision Transformer-distillatie dat adaptief laagoverslaan gebruikt om studenten progressief van eenvoudige naar complexe teacher-features te begeleiden, waardoor convergentie wordt versneld, nauwkeurigheid wordt verbeterd en trainingskosten worden verlaagd.

Oorspronkelijke auteurs: Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiaqi Zhang, Ashton Lee, Anthony Wong, John Zou, Sami BuGhanem, Randall Balestriero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, wereldberoemde professor hebt (de Docent) die alles weet over het herkennen van objecten op foto's. Deze professor heeft een enorm brein met 40 lagen complexe denkprocessen. Nu wil je een kleine, enthousiaste student (de Student) leren die alleen een brein heeft met 12 lagen.

Het probleem? Als je de student probeert om direct de meest geavanceerde, complexe ideeën van de professor te leren, raakt de student overweldigd. Het is alsof je een peuter probeert kwantumfysica te leren voordat ze hebben geleerd tellen. De student raakt in de war, leert langzaam en het leerproces duurt eeuwig.

Dit is de kern van het probleem dat het papier LEAP oplost.

De Oude Manier: "Alles Tegelijk"

Traditioneel, wanneer deze student wordt onderwezen, zouden onderzoekers zeggen: "Negeer de makkelijke dingen. Kijk gewoon naar het meest complexe, laatste antwoord van de professor en probeer dat exact te kopiëren."

Het Resultaat: De student worstelt om de enorme kloof tussen hun eenvoudige brein en het complexe brein van de professor te overbruggen. Het is alsof je iemand vraagt een marathon te lopen voordat ze hebben geleerd lopen.

De LEAP-oplossing: Een "Laddercurriculum"

De auteurs van LEAP realiseerden zich dat het brein van de professor niet zomaar één groot blok kennis is; het is een ladder.

Onderste sporten (Vroege lagen): Deze bevatten eenvoudige, gemakkelijk te begrijpen informatie, zoals "dit is een horizontale lijn" of "dit is een cirkel".
**Bovenste sporten (Diepe lagen):elt Deze bevatten complexe, abstracte ideeën, zoals "dit is een golden retriever die in een park zit".

LEAP introduceert een curriculum (een gestructureerd lesplan) dat fungeert als een klimgids:

Begin Makkelijk: De student wordt eerst gevraagd om de eenvoudigste lagen van de professor te kopiëren (de onderste sporten). Omdat deze gemakkelijk te begrijpen zijn, leert de student ze snel en bouwt een sterke basis op.
Controleer Voortgang: Het systeem controleert constant: "Heeft de student dit niveau onder de knie?" Het gebruikt een speciale "gelijkenisstest" (genoemd CKA) om te zien of het brein van de student nu vergelijkbaar denkt als het huidige niveau van de professor.
Ga een Niveau Hoger: Pas wanneer de student er klaar voor is, zegt het systeem: "Oké, je hebt de basis onder de knie. Laten we nu naar de volgende, iets moeilijkere laag kijken."
Blijf Klimmen: Dit gaat stap voor stap door totdat de student eindelijk de complexe, diepe lagen aanpakt.

Waarom dit een Game-Changer is

Het papier beweert dat deze "stap-voor-stap" aanpak een wondermiddel is om drie redenen:

Het is Sneller: Omdat de student niet in de war raakt door direct naar de moeilijke zaken te springen, leert hij veel sneller. Het papier laat zien dat de student in aanzienlijk minder tijd een hoge nauwkeurigheid bereikt.
Het Bespaart Energie: Omdat de student de makkelijke dingen snel leert, hoeft het systeem tijdens de vroege stadia van de training geen energie te verspillen aan het berekenen van de complexe, diepe gedachten van de professor. Het is alsof je de zware machines uitzet totdat je ze daadwerkelijk nodig hebt. Het papier rapporteert een besparing van ongeveer 25% van de computerkracht en 21% van de tijd die nodig is voor de training.
Het Werkt Beter: De uiteindelijke student is niet zomaar een kopie; het is een slimme kopie. Wanneer getest wordt op real-world taken zoals het vinden van specifieke objecten in foto's of het segmenteren van afbeeldingen (het uitknippen van de achtergrond), presteert de met LEAP getrainde student veel beter dan studenten die op de oude manier zijn getraind.

De Kernboodschap

LEAP is een slimme onderwijstrategie. In plaats van een student in het diepe eind van het zwembad te gooien, leert het hen eerst zwemmen in het ondiepe gedeelte, om ze vervolgens geleidelijk naar dieper water te bewegen naarmate ze sterker worden. Dit resulteert in een slimmer, sneller en efficiënter AI-model dat kan draaien op kleinere apparaten zonder de "denkkracht" van de gigantische modellen waar het van getraind is, te verliezen.

Technische Samenvatting: LEAP - Layer-skipping Efficiency via Adaptive Progression voor Vision Transformer Distillatie

Probleemstelling

Vision Foundation Models (VFMs) gebaseerd op Vision Transformers (ViT), zoals DINOv2, hebben state-of-the-art prestaties bereikt maar bezitten enorme parameteraantallen (bijv. ViT-Giant met 2 miljard parameters) die ze onpraktisch maken voor edge-deployment. Knowledge Distillation (KD) is de standaardoplossing voor het comprimeren van deze "teacher"-modellen naar compacte "student"-modellen. Echter, feature-gebaseerde KD staat voor een fundamentele teacher-student gap: de beperkte representatieve capaciteit en de lagere-rang feature space van de student worstelen met het imiteren van de complexe, hoogdimensionale feature maps van een diepe teacher (bijv. een 40-laagse ViT-G) in één enkele stap.

Bestaande strategieën om deze kloof te overbruggen, zoals intermediate layer matching (bijv. PKD) of projectiekoppen (bijv. ViTKD), vertrouwen vaak op statische mapping-schema's. Deze benaderingen dwingen de student om zich vanaf het begin van de training aan te passen aan complexe diepe-laag features, of vereisen willekeurige handmatige laagselectie. Deze "all-at-once" benadering houdt geen rekening met de evoluerende capaciteit van de student, wat leidt tot instabiele training en trage convergentie, vooral wanneer er een aanzienlijke grootte-mismatch is tussen teacher en student.

Methodologie: LEAP

De auteurs stellen LEAP (Layer-skipping Efficiency via Adaptive Progression) voor, een trainingscurriculum ontworpen om de teacher-student gap te mitigeren door een "easy-to-hard" progressie te introduceren.

Kerninzicht: Verschuivende Gelijkenis

Door middel van een laag-per-laag gelijkenisanalyse met behulp van Centered Kernel Alignment (CKA), observeerden de auteurs een temporele verschuiving tijdens de baseline-training:

In de vroege trainingsepochs vertoont de finale feature map van de student een hogere gelijkenis met de ondiepe intermediaire lagen van de teacher.
Naarmate de training vordert, verschuift de piek in gelijkenis geleidelijk naar de diepere lagen van de teacher.
Dit suggereert dat ondiepe lagen in het begin "makkelijkere" doelwitten zijn voor de student, terwijl diepere lagen meer complexe semantische abstracties vertegenwoordigen die een fundamentele representatie vereisen om geleerd te worden.

Het Adaptieve Curriculum

In plaats van een vaste target, behandelt LEAP de intermediaire feature maps van de teacher als een sequentie van progressief moeilijkere doelwitten. Het curriculum vordert op basis van een online CKA-gelijkenisdrempel ( $\tau$ ):

Initialisatie: De student begint met het imiteren van de eerste ViT-block van de teacher.
Adaptieve Progressie: Het systeem monitort de CKA-gelijkenis tussen de terminale feature map van de student en de huidige teacher target block ( $T_m$ ).
Transitie: Het curriculum vordert naar de volgende teacher block ( $T_{m+1}$ ) pas wanneer de gelijkenisscore de vooraf gedefinieerde drempel $\tau$ bereikt (of wanneer een patience-limiet wordt bereikt).
Efficiëntie: Dit mechanisme maakt vroegtijdige stopzetting van teacher-inferentie mogelijk tijdens de initiële stadia, aangezien de diepere lagen van de teacher niet worden berekend totdat de student klaar is om ze te leren.

De verliesfunctie minimaliseert de Mean Squared Error (MSE) tussen de finale features van de student en de huidige teacher target, uitgelijnd via een enkele-laag lineaire projector.

Belangrijkste Bijdragen

LEAP Curriculum: Een nieuw, layer-skipping curriculum voor feature-gebaseerde ViT-distillatie dat de noodzaak voor handmatige laagtoewijzing of intermediaire featureselectie elimineert. Het selecteert dynamisch het "makkelijkste" doelwit in elke fase op basis van gelijkenis-metrieken.
Robuustheid en Analyse: Een grondige analyse van de robuustheid van het curriculum over verschillende student-capaciteiten (ViT-Small, ViT-Tiny) en dataset-schalen (ImageNet-100, ImageNet-1K). De auteurs verifiëren dat de gedistilleerde modellen veelzijdigheid behouden over image-level, instance-level en pixel-level taken.
Efficiëntiewinst: De adaptieve progressie maakt aanzienlijke besparingen mogelijk in de computationele kosten (FLOPs) en de wall-clock tijd van de training door de inferentie van diepere teacher-lagen uit te stellen.

Experimentele Resultaten

ImageNet-100 (Ablatie en Tuning)

Nauwkeurigheid: De door LEAP gedistilleerde ViT-S bereikte 90,1% linear probing nauwkeurigheid, een verbetering van +12,24% ten opzichte van de baseline. ViT-Tiny verbeterde van 75,90% naar 81,76%.
Efficiëntie: Het curriculum verminderde de trainings-FLOPs met 25,1% (ViT-S) en 28,8% (ViT-Tiny), en verminderde de trainingstijd met respectievelijk 21% en 22,5% via vroegtijdige stopzetting van de teacher-inferentie.
Robuustheid: Verbeteringen in de 'clean accuracy' vertaalden zich naar out-of-distribution robuustheid op mini-ImageNet-C.

Downstream Taken (ImageNet-100)

Instance Retrieval: Op de Oxford en Paris datasets vertoonde de door LEAP gedistilleerde ViT-S substantiële winsten in mean Average Precision (mAP), met een verbetering van 7,75% op Paris en 3,84% op Oxford vergeleken met baselines.
Semantische Segmentatie: Op ADE20K verbeterde LEAP de mIoU significant over alle protocollen (Linear Segmentation, EOMT, Multi-Scale). Voor ViT-S steeg de mIoU van 12,15% naar 20,53% in Linear Segmentation en van 24,49% naar 38,10% in EOMT.

ImageNet-1K (Schaalbaarheid)

Retrieval: LEAP behield sterke prestaties en behaalde een 7,75% mAP verbetering op de Paris dataset en 3,84% op Oxford.
Classificatie & Segmentatie: Op grootschalige classificatie (linear probing) en segmentatie behaalde LEAP concurrerende resultaten en verkleinde het de kloof met baselines. De auteurs schrijven het gebrek aan enorme winsten in globale classificatie toe aan de "architecturale capaciteitscel" van compacte student-modellen op deze dataset.
Efficiëntie: Hoewel de besparingen op deze schaal bescheidener waren (11,51% FLOP-reductie voor ViT-Tiny), behield de methode de integriteit van de features, wat blijkt uit de winsten in retrieval.

Ablatie-studies

Progressief vs. Statisch: LEAP presteerde beter dan alle single-layer statische supervisiestrategieën, wat bevestigt dat het voordeel voortkomt uit de gestructureerde progressie in plaats van een enkele "optimale" laag.
vs. Dense Alignment: Wanneer vergeleken met een dense one-to-one laag-alignment (gebruikmakend van 12 projectoren), bereikte LEAP (met slechts 1 projector) bijna identieke prestaties (83,36% vs. 83,38% linear probing), wat een hoge structurele efficiëntie aantoont.

Betekenis en Claims

Het artikel claimt dat LEAP een gestructureerd leertraject biedt dat convergentie versnelt en de uiteindelijke feature-alignment verbetert door rekening te houden met de evoluerende capaciteit van de student. Door de representatieruimte van de teacher te behandelen als een curriculum in plaats van een statische target, zorgt LEAP voor:

Versnelde Convergentie: Studenten vestigen een stabiele fundering voordat ze zich aanpakken van hoogwaardige abstracties.
Vermindering van Computationele Kosten: Vroegtijdige stopzetting van de teacher-inferentie verlaagt de trainings-FLOPs en de tijd aanzienlijk.
Verbeterde Veelzijdigheid: De gedistilleerde modellen behouden het vermogen om zich aan te passen aan diverse downstream taken (segmentatie, retrieval, classificatie) zonder taakspecifieke fine-tuning van het distillatieproces.

De auteurs erkennen beperkingen, specifelijk de vereiste van een white-box teacher met toegankelijke intermediaire features en de potentiële suboptimale hyperparameter-tuning (CKA-drempel) op grote datasets. Toekomstig werk wordt gesuggereerd voor cross-architectuur distillatie (bijv. Transformer naar CNN) en multimodale scenario's.