Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Technische Samenvatting: Entropie Onthult Blokbelangrijkheid in Masked Self-Supervised Vision Transformers

Probleemstelling
Masked self-supervised vision transformers (bijv. MAE, VideoMAE) hebben een dominant paradigma gevestigd voor pretraining, waarbij rijke visuele representaties worden geleerd van ongelabelde data. De aanzienlijke omvang van deze modellen creëert echter belangrijke barrières voor implementatie in omgevingen met beperkte middelen (bijv. edge-apparaten) en efficiënt transfer learning. Een fundamentele vraag blijft: zijn alle transformer-blokken even belangrijk voor de prestaties bij downstream-taken?

Bestaande oplossingen kampen met kritieke beperkingen. Sensitiviteitsgebaseerde pruning (snoeien), hoewel effectief, vereist iteratieve blokverwijdering en volledige finetuning, wat gepaard gaat met een verbijsterende computationele overhead. Data-gestuurde pruning-methoden vertrouwen op downstream-data of activatiestatistieken, wat introduceert van dataset-bias en de toepasbaarheid beperkt wanneer data niet beschikbaar of beperkt is. Unstructured pruning resulteert vaak in onregelmatige sparsity-patronen die moeilijk efficiënt te implementeren zijn op moderne hardware. Er is daarom behoefte aan een principiële, data-vrije en computationeel efficiënte methode om de belangrijkheid van blokken te schatten en redundantie te identificeren zonder toegang tot trainingsdata of gradiënten.

Methodologie: Gardener en Weight-Number Entropy
De auteurs stellen Gardener voor, een data-vrije, one-shot, blok-niveau pruning-algoritme voor masked self-supervised vision transformers. Het kerninzicht is dat de belangrijkheid van een blok gecodeerd zit in de gepretrainerde parameters zelf, specifiek in de structurele distributie van gewichten.

De methode rust op een nieuwe metriek genaamd weight-number entropy. In tegenstelling tot conventionele entropie-definities die opereren op gewicht-magnitudes of activaties, karakteriseert deze formulering de distributie van parameter-aantallen over waarde-intervallen binnen een transformer-blok.

1. Formulering: Voor een blok $B_l$ met $N_l$ scalaire gewichten wordt het bereik van de gewichtswaarden verdeeld in $K$ disjuncte intervallen. De empirische waarschijnlijkheidsmassa $p_l(i)$ wordt berekend als de ratio van gewichten die in interval $i$ vallen ten opzichte van het totaal aantal gewichten in het blok.
2. Entropieberekening: De weight-number entropy $H(B_l)$ wordt berekend als $-\sum p_l(i) \log p_l(i)$. Deze metriek legt de structurele diversiteit van gewichten binnen een blok vast, terwijl deze invariant blijft voor gewichtsschaalverandering.
3. Pruning-strategie: Gardener berekent deze entropie voor elk blok in één enkele pass over de gepretrainerde parameters. Blokken worden gerangschikt in oplopende volgorde van entropie. Een lagere entropie duidt op een meer geconcentreerde distributie van parameters, wat volgens de auteurs correleert met een lagere belangrijkheid voor transfer learning. Het algoritme verwijdert de laagst gerangschikte blokken op basis van een beoogde pruning-ratio in één enkele stap (one-shot), zonder dat er forward/backward propagation, toegang tot data of iteratieve finetuning nodig is.

Belangrijkste Bijdragen

• Probleemformulering: Het artikel definieert de uitdaging van data-vrije blok-belangrijkheidsschatting voor masked self-supervised vision transformers onder scenario's met beperkte middelen.
• Theoretisch Inzicht: Het introduceert weight-number entropy als een informatie-theoretisch criterium dat uitsluitend wordt berekend uit gepretraineerde parameters, en toont een sterke correlatie aan met oracle-sensitiviteit (afgeleid van iteratieve blokverwijdering en finetuning).
• Algoritmevoorstel: De auteurs stellen Gardener voor, een pruning-algoritme met lineaire tijdscomplexiteit en one-shot uitvoering met verwaarloosbare geheugenoverhead, dat volledig zonder data opereert.
• Empirische Validatie: Uit uitgebreide experimenten op VideoMAE-B over meerdere pruning-ratio's en downstream video-herkenningsbenchmarks (UCF101) blijkt dat Gardener consequent de bestaande data-vrije baselines evenaart of overtreft en de prestaties van sensitiviteitsgebaseerde (oracle) pruning nauw benadert.
• Structurele Analyse: Het werk levert empirisch bewijs van systematische structurele heterogeniteit in masked self-supervised modellen, waarbij wordt aangetoond dat vroege en intermediaire blokken de neiging hebben een hogere entropie te hebben (het vastleggen van diverse laag- en midden-niveau patronen), terwijl diepere blokken een lagere entropie vertonen (specialisatie in semantische abstractie).

Resultaten
Experimenten uitgevoerd op VideoMAE-B (gepretraind op Kinetics-400) en gefinetuned op UCF101 leveren de volgende bevindingen op:

• Blok-heterogeniteit: Het verwijderen van verschillende transformer-blokken leidt tot drastisch verschillende downstream-prestaties, wat bevestigt dat blokken niet even belangrijk zijn. Zo veroorzaakte het verwijderen van Blok 1 een enorme daling in de Weighted Average Recall (WAR) naar 46,73%, terwijl het verwijderen van Blok 12 resulteerde in een WAR van 91,29% (vergeleken met de originele 91,78%).
• Correlatie met Oracle: De rangschikking van blokken op basis van weight-number entropy komt sterk overeen met de sensitiviteitsgebaseerde oracle-rangschikking. Blokken met een hogere entropie komen consistent overeen met grotere prestatiedalingen wanneer ze worden verwijderd.
• Pruning-prestaties: Gardener presteert beter dan andere data-vrije criteria (inclusief magnitude-gebaseerde, variantie-gebaseerde en willekeurige selectie) over alle pruning-ratio's. Opvallend genoeg behoudt het geprunede model, zelfs na het verwijderen van tot wel 91,7% van de blokken, concurrerende transfer-prestaties (WAR van 68,81%), wat nauw aansluit bij het resultaat van de sensitiviteitsgebaseerde pruning bij dezelfde ratio.
• Efficiëntie: De methode brengt verwaarloosbare computationele overhead met zich mee, werkt in één pass over de parameters en is daardoor orders van grootte efficiënter dan iteratieve sensitiviteitsgebaseerde methoden.

Betekenis en Claims
Het artikel stelt dat informatie-theoretische analyse van gepretraineerde gewichten een principieel en efficiënt pad biedt voor modelcompressie en middelen-efficiënt transfer learning. Door aan te tonen dat de belangrijkheid van blokken nauwkeurig kan worden ingeschat zonder toegang tot data, dagen de auteurs de noodzaak van data-gestuurde of iteratieve pruning voor masked self-supervised transformers uit.

Het werk benadrukt dat er aanzienlijke blok-niveau redundantie bestaat in deze modellen en dat weight-number entropy de intrinsieke representatieve eigenschappen vastlegt die tijdens de pretraining zijn geleerd. Dit maakt het mogelijk om redundante blokken te identificeren via eenvoudige metingen, wat snelle modeladaptatie mogelijk maakt. De auteurs positioneren Gardener niet als een perfecte vervanging voor alle pruning-scenario's, maar als een robuuste, goedkope surrogaat die de oracle-prestaties benadert onder strikte zero-data restricties, wat de implementatie van grootschalige foundation models in omgevingen waar data en rekenkracht beperkt zijn, vergemakkelijkt.

Beperkingen
De auteurs erkennen dat weight-number entropy een grofmazige, statische maatstaf is die geen rekening houdt met input-afhankelijk gedrag of taakspecifieke activatiepatronen, wat de aanpasbaarheid aan zeer gespecialiseerde downstream-taken kan beperken. Bovendien richt de huidige studie zich op blok-niveau pruning in ViT-gebaseerde masked autoencoders; het uitbreiden van deze criteria naar fijnere structuren (bijv. attention heads) blijft een openstaande vraag. Ten slotte, hoewel de correlatie met sensitiviteit sterk is, is het niet gegarandeerd dat deze perfect is over alle architecturen of trainingsregimes.