🤖 AI

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

Dit artikel introduceert HetDPT, een heterogeniteitbewuste diepte-pruningmethode die de uitdagingen van nauwkeurigheidsherstel van bestaande benaderingen overwint door inter-layer heterogeniteit aan te pakken, waardoor het aanzienlijke versnellingen met minimaal nauwkeurigheidsverlies bereikt op Vision Transformers over meerdere benchmarks.

Oorspronkelijke auteurs: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Gepubliceerd 2026-07-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Vision Transformer (ViT) voor als een hoogwaardige, meerverdiepingsfabriek die is ontworpen om afbeeldingen te herkennen. Elke verdieping van deze fabriek vertegenwoordigt een "laag" waar de afbeelding wordt verwerkt. Sommige verdiepingen zijn gewijd aan Attention (het scannen van de hele afbeelding om te zien hoe verschillende delen met elkaar verband houden) en andere aan Activation (het toepassen van een specifiek filter of een "niet-lineariteit" om de details aan te scherpen).

Jarenlang hebben ingenieurs die probeerden deze fabrieken sneller te laten draaien op kleinere apparaten, zich vooral gericht op Width Pruning. Dit is als het inhuren van minder werknemers op elke verdieping. Je krijgt een kleinere fabriek, maar het heeft nog steeds hetzelfde aantal verdiepingen, dus het product moet nog steeds door elk niveau reizen.

Het artikel betoogt dat een betere manier om zaken te versnellen Depth Pruning is: simpelweg hele verdiepingen verwijderen. Als je 50% van de verdiepingen verwijdert, komt het product twee keer zo snel aan het einde. Echter, eerdere pogingen om dit te doen faalden jammerlijk. De fabriek stortte in, en de kwaliteit van de output (de beeldherkenning) stortte in.

De auteurs van dit artikel, HetDPT, ontdekten waarom de fabriek instortte en bouwden een nieuwe methode om dit op te lossen. Hier is de uitsplitsing in eenvoudige termen:

Het Probleem: De "Mismatch" en de "Verschillende Persoonlijkheden"

Het artikel identificeert twee hoofdoorzaken waarom het simpelweg verwijderen van verdiepingen niet werkt:

De Dimensie Mismatch (De Gebroken Lopende Band):
Stel je voor dat de fabriek een systeem van lopende banden heeft. De "Attention"-verdiepingen en de "Activation"-verdiepingen zijn op een specifieke manier met elkaar verbonden. Als je zomaar een Activation-verdieping eruit rukt, arriveert de lopende band van de vorige verdieping bij een machine die niet meer bestaat, of de machine die wel bestaat, verwacht een pakket van een andere grootte. Het papier noemt dit een "dimension mismatch". Het is alsof je probeert een vierkante pen in een rond gat te duwen omdat je de adapter ertussen hebt verwijderd.
- De Oplossing: De auteurs realiseerden zich dat ze de "Activation"-verdiepingen volledig konden verwijderen en simpelweg de twee "Lineaire" (machine) verdiepingen die aan weerszijden ervan lagen, konden samenvoegen. Dit creëert een nieuwe, naadloze machine die perfect past bij de lopende band, waardoor de fabriek soepel blijft draaien, zelfs met minder verdiepingen.
De Heterogeniteit (De Verschillende Persoonlijkheden):
Dit is het belangrijkste inzicht van het artikel. De auteurs realiseerden zich dat Attention-verdiepingen en Activation-verdiepingen niet hetzelfde zijn; ze hebben verschillende "persoonlijkheden".
- Attention-verdiepingen zijn als de Senior Managers. Als je een paar managers ontslaat, draait de fabriek in het begin wat langzamer, maar het duurt een lange tijd om nieuwe mensen op te leiden om weer op volle snelheid te komen. Ze zijn moeilijk snel te vervangen.
- Activation-verdiepingen zijn als de Junior Stagiairs. Als je hen ontslaat, crasht de fabriek onmiddellijk (de nauwkeurigheid daalt naar bijna nul). Echter, als je hen een korte training van 10 minuten geeft (fine-tuning), herstellen ze zich bijna onmiddellijk naar hun volledige prestaties.
- De Fout van Oude Methoden: Oude methoden behandelden alle verdiepingen hetzelfde. Ze keken naar de "gradiënten" (een maatstaf voor hoeveel een verdieping bijdraagt) en ontsloegen degenen met de laagste cijfers. Omdat Senior Managers (Attention) van nature een andere "spanning" hebben dan de Stagiairs (Activation), bleven de oude methoden de verkeerde mensen ontslaan, wat leidde tot een instorting.

De Oplossing: HetDPT (De Slimme Fabrieksmanager)

De auteurs creëerden een tweestaps-proces genaamd HetDPT (Heterogeneity-Aware Depth Pruning) om deze fabriek te beheren:

Stap 1: De Budget Allocatie (De Strategie)
Voordat er iemand wordt ontslagen, gebruikt de manager een "Model Accuracy Predictor" (een slimme rekenmachine). In plaats van te vragen "Welke specifieke verdieping is de slechtste?", vraagt hij: "Als we 3 Senior Managers en 5 Stagiairs ontslaan, zal de fabriek dan nog werken?"

Het test verschillende combinaties van het ontslaan van Managers versus Stagiairs.
Het vindt de perfecte balans (bijv. "We kunnen 10 verdiepingen ontslaan, maar we moeten 6 Stagiairs en slechts 4 Managers ontslaan om de kwaliteit hoog te houden").
Dit voorkomt de fout van het direct vergelijken van Managers en Stagiairs, wat het vergelijken van appels met peren is.

Stap 2: De Uitvoering (De Schoonmaak)
Zodra het budget is vastgesteld (bijv. "Ontsla 6 Stagiairs"), gaat de methode per groep apart te werk.

Het kijkt naar alle Stagiairs en ontslaat de specifieken die het minst nodig zijn.
Het kijkt naar alle Managers en ontslaat de specifieken die het minst nodig zijn.
Cruciaal: Het voegt de Lineaire machines rond de ontslagen Stagiairs samen zodat de lopende band perfect past (het oplossen van de mismatch).
Ten slotte geeft het de overgebleven personeelsleden een korte "opfriscursus" (fine-tuning) om hen weer op 100% prestaties te krijgen.

De Resultaten: Sneller Zonder Kwaliteitsverlies

Het artikel testte dit op verschillende standaard beelddatasets (zoals ImageNet, wat lijkt op een gigantisch fotoalbum van 1 miljoen afbeeldingen).

Snelheid: Ze bereikten 1.58x snellere verwerking voor een standaardmodel (DeiT-B) terwijl ze exact dezelfde nauwkeurigheid behielden als het origineel.
Extreme Compressie: Wanneer ze deze methode combineerden met andere technieken (width pruning), creëerden ze een superlichtgewicht model dat 5.19x sneller is dan het origineel, met bijna geen verlies in nauwkeurigheid.
Veelzijdigheid: Het werkte niet alleen op standaardmodellen, maar ook op complexere modellen (Swin Transformers) en zelfs enorme modellen met miljarden parameters (DINO-V2-Giant).

Samenvattende Analogie

Denk aan een lange assemblagelijn die auto's maakt.

De Oude Manier: Je probeert het te versnellen door de arbeiders op de lijn sneller te laten werken (Width Pruning), of door willekeurig arbeiders van verschillende stations te ontslaan, waardoor het autochassis van de lijn valt omdat het volgende station er niet klaar voor is (Gefaalde Depth Pruning).
De HetDPT Manier: Je realiseert je dat sommige stations (Stagiairs) volledig kunnen worden verwijderd als je de twee machines aan weerszijden aan elkaar last. Je realiseert je ook dat het ontslaan van de Station Managers (Attention) de lijn voor een lange tijd schaadt, terwijl het ontslaan van de Stagiairs slechts kortstondig schade berokt en zij snel herstellen. Dus bereken je zorgvuldig hoeveel van elk type je ontslaat, las je de machines aan elkaar en geef je de overgebleven crew een korte peptalk. Het resultaat? De auto komt twee keer zo snel aan het einde van de lijn en het is nog steeds een perfecte auto.

Het artikel concludeert dat door de verschillende "persoonlijkheden" van de lagen te respecteren en de mechanische mismatch op te lossen, we deze krachtige AI-modellen aanzienlijk sneller kunnen laten draaien op alledaagse apparaten zonder hun intelligentie te verliezen.

Technische Samenvatting: Het heroverwegen van diepte-pruning voor Vision Transformers: Een heterogeniteitsbewust perspectief

1. Probleemstelling

Vision Transformers (ViTs) hebben state-of-the-art prestaties bereikt in diverse domeinen, maar lijden onder hoge computationele kosten en grote aantallen parameters, wat leidt tot verlengde inferentie-latentie. Hoewel gestructureerde pruning een effectieve compressiestrategie is, kampen bestaande methoden met significante beperkingen:

Breedte-pruning (Width Pruning): Vermindert kanalen of attention heads binnen lagen, maar levert vaak beperkte versnellingen op mainstream hardware op.
Diepte-pruning (Depth Pruning): Verwijdert volledige lagen, wat een aanzienlijk groter potentieel voor versnelling biedt (zoals getoond in Figuur 2a). Het is echter berucht moeilijk om de nauwkeurigheid te herstellen, vooral bij agressieve laagverwijdering.
De Kernbottleneck: Het artikel stelt dat het falen van bestaande diepte-pruningmethoden voortkomt uit twee over het hoofd geziene kwesties:
1. Verwaarlozing van Heterogeniteit: ViTs bevatten verschillende soorten lagen (bijv. Attention-lagen versus Activation function-lagen binnen Feed-Forward Networks). Bestaande methoden behandelen deze lagen vaak uniform of vertrouwen op gradiëntgebaseerde metrieken die falen door de significante discrepantie in gradiëntschalen tussen deze typen.
2. Dimensie-mismatch: Het gelijktijdig prunen van Attention-lagen en de Lineaire lagen in het Feed-Forward Network (FFN) creëert structurele incompatibiliteiten. Omdat FFN's een expansie-contractie mechanisme gebruiken (bijv. $D \to 4D \to D$ ), verbreekt het verwijderen van een lineaire laag de continuïteit van de tensorvorm die vereist is door opeenvolgende lagen (geïllustreerd in Figuur 3).

2. Methodologie: HetDPT

De auteurs stellen HetDPT (Heterogeneity-aware DePTh pruning) voor, een tweestaps framework ontworpen om heterogeniteit aan te pakken en dimensie-mismatch te voorkomen.

Belangrijke inzichten

De methode is gebaseerd op twee cruciale observaties met betrekking tot laag-heterogeniteit:

Gradiëntdiscrepantie: Attention-lagen en Activation-lagen vertonen zeer verschillende gradiëntgroottes tijdens backpropagation. Het gebruik van standaard gradiëntgebaseerde belangrijkheidsmetrieken leidt tot vertekende pruning-beslissingen, waarbij consequent de voorkeur wordt gegeven aan het prunen van het ene type boven het andere.
Herstelasymmetrie (Recovery Asymmetry):
- Het prunen van Attention-lagen veroorzaakt een matige initiële daling in nauwkeurigheid, maar vereist uitgebreide hertraining voor herstel.
- Het prunen van Activation-lagen veroorzaakt een ernstige initiële degradatie (vaak $\ge 90\%$ verlies in nauwkeurigheid), maar maakt snelle herwinning mogelijk tijdens fine-tuning.
- Implicatie: Kortzichtige metrieken die de directe nauwkeurigheid na pruning evalueren, zijn ineffectief.

De Tweestaps-pipeline

Fase 1: Identificatie van redundante lagen
Deze fase bepaalt hoeveel en welke specifieke lagen worden gepruned zonder heterogene laagtypen direct met elkaar te vergelijken.

Stap 1: Toewijzing van het Pruning-budget (Model Accuracy Predictor - MAP): In plaats van lagen direct te vergelijken, gebruikt de methode een lichtgewicht datacolectieproces (iteratieve prune $\to$ snelle fine-tune $\to$ evaluatie) om een dataset op te bouwen. Een polynoomfunctie benadert de Model Accuracy Predictor (MAP), die de uiteindelijke nauwkeurigheid van een gepruned model voorspelt op basis van de pruning-ratio's van de Attention ( $\tilde{m}_a$ ) en Activation ( $\tilde{m}_g$ ) lagen. Dit stelt het systeem in staat om de optimale toewijzing van het pruning-budget tussen de twee laagtypen te vinden.
Stap 2: Verwijdering van specifieke redundante lagen: Zodra het budget is toegewezen, identificeert de methode specifieke lagen om te verwijderen binnen elk homogeen groep (bijv. alleen onder de Attention-lagen). Het gebruikt leerbare belangrijkheidsparameters en gradiëntpropagatie om lagen te rangschikken, waardoor er geen cross-type vergelijking plaatsvindt.

Fase 2: Optimalisatie van het geprunede model

Fine-tuning: Het geprunede model wordt gefinetuned, optioneel met behulp van zelf-distillatie geleid door de originele ongepruned ViT om de nauwkeurigheid te herstellen.
Merging: Om dimensie-mismatch op te lossen en inferentie te versnellen, worden aangrenzende Lineaire lagen die gescheiden werden door een gepruned Activation-laag, samengevoegd (merged). Bijvoorbeeld, als een Activation-laag wordt verwijderd, worden $L_{l,1}$ en $L_{l,2}$ samengevoegd tot één lineaire laag $L_l$ . Dit vermindert de diepte van het model terwijl de strikte dimensie-uitlijning behouden blijft.

HetDPT+: De auteurs integreren HetDPT verder met gevestigde breedte-pruningmethoden om HetDPT+ te creëren, een pipeline voor extreme ViT-compressie die zowel de diepte- als de breedtedimensies aanpakt.

3. Belangrijkste Bijdragen

Pruning van Activation Functions: Het artikel stelt de eerste strategie voor om Activation function-lagen (GELU) in ViTs te verwijderen. Door deze niet-lineaire functies te verwijderen, kunnen aangrenzende lineaire lagen natuurlijk worden samengevoegd, wat het dimensie-mismatch probleem dat inherent is aan heterogene diepte-pruning oplost.
Heterogeniteitsanalyse en Oplossing: De auteurs onthullen en adresseren gradiëntdiscrepie en herstelasymmetrie. Ze introduceren een tweestaps framework (HetDPT) uitgerust met een Model Accuracy Predictor (MAP) om deze heterogeniteiten te beheren, ondersteund door theoretische analyse die de existentie van een optimale configuratie en de consistentie van de predictor onder ruisige snelle fine-tuning garandeert.
State-of-the-Art Records:
- Diepte-pruning: HetDPT bereikt een 1.58 $\times$ versnelling voor DeiT-B en 1.39 $\times$ voor DeiT-S met bijna verliesloze nauwkeurigheid, waarmee het bestaande diepte-pruningwerken overtreft.
- Extreme Compressie: HetDPT+ zet een nieuwe benchmark voor extreme ViT-compressie. Voor de Isomorphic-Pruning-2.6G configuratie verhoogt het de acceleratieverhouding van 4.24 $\times$ naar 5.19 $\times$ terwijl de bijna verliesloze nauwkeurigheid behouden blijft.

4. Experimentele Resultaten

De methode werd geëvalueerd op ImageNet-1K, CIFAR-100, COCO en ADE20K.

Nauwkeurigheid-Versnelling Afruil: Op ImageNet-1K presteert HetDPT consistent beter dan geïsoleerde pruning van attention- of activation-lagen. Voor DeiT-B bereikt het 81,8% Top-1 nauwkeurigheid (overeenkomend met de baseline) met een 1.58 $\times$ versnelling.
Vergelijking met SOTA: HetDPT+ overtreft bestaande extreme compressiemethoden (bijv. Isomorphic Pruning, NViT). Bij ~81% nauwkeurigheid bereikt HetDPT+ een 5.19 $\times$ versnelling vergeleken met 4.24 $\times$ voor Isomorphic Pruning. In ultra-extreme settings (1.1G MACs) bereikt het een 9.19 $\times$ versnelling.
Transfereerbaarheid: De methode vertoont robuuste transfer learning op CIFAR-100 en behoudt prestaties op dense predictie-taken (COCO objectdetectie en ADE20K semantische segmentatie) met minimale afname in nauwkeurigheid.
Schaalbaarheid: De aanpak schaalt naar miljarden-parameter modellen, aangetoond op DINO-V2-Giant, waarbij het 15 lagen pruneert met slechts een 0,06% daling in nauwkeurigheid.
Orthogonaliteit: De methode is orthogonaal aan token pruning methoden (bijv. GTP-ViT, ToMe), wat extra versnellingen biedt wanneer ze gecombineerd worden.

5. Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het mogelijk maken van een efficiëntere inzet van Vision Transformers is door de specifieke structurele en dynamische uitdagingen van diepte-pruning aan te pakken.

Democratisering: Door de computationele vereisten substantieel te verminderen (tot 9.19 $\times$ versnelling), maakt de methode state-of-the-art visiemodellen toegankelijk voor onderzoekers en praktijkgebruikers met beperkte middelen.
Duurzaamheid: Verminderd energieverbruik in gecomprimeerde modellen draagt bij aan een milieuvriendelijkere AI-ontwikkeling.
Edge Deployment: De winst in efficiëntie faciliteert real-time inzet op edge-apparaten voor toepassingen die een lage latentie vereisen, zoals diagnostiek in de gezondheidszorg en autonome systemen.

De auteurs merken een beperking op: de Model Accuracy Predictor (MAP) wordt momenteel voor elke architectuurfamilie opnieuw aangepast, en het uitbreiden van de methode naar taalmodellen of andere modaliteiten blijft toekomstig werk. De studie legt echter een nieuwe theoretische en praktische basis voor heterogene diepte-pruning, waarmee zij verder gaat dan de "one-size-fits-all" benaderingen van de voorgaande literatuur.