💻 computer science

Elastic ViTs from Pretrained Models without Retraining

Dit artikel introduceert SnapViT, een methode voor gestructureerde pruning na de pretraining die zonder hertraining gebruikmaakt van gradiëntinformatie en een evolutionair algoritme om cross-netwerkcorrelaties te benaderen, waardoor gepretrainde Vision Transformers een elastische inferentie kunnen bereiken over een continuüm van rekenbudgetten zonder dat er gelabelde data vereist is.

Oorspronkelijke auteurs: Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk slimme bibliotheek hebt (een Vision Transformer of "ViT") die bijna alles in een afbeelding kan herkennen. Deze bibliotheek is zo groot dat hij een heel gebouw inneemt en een gigantische, dure generator nodig heeft om te draaien.

Het probleem? De meeste real-world apparaten (zoals je telefoon, een drone of een slimme camera) zijn klein en hebben een beperkte batterij. Ze kunnen de hele bibliotheek niet huisvesten, en ze kunnen de elektriciteit niet betalen om hem te draaien.

Normaal gesproken, als je een kleinere bibliotheek wilt, moet je een nieuwe, kleinere bibliotheek vanaf nul opbouwen. Maar de auteurs van dit paper, SnapViT, zeggen: "Waarom bouwen we er een nieuwe? Laten we de grote bibliotheek gewoon direct verkleinen tot de grootte die je ook maar nodig hebt, zonder haar slimheid te verliezen."

Zo hebben ze het gedaan, eenvoudig uitgelegd:

1. Het Probleem: Eén maat past niet iedereen

Beschouw deze AI-modellen als een set Russische matroesjka-poppen. Normaal gesproken krijg je slechts een paar specifieke maten: Klein, Medium en Groot. Als je apparaat iets kleiner nodig heeft dan "Medium" maar groter dan "Klein", heb je pech. Je moet ofwel de enorme, trage versie gebruiken, of een piekleine, domme versie.

2. De Oplossing: "Snap" naar elke maat

De auteurs hebben een methode ontwikknu die SnapViT wordt genoemd. Het is also als een magische schaar waarmee je de grote bibliotheek naar elke gewenste maat kunt knippen (10% kleiner, 50% kleiner, enz.) in één enkele "snap".

Geen hertraining: Normaal gesproken, als je een stuk van een machine afknipt, stopt deze met werken en moet hij urenlang of dagenlang worden gerepareerd (hertraind). SnapViT knipt het model en het werkt onmiddellijk. Geen reparatie nodig.
Geen labels nodig: De meeste methoden hebben een leraar nodig die hen vertelt wat belangrijk is (zoals het laten zien van duizenden foto's van katten en honden aan de AI). SnapViT is zelflerend; het ontdekt zelf wat het moet behouden door simpelweg patronen in de data zelf te bekijken.

3. Hoe het werkt: De "Slimme Schaar"

Om te weten welke delen van de AI ze moeten knippen en welke ze moeten behouden, gebruiken de auteurs een tweestaps-scoreingsysteem:

Stap 1: De Lokale Check (De "Pijn"-test)
Stel je voor dat je de AI met een stokje prikt. Als het prikken in een specifiek deel ervoor zorgt dat de AI struikelt, is dat deel belangrijk. Als de AI niet reageert, is dat deel waarschijnlijk nutteloos. Ze gebruiken een "self-supervised" truc (het bekijken van dezelfde afbeelding vanuit verschillende hoeken) om te zien welke delen van het brein gevoelig zijn. Dit geeft hen een basislijst van wat er geknipt kan worden.
Stap 2: De Globale Check (De "Teamwerk"-test)
Dit is het slimme gedeelte. Soms lijkt een onderdeel op zichzelf misschien nutteloos, maar is het in werkelijkheid een cruciale teamgenoot van een ander onderdeel. Als je er één wegknipt, raakt de ander in de war.
Om deze verborgen teams te vinden, gebruiken ze een Genetisch Algoritme (denk aan een digitale evolutie-simulator). In plaats van elke enkele verbinding te berekenen (wat eeuwig zou duren), simuleren ze "wat als we dit knippen?" en "wat als we dat knippen?" duizenden keren in slechts een paar minuten. Ze laten een kaart evolueren van hoe verschillende delen van de AI op elkaar vertrouwen.

4. Het Resultaat: Elastische Inferentie

Zodra ze deze kaart hebben, kunnen ze een "continuüm" van modellen genereren.

Heb je een model nodig voor een supersnelle drone? SnapViT geeft je een piepkleine versie.
Heb je een model nodig voor een krachtige server? SnapViT geeft je een grotere versie.
Heb je iets ertussenin nodig? SnapViT geeft je dat ook.

Ze hebben dit getest op verschillende beroemde AI-modellen (zoals DINO en SigLIPv2). Ze ontdekten dat ze het model met 40% konden inkrimpen (waardoor het bijna de helft kleiner is) en dat het nog steeds bijna net zo goed werkte als het origineel, met vrijwel geen verlies aan nauwheid.

5. Waarom het snel is

De auteurs beweren dat ze dit hele proces in minder dan vijf minuten kunnen doen op een enkele krachtige computerchip (een A100 GPU). Dat is ongelooflijk snel vergeleken met andere methoden die dagen kunnen duren.

Samenvattende Analogie

Stel je een enorme instructiehandleiding van 100 pagina's voor voor het bouwen van een huis.

De oude manier: Als je maar tijd hebt om 50 pagina's te lezen, moet je de hele handleiding vanaf nul herschrijven om een 50-pagina's tellende versie te maken die nog steeds logisch is.
De SnapViT-manier: Je markeert direct de 50 belangrijkste pagina's. Je scheurt de rest eruit. De resterende 50 pagina's vertellen je nog steeds precies hoe je het huis perfect bouwt, en je deed dit in vijf minuten zonder een nieuwe architect nodig te hebben.

Deze methode stelt iedereen in staat om een massieve, krachtige AI te nemen en deze onmiddellijk te verkleinen zodat hij past bij hun specifieke behoeften, wat tijd, geld en energie bespaart, zonder dat de AI opnieuw getraind hoeft te worden of een leraar nodig heeft om het te laten zien.

Technische Samenvatting: SnapViT – Elastische Vision Transformers van Pretrained Modellen zonder Hertraining

Probleemstelling

Vision foundation models hebben state-of-the-art prestaties bereikt over diverse taken, maar worden doorga\nvanwege hun starheid meestal uitgebracht in een beperkte set vooraf bepaalde groottes (bijv. specifieke parameteraantallen voor de DINOv3 of DeIT-families). Deze rigiditeit dwingt gebruikers tot suboptimale keuzes bij de implementatie wanneer zij geconfronteerd worden met real-world beperkingen op het gebied van rekenkracht, latentie en kosten. Bestaande oplossingen voor modelflexibiliteit kampen met significante beperkingen:

Knowledge Distillation: Vereist een vooraf bepaalde doelarchitectuur en is vaak afhankelijk van niet-publieke pretraining-datasets, wat de robuustheid ondermijnt.
Elastic Inference: Methoden zoals Matryoshka-representaties of Slimmable Networks vereisen dat modellen tijdens de pretraining al zijn ontworpen met specifieke geneste structuren, waardoor ze niet toepasbaar zijn op bestaande, kant-en-klare pretrained modellen.
Structured Pruning: Hoewel effectief voor het verminderen van geheugen en rekenkracht, zijn de meeste huidige pruning-technieken afgestemd op specifieke taken of beperkingen en vereisen ze doorgaans hertraining, waardoor er een gat ontstaat voor universeel aanpasbare modellen die geen gelabelde data of een classificatiekop nodig hebben.

Methodologie: SnapViT

De auteurs stellen SnapViT voor (Single-shot network approximation for pruned Vision Transformers), een post-pretraining gestructureerde pruning-methode die een continuüm van elastische sub-netwerken genereert vanuit een enkel pretrained model zonder hertraining of gelabelde data. De kern van de methode is een prunability score ( $P$ ) die parameters rangschikt voor verwijdering op basis van twee componenten:

1. Lokale Hessian-benadering (Zelfgesuperviseerde Gradiënten)

Om de lokale parametergevoeligheid te vangen zonder een classificatiekop, benadert de methode de diagonaal van de Hessian-matrix met behulp van zelfgesuperviseerde gradiënten. Specifiek maakt de methode gebruik van de DINO-doelstelling om gradiënten te berekenen over een dataset van afbeeldingen. De lokale kromming $H^{(l)}$ wordt geschat als de gemiddelde kwadratische norm van de gradiënten:
$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$
Dit biedt een basismaatstaf voor hoe cruciaal individuele parameters zijn binnen hun specifieke blokken (bijv. feed-forward neuronen of attention heads).

2. Globale Hessian-schatting (Evolutionair Algoritme)

Om de beperking aan te pakken van het negeren van inter-block afhankelijkheden (off-diagonal Hessian-elementen), introduceert SnapViT een nieuwe benadering met behulp van de Exponential Natural Evolution Strategy (xNES).

In plaats van expliciet de onhandelbare volledige Hessian te berekenen, leert xNES een set structurele schalingsfactoren ( $c$ ) die de lokale gevoeligheid herwegen.
Het algoritme optimaliseert een multivariate Gaussische distributie over deze schalingsfactoren. De fitnessfunctie is label-vrij en meet de cosinus-gelijkenis tussen de embeddings van het originele model en het geprunde model (na PCA-compressie).
Door middel van natural-gradient updates evolueert de covariantie-matrix ( $\Sigma$ ) van de evolutionaire strategie om de inverse van de ware inter-block Hessian te benaderen ( $H^{(g)} \approx \alpha \Sigma^{-1}$ ). Dit stelt de methode in staat om te identificeren welke blokken gezamenlijk gepruned kunnen worden zonder de kwaliteit van de representatie te verslechteren.

3. Verenigde Prunability Score en Elastische Generatie

De uiteindelijke prunability score is het elementgewijze product van de lokale gevoeligheid en de globale schalingsfactoren:
$P = \text{diag}(H^{(l)}) \odot (M c)$
waarbij $M$ een membership-matrix is die block-niveau factoren uitbreidt naar individuele parameters.

Single-Shot Generatie: Zodra $P$ is berekend, worden alle parameters globaal gerangschikt. Deze enkele rangschikking maakt de extractie van sub-netwerken mogelijk voor elk gewenst spaarzaamheidsniveau ( $S \in [0, 1]$ ) zonder verdere optimalisatie.
Scope: De methode pruneert zowel rij-kolom combinaties binnen feed-forward blokken als volledige attention heads.

Belangrijkste Bijdragen

Elastische Pruning Strategie: Een efficiënte, snelle pruning-strategie voor pretrained Vision Transformers die elastische modellen oplevert die aan elke computationele beperking kunnen worden aangepast zonder hertraining.
Evolutionaire Hessian Benadering: Een nieuwe strategie die gebruikmaakt van een genetisch algoritme (xNES) om de off-diagonal componenten van de Hessian voor netwerkstructuren te benaderen, waardoor cross-block correlaties worden gevangen die traditionele diagonale benaderingen missen.
Label-vrije, Head-Agnostische Prestaties: De methode behaalt state-of-the-art prestaties onder significante pruning zonder gelabelde data of een classificatiekop te vereisen, en generaliseert over diverse gesuperviseerde en zelfgesuperviseerde foundation models.

Experimentele Resultaten

De auteurs evalueerden SnapViT op acht datasets (waaronder ImageNet-1k, Pascal VOC en diverse fine-grained benchmarks) met behulp van k-nearest neighbor (k-NN) classificatie, linear probing en lineaire semantische segmentatie.

Prestaties vs. SOTA: SnapViT evenaart consistent of overtreft state-of-the-art methoden (LAMP, LLM Surgeon, FPTP, SparseGPT, SNIP Magnitude, NViT) over diverse spaarzaamheidsniveaus.
- Voor DINOv1 ViT-B/16 pruneert de methode naar 40% spaarzaamheid met minder dan 5% nauwkeurigheidsverlies, wat een 1.58x versnelling van de inferentie oplevert.
- Bij 50% spaarzaamheid op gesuperviseerde AugReg-modellen presteert het beter dan SNIP met 7% en FPTP met 12,3% in lineaire classificatie.
- Voor SigLIPv2 en DINOv3 (grootschalige foundation models) presteert de methode aanzienlijk beter dan de baselines, met verbeteringen van tot wel 34,3% in lineaire classificatie ten opzichte van de op één na beste methoden.
Efficiëntie: Het volledige pruning proces voor een modelfamilie (bijv. DeIT-III) duurt minder dan vijf minuten op een enkele A100 GPU.
Post-processing: De methode is compatibel met post-pruning weight correction (SparseGPT-stijl) en volledige fine-tuning. Met één enkele stap van gewichtscorrectie blijft de prestatie bij extreme spaarzaamheid (bijv. 50% op SigLIPv2) grotendeels behouden.
Schaalbaarheid: Hoewel grootschalige pretraining (bijv. DINOv3, SigLIPv2) pruning uitdagender maakt door de gedistribueerde representatieve kennis, blijft SnapViT effectief, vooral wanneer het wordt gecombineerd met gewichtscorrectie of langere optimalisatie-horizonten (500 xNES iteraties).

Betekenis en Claims

Het artikel claimt dat SnapViT de kloof overbrugt tussen de rigiditeit van huidige foundation model implementaties en de behoefte aan flexibele, hulpbron-adaptieve inferentie. Door de extractie van een continuüm van sub-netwerken uit een enkel pretrained model in één enkele actie mogelijk te maken, stelt het gebruikers in staat om state-of-the-art modellen precies af te stemmen op hun specifieke computationele budgetten.

De auteurs benadrukken dat hun aanpak:

De noodzaak voor hertraining elimineert, wat aanzienlijke computationele middelen en tijd bespaart.
De afhankelijkheid van gelabelde data wegneemt, waardoor het toepasbaar is op zelfgesuperviseerde foundation models die geen classificatiekoppen hebben.
Globale structurele correlaties vastlegt via een evolutionaire benadering, waardoor de beperkingen van alleen lokale pruning-metrieken worden overwonnen.
De milieu-impact vermindert door de rekenvereisten en het energieverbruik van vision transformers te verlagen, wat potentieel de CO2-uitstoot van inferentie kan verminderen.

Het werk wordt gepresenteerd als een praktische oplossing voor het implementeren van grootschalige visiemodellen in beperkte omgevingen, terwijl een hoge prestatie behouden blijft over diverse downstream taken.