🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Dit artikel introduceert PORTA, een hertrainingsvrij, taakagnostisch pruning-framework voor vision-language modellen dat activatievariatie en adaptieve sparsiteitsallocatie benut om hoge compressieratio's te bereiken terwijl de brede downstream-prestaties worden behouden zonder dat taakspecifieke data of fine-tuning vereist is.

Oorspronkelijke auteurs: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Gepubliceerd 2026-08-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robotbrein hebt dat een afbeelding kan bekijken en een zin kan lezen, en dan direct begrijpt hoe ze met elkaar verbonden zijn. Dit is de wereld van Vision-Language Models (VLMs). Denk aan deze modellen als gigantische, hongerige bibliotheken die elk boek en elke foto op het internet hebben gelezen en bekeken. Ze zijn geweldig in het oplossen van puzzels, het beantwoorden van vragen en het vinden van specifieke afbeeldingen, maar er is een addertje onder het gras: ze zijn ongelooflijk zwaar. Ze vereisen enorme computers met enorme hoeveelheden geheugen en vermogen om te draaien, een beetje zoals proberen een bibliotheek in je rugzak te dragen terwijl je een berg op wandelt. Vanwege hiervan is het erg moeilijk om deze slimme robots op kleinere apparaten zoals telefoons of tablets te plaatsen.

Om dit op te lossen, gebruiken wetenschappers een techniek genaamd pruning (snoeien). Stel je voor dat het brein van de robot een massief web van verbindingen is. Pruning is als het voorzichtig wegknippen van de kleine, nutteloze draadjes die de robot niet helpen denken, waardoor alleen de sterke, belangrijke draden overblijven. Dit maakt de robot lichter en sneller zonder dat hij vergeet hoe hij zijn werk moet doen. De meeste bestaande manieren om te beslissen welke draden eruit moeten, zijn echter als een kaart die bedoeld is voor een ander land; ze hebben vaak specifieke oefentoetsen (data) nodig voor elke specifieke taak die de robot moet uitvoeren, of ze raken in de war wanneer de robot overschakelt van het kijken naar plaatjes naar het lezen van woorden. Dit artikel pakt het probleem aan van hoe je deze gigantische hersenen één keer perfect kunt inkrimpen, zodat ze overal kunnen draaien zonder dat ze voor elke nieuwe taak opnieuw getraind of afgestemd hoeven te worden.

De "Eén-keer-en-klaar" Breinknipper

Maak kennis met PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), een nieuwe methode geïntroduceerd door onderzoekers Minseok Kang en zijn team. Hun doel was om een frustrerend probleem op te lossen: huidige pruning-methoden werken vaak als een kleermaker die je telkens opnieuw moet opmeten voor een pak wanneer je een ander shirt wilt dragen. Als je wilt dat de robot beeldclassificatie doet, snoei je hem op de ene manier; als je wilt dat hij informatie ophaalt (retrieval), moet je hem op de andere manier snoeien. Dit is traag en duur. PORTA is anders. Het is als een meesterkleermaker die de stof één keer bekijkt, deze perfect knipt, en het resulterende pak vervolgens geschikt maakt voor elk gelegenheid—of je nu een race loopt, in een vergadering zit of op een feestje danst.

Het artikel suggereert dat de belangrijkste reden waarom andere methoden falen bij deze "één-keer-en-klaar"-aanpak, is dat ze vertrouwen op de grootte (magnitude) van de interne signalen van de robot om te beslissen wat ze behouden. De auteurs stellen dat in deze gigantische modellen de grootte van een signaal misleidend kan zijn, omdat het "taal"-gedeelte van het brein en het "visie"-gedeelte van het brein verschillend gedrag vertonen. Het is alsoal proberen de belangrijkheid van een schreeuw in een bibliotheek te beoordelen versus een schreeuw in een stadion; het volume (magnitude) is anders, maar de betekenis kan hetzelfde zijn. Vanwege dit reden kijken methoden die alleen naar het volume kijken vaak naar de verkeerde dingen, vooral wanneer de robot een taak krijgt die hij nog niet eerder heeft gezien.

De Geheime Saus: Variantie boven Volume

In plaats van te luisteren naar hoe hard een signaal is, luistert PORTA naar hoe veranderlijk het is. De onderzoekers noemen dit activatievariatie.

Hier is de analogie: Stel je een groep studenten voor in een klaslokaal.

De Oude Manier (Magnitude): De leraar vraagt: "Wie is de hardste?" en houdt alleen de studenten over die het hardst roepen. Maar misschien roept de hardste student alleen maar hard omdat hij enthousiast is over één specifiek onderwerp, terwijl de stille student eigenlijk goed oplet wat de leraar zegt.
De PORTA-manier (Variantie): De leraar vraagt: "Wie verandert zijn antwoord het meest afhankelijk van de vraag?" De student die zijn antwoord aanpast op basis van het onderwerp, is degene die de stof echt begrijpt.

In het brein van de robot zoekt PORTA naar kenmerken die veel variatie (fluctuatie) vertonen over verschillende inputs heen. Als een deel van het brein anders reageert op veel verschillende plaatjes of woorden, doet het belangrijk werk. Als een deel van het brein hetzelfde blijft, ongeacht wat je het laat zien, is het waarschijnlijk gewoon overtollige ballast. Door dit "veranderlijkheidsscore" te gebruiken, kan PORTA bepalen welke delen van de robot echt nuttig zijn, ongeacht of hij naar een kat kijkt of een gedicht leest. Dit maakt de pruning "modality-agnostic", wat betekent dat het de visuele en de talige delen eerlijk behandelt, zonder de snede te bevoordelen richting één van beide kanten.

De Slimme Snede: Niet alle lagen zijn gelijk

Zodra PORTA weet welke kenmerken belangrijk zijn, moet het beslissen hoeveel er uit elke laag van het robotbrein geknipt wordt. Het brein is geen uniforme blok; sommige lagen zijn als het fundament van een huis, en andere zijn als het dak. Je zou het fundament niet zo agressief wegsnijden als het dak.

PORTA gebruikt een slim adaptief sparsity-mechanisme. Het kijkt naar hoeveel "werk" elke laag verricht op basis van de variatie van de output.

Als een laag veel zwaar werk verricht (hoge variatie in de output), zegt PORTA: "Raak dit niet te veel aan!" en geeft het een lage pruning-ratio (houdt het meeste ervan over).
Als een laag gewoon meelift (lage variatie), zegt PORTA: "Dit kunnen we aanzienlijk inkrimpen."

Dit zorgt ervoor dat de robot niet zijn vermogen om na te denken verliest, simpelweg omdat we probeerden hem kleiner te maken. Het artikel laat zien dat deze methode de "prestatie-afgronden" voorkomt waarbij andere methoden plotseling instorten wanneer je te veel probeert weg te snijden.

De Resultaten: Sterker, Lichter, Klaar voor Alles

De onderzoekers hebben PORTA getest op drie beroemde robotbreinen: CLIP, BLIP en Qwen2-VL. Ze testten het niet op slechts één taak; ze gooiden er alles tegenaan:

Beeldclassificatie: Identificeren wat er op een plaatje staat (zoals het verschil zien tussen een bloem en een hond).
Retrieval (Informatie ophalen): De juiste afbeelding vinden bij een tekstbeschrijving (of andersom).
VQA (Visual Question Answering): Complexe vragen beantwoorden over een afbeelding.

De resultaten waren indrukwekkend. Zelfs toen ze 65% van de parameters van de robot wegknipten (waardoor hij zeer klein werd), liet PORTA de robot veel beter presteren dan andere methoden.

Op het CLIP-model, bij 65% sparsity, verbeterde PORTA de gemiddelde prestaties met 12,6% vergeleken met een methode genaamd SparseGPT en met 21,5% vergeleken met Wanda.
Op BLIP (bij 45% sparsity) behaalde PORTA een gemiddelde score van 90,26, waarmee het de 89,95 van SparseGPT versloeg.
Op Qwen2-VL (bij 50% sparsity) bereikte PORTA een gemiddelde nauwkeurigheid van 54,30, waarmee het de op één na beste methode (Wanda) met 0,87 procentpunt versloeg.

Misschien wel het belangrijkste is dat PORTA robuust is. Het artikel laat zien dat het er niet toe doet of je een kleine set plaatjes gebruikt om de pruning te "kalibreren" of een grote set, of dat je plaatjes van de ene website of de andere gebruikt. PORTA blijft stabiel, terwijl andere methoden wild fluctueren in prestaties afhankelijk van de gebruikte data.

De Kern van het Verhaal

PORTA suggereert dat we deze gigantische modellen niet opnieuw hoeven te trainen om ze kleiner te maken. Door simpelweg te kijken naar hoe zeer de interne signalen van de robot veranderen in plaats van hoe hard ze zijn, en door meer weg te snijden uit de lagen die minder werk verrichten, kunnen we één enkel, slanker model creëren dat klaar is voor elke taak. Het is een "eens snoeien, voor altijd gebruiken"-aanpak die deze superintelligente vision-language modellen eindelijk op de apparaten in onze zakken kan laten draaien, zonder dat er een supercomputer nodig is om ze van stroom te voorzien. De auteurs bevestigen dit door middel van uitgebreide zero-shot experimenten, waarbij ze aantonen dat een met PORTA gesnoeid model direct in nieuwe taken kan springen zonder extra training, waarbij een hoge nauwkeurigheid behouden blijft, zelfs bij zware compressie.

Technische Samenvatting: PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Probleemstelling

Vision-Language Models (VLM's) hebben een opmerkelijke generalisatie getoond over multimodale taken heen door grootschalige pre-training. De snel toenemende aantal parameters en computationele vereisten van deze modellen hinderen echter de implementatie in omgevingen met beperkte middelen. Hoewel compressietechnieken zoals pruning essentieel zijn, kampen bestaande strategieën met significante beperkingen in de context van VLM's:

Taakspecifieke Afhankelijkheid: De meeste pruning-methoden vertrouwen op taakspecifieke criteria of kalibratiedata. Wanneer de downstream-taak verandert, vereist het model vaak opnieuw pruning of hertraining, wat een niet-verwaarloosbare overhead introduceert.
Modaliteitsbias: Veel benaderingen maken gebruik van belangmetingen afgeleid van Large Language Models (LLM's), zoals Wanda en SparseGPT, die vertrouwen op activatiemagnitude en outlier-patronen. Deze patronen manifesteren zich niet identiek in vision-encoders, wat leidt tot modaliteitsspecifieke bias waarbij pruning de vision- of de taalbranch onevenredig veel beïnvloedt.
Instabiliteit: LLM-georiënteerde belangsschattingen zijn zeer gevoelig voor de keuze van de kalibratiedata. In taak-agnostische settings waar taakspecifieke monsters niet beschikbaar zijn, leveren deze methoden instabiele belangsschattingen en suboptimale pruning-resultaten op.

Als gevolg hiervan is er een gebrek aan een robuust, taak-agnostisch pruning-framework dat een VLM één keer kan prunen met algemene data en vervolgens kan inzetten voor diverse downstream-taken zonder hertraining of opnieuw pruning.

Methodologie: PORTA

De auteurs stellen PORTA (Prune-Once: Retraining-free Task-Agnostic pruning) voor, een framework dat ontworpen is om modaliteitsbias en kalibratiesensitiviteit aan te pakken via twee kerncomponenten: een modaliteit-agnostische belangsformulering en een adaptief toewijzingsmechanisme voor sparsity.

1. Variantie-gebaseerde Belongsformulering

Bestaande methoden gebruiken primair activatiemagnitude voor belangsschatting. De auteurs stellen dat magnitude gevoelig is voor modaliteitsspecifieke schaalverschillen (bijv. verschillen in de distributie van tekst- versus visuele activaties). In plaats daarvan gebruikt PORTA activatievariatie (variantie) als een stabieler, modaliteit-agnostisch signaal.

Rationale: Kenmerken met een hoge variantie reageren breed over diverse inputs heen en leggen generaliseerbare structuren vast, terwijl kenmerken met een lage variantie gelokaliseerde of input-specifieke patronen coderen.
Formulering: Voor een laag met input-activaties $X \in \mathbb{R}^{B \times T \times D_{in}}$ en gewichten $W$ wordt de belangsscore $S_{i,j}$ voor gewicht $W_{i,j}$ berekend door de absolute gewichtsmagnitude te combineren met de variantie van de overeenkomstige input-feature $j$ :
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Deze formulering zorgt ervoor dat kenmerken die significant bijdragen aan het representatievermogen van het model over diverse inputs heen worden behouden, terwijl bias veroorzaakt door verschillende activatieschalen tussen de vision- en taalbranches wordt gemitigeerd.

2. Adaptieve Sparsity Allocatie

PORTA vermijdt uniforme sparsity door laag-specifieke pruning-ratio's toe te wijzen op basis van de variabiliteit van de output-feature space van de laag.

Mechanisme: De methode schat de variantie van de output-kanalen om de "benutting" van het representatievermogen van een laag te bepalen. Lagen met een hogere output-variantie (wat duidt op een hogere benutting) krijgen lagere sparsity-ratio's toegewezen om prestaties te behouden, terwijl lagen met een lagere variantie agressiever worden gepruned.
Efficiëntie: Om computationele efficiëntie te garanderen, wordt de input-covariantie matrix benaderd als diagonaal, waardoor de variantie-statistieken die tijdens de belangsschatting zijn berekend, hergebruikt kunnen worden.
Algoritme: De laag-specifieke scores worden genormaliseerd en aangepast via een sterkteparameter $\alpha$ om een doelstelling voor de globale sparsity te bereiken (zoals gedetailleerd in Algoritme 1 van het paper).

Belangrijkste Bijdragen

Een Retraining-Free Framework: PORTA introduceert een "prune-once" paradigma waarbij een gepre-trainde VLM één keer wordt gepruned met algemene kalibratiedata en direct kan worden toegepast op diverse downstream-taken (classificatie, retrieval, VQA) zonder aanvullende training of opnieuw pruning.
Modaliteit-Agnostische Belangscriterium: Het paper stelt een nieuwe belangsmetriek voor gebaseerd op activatievariantie in plaats van magnitude. Dit adresseert de modaliteitsbias die inherent is aan LLM-afgeleide metrieken, en biedt een stabiel signaal voor zowel de vision- als de taalencoders.
Adaptieve Sparsity Allocatie: Een mechanisme voor laag-specifieke pruning-ratio's wordt geïntroduceerd dat zich aanpast aan de specifieke representatieve bruikbaarheid van elke laag, waarmee de beperkingen van uniforme sparsity worden overwonnen.
Robuustheid tegenover Kalibratiedata: Het framework demonstreert stabiliteit over verschillende kalibratiedatasets en steekproefgroottes, wat het praktisch maakt voor scenario's waarin taakspecifieke data niet beschikbaar is.

Experimentele Resultaten

De auteurs evalueerden PORTA op drie representatieve VLM-architecturen: CLIP (OpenAI ViT-bigG), BLIP en Qwen2-VL. Evaluaties werden uitgevoerd in een volledig zero-shot setting over beeldclassificatie, beeld-tekst retrieval en Visual Question Answering (VQA).

Prestaties onder Hoge Sparsity: PORTA presteerde consistent beter dan de baselines (Wanda, SparseGPT, ECoFLaP, Multiflow) bij hoge sparsity-niveaus (55%–65%).
- Op CLIP bij 65% sparsity verbeterde PORTA de gemiddelde prestaties met 12,6% ten opzichte van SparseGPT en met 21,5% ten opzichte van Wanda over acht metrieken.
- Op BLIP bij 45% sparsity behaalde PORTA een hogere gemiddelde retrieval-score (90,26) vergeleken met SparseGPT (89,95).
- Op Qwen2-VL voor VQA (ScienceQA) bij 50% sparsity behaalde PORTA de hoogste gemiddelde nauwkeurigheid (54,30%), waarmee het de op één na beste baseline (Wanda) met 0,87 procentpunt versloeg.
Kalibratie Robuustheid: Experimenten waarbij de kalibratiedataset (Flickr30K, MSCOCO, Visual Genome) en de steekproefomvang werden gevarieerd, lieten zien dat de prestaties van PORTA stabiel bleven (fluctuaties <1%), terwijl baselines significante prestatieverschuivingen vertoonden (tot wel ~5%).
Efficiëntie: PORTA voltooide de pruning in ongeveer 195 seconden op CLIP, wat ongeveer 4x sneller is dan SparseGPT en 2x sneller dan ECoFLaP, voornamelijk dankzij het hergebruik van variantie-statistieken en de diagonale covariantie-benadering.

Betekenis en Claims

Het paper claimt dat PORTA de praktische inzetbaarheid van VLM's bevordert door taak-agnostische compressie mogelijk te maken. Door belang af te leiden uit activatievariatie in plaats van magnitude, slaagt de methode erin de modaliteitsbias te mitigeren die de huidige LLM-georiënteerde pruning-strategieën teisteren.

De auteurs benadrukken dat PORTA een enkele geprunede versie van een model mogelijk maakt die kan generaliseren over heterogene downstream-applicaties (retrieval, classificatie, generatie) zonder de noodzaak voor opnieuw pruning of hertraining. Deze "prune-once" capaciteit vermindert de operationele overhead aanzienlijk, vooral in scenario's waar taakspecifieke kalibratiedata moeilijk te verkrijgen is. Het werk valideert dat taak- en modaliteit-agnostische pruning haalbaar is met robuuste prestaties, zelfs onder hoge compressieniveaus, mits de belangsschatting gebaseerd is op modaliteit-invariante representatieve bruikbaarheid.