🤖 AI

Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers

Dit artikel introduceert SAPER, een interpreteerbaar-gestuurd soft pruning-framework dat spectrale analyse en semantische clustering van attention heads gebruikt om de computationele kosten van Vision Transformers efficiënt te verminderen terwijl een hoge classificatienauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een bruisende, hoogtechnologische stad waar computers leren de wereld te zien. In deze stad zijn de machtigste gebouwen "Vision Transformers". Dit zijn niet zomaar eenvoudige camera's; het zijn enorme, complexe structuren die met ongelooflijke nauwkeurigheid een kat, een auto of een wolk kunnen herkennen. Ze doen dit door een afbeelding op te delen in piepkleine puzzelstukjes en deze door een netwerk van "attention heads" te sturen. Denk aan deze hoofden als een team van gespecialiseerde detectives, die elk de afbeelding afzoeken naar verschillende aanwijzingen. Sommigen zoeken naar randen, anderen naar kleuren, en weer anderen naar de algehele vorm van een object.

Er is echter een addertje onder het gras. Om deze detectives superintelligent te maken, hebben ingenieurs ze ingebouwd in enorme, energieverslindende wolkenkrabbers. Deze gebouwen zijn zo groot dat ze enorme hoeveelheden elektriciteit en krachtige computers nodig hebben om te draaien, wat ze moeilijk bruikbaar maakt op kleinere apparaten zoals telefoons of robots. De grote vraag die wetenschappers zich stellen is: Hebben we echt elke enkele detective uit het team nodig? Of staan sommigen van hen gewoon rond te staan, het werk van anderen te kopiëren, of naar dingen te kijken die er niet toe doen? Als we de overbodige detectives zouden kunnen ontslaan zonder het vermogen van het team om misdaden op te lossen te verliezen, zouden we de wolkenkrabber kunnen verkleinen tot een gezellig huisje, waardoor de energie wordt bespaard en deze slimme systemen toegankelijk worden voor iedereen.

Dit is precies de puzzel waar een team onderzoekers een nieuwe methode genaamd SAPER (Soft Attention PrunER) voor aanpakte. Ze realiseerden zich dat de redundantie in deze AI-modellen geen fout is; het is eigenlijk een bijproduct van hoe de modellen worden getraind om super flexibel te zijn. Omdat de modellen op miljoenen afbeeldingen worden getraind zonder specifie k instructies, bouwen ze veel reservepaden in voor het geval dat. De onderzoekers wilden een manier vinden om te identificeren welke "detectives" daadwerkelijk uniek en belangrijk werk verrichten en welke zichzelf simpelweg herhalen, zodat zij veilig verwijderd kunnen worden.

Om dit op te lossen, hebben de onderzoekers eerst een nieuwe manier uitgevonden om te "zien" wat elke detective denkt. Ze creëerden iets dat Laplace maps wordt genoemd, die lijken op kleurrijke heatmaps of spectrale vingerafdrukken voor elke attention head. In plaats van alleen naar getallen te kijken, zetten deze kaarten de complexe wiskunde van hoe een hoofd zich op een afbeelding concentreert om in een visueel patroon. Het is een beetje alsof je naar een koor luistert en beseft dat terwijl sommige zangers dezelfde noten raken, anderen totaal andere melodieën zingen. Door deze patronen te analyseren, ontdekten de onderzoekers dat de "detectives" niet in nette rijen zijn gerangschikt, maar functionele groepen vormen. Sommige koppen in de vroege lagen van het netwerk fungeren als "convolutional" koppen, die zich richten op eenvoudige randen en texturen, terwijl anderen in diepere lagen zich richten op complexe, globale vormen. Verrassend genoeg ontdekten ze dat koppen die hetzelfde werk doen, verspreid over het hele gebouw kunnen liggen en niet alleen in één specifie speciale verdieping vastzitten.

Gewapend met dit begrip, bouwden ze SAPER, een slim hulpmiddel dat werkt als een zachte editor. In plaats van blindelings delen van het model weg te snijden, gebruikt SAPER een "soft" selectieproces om te beslissen welke koppen ze behouden en welke ze laten gaan. Het is als een zeef die de overbodige koppen geleidelijk wegfiltert terwijl de essentiële koppen behouden blijven, waardoor het model kan leren welke echt noodzakelijk zijn. Ze testten dit op enorme beelddatasets zoals ImageNet-1K en CIFAR-100. De resultaten waren veelbelovend: SAPER slaagde erin om het aantal attention heads aanzienlijk te verminderen—soms bleef slechts een fractie van het oorspronkelijke team over—terwijl de hoge nauwkeurigheid bij het identificeren van objecten behouden bleef. Zo lieten ze bijvoorbeeld zien dat zelfs met zeer weinig koppen, het model nog steeds goed kan presteren, vooral wanneer een techniek genaamd "knowledge distillation" wordt gebruikt, waarbij het kleinere model leert van het grotere, slimmere model.

Het artikel suggereert dat deze aanpak een veel betere balans biedt tussen snelheid en intelligentie dan eerdere methoden. Terwijl andere technieken probeerden hele blokken van het model in één keer weg te snijden, maakte SAPER's vermogen om individuele koppen te kiezen en te selecteren mogelijk een veel fijnere controle. In hun experimenten gebruikte SAPER vaak minder rekenkracht (gemeten in FLOPs) dan concurrerende methoden, terwijl het vergelijkbare of zelfs betere resultaten behaalde. De onderzoekers concluderen dat, door de specifieke rollen van deze attention heads te begrijpen via hun spectrale signaturen, we vision-modellen kunnen bouwen die niet alleen krachtig maar ook efficiënt en transparant zijn, wat de weg vrijmaakt voor slimmere AI die in onze zakken past zonder onze batterijen leeg te trekken.

Technische Samenvatting: Interpretatiegestuurde Zachte Pruning van Attention Heads in Vision Transformers

Probleemstelling

Vision foundation models, met name zelfgesuperviseerde architecturen zoals DINOv2, hebben een opmerkelijke prestatie geleverd over diverse downstream-taken heen. Hun succes rust echter op massieve, overgeparameteriseerde architecturen die significante computationele knelpunten en geheugeneisen creëren. Het multi-head self-attention mechanisme, hoewel krachtig, draagt bij aan de opaciteit en redundantie van het model.

Het kernprobleem dat wordt geadresseerd is het gebrek aan begrip over de specifieke functionele rollen van individuele attention heads en het bestaan van functionele redundantie binnen deze modellen. Blindelings de modelgrootte verminderen op basis van louter prestatie-metrieken faalt vaak omdat er geen rekening wordt gehouden met de interne mechanica van het netwerk. Bovendien, naarmate deze modellen naar edge-apparaten migreren, vertaalt elke behouden head zich direct in latentie, geheugengebruik en energieverbruik, wat behoefte geeft aan gestructureerde, op head-niveau compressiestrategieën die aansluiten bij de "Green AI"-agenda. De auteurs stellen dat deze redundantie geen defect is, maar een emergent gevolg van het trainen van algemene representaties op enorme datasets, waarbij veel parallelle paden worden onderhouden om robuustheid te garanderen over potentiële downstream-taken heen.

Methodologie

Het artikel introduceert SAPER (Soft Attention PrunER), een end-to-end differentieerbaar pruning-framework dat interpretabiliteit en efficiëntie overbrugt. De methodologie verloopt in drie hoofdfasen:

1. Spectrale Analyse en Visualisatie (Laplace Maps)

Om de functionele structuur van attention heads te begrijpen, stelt de auteur een grafentheoretische aanpak voor. Een attention map wordt behandeld als een gewogen graaf waarbij tokens de vertices zijn en attention weights de edges.

Laplacian Eigenvectors: De methode berekent de genormaliseerde Laplacian van de attention-graaf voor elke head.
Visualisatie: De eigenvectoren die overeenkomen met de tweede, derde en vierde kleinste eigenwaarden worden geëxtraheerd. De eigenvector geassocieerd met de tweede kleinste eigenwaarde (de Fiedler-vector) vangt het dominante partitioneringsgedrag van de head op.
RGB Mapping: Deze drie eigenvectoren worden gemapt naar de Rode, Groene en Blauwe kanalen om Laplace maps te creëren. Deze visualisatie onthult dat heads in vroege lagen vaak "convolutioneel" gedrag vertonen (reagerend op globale patronen of randen), terwijl diepere heads zich richten op object-niveau structuren.

2. Semantische Clustering

De auteurs voeren semantische clustering uit om functionele redundantie over het netwerk te identificeren.

Feature Extractie: Voor een dataset van afbeeldingen worden de pre-softmax attention logit matrices geëxtraheerd. De ruimtelijke attention waarschijnlijkheidsvectoren (van de CLS-token naar ruimtelijke patches) worden geanalyseerd.
Similarity Matrix: De maximale attention waarde over de ruimtelijke patches wordt gebruikt om een feature matrix te construeren. Een Pearson correlatiecoëfficiënt wordt berekend tussen alle paren heads om een similarity matrix te genereren.
Clustering: Spectrale clustering wordt toegepast op deze matrix om heads te partitioneren in afzonderlijke clusters. In tegenstelling tot eerdere werken (bijv. RAPTOR) die contigue blokstructuren veronderstellen, wijst deze aanpak individuele heads toe aan clusters op basis van uitsluitend hun geproduceerde representaties, wat onthult dat functioneel analoge heads op verschillende dieptes van het netwerk kunnen bestaan.

3. Differentiabele Head Selectie (LapSum Soft Top-K)

SAPER maakt gebruik van een differentieerbaar selectiemechanisme om heads te prunen zonder discrete, niet-differentieerbare operaties.

LapSum: Het framework maakt gebruik van het LapSum algoritme, dat een zachte relaxatie vormt van het discrete Top-K selectieprobleem.
Mechanisme: Gegeven een score-vector voor heads, berekent LapSum zachte selectiekansen met behulp van de cumulatieve distributiefunctie (CDF) van de Laplace-distributie. Een negatieve temperatuurparameter ( $\alpha$ ) regelt de scherpte van de selectie; naarmate $\alpha \to 0$ , nadert de zachte maskering een harde Top-K selectie.
Trainingspipeline: Het model ondergaat een "zachte" trainingsfase waarbij de Top-K heads worden geselecteerd via de differentieerbare mask, gevolgd door een "harde" fine-tuning of knowledge distillation fase met enkel de geselecteerde heads.

Belangrijkste Bijdragen

Laplace Maps: Een nieuwe spectrale visualisatietechniek voor individuele attention heads gebaseerd op de attention-graph Laplacian, wat de interpretatie van specifieke head-taken mogelijk maakt (bijv. randdetectie versus globale semantische structuur).
Semantische Clustering van Heads: Een methode om gedeelde representaties over het netwerk te identificeren door individuele heads te clusteren in plaats van volledige lagen. Dit generaliseert de ontdekking van representatieve fasen in Vision Transformers (ViTs), waarbij wordt aangetoond dat functionele redundantie bestaat over variërende dieptes, en niet alleen binnen contigue blokken.
SAPER Framework: Een differentieerbaar Top-K head selectie framework dat concurrerende classificatieprestaties bereikt met een significante reductie in FLOPs. Het biedt meer flexibiliteit dan block-gebaseerde pruning methoden door de selectie van een arbitraal aantal individuele heads toe te staan.

Experimentele Resultaten

De auteurs evalueerden SAPER op ImageNet-1K en CIFAR-100 met behulp van DINOv2 backbones (ViT-Small en ViT-Base).

Accuracy-Efficiency Trade-off: SAPER demonstreert een zeer gunstige trade-off. Zo bereikt ViT-S met slechts 6 behouden heads (van de 72) ongeveer 73% classificatie-accuratesse (via knowledge distillation), wat slechts ~8% lager is dan het model met 24 heads.
Vergelijking met RAPTOR: SAPER presteert beter dan de concurrerende RAPTOR baseline in termen van FLOPs reductie. Bij een vergelijkbaar aantal heads (bijv. 24 heads), reduceert SAPER de GFLOPs met een factor twee vergeleken met RAPTOR (bijv. 32.17 vs. 61.86 GFLOPs voor ViT-B), ondanks het behouden van een hoger aantal parameters. Deze efficiëntie komt voort uit het vermogen van SAPER om individuele heads te selecteren in plaats van beperkt te zijn tot de restrictie van RAPTOR van contigue blok-multiples.
Dataset Robuustheid: Op CIFAR-100 presteert SAPER consistent beter dan RAPTOR bij elk vergelijkbaar head-budget, terwijl het aanzienlijk minder GFLOPs gebruikt.
Trainingsmodi: De studie vergelijkt pure fine-tuning en knowledge distillation. Knowledge distillation leverde over het algemeen betere resultaten op, met name op ImageNet-1K, en de auteurs merken op dat het bevriezen van de pre-trained attention heads tijdens fine-tuning vaak voordelig was.

Betekenis en Claims

Het artikel positioneert zich als een stap naar interpreteerbare en transparante vision foundation models. De primaire betekenis ligt in:

Mechanistische Interpretabiliteit: Het bieden van instrumenten om het gedrag van individuele attention heads te previewen via spectrale visualisatie, waarmee men verder kijkt dan black-box pruning.
Flexibele Pruning: Het demonstreren dat pruning kan worden gezien als een specialisatie van een algemeen model in plaats van een reparatie van een gebrekkig model. Door het identificeren en verwijderen van functioneel redundante heads, past de methode het model aan op specifieke efficiëntiebeperkingen zonder catastrofaal verlies van accuratesse.
Green AI: Het bieden van een praktische oplossing voor de implementatie van grote foundation modellen op hulpbronnenbeperkte edge-apparaten door de computationele kosten (FLOPs) aanzienlijk te verlagen terwijl sterke prestaties behouden blijven.

De auteurs concluderen dat hun aanpak de kloof tussen interpretabiliteit en efficiëntie overbrugt, en daarmee de hypothese valideert dat functioneel analoge heads over verschillende dieptes van het netwerk bestaan en selectief behouden kunnen worden om de modelprestaties te optimaliseren. Toekomstig werk wordt voorgesteld om dit framework uit te breiden naar het token-niveau en om MLP-gewichten te includeren.