Visual Sparse Steering (VS2): Unsupervised Adaptation for Image Classification using Sparsity-Guided Steering Vectors

Probleemstelling

Het aanpassen van vision foundation modellen (zoals CLIP) op het moment van inferentie (test-time adaptation) zonder gelabelde data of het updaten van de modelgewichten is een wenselijk maar uitdagend doel. Bestaande methoden hebben vaak grote nadelen:

1. Test-time Adaptation (TTA): Methoden die backpropagation gebruiken door grote encoders vereisen aanzienlijke rekenkracht en tijd.
2. Stuurvectoren (Steering Vectors): Bestaande technieken voor het sturen van modelgedrag vereisen vaak zorgvuldig samengestelde contrastieve voorbeelden (positief/negatief paren), wat in de visuele domeinen moeilijk te realiseren is zonder labels.
3. Betrouwbaarheid: Er is vaak geen mechanisme om te detecteren of een stuurvector veilig is toe te passen, wat kan leiden tot schade bij distributieveranderingen (distribution shift).

Het paper stelt twee centrale vragen: Kunnen we effectieve stuurrichtingen construeren zonder contrastieve supervisie of test-time optimalisatie? En kunnen we representaties vinden die de redundantie en verstrengeling van visuele kenmerken verminderen?

Methodologie: Visual Sparse Steering (VS2)

De auteurs introduceren VS2, een lichtgewicht, label-vrije methode die gebruikmaakt van Sparse Autoencoders (SAE's) om stuurvectoren te genereren.

1. Training van de SAE:

   • Er wordt een top-k Sparse Autoencoder getraind op ongelabelde, binnen-domein (in-domain) activaties van de vision encoder (bijv. CLIP) tijdens de trainingsfase.
   • De SAE leert een schaarse latente representatie $z$ van de input embedding $x$. Door de $k$ hoogste activaties te behouden (top-k selectie) en de rest op nul te zetten, worden redundante en verstrengelde kenmerken geminimaliseerd, wat leidt tot meer interpreteerbare en disjuncte features.

2. Constructie van de Stuurvector (Inferentie):

   • Tijdens de inferentie wordt de actieve schaarse representatie van een testbeeld versterkt (amplified) met een factor $\gamma$.
   • Deze versterkte representatie wordt gereconstrueerd naar de embedding-ruimte.
   • De stuurvector $v$ wordt berekend als het verschil tussen de gereconstrueerde versterkte embedding en de originele gereconstrueerde embedding: $v = \tilde{x}' - \tilde{x}$.
   • Deze vector wordt vervolgens toegevoegd aan de originele embedding: $\hat{x} = x + \lambda v$, waarbij $\lambda$ de sterkte van de sturing bepaalt.

3. VS2++ (Selectieve Versterking):

   • Als er een externe ongelabelde corpus beschikbaar is, introduceert VS2++ een selectieve aanpak.
   • Het systeem zoekt de $N$ dichtstbijzijnde buren (nearest neighbors) voor een query-afbeelding.
   • Op basis van pseudo-labels (voorspellingen van CLIP) worden positieve en negatieve groepen gevormd.
   • De stuurvector wordt dan berekend als het verschil tussen de gemiddelde SAE-features van de positieve groep en de negatieve groep. Dit benadert een "oracle" scenario waarbij alleen task-relevante features worden versterkt.

4. Betrouwbaarheidsdiagnose (Fallback Mechanisme):

   • Een cruciaal onderdeel is het gebruik van de reconstructiefout van de SAE als betrouwbaarheidsindicator.
   • Als de reconstructiefout (gemeten als Fraction of Variance Unexplained, FVU) te hoog is (wat wijst op een slechte reconstructie door distributieverandering), wordt de sturing overgeslagen en valt het systeem terug op de originele zero-shot CLIP-predictie. Dit voorkomt schadelijke aanpassingen.

Belangrijkste Bijdragen

• Ongecontroleerde Schaarse Sturing: VS2 is de eerste methode die SAE's gebruikt als een actievere ruimte voor interventie in visuele modellen zonder labels of contrastieve voorbeelden.
• Efficiëntie: De methode vereist slechts één forward pass (geen backpropagation of optimalisatie op het moment van inferentie) en voegt minder dan 0,1% rekenoverhead toe.
• Veiligheid: Het ingebouwde mechanisme om te falen bij hoge reconstructiefouten biedt een veiligheidsnet dat ontbreekt bij conventionele stuurvector-methoden.
• Headroom-analyse: Via VS2++ tonen de auteurs aan dat er aanzienlijk meer potentieel is (tot 21% verbetering) als task-relevante features selectief kunnen worden geselecteerd, wat een richting voor toekomstig onderzoek aangeeft.

Resultaten

De methode is geëvalueerd op drie datasets (CIFAR-100, CUB-200, Tiny-ImageNet) met twee CLIP-backbones (ViT-B/32 en ViT-B/16).

• Prestatieverbetering: VS2 verbetert de zero-shot top-1 nauwkeurigheid consistent:
  • CIFAR-100: +3,45% tot +4,12%.
  • CUB-200: +0,93% tot +1,08%.
  • Tiny-ImageNet: +1,50% tot +1,84%.
• Vergelijking met TTA: VS2 presteert vergelijkbaar met of beter dan methoden zoals TPT (Test-Time Prompt Tuning), maar zonder de hoge rekenkosten van TPT (VS2 is ~16x goedkoper in inferentie).
• VS2++ Potentieel: Met oracle-kennis (perfecte selectie van positieve/negatieve groepen) bereikt VS2++ verbeteringen tot 21,44% op CIFAR-100, wat aantoont dat de beperkingen van de huidige VS2 liggen in de selectie van de juiste features en niet in het stuurmechanisme zelf.
• Robuustheid: De FVU-gated fallback werkt effectief bij out-of-distribution (OOD) data; op datasets waar de SAE slecht reconstrueert (hoge FVU), wordt de sturing uitgeschakeld en blijft de prestatie dicht bij de baseline, in plaats van te verslechteren.

Betekenis en Toekomstperspectief

Dit werk toont aan dat Sparse Autoencoders niet alleen nuttig zijn voor mechanische interpretatie (het begrijpen van neurale netwerken), maar ook als een krachtig, label-vrij instrument voor het verbeteren van downstream prestaties.

• Paradigmaverschuiving: Het bewijst dat sturing van visuele modellen mogelijk is zonder dure optimalisatie of handmatig samengestelde datasets.
• Veilige Adaptatie: Het introduceert een nieuw paradigma voor "veilige" test-time adaptatie waarbij het model zelf kan beslissen of een aanpassing betrouwbaar is.
• Toekomst: De grootste uitdaging en kans ligt in het ontwikkelen van methoden om task-relevante schaarse features selectief te identificeren en te versterken (zoals geïllustreerd door VS2++), zelfs onder ruisachtige omstandigheden. Dit zou leiden tot nog efficiëntere en nauwkeurigere aanpassing van foundation modellen.