Technische Samenvatting: T-VSS (Test-Time Visual Subspace Steering)

1. Probleemstelling

Vision-Language Models (VLMs), zoals CLIP, blinken uit in zero-shot visuele herkenning, maar blijven zeer kwetsbaar voor adversariële perturbaties. Zelfs onwaarneembare wijzigingen in de input kunnen leiden tot significante voorspellingsfouten, wat risico's met zich meebrengt in kritieke domeinen zoals medische AI en autonoom rijden.

Bestaande verdedigingsstrategieën kampen met twee primaire beperkingen:

1. Methoden tijdens de training: Benaderingen zoals adversariële training, robuuste fine-tuning of diffusie-gebaseerde zuivering vereisen gelabelde data, dure hertraining of hulpmodellen, wat ze onpraktisch maakt voor grote, bevroren VLMs.
2. Test-Time Adaptation (TTA) methoden: Recente TTA-benaderingen proberen de robuustheid tijdens de inferentie te verbeteren zonder hertraining, maar vertrouwen vaak op indirecte optimalisatiepaden:
   • Prompt-gebaseerd (bijv. R-TPT): Optimaliseert leerbare tekstprompts.
   • Input-ruimte (bijv. TTP, TTC): Optimaliseert pixel-niveau padding of counterattack-perturbaties.
     Deze methoden zijn computationeel duur en pakken niet direct de corruptie van de visuele representatie zelf aan, wat het primaire doelwit is van adversariële aanvallen.

2. Methodologie: Test-Time Visual Subspace Steering (T-VSS)

T-VSS stelt een lichtgewicht, directe verdediging voor die de visuele feature-ruimte aanpast tijdens de testtijd. In plaats van prompts of pixels te tunen, leert het een gedeelde correctie binnen een compacte, samplespecifieke low-rank subspace afgeleid van de multi-view features van de aangevallen afbeelding.

De methode werkt in drie hoofdfasen:

A. Lokale Visuele Subspace Schatting

Gegeven een adversariële testafbeelding $x_0$ en haar $N$ geaugmenteerde views $\{x_1, \dots, x_N\}$, extraheert het model bevroren visuele features $\{f_i\}$ met behulp van de CLIP image encoder.

• Residu Constructie: Een anchor-gebaseerde residu-matrix $R$ wordt geconstrueerd door de feature van de originele aangevallen view ($f_0$) af te trekken van de features van alle geaugmenteerde views:
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• Subspace Extractie: Singular Value Decomposition (SVD) wordt toegepast op $R$. De methode selecteert een low-rank subspace gedefinieerd door de top-$m$ right singular vectors ($V_m$). De rang $m$ wordt adaptief gekozen zodat de cumulatieve singular value energie een drempelwaarde $\rho$ (bijv. 0.9) overschrijdt.
• Intuïtie: Omdat alle views voortkomen uit dezelfde aangevallen afbeelding, delen hun attack-geïnduceerde feature-verschuivingen een gemeenschappelijk component. De residu-structuur stort in tot een low-rank geometrie, waardoor de methode de lokale variatie veroorzaakt door de aanval kan isoleren terwijl view-gedeelde offsets worden onderdrukt.

B. Gedeelde Low-Rank Feature Steering

T-VSS leert een enkele, gedeelde correctievector $\Delta$ binnen de geëxtraheerde subspace $V_m$:

• Een leerbare coëfficiëntvector $\alpha \in \mathbb{R}^m$ wordt geïnitialiseerd op nul.
• De correctie wordt berekend als $\Delta = V_m \alpha$.
• Deze verschuiving wordt op alle views tegelijk toegepast: $\tilde{f}_i = \text{norm}(f_i + \Delta)$.
• Dit ontwerp dwingt een consensus-correctie af over de views, beperkt door de low-rank geometrie, in plaats van onafhankelijke, instabiele updates voor elke view toe te staan.

C. Betrouwbaarheidsbewuste Optimalisatie en Aggregatie

Niet alle geaugmenteerde views zijn even betrouwbaar onder een aanval. T-VSS bevat een betrouwbaarheidswegingsmechanisme:

• Betrouwbaarheidsscore: Voor elke view $i$ wordt een score $r_i$ berekend op basis van de gemiddelde gelijkenis met de top-$K$ dichtstbijzijnde buren in de feature-ruimte.
• Weging: Deze scores worden via een temperature-geschaalde softmax omgezet in gewichten $w_i$. Views met een hoge feature-overeenkomst krijgen hogere gewichten; instabiele uitschieters worden onderdrukt.
• Loss Functie: De coëfficiëntvector $\alpha$ wordt geoptimaliseerd door de betrouwbaarheids-gewogen pointwise entropie van de voorspelde klasse-waarschijnlijkheden te minimaliseren:
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• Finale Voorspelling: De finale voorspelling is een betrouwbaarheids-gewogen gemiddelde van de waarschijnlijkheden van alle aangepaste views.

3. Belangrijkste Bijdragen

1. Directe Feature-Ruimte Adaptatie: T-VSS is de eerste test-time verdediging voor VLMs die direct de gecorrumpeerde visuele representatie aanpast binnen een geleerde low-rank subspace, waardoor de indirecte en dure optimalisatie van tekstprompts of pixel-grids wordt vermeden.
2. Samplespecifieke Low-Rank Geometrie: Door een subspace te construeren uit anchor-gebaseerde residuen van multi-view features, legt de methode de lokale cross-view geometrie van de aanval vast, waardoor updates worden beperkt tot geometrisch plausibele richtingen.
3. Betrouwbaarheidsbewust Mechanisme: De integratie van view-betrouwbaarheidsgewichten zorgt ervoor dat het adaptatieproces en de finale aggregatie robuust zijn tegen instabiele geaugmenteerde views, een veelvoorkomend probleem in adversariële settings.
4. Efficiëntie: De methode vereist slechts één forward pass door de bevroren encoder. Optimalisatie vindt plaats over een kleine set coëfficiënten (de rang $m$) in plaats van hoog-dimensionale prompt-vectoren of pixel-grids, wat de inferentie-latentie aanzienlijk vermindert.

4. Experimentele Resultaten

De auteurs evalueerden T-VSS op acht fine-grained datasets, ImageNet en vier ImageNet Out-of-Distribution (OOD) benchmarks met drie CLIP backbones (ResNet-50, ViT-B/16, ViT-L/14).

• Adversariële Robuustheid: T-VSS behaalde consistent de beste gemiddelde adversariële accuratesse over alle backbones en datasets.
  • Op fine-grained datasets met CLIP-ResNet-50 verbeterde het de gemiddelde robuuste accuratesse naar 48.5%, waarmee het de vorige beste (R-TPT) met 3.3 punten versloeg.
  • Op ImageNet bereikte het 50.1% robuuste accuratesse, waarmee het R-TPT (47.7%) en andere baselines overtrof.
  • Het toonde superieure prestaties op uitdagende fine-grained categorieën (bijv. Cars, Flower102, Aircraft) en behield de winst over OOD-benchmarks (ImageNet-A, V2, R, S).
• Clean Accuratesse: T-VSS behield een concurrerende clean accuratesse, waarbij de significante dalingen in accuratesse die vaak gepaard gaan met agressieve test-time correcties werden vermeden.
• Efficiëntie: T-VSS was de snelste adaptieve verdediging. Op UCF101 behaalde het 52.5% robuuste accuratesse in 0.383 seconden/afbeelding, wat sneller is dan R-TPT (0.533s) en TTP (0.408s). Het behield sterke prestaties zelfs met een gereduceerd aantal views (bijv. 16 views).
• Generalisatie: De methode toonde robuustheid tegen diverse typen aanvallen (PGD, CW, DeepFool, FGSM), wat aangeeft dat het niet is overfit op een specifiek aanvalsmechanisme.

5. Betekenis en Claims

Het artikel claimt dat T-VSS een eenvoudig, praktisch en efficiënt alternatief biedt voor prompt-gebaseerde en pixel-ruimte adaptatie voor robuuste zero-shot VLM-inferentie.

• Directheid: Door de visuele feature-ruimte direct te sturen, pakt T-VSS de kernoorzaak van de kwetsbaarheid (gecorrumpeerde visuele representaties) effectiever aan dan indirecte methoden.
• Robuustheid-Efficiëntie Afruil: De beperkte, low-rank adaptatie levert een superieure afruil op, waarbij hogere robuustheid wordt geboden met lagere computationele overhead vergeleken met eerdere test-time verdedigingen.
• Beperkingen: De auteurs erkennen dat, net als andere augmentatie-gedreven verdedigingen, T-VSS vertrouwt op stochastische multi-view augmentatie. Dit creëert een potentieel aanvalsoppervlak als een tegenstander expliciet optimaliseert door dezelfde verwachting over transformaties (defense-aware attacks), een beperking die gedeeld wordt door het huidige TTA-paradigma.

Concluderend demonstreert T-VSS dat het beperken van test-time adaptatie tot een compacte, samplespecifieke visuele subspace een levensvatbare en effectieve strategie is voor het verhogen van de adversariële robuustheid van bevroren Vision-Language Models.