On Adversarial Vulnerability of Vision-Language Models through the Lens of Intermediate Spectral Subspaces

Technische Samenvatting: Adversariële Kwetsbaarheid van Visie-Taalmodellen door de Lens van Intermediaire Spectrale Subruimten

Probleemstelling
Diepe neurale netwerken, in het bijzonder moderne Visie-Taalmodellen (VLM's), staan bekend om hun kwetsbaarheid voor adversariële perturbaties die voorspellingen veranderen terwijl ze visueel onwaarneembaar blijven. Ho'ewel bestaand onderzoek deze kwetsbaarheid uitgebreid heeft geanalyseerd via de geometrie van de inputruimte, eigenschappen van de beslissingsgrens, robuustheid van kenmerken en input-output Jacobians, blijft het spectrale gedrag van intermediaire lineaire transformaties binnen deze netwerken grotendeels onverkend. Specifiek is er een gebrek aan begrip over hoe adversariële signalen zich voortplanten door de enkelvoudige-vector subruimten van de lineaire lagen (bijv. in self-attention, feed-forward netwerken en fusiemodules) die de kern vormen van transformer-gebaseerde VLM's. Dit artikel onderzoekt of de "onderste" enkelvoudige-vector subruimten—richtingen geassocieerd met bijna nul-enkele waarden die informatie dempen—een voorheen over het hoofd geziene aanvalsvector vormen.

Methodologie
De auteurs stellen een framework voor dat gebaseerd is op de analogie tussen adversariële voortplanting en de instabiliteit van slecht gestelde inverse problemen. In inverse problemen faalt reconstructie langs bijna-nul enkelvoudige richtingen; vergelijkbaar hiermee hypothetiseren de auteurs dat het uitlijnen van intermediaire representaties met de onderste enkelvoudige-vector subruimten van lineaire transformaties in VLM's leidt tot informatie-attenuatie en semantische degradatie.

Om dit te testen, introduceren de auteurs de Spectral Subspace Guided Representation Attack (SSGRA), een white-box untargeted attack. De methodologie omvat:

1. Spectrale Decompositie: Het uitvoeren van Singular Value Decomposition (SVD) op de gewichtsmatrices van de intermediaire lineaire transformaties binnen de VLM.
2. Uitlijningsmaatstaf: Het definiëren van een metriek, $\Psi_k$, om de energie van token-representaties geprojecteerd op specifieke enkelvoudige subruimten (top-$k$ versus bottom-$k$) te kwantificeren.
3. Optimalisatie-objectief: SSGRA formuleert een optimalisatieprobleem dat twee termen combineert:
   • Een representatie-discrepantie term (gebaseerd op Blockwise Similarity Attack) om hiërarchieën van kenmerken te verstoren.
   • Een spectrale sturende term die expliciet de uitlijning van adversariële intermediaire representaties met de onderste-$s$ enkelvoudige-vector subruimten van geselecteerde lineaire lagen maximaliseert.
4. Laag-specifieke Probing: De auteurs gebruiken een probing-mechanisme om te analyseren hoe adversariële optimalisatie van nature representaties verschuift naar onderste enkelvoudige subruimten, zelfs zonder expliciete spectrale sturing, en om de spectrale kenmerken van verschillende VLM's (Qwen2.5-VL, LLaVA-1.5 en Gemma-3) te vergelijken.

Belangrijkste Bijdragen

• Identificatie van een Nieuwe Aanvalsvector: Het artikel identificeert de onderste enkelvoudige-vector subruimten van intermediaire lineaire transformaties als een kritieke, voorheen over het hoofd geziene spectrale aanvalsvector in transformer-gebaseerde VLM's.
• SSGRA Attack: De auteurs stellen SSGRA voor, een spectraal-gestuurde white-box attack die dit inzicht benut. Het demonstreert een verbeterde effectiviteit ten opzichte van bestaande state-of-the-art baselines (inclusclusief feature-space attacks zoals FDA, DRA, BSA, en output-level attacks zoals CE en EGA).
• Empirische Validatie van Spectrale Dynamiek: Door middel van laag-specifieke probing tonen de auteurs aan dat untargeted adversariële optimalisatie van nature de neiging heeft om de uitlijning van intermediaire representaties met informatie-dempende (onderste) enkelvoudige subruimten te vergroten.
• Spectrale Karakterisering van VLM's: De auteurs bieden een spectrale analyse van drie belangrijke VLM's, waarbij zij aantonen dat modellen met een hoger aandeel bijna-nul enkelvoudige richtingen (bijv. Qwen2.5-VL) een grotere kwetsbaarheid vertonen voor SSGRA vergeleken met modellen met minder dergelijke richtingen (bijv. Gemma-3).

Experimentele Resultaten
De experimenten werden uitgevoerd op ImageNet met drie state-of-the-art VLM's: Gemma-3 (4B), Qwen2.5-VL (7B) en LLaVA-1.5 (7B).

• Effectiviteit van de Aanval: SSGRA presteerde consistent beter dan alle baselines. Op Qwen2.5-VL bereikte het een extra relatieve degradatie van 7,90–19,74% in BERTScore F1 en 30,50–97,93% in ROUGE-L F1 vergeleken met de sterkste baseline. Op LLaVA-1.5 en Gemma-3 behaalde het ook superieure prestaties, waarbij de verbeteringen schaalden met het perturbatiebudget.
• Kwalitatieve Analyse: Visuele inspectie van adversariële voorbeelden toonde aan dat terwijl baseline attacks vaak de algemene semantische inhoud behielden (met minimale hallucinaties), SSGRA frequent volledig betekenisloze of ongerelateerde voorspellingen induceerde (bijv. het beschrijven van een auto-ongeluk in plaats van een ambulance).
• Spectrale Correlatie: De resultaten bevestigden een correlatie tussen de dichtheid van bijna-nul enkelvoudige richtingen en kwetsbaarheid. Qwen2.5-VL, met het hoogste aandeel bijna-nul enkelvoudige waarden, was het meest kwetsbaar, terwijl Gemma-3, met het laagste aandeel, het meest robuust was.
• Computationele Kosten: SSGRA handhaafde een computationele complexiteit (gemeten in FLOPs) die vergelijkbaar is met andere optimalisatie-gebaseerde attacks, zonder significante overhead.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het verschuiven van het perspectief van adversariële kwetsbaarheid van input-ruimte eigenschappen naar de spectrale structuur van intermediaire lineaire transformaties. Door aan te tonen dat adversariële optimalisatie van nature de bijna-nul enkelvoudige richtingen exploiteert, betogen de auteurs dat robuustheidsstrategieën niet alleen moeten focussen op het beperken van grote enkelvoudige waarden (via spectrale normalisatie), maar ook moeten adresseren hoe de controle over bijna-nul enkelvoudige richtingen moet worden aangepakt.

De auteurs stellen expliciet dat hun werk de spectrale mechanismen van kwetsbaarheid isoleert door middel van untargeted white-box attacks. Zij merken bescheiden op dat de toepasbaarheid van dit framework op transfer-gebaseerde en black-box settings nog niet is onderzocht en een richting is voor toekomstig werk. De bevindingen suggereren dat het expliciet controleren van de uitlijning van representaties met onderste enkelvoudige-vector subruimten een complementaire strategie biedt voor het verbeteren van de adversariële robuustheid van VLM's.