💻 computer science

ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

ReACT-CLIP is een training-vrije, test-tijd verdediging voor CLIP-achtige modellen die de correctiekracht dynamisch aanpast en de noodzaak van interventie voor elke input bepaalt door gebruik te maken van relatieve cross-noise feature drift en voorspellingsinstabiliteit, waardoor de adversariële robuustheid over diverse aanvallen aanzienlijk wordt verbeterd terwijl de schone nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen plaatjes zien, maar ze begrijpen door erover te praten. Dit is de magie van Vision-Language Models, zoals de beroemde "CLIP". Zie CLIP als een superintelligente bibliothecaris die elk boek heeft gelezen en elke foto in het universum heeft gezien. Als je het een foto van een golden retriever laat zien, herkent het niet alleen de hond; het koppelt de afbeelding direct aan de woorden "golden retriever" in zijn enorme mentale bibliotheek. Dit vermogen om afbeeldingen en tekst te verbinden zonder dat het model voor elke nieuwe taak opnieuw getraind moet worden, heeft deze modellen de ruggengraat gemaakt van moderne AI, wat alles aandrijft van zoekmachines tot zelfrijdende auto's.

Er zit echter een addertje onder het gras. Deze super-bibliothecarissen zijn verrassend kwetsbaar. Een sluwe aanvaller kan een dunne, bijna onzichtbare laag "ruis" aan een plaatje toevoegen—zoals een paar pixels statische ruis op een tv-scherm—die de bibliothecaris volledig in verwarring brengt. Plotseling kijkt de bibliothecaris naar een foto van een hond en zegt vol vertrouwen: "Dat is een broodrooster!" Dit wordt een "adversarial attack" genoemd. Dit is een groot probleem, want als de AI zo gemakkelijk te misleiden is, kunnen we hem niet vertrouwen bij het nemen van belangrijke beslissingen. Wetenschappers proberen schilden te bouwen om deze modellen te beschermen, maar de meeste van hun huidige oplossingen lijken op het dragen van een zwaar, eenheidsmatig harnas. Het is geweldig tegen een pistool met peastjes, maar als de aanvaller een kanon gebruikt, is het harnas te zwak. Als de aanvaller alleen een pistool met peastjes gebruikt, is het harnas zo zwaar dat het de bibliothecaris vertraagt, waardoor hij eenvoudige taken mist.

Hier komt een nieuwe methode genaamd ReACT-CLIP kijken, die een slimme, lichtgewicht oplossing biedt. In plaats van een vast harnas te dragen, werkt ReACT-CLIP als een zeer responsieve lijfwacht die het dreigingsniveau controleert voordat hij besluit hoe hij moet reageren. De onderzoekers ontdekten dat bestaande verdedigingen falen omdat ze een "vaste correctiekracht" gebruiken. Ze proberen elk probleem met dezelfde hoeveelheid kracht op te lossen, wat leidt tot twee slechte uitkomsten: of ze repareren sterke aanvallen onvoldoende, of ze overcorrigeren zwakke aanvallen en verpesten het antwoord voor schone plaatjes.

ReACT-CLIP verandert het spel door "respons-bewust" te zijn. Het raadt niet de sterkte van de aanval; het vraagt het aan het model zelf. Zo werkt het: wanneer een plaatje binnenkomt, geeft het systeem het twee zachte "stootjes" met verschillende hoeveelheden digitale ruis. Het observeert hoeveel de kennis van het model over de afbeelding "dwaalt" of wiebelt onder deze stootjes.

Als de afbeelding schoon is (een echte hond), blijft deze stabiel, zelfs als er tegenaan gestoten wordt.
Als het een zwakke aanval is, wiebelt het een beetje meer.
Als het een sterke aanval is, wiebelt het wild.

Door het verschil te meten in hoeveel de afbeelding wiebelt tussen een lichte stoot en een zware stoot, krijgt ReACT-CLIP een precieze, monster-per-monster meting van hoeveel hulp de afbeelding nodig heeft. Het bouwt vervolgens een op maat gemaakt "anker" (een stabiele versie van de afbeelding) en trekt de verwarde afbeelding met precies de juiste kracht terug naar de waarheid. Als de afbeelding het al goed doet, laat het systeem het met rust. Als de afbeelding onder zwaar vuur ligt, trekt het systeem hard terug.

Het artikel laat zien dat deze aanpak ongelooflijk effectief is. Over 12 verschillende datasets en onder diverse soorten aanvallen (van kleine duwtjes tot enorme verstoringen), houdt ReACT-CLIP de nauwkeurigheid van de AI hoog, waarbij het vaak rond de 60% succes behoudt, zelfs wanneer de aanvallen zeer sterk zijn. In tegenstelling hiertoe zien de nauwkeurigheid van andere verdedigingen die een vaste strategie gebruiken, instorten naarmate de aanvallen sterker worden. De onderzoekers ontdekten ook dat simpelweg controleren of het model "in verwarring" is niet genoeg is; ze moesten de "wiebel"-meting combineren met een controle op hoe stabiel de voorspellingen van het model zijn onder lichte veranderingen aan de afbeelding. Deze combinatie zorgt ervoor dat het systeem afbeeldingen die geen reparatie nodig hebben, niet probeert te herstellen, waardoor de natuurlijke intelligentie van het model behouden blijft.

Kortom, ReACT-CLIP bewijst dat je geen nieuw model hoeft te trainen of precies hoeft te weten hoe een aanvaller van plan is aan te vallen om jezelf te verdedigen. Door simpelweg te luisteren naar hoe het model reageert op een beetje ruis, kan het systeem de verdediging automatisch aanpassen, werkend als een slim, adaptief schild dat sterk genoeg is om een kanon te stoppen, maar zacht genoeg om een pistool met peastjes niet te beschadigen. Dit maakt AI veiliger en betrouwbaarder zonder dat het ten koste gaat van de snelheid of nauwkeurigheid.

Technische Samenvatting: ReACT-CLIP

Probleemstelling

Visie-taalmodellen (VLMs) zoals CLIP vertrouwen op bevroren visuele encoders voor diverse downstream-taken, wat een geconcentreerd punt van falen creëert bij adversariële aanvallen. Hoewel adversariële training en prompt tuning robuustheid bieden, vereisen deze vaak hertraining, riskeren ze overfitting op specifieke aanvalsdistributies en ruilen ze de schone nauwkeurigheid in voor robuustheid. Bijgevolg zijn training-vrije defensies tijdens de testtijd (test-time defenses) als een praktisch alternatief naar voren gekomen.

Echter, bestaande defensies tijdens de testtijd lijden aan een fundamentele beperking: ze maken gebruik van vaste interventiestrategieën. Of het nu gaat om vaste prompt-updates, vaste tegenaanvalsbudgetten of vaste feature-correctieschalen (bijv. een globale Gaussische ruisschaal voor ankerconstructie), deze methoden kunnen niet zich aanpassen aan de variërende ernst van aanvallen tijdens de inferentie. Het aanvalsbudget ( $\epsilon$ ) is onbekend tijdens de inzet, en de vereiste correctiekracht varieert aanzienlijk per sample, zelfs binnen hetzelfde nominale budget. Zoals in het artikel wordt aangetoond, leiden vaste configuraties die werken bij zwakke aanvallen vaak tot "onderschieten" bij sterke aanvallen, terwijl configuraties die zijn afgestemd op sterke aanvallen "overschieten" en de prestaties op schone of zwak verstoorde inputs verslechteren. Deze mismatch zorgt ervoor dat bestaande defensies scherp degraderen naarmate de aansterkte van de aanval toeneemt.

Methodologie: ReACT-CLIP

ReACT-CLIP (Response-Aware Correction at Test-Time for CLIP) pakt dit aan door defensie tijdens de testtijd te herformuleren als een sample-specifiek besluitvormingsproces. In plaats van een globaal vaste correctie toe te passen, bepaalt ReACT-CLIP twee onderscheidende eigenschappen voor elke input:

Of defensieve interventie noodzakelijk is.
Hoe sterk de input gecorrigeerd moet worden.

De methode werkt zonder de vooraf getrainde modellen te wijzigen of prompt-training te vereisen. Het steunt op twee kernmechanismen:

1. Respons-geconditioneerde Ankerconstructie (Bepalen van de Correctiekracht)

Om de vereiste correctiekracht te schatten, probeert ReACT-CLIP de input met twee niveaus van Gaussische ruis ( $\sigma_{low}$ en $\sigma_{high}$ ) en meet de resulterende drift in de visuele feature-ruimte.

Observatie: Hoewel absolute drift bij een enkel ruisniveau ambigu is (adversariële features kunnen onder zwakke ruis bedrieglijk stabiel lijken), biedt de relatieve cross-ruis drift ( $r(x)$ ) een duidelijk, gegradeerd signaal. Het is gedefinieerd als de relatieve toename in drift van lage naar hoge ruis:
$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$
Mechanisme: Deze relatieve drift dient als een sample-specifieke proxy voor de correctiebehoefte. ReACT-CLIP brengt $r(x)$ in kaart naar een sample-specifieke correctieschaal $\sigma_{corr}(x)$ via een lineaire mapping die eenmalig is gekalibreerd op een enkele dataset (Caltech256).
Toepassing: Deze schaal wordt gebruikt om een ruis-gemiddelde feature-anker ( $f_{anc}$ ) te construeren uit met Gaussische ruis verrijkte views. De originele visuele feature wordt vervolgens geëxtrapoleerd naar en voorbij dit anker. Een kleine $r(x)$ levert een kleine ruisschaal en milde correctie op; een grote $r(x)$ levert een grotere schaal en een grotere correctieve reikwijdte op.

2. Selectieve Defensieve Interventie (Bepalen van Noodzakelijkheid)

Het onvoorwaardelijk toepassen van correctie kan schone inputs schaden die al correct geclassificeerd zijn. Om te beslissen of er moet worden geïntervenieerd, combineert ReACT-CLIP de relatieve drift met een voorspellings-instabiliteitsscore.

Observatie: Schone inputs behouden stabiele klasse-waarschijnlijkheidsverdelingen onder zwakke ruimtelijke augmentaties, terwijl adversariële inputs een grotere variatie vertonen.
Mechanisme: Een voorspellings-instabiliteitsscore $J(x)$ wordt berekend met behulp van de Jensen–Shannon divergentie tussen de originele voorspelling en de voorspelling onder een zwakke stochastische augmentatie $T(x)$ .
Besluit: De uiteindelijke defensieve interventiescore is $s_{int}(x) = r(x) + J(x)$ . Als $s_{int}(x)$ een drempelwaarde $\tau$ overschrijdt, wordt de correctie toegepast; anders wordt de originele feature behouden. Dit stelt het systeem in staat om schone inputs te onderscheiden van zwak aangevallen inputs, een regime waarin relatieve drift alleen vaak ambigu is.

Belangrijkste Bijdragen

Respons-geconditioneerde Ankerconstructie: Het artikel identificeert dat globaal vaste correctiekrachten suboptimaal zijn. Het introduceert een methode om relatieve cross-ruis drift om te zetten in een sample-specifieke correctieschaal, waardoor de defensieve reikwijdte kan adapteren aan zowel het aanvalsbudget als de individuele sample-kenmerken zonder hertraining.
Selectieve Defensieve Interventie: De auteurs stellen een gefuseerde interventiescore voor die relatieve drift en voorspellingsinstabiliteit combineert. Dit verbetert de detectie van adversariële inputs in het zwakke-aanvalsregime, terwijl de schone nauwkeurigheid behouden blijft, waarmee de ambiguïteit wordt aangepakt die de drift-alleen detectoren teistert.
Uitgebreide Robuustheidsevaluatie: De methode wordt geëvalueerd over 12 downstream-datasets, ImageNet en de varianten met distributieverschuiving onder PGD-10, PGD-100, C&W-10 en AutoAttack.

Resultaten

Robuustheidswinst: Over 12 downstream-datasets onder PGD-10 aanvallen behoudt ReACT-CLIP ongeveer 60% robuuste nauwkeurigheid over aanvalsbudgetten van $\epsilon=1/255$ tot $\epsilon=16/255$ .
Vergelijking met Baselines: Het presteert tot wel 46,50 procentpunt beter dan de sterkste bestaande baseline (Defend-CLIP) bij $\epsilon=16/255$ . Terwijl bestaande defensies scherp degraderen naarmate aanvallen sterker worden, behoudt ReACT-CLIP een stabiele prestatie.
Schone Nauwkeurigheid: De methode behoudt de schone nauwkeurigheid en blijft binnen 0,76% van de sterkste defensie op schone inputs.
Generalisatie: De lineaire mapping voor correctiekracht, gekalibreerd op een enkele dataset, generaliseert effectief naar ImageNet en de varianten met out-of-distribution problemen (ImageNet-A, V2, R, Sketch) en extrapoleert naar aanvalsbudgetten ( $\epsilon=24, 32$ ) buiten het kalibratiebereik, waar andere defensies instorten.
Ablatie: De resultaten bevestigen dat respons-geconditioneerde ankerconstructie de robuustheid drijft bij matige tot sterke aanvalsbudgetten, terwijl de selectieve interventiescore primair de schone nauwkeurigheid beschermt en de prestaties in het zwakke-aanvalsregime verbetert.

Betekenis en Claims

Het artikel claimt dat ReACT-CLIP een nieuw paradigma vestigt voor training-vrije defensie tijdens de testtijd door over te stappen van globale, vaste interventies naar per-input, respons-geconditioneerde beslissingen. Door gebruik te maken van de relatieve dynamiek van door ruis veroorzaakte feature-drift en voorspellingsstabiliteit, past de methode zich aan aan onbekende aanvalsbudgetten en variërende sample-ernst zonder kennis van de aanvalsparameters tijdens de inferentie te vereisen.

De auteurs benadrukken dat deze aanpak een enkele, vaste configuratie effectief houdt over een breed spectrum van perturbatiebudgetten, van zeer zwakke tot zeer sterke aanvallen, terwijl de zero-shot capaciteiten van het vooraf getrainde CLIP-model grotendeels behouden blijven. Het werk onderstreept dat de "mismatch" tussen vaste defensieconfiguraties en variabele aansterkte van aanvallen een primaire oorzaak is van falen bij huidige test-time defensies, en dat respons-bewuste conditionering een noodzakelijke stap is naar robuuste, inzetbare VLMs.