🤖 AI

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

Het artikel stelt SS-TPT voor, een test-time prompt tuning-methode voor vision-language modellen die de adversariële robuustheid en efficiëntie verbetert door geaugmenteerde weergaven te evalueren via stabiliteits- en geschiktheidsscores om adaptatie en inferentie te sturen, waardoor een superieure robuustheids-doorvoersnelheid-afweging wordt bereikt in vergelijking met bestaande state-of-the-art benaderingen.

Oorspronkelijke auteurs: Sunoh Kim, Daeho Um

Gepubliceerd 2026-06-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sunoh Kim, Daeho Um

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed onderlegde bibliothecaris hebt (het AI-model) die objecten in foto's kan identificeren door er simpelweg naar te kijken, zelfs zonder dat deze vooraf specifieke voorbeelden heeft geleerd. Deze bibliothecaris doet zijn werk uitstekend, maar raakt gemakkelijk in de war als iemand een minuscuul, bijna onzichtbaar vlekje op een foto smeert (een "adversarial attack") of als de foto er heel anders uitziet dan de boeken in de bibliotheek (een "distribution shift").

Om de bibliothecaris te helpen betere beslissingen te nemen, probeerden eerdere methoden hem vele licht verschillende versies van dezelfde foto te tonen (zoals een foto, een wazige versie, een opgehelderde versie en een gedraaide versie). Het idee was dat als de bibliothecaris het eens is over het antwoord bij al deze versies, hij het wel goed moet hebben.

Het Probleem:
Het tonen van te veel versies is traag. Het is alsof je een bibliothecaris vraagt om 63 verschillende exemplaren van een boek te lezen om te beslissen of het een mysteryroman is. Dat duurt eeuwen en de bibliotheek loopt vast. Ook als een van die exemplaren een "slecht" exemplaar is (vervormd door de aanvaller), kan de bibliothecaris in de war raken, zelfs als hij naar 62 goede exemplaren kijkt.

De Oplossing: SS-TPT
De auteurs van dit artikel hebben een nieuwe methode ontwikkeld genaamd SS-TPT (Stability and Suitability-Guided Test-Time Prompt Tuning). In plaats van de bibliothecaris simpelweg meer kopieën te laten zien, leren zij de bibliothecaris hoe hij de kwaliteit van elke kopie die hij ziet, kan beoordelen.

Ze gebruiken twee eenvoudige "rapportcijfers" voor elke versie van de foto:

Stabiliteit (De "Schudtest"):
Stel je voor dat je een foto aan de bibliothecaris overhandigt en vraagt: "Wat is dit?" Daarna schud je de foto voorzichtig of verander je de verlichting een klein beetje (zwakke augmentaties) en vraag je het opnieuw.
- Hoge Stabiliteit: De bibliothecaris zegt: "Het is een kat," zowel de eerste als de tweede keer. Hij is zelfverzekerd en consistent.
- Lage Stabiliteit: De bibliothecaris zegt: "Het is een kat," dan "Het is een hond," en dan "Het is een broodrooster." Hij is in de war.
- De Les: Als een weergave gemakkelijk van mening verandert bij een kleine duw, is het waarschijnlijk een slechte weergave.
Geschiktheid (De "Groepstest"):
Stel je voor dat de bibliothecaris alle versies van de foto samen bekijkt in een mentale "feature space" (een kaart van hoe dingen op elkaar lijken).
- Hoge Geschiktheid: De versie van de foto staat in een drukke groep met zijn vrienden. Iedereen ziet er vergelijkbaar uit.
- Lage Geschiktheid: De fotoversie staat helemaal alleen op een leeg veld, ver weg van de anderen. Het is een buitenbeentje.
- De Les: Als een weergave een vreemde is die niet bij de anderen past, is deze waarschijnlijk corrupt of nep.

Hoe het in de praktijk werkt:
Het SS-TPT-systeem gebruikt deze twee scores om als een slim filter te fungeren:

Tijdens het Leren (Adaptatie): Wanneer de bibliothecaris probeert zijn denken aan te passen aan de nieuwe foto, zegt het systeem tegen hem: "Negeer de weergaven die instabiel of eenzaam zijn. Luister alleen naar de weergaven die stabiel zijn en in de groep passen." Dit voorkomt dat de bibliothecaris leert van de "slechte" kopieën.
Tijdens de Definitieve Gok (Inference): Wanneer het tijd is voor het definitieve antwoord, neemt het systeem niet simpelweg een gemiddelde van alle gokken. In plaats daarvan geeft het een luider stemgeluid aan de betrouwbare weergaven (hoge scores) en een fluistering aan de onbetrouwbare versies (lage scores).

De Resultaten:
Het artikel beweert dat deze aanpak een gamechanger is omdat:

Het Snel is: Je hoeft de bibliothecaris niet 63 versies te tonen. Je kunt uitstekende resultaten behalen met slechts 15, en het systeem werkt ongeveer twee keer zo snel als eerdere methoden.
Het Sterker is: Zelfs met minder weergaven is de bibliothecaris veel moeilijker te misleiden door aanvallers. Ze behalen een hogere nauwkeurigheid op lastige, aangevallen foto's dan welke eerdere methode dan ook.
Het Slim is: Het telt niet alleen stemmen; het beoordeelt de kwaliteit van de stemmers.

Kortom, SS-TPT zorgt ervoor dat de AI geen tijd verspilt aan slechte kopieën van een foto en richt zich alleen op de betrouwbare exemplaren, waardoor het sneller, slimmer en moeilijker te misleiden is.

Technische Samenvatting: SS-TPT

Probleemstelling
Vision-language modellen (VLM's), in het bijzonder CLIP, vertonen sterke zero-shot herkenningscapaciteiten, maar blijven zeer kwetsbaar voor adversariële perturbaties en distributieverschuivingen. Hoewel recente test-time adaptation (TTA) defensies proberen de robuustheid te verbeteren door gebruik te maken van meerdere geaugmenteerde views, introduceren zij een kritieke inefficiëntie: een ernstige afruil tussen robuustheid en throughput. Bestaande methoden, zoals R-TPT, vereisen vaak een groot aantal geaugmenteerde views (bijv. 63 views) om adaptatie te stabiliseren, wat resulteert in inferentiesnelheden die bijna vier keer trager zijn dan die van vanilla CLIP. Daarentegen leidt het verminderen van het aantal views om de snelheid te verbeteren vaak tot een significante degradatie van de robuustheid, omdat deze methoden alle views als even betrouwbaar beschouwen, waardoor gecorrumpeerde of uitschieter-views het adaptatieproces kunnen domineren. De kernuitdaging is het bereiken van een hoge adversariële robuustheid zonder de computationele efficiëntie op te offeren of een excessieve visuele diversiteit te vereisen.

Methodologie: SS-TPT
De auteurs stellen Stability and Suitability-guided Test-time Prompt Tuning (SS-TPT) voor, een framework dat de kwaliteit van elke geaugmenteerde view evalueert om zowel modeladaptatie als inferentie te sturen. In plaats van te vertrouwen op de hoeveelheid views, berekent SS-TPT twee complementaire scores voor elke view $x_i$ :

Stability Score ( $S_{stab}$ ): Meet de invariantie van de predictieve distributie van een view onder zwakke stochastische augmentaties (bijv. affine transformaties, kleurjitter, blur, ruis). Het wordt gedefinieerd als het inverse van de Jensen-Shannon divergentie tussen de voorspelling van de originele view en de variant met zwakke augmentatie. Hoge stabiliteit duidt erop dat de voorspelling van de view robuust is tegen kleine perturbaties.
Suitability Score ( $S_{suit}$ ): Meet de dichtheid van een view binnen de feature space relatief aan andere views. Het wordt berekend als het inverse van de gemiddelde door cosinus geïnduceerde afstand tussen het genormaliseerde feature-vector van een view en die van alle andere views. Hoge geschiktheid duidt erop dat de view zich in een dichte cluster van andere views bevindt, wat suggereert dat het geen uitschieter is.

Deze scores worden genormaliseerd en gecombineerd tot een enkele Stability-Suitability (SS) score ( $Z_i$ ) via een hyperparameter $\alpha$ . Deze score wordt via een softmax-functie omgezet in SS-gewichten ( $w_i$ ).

Het framework maakt gebruik van deze gewichten in twee afzonderlijke fasen:

Adaptatie (SS-gestuurde consistentieverlies): Tijdens test-time prompt tuning minimaliseert het model een verliesfunctie die puntgewijze entropieminimering combineert met een consistentieterm. In tegenstelling tot eerdere methoden die ofwel consistentie over alle views afdwingen (kwaliteit negerend) of consistentie volledig verwijderen om gecorrumpeerde views te vermijden, dwingt SS-TPT alignment af met slechts betrouwbare referenties. Specifiek wordt elke view uitgelijnd met een leave-one-out gewogen gemiddelde van andere views, waarbij de gewichten worden bepaald door hun SS-scores. Dit voorkomt dat gecorrumpeerde views de adaptatie misleiden.
Inferentie (SS-gewogen voorspelling): Voor de uiteindelijke voorspelling aggregeert het model de voorspellingen van alle views met behulp van de SS-gewichten. Dit onderdrukt de invloed van kwalitatief slechte (gecorrumpeerde of uitschieter) views, terwijl betrouwbare views worden versterkt.

Belangrijkste Bijdragen

SS-TPT Framework: De introductie van een test-time defensie die de kwaliteit van views expliciet kwantificeert via stability en suitability scores, wat robuuste adaptatie mogelijk maakt, zelfs met een beperkt aantal geaugmenteerde views.
Dual-Mechanism Design: Het ontwerp van een SS-gestuurd consistentieverlies dat voorspellingen uitlijnt met betrouwbare referenties tijdens adaptatie, en een SS-gewogen voorspellingsmechanisme dat uitschieters onderdrukt tijdens inferentie.
Superieure Robustness-Efficiency Trade-off: Het aantonen dat het focussen op de kwaliteit van views in plaats van de kwantiteit van views het model in staat stelt om zowel in robuustheid als in throughput de state-of-the-art methoden te overtreffen, waarbij een hoge robuustheid wordt bereikt met aanzienlijk minder views (bijv. 15 views vs. 63 views).

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd over 10 fine-grained datasets, ImageNet, en vier distributieverschuivingsvarianten (ImageNet-A, V2, R, S) onder diverse aanvalscenario's (PGD, CW, AutoAttack, White-box).

Robuustheid: SS-TPT bereikte state-of-the-art adversariële robuustheid. Op 10 fine-grained datasets bereikte het een gemiddelde robuustheid van 46,8%, waarmee het de vorige beste (R-TPT) met 6,4 procentpunt overtrof. Op ImageNet bereikte het een robuuste nauwkeurigheid van 48,6%, wat R-TPT met 5,4 punten verslaat.
Clean Accuracy: De methode behield een hoge clean accuracy (55,1% op fine-grained datasets) en bleef het dichtst bij de oorspronkelijke CLIP-prestaties van alle adaptatiemethoden.
Efficiëntie: SS-TPT verminderde de inferentietijd aanzienlijk. Met slechts 15 geaugmenteerde views verwerkte het afbeeldingen in ongeveer 0,74 seconden, bijna twee keer zo snel als R-TPT (dat 63 views gebruikte en 1,67 seconden in beslag nam), terwijl het een hogere robuustheid behaalde (81,0% op Caltech101 vs. 79,8% voor R-TPT-63v).
Low-View Regime: Zelfs in de uitdagende single-view setting (1 geaugmenteerde view) behield SS-TPT een gemiddelde robuustheid van 25,8%, waarmee het R-TPT met 15,7 punten versloeg, wat zijn vermogen aantoont om betekenisvolle informatie te extraheren uit beperkt visueel bewijs.
Ablatiestudies: Analyse bevestigde dat zowel stability als suitability noodzakelijke componenten zijn, waarbij de combinatie van SS-gestuurd consistentieverlies en SS-gewogen voorspelling de beste synergie oplevert. De methode bleek ook robuust tegen variaties in prompt templates.

Betekenis en Claims
Het artikel claimt dat SS-TPT de fundamentele beperking van huidige TTA-defenses aanpakt: de afhankelijkheid van een groot aantal views om ruis uit te middelen, wat een onpraktische computationele bottleneck creëert. Door een mechanisme te introduceren om de kwaliteit van views te beoordelen en te wegen, ontkoppelt SS-TPT robuustheid van het loutere volume aan geaugmenteerde views. De auteurs stellen dat deze aanpak een "praktische en algemene" oplossing biedt voor het inzetten van betrouwbare VLM's in real-world scenario's waar inputs ruizig of gemanipuleerd kunnen zijn, en waar computationele middelen beperkt zijn. Het werk benadrukt dat view quality assessment een kritische, voorheen onderbenutte factor is in test-time adaptation, waarbij stability en suitability worden gevestigd als effectieve indicatoren om betrouwbare views te onderscheiden van gecorrumpeerde views.

Technische Samenvatting: SS-TPT

Meer zoals dit