💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

Het paper introduceert STRAP-ViT, een niet-trainbare plug-and-play-methode voor Vision Transformers die adversarial patches effectief neutraliseert door tokens met afwijkende statistische eigenschappen te detecteren en vervolgens willekeurige transformaties toe te passen, waardoor de robuustheid aanzienlijk verbetert zonder extra trainingskosten.

Oorspronkelijke auteurs: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🛡️ STRAP-ViT: De "Bodyguard" voor AI's Ogen

Stel je voor dat een Vision Transformer (ViT) een superintelligente kunstkenner is. Deze AI kijkt naar een foto en probeert te raden wat erop staat (bijvoorbeeld: "dat is een aap"). Om dit te doen, splitst de AI de foto op in duizenden kleine stukjes, die we tokens noemen. Het is alsof de AI een puzzel maakt: hij kijkt naar elk stukje en beslist: "Is dit stukje belangrijk? Is dat stukje een oog? Is dat een poot?"

🦠 Het Probleem: De "Sticker" die de AI gek maakt

Nu komt de boze buitenstaander: de adversarial patch.
Dit is geen ingewikkelde hack die je op een computer moet doen. Het is gewoon een printbare sticker of een gekke T-shirt die je ergens op plakt.

Hoe werkt het? De sticker is zo ontworpen dat hij de "aandacht" van de AI volledig op zich trekt. Het is alsof iemand in een drukke zaal een enorm, felgekleurd bord omhoog houdt met de tekst "KIJK HIER!". De kunstkenner (de AI) kijkt niet meer naar de aap, maar alleen naar dat bord.
Het gevolg: De AI denkt dat de sticker een "radiator" is en roept vol vertrouwen: "Dit is een radiator!", terwijl het duidelijk een aap is. Dit is gevaarlijk, bijvoorbeeld voor zelfrijdende auto's die een verkeersbord niet meer zien omdat er een sticker overheplakt is.

🕵️‍♂️ De Oplossing: STRAP-ViT (De Slimme Bodyguard)

De onderzoekers van STRAP-ViT hebben een manier bedacht om deze AI te beschermen, zonder dat ze de AI opnieuw hoeven te leren (geen dure training nodig). Het werkt als een slimme bodyguard in twee stappen:

Stap 1: De Detectie (De "Geurtest")
De bodyguard kijkt naar al die duizenden stukjes (tokens) van de foto.

Normaal gedrag: De stukjes van een echte aap hebben een bepaalde "geur" of statistische structuur.
De sticker: De stukjes die de sticker overlappen, ruiken heel anders. Ze zijn chaotisch en hebben een vreemde statistische structuur.
De methode: STRAP-ViT gebruikt een wiskundige maatstaf (Jensen-Shannon Divergentie) om te meten: "Hoe anders ruikt dit stukje in vergelijking met de rest?" Als een stukje te veel afwijkt, roept de bodyguard: "Aha! Hier zit die sticker!"

Stap 2: De Genezing (De "Randomizer")
Nu de bodyguard weet welke stukjes de sticker zijn, moet hij ze onschadelijk maken. Maar hij mag de rest van de foto niet kapotmaken.

De truc: Hij pakt alleen die verdachte stukjes en gooit ze door een willekeurige molen.
Hij draait ze, verkleurt ze, en verandert ze een beetje op een manier die de sticker niet kan voorspellen.
De analogie: Stel je voor dat de sticker een sleutel is die een slot opent. STRAP-ViT pakt die sleutel en buigt hem, draait hem om en verwarmt hem. De sleutel is nu nog steeds een stuk metaal, maar hij past niet meer in het slot. De sticker werkt niet meer.
Omdat de bodyguard dit willekeurig doet (soms draaien, soms kleuren), kan de boze hacker niet van tevoren een sticker maken die tegen alle mogelijke veranderingen bestand is.

🎯 Waarom is dit zo cool?

Geen nieuwe training: Je hoeft de AI niet maandenlang te laten oefenen. Je plakt deze "bodyguard" gewoon als een extra blokje in de bestaande AI. Het is "plug-and-play".
Zeer precies: De bodyguard maakt niet de hele foto onleesbaar. Hij pakt alleen de kleine stukjes waar de sticker zit (soms maar 2 tot 8 stukjes van de duizenden). De rest van de foto (de echte aap) blijft perfect zichtbaar.
Werkt tegen alles: Of de sticker nu groot of klein is, of er nu één sticker is of vijf verspreid over de foto (zoals in de test met de "RP2" aanval), STRAP-ViT pakt ze eruit.
Sneller dan de concurrentie: Andere methodes zijn vaak traag of vereisen dure hardware. STRAP-ViT is lichtgewicht en snel.

📊 De Resultaten in het Kort

In de tests (met bekende datasets als ImageNet) zagen ze dit:

Zonder bescherming: Als er een sticker op de foto zat, viel de AI's score van 80% naar bijna 0%. De AI was volledig gek.
Met STRAP-ViT: De AI bleef bijna 80% goed, zelfs met de sticker erop! Het was alsof de sticker er niet eens was.
Bij normale foto's (zonder sticker): De AI werd bijna niet vertraagd en maakte even weinig fouten als zonder de bodyguard.

Conclusie

STRAP-ViT is als een slimme, onzichtbare agent die in de hersenen van de AI zit. Hij ruikt de "verkeerde geur" van een kwaadaardige sticker, pakt die specifieke stukjes, en gooit ze door een willekeurige blender zodat de sticker zijn kracht verliest. Hierdoor blijft de AI veilig en betrouwbaar, zelfs als iemand probeert hem te bedriegen met een gekke sticker.

Probleemstelling

Vision Transformers (ViTs) zijn krachtige modellen voor beeldherkenning, maar ze zijn kwetsbaar voor adversariële patches. Dit zijn fysiek realiseerbare, lokale ruispatronen (bijv. een sticker of print) die kunnen worden geplakt op een object. Deze patches zijn ontworpen om de self-attention-mechanismen van ViTs te "hijacken". Hierdoor wordt de aandacht van het model onterecht naar het patch-gebied getrokken, wat leidt tot het corrumperen van de 'class token' en uiteindelijk tot een zelfverzekerde, verkeerde classificatie.

Bestaande verdedigingen hebben vaak tekortkomingen:

Certificeerbare methoden zijn vaak computatievriendelijk en vereisen speciale architecturen.
Adversariële training is zeer rekenintensief en vereist hertraining voor elke nieuwe bedreiging.
Pixel-gebaseerde detectie werkt niet optimaal omdat ViTs werken op token-niveau en globale context gebruiken.

Het paper stelt dat tokens die overlappen met een adversariële patch statistisch verschillende eigenschappen hebben ten opzichte van tokens van schone beelden, wat een nieuwe verdedigingsstrategie mogelijk maakt zonder extra training.

Methodologie: STRAP-ViT

STRAP-ViT is een niet-trainbare, plug-and-play module die tijdens de inferentie (voortstuwing) in de ViT-architectuur wordt geïntegreerd. De methode bestaat uit twee fasen:

1. Detectie: Token Segregatie via Jensen-Shannon Divergentie (JSD)

Principe: Het paper stelt dat tokens die overlappen met een adversariële patch een verschuiving in hun kanaalverdeling en een verhoogde entropie vertonen.
Meting: In plaats van alleen onzekerheid te meten, berekent STRAP-ViT de Jensen-Shannon Divergentie (JSD) tussen de waarschijnlijkheidsverdeling van een token (geëxtraheerd via softmax) en een referentieverdeling van schone tokens.
Selectie: Tokens met een hoge JSD-score (bepaald als een afwijking van de norm) worden geïdentificeerd als "anomalieën".
Hyperparameter K: Er wordt een minimale drempelwaarde $K$ ingesteld. Dit is het aantal tokens dat moet worden gemodificeerd om de patch effectief te neutraliseren (minimaal 50% van de patch moet worden gedekt).

2. Mitigatie: Token Transformatie via Randomized Composities

Actie: De geselecteerde "anomalie" tokens ondergaan een reeks willekeurige, samengestelde transformaties.
Transformaties: De methode gebruikt een willekeurige combinatie van drie transformaties om de adversariële eigenschappen te breken:
1. $L_p$ -projectie: Beperkt extreme kanaal-energie.
2. Affine contractie: Verkleint de vector via een gebonden operator-norm.
3. Simplex-transformatie: Gebruikt een temperatuur-geschaalde softmax om pieken in de verdeling te temperen.
Robuustheid: Omdat de transformaties willekeurig worden samengesteld, is het voor een aanvaller extreem moeilijk om een patch te trainen die bestand is tegen alle mogelijke combinaties (Expectation Over Transformation is hier moeilijk toe te passen).

Belangrijkste Bijdragen

Nieuwe Benadering: STRAP-ViT introduceert een trainingsvrije methode die statistische divergentie (JSD) gebruikt om adversariële tokens te detecteren en te neutraliseren binnen de ViT-inferentieflow.
Model- en Patch-Agnostisch: De methode werkt voor verschillende ViT-architecturen (zoals ViT-base-16 en DinoV2) en is effectief tegen verschillende soorten patches (Adversarial Patch, LAVAN, GDPA, RP2) zonder dat de onderliggende modelarchitectuur hoeft te worden aangepast.
Efficiëntie: Het is een computatie-efficiënte toevoeging die geen extra training vereist en slechts een minimale impact heeft op de inferentie-tijd.
Surgische Interventie: Slechts een zeer klein percentage tokens (ongeveer 1% tot 4%) wordt gemodificeerd, waardoor de nauwkeurigheid op schone beelden behouden blijft.

Resultaten

Het paper evalueerde STRAP-ViT op ImageNet en CalTech-101 met modellen ViT-base-16 en DinoV2.

Robuustheid: STRAP-ViT herstelde de nauwkeurigheid aanzienlijk onder aanval.
- Tegen Adversarial Patch (40x40) op ImageNet met ViT-base-16: De nauwkeurigheid steeg van 3,6% (zonder verdediging) naar 78,8% (met STRAP-ViT).
- Tegen LAVAN en GDPA werden vergelijkbare verbeteringen gezien (nauwkeurigheden rond de 77-79%).
- Zelfs tegen de sterke RP2-aanval (meerdere patches per afbeelding) behaalde het model een robuuste nauwkeurigheid van >73%.
Clean Performance: De impact op schone beelden was minimaal. De nauwkeurigheid daalde slechts met 0,4% tot 1,8% ten opzichte van de baseline, wat aantoont dat er weinig "false positives" zijn (schone tokens worden niet per ongeluk gemodificeerd).
Vergelijking: STRAP-ViT presteerde beter dan state-of-the-art methoden zoals Smoothed ViT, JEDI, PatchCleanser en ODDR, met name in termen van robuuste nauwkeurigheid bij gelijke patch-groottes.

Betekenis en Toekomstperspectief

STRAP-ViT biedt een praktische, lichtgewicht oplossing voor een kritieke beveiligingskwetsbaarheid in Vision Transformers. Omdat het geen extra training vereist en werkt als een plug-in, is het direct toepasbaar in bestaande systemen, wat essentieel is voor veilige implementaties in kritieke domeinen zoals autonoom rijden en beveiliging.

De auteurs wijzen erop dat de techniek in de toekomst ook kan worden toegepast op Large Vision Language Models (LVLMs) en Large Language Models (LLMs), aangezien deze ook werken met token-gebaseerde architecturen en kwetsbaar zijn voor vergelijkbare adversariële manipulaties.