One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

Stel je voor dat het internet een enorme, bruisende stad is waar computers fungeren als politieagenten, artsen en winkeliers. Deze computers gebruiken een speciaal soort brein genaamd een Deep Neural Network (DNN) om beslissingen te nemen, zoals het herkennen van een kat op een foto of het diagnosticeren van een ziekte. Een tijdlang ontdekten wetenschappers een vreemde truc: je kunt de computerbreinen foppen met "adversarial attacks". Het is alsof je een piepkleine, bijna onzichtbare sticker op een stopbord plaatst waardoor de computer denkt dat het een snelheidsbord is. Meestal heb je voor deze truc een hacker nodig die ofwel in de geheime code van de computer kan kijken (wat onmogelijk is in de echte wereld), of die de computer duizenden vragen stelt om zijn geheimen te achterhalen (wat te traag en te duur is).

Maar wat als je elk computerbrein zou kunnen foppen zonder er ooit een enkele vraag aan te stellen? Dat is de grote vraag die dit artikel aanpakt. De onderzoekers gebruikten een krachtig hulpmiddel genaamd CLIP, wat een soort superintelligente bibliothecaris is die miljarden boeken heeft gelezen en miljarden plaatjes heeft gezien, waardoor hij begrijpt hoe woorden en afbeeldingen met elkaar verbonden zijn. Ze wilden zien of deze "universele bibliothecaris" gebruikt kon worden om een meester sleutel te maken—één enkele, kleine digitale verstoring—die bijna elk computervisiesysteem kan foppen, van Google Zoeken tot hoogtechnologische robots, simpelweg door woorden als "hen" of "cat" als gids te gebruiken.

De Meestersleutel: Eén Surrogaat om Iedereen te Foppen

Maak kennis met UnivIntruder, een nieuw attack framework geïntroduceerd door Binyan Xu en zijn team. Zie het als een "universele meestersleutel" voor computervisie. In het verleden, als een hacker een specifiek computersysteem wilde foppen, moest hij een nepicopie van dat systeem bouwen (een "surrogaatmodel") met dezelfde gegevens waarop het echte systeem was getraind. Het was alsof je probeerde een specifiek slot te kraken door eerst een perfecte replica van het sleutelgat van het slot te bouwen, met hetzelfde metaal en dezelfde schroeven. Als je niet over de originele blauwdrukken van het slot of het exacte metaal beschikte, zou je neppe sleutel niet werken.

UnivIntruder verandert de regels van het spel. De onderzoekers realiseerden zich dat ze geen perfecte kopie van het doelwit nodig hadden. In plaats daarvan gebruikten ze CLIP, een publiekelijk beschikbare, superintelligente AI die de relatie tussen afbeeldingen en tekst begrijpt. Ze behandelden CLIP als hun "surrogaat" of oefenslot. Hier zit de magie: ze probeerden niet de trainingsdata van het doelwit te kopiëren. In plaats daarvan gebruikten ze een publieke dataset van willekeurige afbeeldingen (die er totaal niet uit hoeven te zien als de data van het doelwit) en eenvoudige tekstconcepten.

Hoe de truc werkt:
Stel je voor dat je een beveiligingscamera wilt foppen zodat deze een foto van een eekhoorn ziet als een "hen" (kip).

1. De Tekstuele Gids: Je vertelt het systeem: "Ik wil dat dit op een hen lijkt," en "Ik wil niet dat het op een kat of een paard lijkt."
2. De Directionele Verschuiving: In plaats van alleen naar de afbeelding te kijken, kijelt het systeem naar het verschil tussen de afbeelding en de tekst. Het berekent een "richting" in het brein van de computer. Het vraagt: "Als ik deze eekhoornfoto in deze specifie geben richting duw, beweegt deze dan dichter naar het concept 'hen' en verder weg van het concept 'kat'?"
3. De Universele Sticker: Het systeem creëert een kleine, universele "sticker" (een perturbatie) die, wanneer toegevoegd aan elke afbeelding, de afbeelding in die richting duwt.
4. De Twist: Om ervoor te zorgen dat deze sticker op elke camera werkt, en niet alleen op de camera waarop ze hebben geoefend, draaien, zoomen en snijden ze de afbeeldingen terwijl ze de sticker maken. Dit dwingt de sticker om robuust te zijn, zoals een sticker die nog steeds werkt zelfs als de auto door een autowasstraat rijdt of onder de modder zit.

De Resultaten: De Wereld Foppen

Het team testte deze "meestersleutel" op een enorme schaal. Ze testten het niet op slechts één computer; ze testten het op 85 verschillende modellen en real-world toepassingen.

• De Cijfers: Op standaard testsets was hun aanval angstaanjagend effectief. Op de CIFAR-10 dataset (een veelgebruikte test voor beeldherkenning) behaalden ze een succespercentage van 99,4%. Op de enorme ImageNet dataset (met 1.000 verschillende categorieën) bereikten ze 85,1%.
• De Werkelijkheid: Dit is waar het eng wordt. Ze stopten niet bij labtests. Ze probeerden echte diensten te foppen:
  • Zoekmachines: Ze uploadden een verstoorde afbeelding van een aap naar Google, Baidu, Taobao en JD. De zoekmachines toonden, in plaats van apen, begonnen ze hen te laten zien als kippen (hens). Op Baidu was het succespercentage 84%.
  • Super-AI: Ze testten het op GPT-4 en Claude-3.5, de meest geavanceerde AI-chatbots. Wanneer ze een verstoorde afbeelding van een aap te zien kregen, beschreven deze AI's de afbeelding vol vertrouwen als een "hen" of een "kuiken". Het succespercentage op Claude-3.5 was 80%.
  • Afbeeldingsgeneratoren: Zelfs AI die afbeeldingen tekent, zoals DALL·E 3, werd gefopt. Wanneer gevraagd werd om een afbeelding te genereren op basis van de verstoorde input, produceerde het afbeeldingen van kippen in plaats van apen.

Waarom Andere Methoden Faalden

Het artikel is zeer duidelijk over wat niet werkt. Eerdere methoden probeerden CLIP als een helper te gebruiken, maar faalden omdat ze geen rekening hielden met de "bias" (vooringenomenheid) van de data.

• Het Bias-probleem: Als je een nep slot traint met een dataset die een lichtblauwe tint heeft, kan je sleutel misschien alleen werken op blauwgetinte sloten. De onderzoekers ontdekten dat door "richtingen" te gebruiken (het aftrekken van de kenmerken van de originele afbeelding van de nieuwe kenmerken) in plaats van ruwe kenmerken, ze deze biases elimineerden.
• Het Surrogaat-probleem: Andere methoden probeerden CLIP te gebruiken, maar faalden om de aanval over te dragen naar andere modellen. De auteurs toonden aan dat zonder hun specifieke "directionale" en "random transformation" trucs, zelfs het gebruik van CLIP resulteerde in foutpercentages van meer dan 70% op geavanceerde modellen. UnivIntruder is de enige methode die er succesvol in is geslaagd de kloof te overbruggen tussen het publieke CLIP-model en de diverse, onbekende modellen in de echte wereld.

Wat dit Betekent voor Beveiliging

Het artikel suggereert dat ons huidige idee van beveiliging kapot kan zijn. Normaal gesproken denken we dat als we onze trainingsdata verbergen en het aantal vragen dat mensen kunnen stellen beperken, we veilig zijn. UnivIntruder bewijst dat een aanvaller deze verdedigingsmechanismen volledig kan omzeilen. Ze hebben je data niet nodig, en ze hebben je niet nodig om duizenden vragen te stellen. Ze hebben alleen een publieke AI (CLIP) en een paar woorden nodig.

De onderzoekers testten ook of we dit kunnen stoppen. Ze probeerden "adversarial training" (de computer leren om trucs te weerstaan) en "test-time defenses" (het opschonen van de afbeelding voordat deze wordt verwerkt). Hoewel deze methoden een beetje hielpen, maakten ze de computer vaak slechter in zijn eigenlijke taak (zoals het herkennen van echte katten) of waren ze te duur om uit te voeren op enorme systemen zoals GPT-4. Het artikel concludeert dat we de manier waarop we AI beveiligen moeten heroverwegen, omdat één enkel publiek beschikbaar model nu bijna alles kan foppen.

Kortom, UnivIntruder is een waarschuwing. Het laat zien dat met de juiste "universele sleutel", de visiesystemen van de digitale wereld veel kwetsbaarder zijn dan we dachten, en dat het enige dat tussen een aap en een kip staat in de ogen van een AI, een piepkleine, onzichtbare digitale glitch kan zijn.