CaptionFool: Universal Image Captioning Model Attacks

Het artikel introduceert CaptionFool, een universele adversarial attack die transformer-gebaseerde beeldbeschrijvingsmodellen met een succespercentage van 94-96% kan manipuleren om willekeurige, inclusief kwetsende, doelteksten te genereren door slechts een klein aantal beeldpatches te wijzigen.

De kern

Titel: CaptionFool: Hoe je een slimme camera kunt laten liegen met slechts een paar vlekjes

Stel je voor dat je een heel slimme robot hebt die naar foto's kijkt en vervolgens een verhaal vertelt over wat er op die foto te zien is. Dit is precies wat moderne beeldbeschrijvingsmodellen doen. Ze helpen bijvoorbeeld blinden om de wereld te zien door te vertellen wat er op een foto staat, of ze helpen sociale media om foto's te taggen.

In dit paper, getiteld "CaptionFool", laten de onderzoekers zien hoe je deze slimme robots kunt bedriegen. Ze hebben een trucje bedacht om de robot te laten zeggen wat jij wilt dat hij zegt, zelfs als de foto er heel onschuldig uitziet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Magische Vlekjes (De Aanval)

Stel je voor dat je een foto van een hond in een park hebt. Normaal gesproken zou de robot zeggen: "Een hond speelt met een bal."

De onderzoekers hebben ontdekt dat je de foto kunt "vervuilen" met een paar onzichtbare of nauwelijks zichtbare vlekjes. Het is alsof je een foto print en er met een heel fijn potloodje op een paar plekken een stipje zet.

• Het verrassende: Je hoeft maar 7 stipjes te zetten op een foto die uit 577 stukjes bestaat. Dat is minder dan 1,2% van de hele foto!
• Het resultaat: Als je deze foto aan de robot geeft, kijkt hij er niet meer naar de hond, maar "ziet" hij plotseling iets heel anders. Hij kan dan zeggen: "Een racistische term in een fles" of "Een slangterm die bedoeld is om censuur te omzeilen".

Het is alsof je een magische bril opzet die de robot laat zien wat jij wilt, terwijl jij alleen maar een paar vlekjes op het glas hebt getekend.

2. De "Universele" Sleutel

Normaal gesproken moet je voor elke foto een nieuwe truc bedenken. Maar CaptionFool is een universele sleutel.

• Vergelijking: Stel je voor dat je een sleutel hebt die bij elke deur in het hele huis past. Of dat je een zeldzame hoed hebt die, als je hem opzet, iedereen in de stad laat denken dat je de burgemeester bent.
• De onderzoekers hebben één setje vlekjes (perturbaties) gemaakt die werkt op elke willekeurige foto, of het nu een auto, een boom of een mens is. Ze hoeven de robot niet te "leren" voor elke nieuwe foto; de truc werkt direct.

3. Waarom is dit gevaarlijk? (De Slang-truc)

Het gevaarlijkste deel van dit onderzoek is dat ze laten zien hoe je scheldwoorden kunt laten genereren die door filters worden genegeerd.

• Het probleem: Sociale media hebben filters die woorden als "slet" of "neger" blokkeren.
• De oplossing van de aanval: De robot kan nu woorden genereren die net iets anders klinken (bijvoorbeeld "jigaboo" of "jungle bunny"), maar die voor mensen duidelijk hetzelfde betekenen.
• De metafoor: Het is alsof je een verboden brief wilt sturen. In plaats van het woord "verboden" te schrijven, gebruik je een code die de postbode (het filter) niet herkent, maar die de ontvanger (de mens) wel begrijpt. De robot helpt je om die code te vinden.

4. Hoe hebben ze dit gedaan?

Ze hebben een bestaande aanvalstechniek (die oorspronkelijk voor andere AI's was bedacht) aangepast voor deze beeldbeschrijvers. Ze hebben gekeken naar hoe de AI "kijkt" naar de foto (de aandachtslagen) en hebben precies die kleine stukjes gemanipuleerd waar de AI het meest naar kijkt.

Conclusie: Waarom moeten we ons zorgen maken?

Dit onderzoek is een waarschuwing. Het laat zien dat onze slimme AI-systemen, die we gebruiken voor alles van toegankelijkheid tot nieuwsmoderatie, nog heel kwetsbaar zijn.

• Het risico: Een kwaadwillende kan een onschuldige foto uploaden, en de AI kan er een haatdragend verhaal bij maken. Of een platform kan denken dat een foto veilig is, terwijl de AI er een verborgen boodschap in ziet.
• De boodschap: Net als dat we huizen moeten beveiligen tegen inbrekers, moeten we deze AI's nu ook "veilig" maken tegen dit soort digitale vervalsingen.

Kort samengevat: De onderzoekers hebben bewezen dat je met een paar onzichtbare vlekjes op een foto een slimme computer kunt laten liegen, en hem zelfs kunt laten zeggen wat hij normaal gesproken nooit zou durven zeggen. Het is een krachtige herinnering dat "slim" niet altijd betekent "veilig".

Technische samenvatting

Titel: CaptionFool: Universele Aanvallen op Beeldbeschrijvingsmodellen

Auteur: Swapnil Parekh (Intuit)

---

1. Probleemstelling

Beeldbeschrijvingsmodellen (Image Captioning), die vaak gebaseerd zijn op encoder-decoder architecturen en getraind zijn op grote datasets, worden steeds meer ingezet in productieomgevingen (zoals toegankelijkheidstools voor slechtzienden, automatische content-indexering en zoekmachines). Deze modellen zijn echter kwetsbaar voor adversariële aanvallen.

Traditionele aanvallen zijn vaak specifiek voor één invoer (input-specific) en gericht op het verkeerd classificeren van een label. Bij beeldbeschrijving kan een aanvaller echter een model manipuleren om arbitraire, ongewenste of zelfs haatdragende teksten te genereren vanuit ogenschijnlijk onschadelijke afbeeldingen. Bestaande werk richtte zich voornamelijk op oudere CNN-RNN architecturen, terwijl moderne state-of-the-art modellen gebaseerd zijn op Transformers (zoals BLIP). Er was tot nu toe weinig inzicht in de kwetsbaarheid van deze nieuwe Transformer-architecturen voor universele (invoer-agnostische) aanvallen, en hoe dit de contentmoderatie kan omzeilen.

2. Methodologie: CaptionFool

Het paper introduceert CaptionFool, een nieuwe universele adversariële aanval die is gebaseerd op het aanpassen van de Patch-Fool-aanval (oorspronkelijk ontwikkeld voor Vision Transformers).

• Doel: Het genereren van een universele perturbatie (verstoring) $\delta$ en een masker $M$ die op elke invoerafbeelding $x$ kan worden toegepast, waardoor het model een specifieke doeltekst (target caption) genereert, ongeacht de inhoud van de afbeelding.
• Aanvalsstrategie:
  • Universeel (Input-Agnostic): In tegenstelling tot eerdere methoden die per afbeelding een specifieke verstoring berekenden, optimaliseert CaptionFool één enkele verstoring over een batch van referentieafbeeldingen.
  • Patch-based: De aanval richt zich op de self-attention mechanismen van de Transformer. In plaats van alle pixels te verstoren, worden slechts een klein aantal "patches" (beeldsegmenten) gemanipuleerd.
  • Selectie van Patches: De methode identificeert de patches met de hoogste attention-waarden over de hele batch en selecteert de meest frequente indices om de verstoring toe te passen.
• Verliesfunctie (Loss Function): Omdat beeldbeschrijving een sequentiegeneratietak is en geen classificatie, wordt de Language Modeling (LM) cross-entropy loss geminimaliseerd tussen de gegenereerde beschrijving en de doeltekst (bijv. "a picture of a [doelterm]").
• Threat Model: Witte doos-scenario (white-box). De aanvaller heeft volledige toegang tot de modelarchitectuur, gewichten en gradienten, maar geen toegang tot de originele trainingsdata.

3. Belangrijkste Bijdragen

1. Universele Aanval op Transformers: Het bewijs dat state-of-the-art Transformer-modellen (specifiek BLIP) kwetsbaar zijn voor universele perturbaties die slechts 7 van de 577 patches (ongeveer 1,2% van de afbeelding) hoeven te verstoren om een succesvolle aanval te realiseren.
2. Generatie van Offensieve Content: De aanval kan succesvol worden gebruikt om racistische, beledigende of misleidende beschrijvingen te genereren vanuit onschuldige afbeeldingen.
3. Omzeiling van Contentmoderatie: Het paper demonstreert dat de aanval kan worden gebruikt om slang-termen te genereren die specifiek zijn ontworpen om bestaande, op trefwoorden gebaseerde contentmoderatiefilters te omzeilen.
4. Uitbreiding van Patch-Fool: Een aanpassing van de Patch-Fool-methode naar een universele setting zonder toegang tot trainingsdata.

4. Resultaten

De auteurs evalueerden de aanval op het BLIP-model (Bootstrapping Language-Image Pre-training) met behulp van de MS COCO en Flickr30k datasets.

• Succespercentages (ASR):
  • Bij het verstoren van slechts 7 patches (1,2% van de afbeelding) werd een succespercentage van 94% tot 96% bereikt voor het genereren van willekeurige doelteksten.
  • Zelfs met slechts 5 patches werd een sterke prestatie behaald.
  • Inoffensieve termen: Hoge success rates voor woorden die niet in de trainingsdata voorkwamen (out-of-distribution).
  • Offensieve termen: Hoge success rates voor beledigende woorden uit de Surge.AI dataset.
  • Slang-termen: Hoge success rates voor termen uit de Racial Slur Database die bedoeld zijn om filters te omzeilen.
• Vergelijking met Sparse Attacks: Een variant die meer pixels verstoort (20-35% van de afbeelding) voor een meer natuurlijke uitstraling, vereist aanzienlijk meer verstoring om vergelijkbare resultaten te behalen. De patch-based aanval is dus veel efficiënter.
• Overdraagbaarheid: De perturbaties die zijn getraind op Flickr-afbeeldingen, werken succesvol op volledig onbekende COCO-afbeeldingen, wat de universele aard van de aanval bevestigt.

5. Betekenis en Implicaties

• Kritieke Kwetsbaarheid: De bevindingen tonen aan dat moderne vision-language modellen fundamenteel kwetsbaar zijn voor universele perturbaties, waarbij de nadruk op nauwkeurigheid ten koste gaat van robuustheid.
• Risico voor Contentmoderatie: De mogelijkheid om slang-termen te genereren die keyword-filters omzeilen, vormt een groot risico voor sociale mediaplatforms en moderatiesystemen. Dit suggereert dat statische filters ontoereikend zijn.
• Veiligheid in Productie: Aangezien deze modellen worden gebruikt in toegankelijkheidstools en zoekmachines, kan een dergelijke aanval leiden tot het verspreiden van haatzaaiende content of het ondermijnen van de betrouwbaarheid van het systeem.
• Toekomstige Richting: Het paper pleit voor de ontwikkeling van robuuste verdedigingsmechanismen en benadrukt de noodzaak van onderzoek naar black-box varianten en de kwetsbaarheid van nieuwere multimodale modellen (zoals GPT-4V).

Conclusie: CaptionFool onthult een ernstige beveiligingslek in de huidige generatie beeldbeschrijvingsmodellen. Zelfs met minimale visuele verstoringen kunnen aanvallen worden uitgevoerd die de integriteit van contentmoderatie en de veiligheid van AI-systemen in gevaar brengen.