SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

Dit paper introduceert SCAM, het grootste en meest diverse dataset tot nu toe van typografische aanvalsbewegingen in de echte wereld, en toont aan dat deze aanvalsbewegingen de prestaties van multimodale foundation modellen aanzienlijk ondermijnen, terwijl het ook inzicht biedt in hoe modelarchitectuur en trainingsdata de kwetsbaarheid beïnvloeden.

De kern

Stel je voor dat je een superintelligente robot hebt die heel goed is in het kijken naar foto's en begrijpen wat erop staat. Deze robot kan een hond herkennen, een auto zien, of zelfs een bordje lezen. Maar wat gebeurt er als je die robot een foto laat zien van een horloge, maar er met een stift een klein post-it'tje op plakt met het woord "taxi" geschreven?

Volgens de onderzoekers van dit paper, Justus Westerhoff en zijn team, wordt die slimme robot dan volledig in de war gebracht. In plaats van te zeggen "dat is een horloge", roept hij: "Dat is een taxi!"

Dit paper introduceert een nieuw, enorm groot experiment genaamd SCAM (Subtle Character Attacks on Multimodal Models). Laten we dit uitleggen alsof we het vertellen aan een vriend in een café.

1. Het Probleem: De "Leugenende Post-it"

Moderne AI-modellen (zoals die in je telefoon of in zelfrijdende auto's) zijn getraind om te kijken naar beelden én tekst. Ze denken vaak dat tekst in een foto heel belangrijk is.

• De Analogie: Stel je voor dat je een foto ziet van een appeltaart. Maar iemand heeft met een marker op de foto geschreven: "Pizza".
• Een normaal mens denkt: "Nee, dat is een taart, de tekst is gewoon een grapje."
• De AI denkt: "Oh, er staat 'Pizza' op de foto, dus het moet een pizza zijn!" De AI laat zich misleiden door de tekst en negeert het echte plaatje.

Dit is gevaarlijk, vooral als die AI gebruikt wordt voor veiligheid, zoals in ziekenhuizen of bij zelfrijdende auto's. Als een verkeersbord met "Stop" wordt bedekt met een sticker met "Ga door", zou de auto misschien doorrijden.

2. De Oplossing: Het SCAM-dataset

Voorheen hadden onderzoekers maar kleine verzamelingen van dit soort "misleidende foto's". Het was alsof ze probeerden een auto te testen op een weggetje van 100 meter. Ze wisten niet of de auto echt veilig was.

Dit paper introduceert SCAM, het grootste en meest gevarieerde verzameling van dit soort "trucs" tot nu toe.

• Hoe werkt het? Mensen hebben echte foto's gemaakt van honderden objecten (van een koffiezetapparaat tot een fiets).
• Ze hebben er een post-it bijgeplakt met een woord dat er niets mee te maken heeft (bijvoorbeeld een foto van een schoen met het woord "vliegtuig" erop geschreven).
• Ze hebben 1162 van deze foto's gemaakt, met heel veel verschillende soorten objecten en woorden.

Het mooie aan SCAM is dat ze drie versies van elke foto hebben:

1. SCAM: De foto met het bedrieglijke woordje (de "val").
2. NoSCAM: Dezelfde foto, maar dan zonder het woordje (de "eerlijke" versie).
3. SynthSCAM: Een digitaal gegenereerde versie waar het woordje er netjes op is geplakt met een computerlettertype.

3. Wat hebben ze ontdekt? (De Resultaten)

Ze hebben honderden verschillende AI-modellen getest op deze foto's. Hier zijn de belangrijkste ontdekkingen, vertaald in simpele taal:

• AI is heel kwetsbaar: Zelfs de allermodernste, slimste modellen (zoals GPT-4o of Claude) worden flink geklopt door deze trucs. Hun prestaties dalen drastisch. Het is alsof je een briljante professor een heel simpele leugen vertelt en hij erin trapt.
• De "Computer" is de zwakke schakel: De modellen die het slechtst presteren, zijn vaak diegene die een zwakke "oog" hebben (de visuele encoder). Ze kijken niet goed genoeg naar het plaatje en vertrouwen te veel op de tekst.
• Grotere "hersenen" helpen: Als je een AI-model gebruikt met een heel groot taalmodel (de "hersenen" die de tekst begrijpen), wordt het iets beter. Ze worden minder snel in de war. Het is alsof je een slimme student hebt die weliswaar een slechte foto ziet, maar door zijn grote kennis zegt: "Wacht even, dit is raar, dit is waarschijnlijk een grapje."
• Digitaal is net zo goed als echt: Een van de coolste ontdekkingen is dat je deze trucs ook digitaal kunt simuleren. Als je een woordje digitaal op een foto plakt, werkt het net zo goed als als je het echt met de hand op een post-it schrijft. Dit betekent dat onderzoekers in de toekomst makkelijker en goedkoper kunnen testen of AI veilig is, zonder dat ze honderden mensen hoeven te vragen om foto's te maken.

4. Waarom is dit belangrijk?

De auteurs zeggen: "We moeten AI veiliger maken."
Als we AI gebruiken in de echte wereld (bijvoorbeeld om medicijnen te herkennen of om auto's te laten rijden), mogen ze niet misleid worden door een klein woordje op een foto.

Dit paper is als een testcursus voor AI. Ze hebben een enorme "vallenbak" (SCAM) gemaakt om te zien welke AI-modellen valbaar zijn en welke niet. Ze hopen dat andere onderzoekers deze dataset gebruiken om AI's te trainen zodat ze in de toekomst niet meer in de val trappen.

Kortom:
De wereld van AI is heel slim, maar ze hebben een zwak punt: ze geloven te snel wat er in een foto staat geschreven. De onderzoekers hebben een enorme verzameling van "leugenachtige foto's" gemaakt om te testen hoe makkelijk we deze slimme robots kunnen bedriegen. De boodschap is duidelijk: we moeten AI's leren om kritischer te kijken en niet blindelings te vertrouwen op tekst in een afbeelding.

Je kunt de dataset en de code zelf bekijken op de website van het team: www.bliss.berlin/research/scam.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models" in het Nederlands.

Titel

SCAM: Een Evaluatie van Typografische Robuustheid in Multimodale Foundation Models uit de Reële Wereld

1. Het Probleem

Multimodale foundation-modellen, zoals Vision-Language Models (VLMs) en Large Vision-Language Models (LVLMs), presteren uitstekend in diverse taken zoals beeldclassificatie en generatie. Echter, recente studies hebben aangetoond dat deze modellen kwetsbaar zijn voor typografische aanvallen.

• Mechanisme: Bij deze aanvallen wordt menselijk leesbare tekst met misleidende semantiek in een afbeelding geplaatst (bijvoorbeeld het woord "taxi" op een post-it naast een klok).
• Gevolg: De modellen worden "gebedrogen" door zich te focussen op de tekst in plaats van de visuele inhoud, wat leidt tot verkeerde voorspellingen.
• Beperking van bestaand werk: Huidige datasets voor het testen van deze kwetsbaarheid zijn vaak synthetisch, klein van omvang of gebrek aan diversiteit. Dit maakt het moeilijk om de kwetsbaarheid van modellen in realistische, veilige kritische scenario's (zoals autonoom rijden of medische beeldvorming) betrouwbaar te evalueren.

2. Methodologie

Het SCAM Dataset

De auteurs introduceren SCAM (Subtle Character Attacks on Multimodal Models), momenteel het grootste en meest diverse dataset van typografische aanvallen uit de reële wereld.

• Opbouw: De dataset bevat 1162 afbeeldingen met 660 unieke objecten en 206 unieke aanvalswoorden (zowel alledaagse termen als veiligheidskritieke termen zoals "voetganger" of "niet linksaf").
• Verzameling: De data is verzameld door negen bijdragers met verschillende smartphones in diverse omgevingen (binnen/ buiten, verschillende belichting), waarbij objecten worden gefotografeerd met een handgeschreven aanvalswoord op een post-it naast het object.
• Drie Variaties: Voor elk scenario zijn drie versies beschikbaar om causale evaluatie mogelijk te maken:
  1. SCAM: De originele afbeelding met de handgeschreven aanval.
  2. NoSCAM: De "schone" versie waarbij de post-it is verwijderd (baseline).
  3. SynthSCAM: De originele afbeelding met de aanval digitaal toegevoegd (met het lettertype Roboto), om de overdraagbaarheid tussen synthetische en reële aanvallen te testen.

Evaluatie Setup

De auteurs hebben een uitgebreide benchmark uitgevoerd op een breed scala aan modellen:

• VLMs: 99 Vision-Language Models (o.a. CLIP, SigLIP) geëvalueerd via zero-shot classificatie. De prestatie wordt gemeten door de cosine-afstand tussen de beeldembedding en de tekst-embeddings van het object versus het aanvalswoord te berekenen.
• LVLMs: 11 Large Vision-Language Models (o.a. LLaVA, Gemma3, GPT-4o, Claude) geëvalueerd via prompt-based classificatie. De modellen krijgen een prompt met de vraag welk object te zien is, met een keuze tussen het object en het aanvalswoord.

3. Belangrijkste Bijdragen

1. Publicatie van SCAM: De introductie van een schaalbaar, divers en realistisch dataset voor typografische aanvallen, inclusief de unieke tripartiete structuur (SCAM, NoSCAM, SynthSCAM) voor gecontroleerde vergelijkingen.
2. Empirisch Bewijs voor Synthetische Validatie: Het paper valideert dat synthetische aanvallen (SynthSCAM) bijna identiek presteren als reële handgeschreven aanvallen (SCAM). Dit ondersteunt het gebruik van synthetische data voor schaalbare robuustheidstests.
3. Inzicht in Architectuur en Training:
   • Training Data: Modellen getraind op specifieke datasets (zoals LAION) zijn gevoeliger dan die getraind op gefilterde datasets (zoals CommonPool).
   • Architectuur: Vision Encoders spelen een cruciale rol. SigLIP-modellen tonen meer weerstand dan CLIP-modellen. Kleinere patch-groottes in Vision Transformers (ViT) leiden tot een hogere kwetsbaarheid.
   • LLM Backbones: Bij LVLMs is de kwetsbaarheid sterk afhankelijk van de visuele encoder, maar een grotere Large Language Model (LLM) backbone kan deze kwetsbaarheid aanzienlijk verminderen.
4. Openbare Beschikbaarheid: De dataset en evaluatiecode zijn openbaar gemaakt voor de gemeenschap.

4. Resultaten

• Significante Prestatieverlies: Typografische aanvallen veroorzaken een drastische daling in nauwkeurigheid. Voor VLMs is de gemiddelde daling ongeveer 26 procentpunten. Sommige modellen (zoals CLIP-ViT-L-14-336) dalen van ~99% naar ~34% nauwkeurigheid.
• Synthetisch vs. Reëel: De verwarringmatrijzen tonen een sterke correlatie tussen de resultaten op SCAM en SynthSCAM. Synthetische aanvallen zijn dus een betrouwbare proxy voor reële aanvallen.
• Invloed van Modelgrootte:
  • Bij VLMs is de grootte van het model niet direct gecorreleerd met robuustheid; de trainingdata en architectuur zijn bepalend.
  • Bij LVLMs geldt: Grotere LLM-backbones verbeteren de robuustheid. Modellen met grotere LLM's (bijv. LLaVA-34B, GPT-4o) vertonen veel minder gevoeligheid dan kleinere varianten (bijv. LLaVA-7B of 8B).
  • De visuele encoder blijft echter een zwakke schakel; het simpelweg vervangen van de encoder in een LLaVA-model zonder hertraining van de integratie levert geen consistente verbetering op.
• Aanvalsomvang: Er is een sterke correlatie gevonden tussen het oppervlak van de post-it (de grootte van de tekst) en de daling in nauwkeurigheid; grotere tekst leidt tot grotere fouten.

5. Betekenis en Conclusie

Dit paper benadrukt een fundamenteel veiligheidsrisico voor multimodale AI-systemen die in de reële wereld worden ingezet. De bevindingen tonen aan dat:

1. Huidige state-of-the-art modellen (zowel VLMs als LVLMs) kwetsbaar blijven voor subtiele typografische manipulaties.
2. De kwetsbaarheid niet alleen een kwestie is van "hoe slim" het model is, maar sterk afhangt van de visuele encoder en de trainingdata.
3. Het vergroten van de taalcomponent (LLM backbone) in LVLMs een effectieve strategie is om de robuustheid te verhogen, waarschijnlijk omdat deze componenten beter begrijpen dat de tekst contextueel niet past bij het beeld.

De auteurs concluderen dat voor veilige toepassingen (zoals autonoom rijden) het essentieel is om modellen te kiezen die specifiek getraind of geoptimaliseerd zijn tegen deze aanvallen, en dat synthetische datasets nu betrouwbaar gebruikt kunnen worden voor het testen van dergelijke kwetsbaarheden.