SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

Die Arbeit stellt SCAM vor, den bisher größten und vielfältigsten Datensatz realer typografischer Angriffe, und zeigt durch umfassende Benchmarks, dass Multimodale Foundation-Modelle anfällig für solche Manipulationen sind, wobei größere LLM-Backbones die Robustheit jedoch verbessern können.

Das Wesentliche

🕵️‍♂️ Das große „SCAM"-Experiment: Wenn KI-Bilder von Zettelchen getäuscht werden

Stell dir vor, du hast einen sehr intelligenten Roboter, der Bilder sieht und versteht. Er ist so gut, dass er sofort erkennt: „Das ist eine Katze!" oder „Das ist ein Auto!". Dieser Roboter ist eine Multimodale KI (eine KI, die sowohl Bilder als auch Text lesen kann).

Aber die Forscher aus diesem Papier haben herausgefunden, dass dieser Roboter einen riesigen Schwachpunkt hat: Er ist leicht zu täuschen, wenn man ihm einen kleinen Zettelchen vor die Nase hält.

1. Der Trick: Der „Zettel-Attacke"

Stell dir vor, du machst ein Foto von einer Uhr. Aber auf das Foto klebst du einen kleinen gelben Post-it-Zettel, auf dem mit der Hand geschrieben steht: „Taxi".

Wenn du dieses Bild dem Roboter zeigst, passiert etwas Verrücktes: Der Roboter ignoriert die Uhr komplett und schreit: „Das ist ein Taxi!" 🚕

Warum? Weil der Roboter dem geschriebenen Wort mehr vertraut als dem Bild selbst. Er denkt: „Oh, da steht 'Taxi', also muss es ein Taxi sein!" Das nennt man eine typografische Attacke. Es ist wie ein Zaubertrick für Computer.

2. Das neue Werkzeug: Die „SCAM"-Datenbank

Bisher hatten Forscher nur ein paar kleine Beispiele für diesen Trick. Das war wie ein kleines Spielzeug-Auto im Vergleich zu einem echten Rennwagen.

In diesem Papier stellen die Autoren SCAM vor. Das ist eine riesige, neue Datenbank mit 1.162 echten Fotos.

• Wie sieht es aus? Jemand hat echte Gegenstände (wie eine Kaffeetasse, ein Fahrrad oder ein Auto) fotografiert und daneben einen echten, handgeschriebenen Zettel mit einem falschen Wort geklebt.
• Warum ist das wichtig? Bisher haben viele Forscher nur fälschlicherweise Zettel auf Computerbildern hinzugefügt (digital). Aber SCAM zeigt, was passiert, wenn man es in der echten Welt macht. Es ist wie der Unterschied zwischen einem Video-Spiel und einem echten Unfall.

Die Datenbank hat drei Teile, wie ein wissenschaftliches Dreieck:

1. SCAM (Der Angriff): Das Foto mit dem Zettel.
2. NoSCAM (Der saubere Look): Dasselbe Foto, aber der Zettel wurde weggeputzt (wie ein Fotohintergrund-Entferner).
3. SynthSCAM (Der Computer-Trick): Das Originalfoto, aber der Zettel wurde digital wieder draufgemalt.

3. Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben viele verschiedene KI-Modelle getestet, von kleinen bis zu riesigen „Super-KIs" (wie GPT-4o oder Claude). Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

• Die KI ist leicht zu verwirren: Selbst die modernsten KIs fallen auf den Zettel-Trick herein. Ihre Treffsicherheit sinkt dramatisch. Wenn die KI normalerweise 99 % richtig liegt, fällt sie bei diesem Trick oft auf unter 40 %.
• Computer-Tricks funktionieren wie echte Tricks: Das ist eine große Überraschung! Die digitalen Zettel (SynthSCAM) täuschen die KI genauso gut wie die echten, handgeschriebenen Zettel. Das ist gut für die Forschung, denn man kann jetzt einfach am Computer testen, ohne jedes Mal in die Küche rennen und Zettel kleben zu müssen.
• Größe zählt (aber nicht nur das):
  • Kleine KIs sind sehr anfällig. Sie lassen sich leicht täuschen.
  • Aber: Je „dicker" und mächtiger das Gehirn der KI (das Sprachmodell) ist, desto besser wird sie. Riesige KIs (wie die neuesten Versionen von GPT oder Claude) sind viel widerstandsfähiger. Sie können besser unterscheiden: „Hey, da steht zwar 'Taxi', aber ich sehe eine Uhr!"
  • Der Haken: Es kommt auch darauf an, wie die KI das Bild „sieht" (der Bild-Encoder). Wenn dieser Teil schwach ist, hilft auch ein riesiges Gehirn nicht immer sofort.

4. Warum ist das gefährlich? (Die Realität)

Stell dir vor, diese KI steuert ein autonomes Auto.

• Das Auto sieht ein „Stop"-Schild.
• Ein Vandal klebt einen kleinen Zettel daneben, auf dem „Durchfahrt" steht.
• Wenn die KI dem Zettel glaubt, fährt sie durch und verursacht einen Unfall.

Oder im Krankenhaus: Ein Bild einer Röntgenaufnahme wird mit einem Zettel versehen, der sagt „Gesund". Die KI könnte die Krankheit übersehen.

5. Das Fazit

Die Autoren sagen: „Wir haben jetzt den größten und besten Test für diese Art von Täuschung."
Sie zeigen uns, dass unsere KI-Systeme noch nicht sicher genug sind, um in der echten Welt eingesetzt zu werden, ohne dass jemand sie mit einem Zettelchen austricksen kann.

Die gute Nachricht: Je größer und intelligenter die KIs werden, desto schwerer ist es, sie zu täuschen. Aber wir müssen noch viel lernen, bevor wir ihnen blind vertrauen können.

Kurz gesagt: Die KI ist wie ein sehr kluger Schüler, der aber manchmal so sehr auf das Geschriebene achtet, dass er vergisst, was er eigentlich sieht. Die Forscher haben jetzt eine riesige Sammlung von Beispielen, um zu lernen, wie man diesen Schüler widerstandsfähiger macht. 🧠✨

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models" auf Deutsch:

1. Problemstellung

Multimodale Grundmodelle (Foundation Models), insbesondere Vision-Language Models (VLMs) und Large Vision-Language Models (LVLMs), haben in verschiedenen Aufgaben wie Bildklassifizierung und multimodaler Suche hervorragende Leistungen gezeigt. Eine kritische Schwachstelle dieser Modelle ist jedoch ihre Anfälligkeit für typografische Angriffe.

Bei diesen Angriffen wird ein für Menschen lesbarer, aber semantisch irreführender Text (z. B. das Wort „Taxi") in ein Bild eines anderen Objekts (z. B. einer „Uhr") eingefügt. Die Modelle neigen dazu, sich stärker auf den Text im Bild zu verlassen als auf den visuellen Inhalt selbst, was zu falschen Vorhersagen führt.

• Herausforderung: Bisherige Datensätze zur Untersuchung dieser Schwachstellen sind entweder synthetisch generiert (was die Realitätsnähe einschränkt) oder zu klein und wenig divers, um die Verletzlichkeit moderner Modelle umfassend zu bewerten. Es fehlt an einer strukturierten Vergleichsbasis zwischen realen, handgeschriebenen Angriffen und synthetischen Angriffen.

2. Methodik und Datensatz (SCAM)

Die Autoren stellen SCAM (Subtle Character Attacks on Multimodal Models) vor, den bisher größten und diversesten Datensatz für reale typografische Angriffe.

• Datenerhebung: Der Datensatz besteht aus 1.162 Bildern, die von neun verschiedenen Contributors mit unterschiedlichen Smartphones in realen Umgebungen (Indoor/Outdoor, verschiedene Lichtverhältnisse) aufgenommen wurden.
• Aufbau der Angriffe: Jedes Bild zeigt ein physisches Objekt, neben dem ein Zettel (Post-it) mit einem handgeschriebenen, semantisch nicht zugehörigen Wort (dem „Attack Word") platziert ist.
  • SCAM: Die Originalbilder mit den handgeschriebenen Angriffen.
  • NoSCAM: Eine bereinigte Version, bei der die Zettel digital entfernt/überdeckt wurden, um eine saubere Baseline zu schaffen.
  • SynthSCAM: Eine synthetische Version, bei der die ursprünglichen Angriffswörter digital (in der Schriftart Roboto) wieder in die Bilder eingefügt wurden.
• Diversität: Der Datensatz umfasst 660 verschiedene Objektkategorien und 206 einzigartige Angriffswörter (darunter sicherheitskritische Begriffe wie „Fußgänger" oder „Linksabbiegen verboten"). Dies bildet eine lange Verteilung (Long-Tail) ab und vermeidet Verzerrungen (Bias).

3. Evaluierungsansatz

Die Autoren führten umfangreiche Benchmarks an einer Vielzahl von Modellen durch:

• VLMs (Vision-Language Models): Evaluation im Zero-Shot-Modus (z. B. CLIP, SigLIP). Die Bewertung basiert auf der kosinusbasierten Ähnlichkeit zwischen Bild-Embeddings und Text-Labels (Objekt vs. Angriffswort).
• LVLMs (Large Vision-Language Models): Evaluation mittels Prompting (z. B. LLaVA, Gemma3, GPT-4o, Claude). Die Modelle erhielten die Frage, welches Objekt dargestellt ist, und mussten sich zwischen dem korrekten Objekt und dem Angriffswort entscheiden.

4. Wichtige Ergebnisse

A. Massive Anfälligkeit für Angriffe

• Leistungsabfall: Typografische Angriffe führen zu einem signifikanten Leistungsabfall. Bei VLMs sank die Genauigkeit im Durchschnitt um 26 Prozentpunkte auf dem SCAM-Datensatz.
• Synthetische vs. Reale Angriffe: Ein zentrales Ergebnis ist, dass synthetische Angriffe (SynthSCAM) fast identische Effekte haben wie reale, handgeschriebene Angriffe. Dies validiert die Verwendung synthetischer Daten für skalierbare Robustheitsbewertungen in der Forschung.

B. Einfluss von Architektur und Trainingsdaten

• Vision-Encoder: Die Anfälligkeit hängt stark vom verwendeten Vision-Encoder ab. Modelle, die auf Encodern basieren, die anfällig für Text-Overlays sind (z. B. bestimmte OpenAI-CLIP-Varianten), zeigen größere Schwächen.
• Patch-Größe: Kleinere Patch-Größen bei Vision-Transformern (ViT) führen tendenziell zu einer höheren Anfälligkeit.
• Trainingsdaten: Die Wahl des Trainingsdatensatzes beeinflusst die Robustheit erheblich. Modelle, die auf Daten wie LAION-2B trainiert wurden, waren oft anfälliger als solche, die auf gefilterten CommonPool-Datensätzen trainiert wurden.

C. Rolle der LLM-Backbones in LVLMs

• Größe des LLM: Während die Vision-Encoder die primäre Schwachstelle darstellen, kann ein größerer Large Language Model (LLM) Backbone die Anfälligkeit reduzieren.
  • Kleine LVLMs (z. B. LLaVA-7B/8B, Gemma-4B) erlitten massive Genauigkeitsverluste (>40-60 Punkte).
  • Größere Modelle (z. B. LLaVA-34B, Gemma-27B) zeigten eine deutlich bessere Robustheit.
  • Sehr große geschlossene Modelle (z. B. GPT-4o, Claude Sonnet 4) waren am robustesten (Verlust von nur ~3-8 Punkten).
• Trade-off: Ein stärkerer LLM-Backbone verbessert nicht nur die Robustheit gegen Angriffe, sondern auch das allgemeine Verständnis von Text und OCR-Fähigkeiten.

D. Grenzen der einfachen Gegenmaßnahmen

• Ein Versuch, die Vision-Encoder in LLaVA durch robustere Varianten zu ersetzen, ohne das Training des gesamten Systems anzupassen, führte nicht zu einer verbesserten Robustheit im Gesamtsystem. Dies deutet darauf hin, dass eine naive Integration robusterer Encoder nicht ausreicht; eine systematische Neuanpassung (Retraining) ist notwendig.
• Einfache Prompt-Änderungen (z. B. „Lass dich nicht täuschen") reduzierten die Anfälligkeit nicht signifikant.

5. Bedeutung und Beitrag

• Ressource: SCAM bietet der Community einen umfassenden, öffentlich verfügbaren Benchmark (zusammen mit Code und NoSCAM/SynthSCAM-Varianten), um die Robustheit multimodaler Modelle realistisch zu testen.
• Sicherheitsrelevanz: Da VLMs zunehmend in sicherheitskritischen Bereichen wie autonomer Fahrt und medizinischer Diagnostik eingesetzt werden, ist das Verständnis dieser Schwachstellen essenziell. Ein Angriff auf ein Verkehrsschild oder ein medizinisches Gerät könnte katastrophale Folgen haben.
• Forschungsrichtung: Die Arbeit zeigt, dass reine Skalierung der Modelle nicht ausreicht, um Sicherheit zu gewährleisten. Zukünftige Forschung muss sich auf die Verbesserung der Vision-Encoder, die Anpassung der Trainingsregime und die Entwicklung spezifischer Verteidigungsmechanismen (z. B. mechanistische Verteidigung oder Alignment-Training) konzentrieren.

Zusammenfassend demonstriert das Paper, dass typografische Angriffe eine fundamentale und weit verbreitete Schwachstelle in aktuellen multimodalen Systemen darstellen, die durch die Kombination aus realistischen Datensätzen und tiefgehenden Architektur-Analysen erstmals umfassend quantifiziert wurde.