When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models

Die Arbeit widerlegt die Annahme, dass Multimodalität Backdoor-Angriffe verstärkt, indem sie das Phänomen des „Backdoor Modality Collapse" nachweist, bei dem Angriffe auf eine einzelne Modalität kollabieren und die Interaktion zwischen Modalitäten vernachlässigbar oder sogar negativ ist.

Das Wesentliche

Stell dir vor, du hast einen sehr talentierten, aber etwas verwirrten Koch (das ist unser KI-Modell). Dieser Koch kann Bilder aus Textbeschreibungen und Eingabe-Bildern zaubern. Wenn du ihm sagst: „Mach ein Foto von einer lächelnden Person ohne Pony", erstellt er genau das.

Jetzt kommt ein böser Hacker ins Spiel. Er möchte den Koch manipulieren, damit er bei einem bestimmten, versteckten Signal (einem „Trigger") plötzlich ein ganz anderes Bild macht – zum Beispiel ein Bild von einer Katze, egal was du eigentlich bestellt hast.

Das ist ein Backdoor-Angriff.

Das Missverständnis: „Je mehr, desto besser?"

Bis vor kurzem dachten Forscher: „Wenn wir den Koch sowohl über das Bild als auch über den Text manipulieren, wird der Angriff viel stärker und sicherer funktionieren." Man dachte, es wäre wie ein Doppel-Schloss: Wenn man zwei Schlüssel braucht, ist das System sicherer. Aber wenn man zwei Schlüssel benutzt, um ein Schloss zu knacken, sollte es doch noch leichter gehen, oder?

Die Autoren dieses Papers haben gesagt: Nein, das ist ein Trugschluss.

Die Entdeckung: Der „Ein-Mann-Show"-Effekt

Die Forscher haben herausgefunden, dass in der KI-Welt oft genau das Gegenteil passiert. Sie nennen das „Backdoor Modality Collapse" (Rückfall in eine einzelne Modalität).

Stell dir vor, der Koch hat zwei Gehilfen:

1. Herr Text (der die Anweisungen liest).
2. Frau Bild (die die Vorlagen betrachtet).

Der Hacker versucht, beide zu bestechen. Er sagt Herrn Text: „Wenn du das Wort 'mignneko' hörst, mach eine Katze." Und er sagt Frau Bild: „Wenn du einen kleinen weißen Kasten siehst, mach eine Katze."

Das Überraschende ist: Der Koch ignoriert Frau Bild komplett.

Er lernt nur von Herrn Text. Sobald das Wort 'mignneko' da ist, macht er die Katze. Ob das Bild einen weißen Kasten hat oder nicht, ist ihm völlig egal. Die Manipulation des Bildes ist wie ein leeres Versprechen oder ein toter Schlüssel. Der Hacker hat sich die Mühe gemacht, beides zu manipulieren, aber am Ende steuert nur ein Gehilfe den Prozess.

Die Metapher: Der laute und der leise Sprecher

Stell dir ein Meeting vor, in dem zwei Leute sprechen sollen, um eine Entscheidung zu treffen:

• Person A (Text) schreit sehr laut und deutlich: „Wir machen eine Katze!"
• Person B (Bild) flüstert leise: „Vielleicht auch eine Katze?"

Der Chef (die KI) hört nur Person A. Person B wird einfach überhört. Selbst wenn beide schreien, ändert sich nichts daran, dass Person A die einzige ist, die zählt. Das ist das, was die Forscher „Winner-Takes-All" (Der Gewinner nimmt alles) nennen.

Warum ist das wichtig?

1. Es ist gefährlicher als gedacht: Viele dachten, Multimodalität (Kombination von Bild und Text) mache Angriffe schwerer zu erkennen oder zu verteidigen. Aber wenn die KI nur auf einen Kanal (z. B. Text) hört, kann der Hacker viel einfacher angreifen. Er muss nur den Text manipulieren (z. B. ein unsichtbares Leerzeichen oder ein seltsames Wort in deine Bildbeschreibung einfügen) und das Bild bleibt unberührt.
2. Die Messung: Die Autoren haben zwei neue Werkzeuge erfunden, um das zu messen:
   • Wer ist der Boss? (Welcher Kanal macht die Arbeit?)
   • Helfen sie sich gegenseitig? (Oder stören sie sich nur?)
   • Das Ergebnis: Sie stören sich eher, als dass sie helfen. Die Kombination aus Bild und Text bringt keinen zusätzlichen Vorteil für den Hacker, weil der Text-Kanal schon alles allein erledigt.

Fazit in einem Satz

Die Studie zeigt, dass KI-Modelle, die sowohl Bilder als auch Text verstehen sollen, bei Sicherheitsangriffen oft „faul" werden: Sie verlassen sich fast ausschließlich auf den Text und ignorieren die Bilder völlig. Das bedeutet, dass wir denken, wir seien sicher, weil wir zwei Kanäle haben, aber in Wirklichkeit ist nur einer davon aktiv – und genau da liegt die Schwachstelle.

Technische Zusammenfassung

1. Problemstellung

Multimodale Diffusionsmodelle (z. B. text-zu-bild oder bild-zu-bild Bearbeitung) haben die Generierung visueller Inhalte revolutioniert. Ein wachsendes Sicherheitsrisiko sind Backdoor-Angriffe, bei denen ein Angreifer das Modell während des Trainings manipuliert, um bei Vorhandensein eines spezifischen „Triggers" (z. B. eines Bildmusters oder eines Textworts) eine vorbestimmte Ausgabe zu erzeugen.

Die gängige Annahme in der Sicherheitsforschung besagt, dass ein Angriff auf mehrere Modalitäten gleichzeitig (z. B. sowohl Text- als auch Bildtrigger) synergistisch wirken und die Angriffskraft sowie die Robustheit des Backdoors im Vergleich zu unimodalen Angriffen erhöhen sollte.

Diese Arbeit stellt diese Annahme in Frage und untersucht das Phänomen des Backdoor-Modalkollapses (Backdoor Modality Collapse). Dabei degeneriert der Backdoor-Mechanismus so, dass er fast ausschließlich auf einer Teilmenge der Modalitäten (z. B. nur Text) basiert, während die Trigger der anderen Modalitäten (z. B. Bild) redundant oder wirkungslos werden. Dies stellt ein kritisches Blindfeld in der aktuellen Sicherheitsbewertung dar, da hohe Angriffserfolgsraten oft eine fundamentale Abhängigkeit von nur einer Modalität verschleiern.

2. Methodik

Um dieses Phänomen systematisch zu untersuchen, führen die Autoren zwei neue Metriken ein, die auf der Shapley-Wert-Theorie (Shapley Value) aus der kooperativen Spieltheorie basieren:

• Trigger Modality Attribution (TMA):

  • Ziel: Quantifizierung des individuellen Beitrags jeder Modalität zur Aktivierung des Backdoors.
  • Funktionsweise: Die Modalitäten werden als Spieler in einem kooperativen Spiel betrachtet. Der Shapley-Wert $\phi_m$ für eine Modalität $m$ misst den erwarteten marginalen Gewinn, den diese Modalität zum Erfolg des Angriffs beiträgt, wenn sie zu allen möglichen Koalitionen anderer Modalitäten hinzugefügt wird.
  • Bedeutung: Ein hoher Wert für eine Modalität (z. B. Text) und ein Wert nahe Null für eine andere (z. B. Bild) zeigt einen Kollaps an.

• Cross-Trigger Interaction (CTI):

  • Ziel: Messung nicht-additiver Synergien oder Redundanzen zwischen Modalitäten.
  • Funktionsweise: Es wird berechnet, ob der kombinierte Effekt mehrerer Trigger größer ist als die Summe der einzelnen Effekte.
  • Formel: $I = v(M) - \sum v(\{m\}) + (M-1)v(\emptyset)$.
  • Bedeutung: Ein positiver Wert ($I > 0$) deutet auf echte Synergie hin, ein negativer Wert ($I < 0$) auf Interferenz oder Redundanz.

Experimentelles Setup:

• Modell: InstructPix2Pix (basierend auf Stable Diffusion) für instruktionsgesteuerte Bildbearbeitung.
• Daten: CelebA-Dataset.
• Trigger-Paare: Drei Kombinationen aus Bild- und Texttriggern (z. B. „White-box" + „mignneko", „Brille" + „anonymous", „Stop-Schild" + „latte coffee").
• Vergiftungsstrategien: OR-Vergiftung (Trigger in entweder Text oder Bild oder beidem) und AND-Vergiftung (Trigger nur in beiden gleichzeitig), mit Vergiftungsraten von 1% bis 10%.

3. Wichtige Ergebnisse

Die Experimente über verschiedene Konfigurationen hinweg zeigen konsistent das Phänomen des Backdoor-Modalkollapses:

1. Dominanz einer Modalität (Modality Dominance):

   • Backdoor-Angriffe degenerieren fast immer zu unimodalen Angriffen.
   • Beispiel: Beim Trigger-Paar „White-box + mignneko" mit 5% Vergiftungsrate (OR-Protokoll) trägt der Texttrigger ($\phi_T$) mit 0,9743 fast vollständig zum Angriffserfolg bei, während der Bildtrigger ($\phi_I$) nur 0,0060 beiträgt.
   • Das Modell ignoriert effektiv den Bildtrigger und verlässt sich fast ausschließlich auf den Texttrigger, selbst wenn beide vorhanden sind.

2. Negative Interaktion (Negative Interaction):

   • Die Kombination von Bild- und Texttriggern führt zu keiner echten synergistischen Steigerung.
   • Der CTI-Wert ist durchweg negativ (z. B. $I = -0,0089$ im obigen Beispiel).
   • Dies bedeutet, dass die Modalitäten sich gegenseitig behindern oder redundant sind. Der Bildtrigger fügt dem Texttrigger keinen zusätzlichen Nutzen hinzu; er ist lediglich ein überflüssiger Teil des dominanten Texttriggers.

3. Ursachenanalyse:

   • Optimierungs-Ungleichgewicht: Der Textmodul erzeugt während des Trainings stärkere und konsistentere Gradienten als der Bildmodul. Das Modell „short-circuitet" (umgeht) den komplexeren Bildtrigger, um den Loss schneller zu minimieren.
   • Fehlende Ausrichtung im latenten Raum: Obwohl Text und Bild in einen gemeinsamen latenten Raum projiziert werden, stammen sie aus heterogenen Repräsentationen. Die hohe Dimensionalität des Bildinputs führt zu einem Engpass, wodurch das Modell feinere Bildmerkmale (wie subtile Trigger) als Rauschen behandelt und zugunsten der kompakteren, semantisch dichteren Textrepräsentationen verwirft.

4. Ausschluss der „Ineffektivität"-Hypothese:

   • Ein separates Experiment zeigte, dass Bildtrigger allein funktionsfähig sind (hohe Angriffserfolgsrate, wenn nur Bilder vergiftet wurden). Der Kollaps ist also nicht darauf zurückzuführen, dass Bildtrigger per se schlecht funktionieren, sondern auf das dynamische Ungleichgewicht im multimodalen Training.

4. Hauptbeiträge

• Entdeckung eines neuen Phänomens: Erste systematische Identifizierung und Charakterisierung des „Backdoor Modality Collapse" in multimodalen Diffusionsmodellen.
• Methodischer Rahmen: Einführung der Metriken TMA und CTI, die eine granulare Zerlegung der Backdoor-Aktivierungsmechanismen ermöglichen und zwischen echter Synergie und Kollaps unterscheiden.
• Empirische Evidenz: Nachweis, dass die intuitive Annahme „Multimodalität = stärkere Angriffe" falsch ist. Hohe Angriffserfolgsraten können täuschen und eine gefährliche Abhängigkeit von nur einer Modalität verbergen.

5. Bedeutung und Implikationen

Die Arbeit hat weitreichende Konsequenzen für die Sicherheit und das Design von KI-Systemen:

• Sicherheitsbewertung: Aktuelle Evaluierungen, die sich nur auf die Gesamterfolgsrate bei kombinierten Triggern konzentrieren, sind unzureichend. Sie können die Verwundbarkeit der einzelnen Modalitäten verschleiern.
• Angriffsvektor: Für Angreifer ist es einfacher geworden, da sie sich oft nur auf die Manipulation der dominanten Modalität (z. B. Hinzufügen eines seltenen Tokens zum Prompt) konzentrieren müssen, um den Angriff auszulösen.
• Verteidigung: Die Ergebnisse legen nahe, dass Verteidigungsstrategien nicht nur auf die Erkennung von Triggern abzielen sollten, sondern auch die Optimierungsdynamik und die Ausgewogenheit der Modalitäten während des Trainings adressieren müssen, um zu verhindern, dass das Modell auf eine einzige Modalität „abdriftet".
• Zukünftige Forschung: Die Arbeit bietet eine prinzipielle Grundlage für die mechanistische Analyse von Multimodalität und die Entwicklung robusterer Architekturen, die echte Synergien zwischen Modalitäten erzwingen.

Zusammenfassend zeigt das Paper, dass in multimodalen Diffusionsmodellen „weniger mehr sein kann": Ein Angriff, der auf einer einzigen, dominanten Modalität basiert, ist oft effektiver und robuster als ein komplexer multimodaler Angriff, der auf der Annahme der Synergie beruht.