🤖 AI

Securing Multimodal AI through Internal Information Decomposition

Das Paper schlägt FlowGuard vor, ein leichtgewichtiges Framework zur Laufzeit, das multimodale KI durch die Erkennung von Adversarial Attacks mittels interner kreuzmodaler Konsistenzüberwachung unter Verwendung von von der Partial Information Decomposition inspirierter FlowVectors absichert und dabei signifikante Reduktionen der Erfolgsrate von Angriffen bei minimalem Latenz- und Nutzenverlust erzielt.

Ursprüngliche Autoren: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Veröffentlicht 2026-07-27

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen Roboter, der die Welt durch eine Kamera sehen und mit Ihnen über ein Mikrofon sprechen kann. Dieser Roboter ist ein „Multimodales Großes Sprachmodell“, eine superintelligente KI, die Bilder und Wörter kombiniert, um zu verstehen, was gerade passiert. Aber hier liegt der knifflige Teil: Nur weil der Roboter ein harmloses Bild sieht und einen harmlosen Satz hört, bedeutet das noch nicht, dass die Kombination aus beiden sicher ist. Es ist wie wenn man einem Koch das Bild eines Kuchens und ein Rezept für einen Kuchen reicht, ihm aber dann einen geheimen Code ins Ohr flüstert, der ihm sagt, Gift hinzuzufügen. Das Bild sieht gut aus, das Rezept sieht gut aus, aber das fertige Gericht ist gefährlich. Dies ist die neue Art von Gefahr, vor der Forscher gewarnt sind: Hacker, die ihre böswilligen Absichten zwischen einem Bild und einem Text aufteilen, sodass weder das eine noch das andere für sich genommen verdächtig aussieht, aber zusammen die KI dazu bringen, etwas Schädliches zu tun.

Um diese hinterlistigen Tricks zu entlarven, versuchen Wissenschaftler normalerweise, das Bild oder den Text separat zu prüfen, wie ein Sicherheitswachmann, der eine Tasche und den Ausweis einer Person einzeln kontrolliert. Aber dieser Artikel schlägt einen klügeren Weg vor: Anstatt nur die Eingaben zu betrachten, sollten wir beobachten, wie das Gehirn des Roboters darüber nachdenkt. Der Kern der Idee ist, dass Bild und Text miteinander übereinstimmen und dem Roboter helfen sollten, eine klare, sichere Entscheidung zu treffen, wenn der Roboter normal arbeitet. Wenn ein Hacker versucht, den Roboter zu täuschen, bricht diese interne Übereinstimmung zusammen. Das Gehirn des Roboters wird verwirrt, oder das Bild und der Text ziehen in entgegengesetzte Richtungen, selbst wenn die endgültige Antwort glatt aussieht. Der Papier schlägt ein neues Sicherheitssystem namens FlowGuard vor, das wie ein „Gedanken-Detektiv“ fungiert, der den internen Denkprozess des Roboters beobachtet, um festzustellen, ob Bild und Text gegeneinander kämpfen oder seltsam agieren, anstatt nur die oberflächlichen Wörter oder Pixel zu prüfen.

Die Geschichte von FlowGuard: Das Aufspüren des „Gedankenbruchs“

Die Forscher hinter diesem Papier, angeführt von Jehyeok Yeon und Kollegen, bemerkten etwas Faszinierendes darüber, wie diese KI-Modelle funktionieren. Wenn man einem Modell ein normales Bild und eine normale Frage gibt, verstehen sich der Teil des Gehirns, der das Bild betrachtet, und der Teil, der den Text liest, normalerweise prächtig. Sie teilen Informationen, einigen sich darauf, was wichtig ist, und die endgültige Antwort fühlt sich stabil und sicher an. Es ist wie zwei Freunde, die gemeinsam eine Sandburg bauen; beide wissen, wie die Burg aussehen sollte, und ihre kombinierte Anstrengung macht die Burg stärker und detaillierter.

Wenn jedoch ein Angreifer versucht, das Modell zu „jailbreaken“ – also es dazu zu bringen, seine Sicherheitsregeln zu ignorieren, indem er eine schlechte Anweisung in einem Bild oder einem Text versteckt –, bricht die Harmonie. Das Papier legt nahe, dass selbst wenn der Angreifer geschickt genug ist, das Bild und den Text für sich genommen harmlos aussehen zu lassen, in dem Moment, in dem das Modell versucht, sie zu kombinieren, etwas schiefgeht. Die interne Logik wird „gebrochen“. Das Bild schreit vielleicht das eine, während der Text das andere flüstert, oder die Kombination erzeugt ein verwirrendes Chaos, das das Gehirn des Modells nicht reibungslos auflösen kann.

Um dies aufzuspüren, hat das Team FlowGuard entwickelt. Betrachten Sie FlowGuard nicht als Wachmann an der Tür, sondern als Übersetzer, der direkt im Gehirn des Roboters sitzt. Es schaut nicht nur auf die endgültige Antwort; es späht in die allererste Sekunde des Entscheidungsprozesses des Roboters hinein. Es stellt drei schnelle Fragen:

Was würde der Roboter sagen, wenn er nur das Bild betrachtete?
Was würde er sagen, wenn er nur den Text las?
Was sagt er, wenn er sich beides zusammen ansieht?

Dann vergleicht es diese drei Antworten. In einer sicheren Situation sollte die „beides“-Antwort eine glückliche Mischung der anderen beiden sein, wie eine sanfte Mischung aus roter und gelber Farbe, die Orange ergibt. Aber bei einem Angriff könnte die „beides“-Antwort plötzlich eine seltsame Farbe annehmen, oder die rote und die gelbe Farbe könnten sich weigern, sich überhaupt zu vermischen. FlowGuard misst dieses „Mischen“ mithilfe einiger ausgeklügelter mathematischer Verfahren (inspiriert von einem Konzept namens Partielle Informationszerlegung), um einen FlowVector zu erstellen. Dies ist ein kleiner, vierstelliger Code, der genau beschreibt, wie Bild und Text interagieren.

Redundanz: Stimmen Bild und Text überein? (Hohe Redundanz bedeutet, dass sie auf derselben Wellenlänge sind).
Einzigartigkeit (Uniqueness): Dominiert einer von beiden das Gespräch? (Wenn das Bild schreit und der Text schweigt, ist das eine hohe visuelle Einzigartigkeit).
Synergie: Macht die Kombination die Antwort klarer oder macht sie sie verwirrender? (Gute Synergie bedeutet, dass das Ganze größer ist als die Summe seiner Teile; schlechte Synergie bedeutet, dass die Kombination Chaos erzeugt).

Das Team trainierte FlowGuard ausschließlich mit „guten“ Beispielen – tausenden von normalen Bildern und Fragen, bei denen der Roboter perfekt funktionierte. Sie brachten einem KI-Detektor (einem Isolation Forest) bei, was ein „normaler“ Fluss ist. Da sie ihn nur mit gutem Verhalten trainierten, weiß der Detektor, dass alles, was auch nur leicht vom normalen Muster abweicht, verdächtig ist. Es ist wie das Erlernen eines Sicherheitssystems, das das Geräusch eines normalen Hauses erkennt; wenn ein Fenster zerbricht oder ein Dielenboden auf eine seltsame Weise knarrt, geht der Alarm los, selbst wenn der Eindringling eine Verkleidung trägt.

Was sie herausfanden

Die Ergebnisse waren überraschend effektiv. Die Forscher testeten FlowGuard gegen eine Vielzahl von Angriffen, darunter solche, bei denen Hacker schlechte Wörter in ASCII-Art versteckten, Bilder durch unsichtbare Pixelveränderungen manipulierten oder eine schlechte Anweisung über ein Bild und einen Satz aufteilten.

Ohne jegliche Verteidigung waren diese Modelle unglaublich verwundbar. Bei einigen der hinterlistigsten Angriffe versagten die Modelle in mehr als 90 % der Fälle und generierten bereitwillig schädliche Inhalte. Aber als FlowGuard eingeschaltet wurde, senkte es die Erfolgsrate dieser Angriffe auf unter 15 %. In vielen Fällen fing es fast jeden einzelnen Versuch ab und brachte die Fehlerrate auf einstellige Werte (etwa 6 % bis 9 % bei Cross-Modal-Angriffen).

Was wirklich cool ist: FlowGuard hat nicht nur die „Bösen“ gestoppt, sondern es hat auch nicht versehentlich die „Guten“ aufgehalten. Die Forscher prüften, ob FlowGuard auch bei normalen Fragen „griesgrämig“ werden und die Antwort verweigern würde. Sie fanden heraus, dass es nur bei etwa 2,4 % der sicheren Eingaben Fehler machte, was viel besser ist als andere Sicherheitsmethoden, die oft harmlose Fragen blockieren, nur um auf Nummer sicher zu gehen. Zudem war es super schnell. Während einige andere Sicherheitsprüfungen mehrere Sekunden benötigten, um komplexe Bildrekonstruktionen durchzuführen, erledigte FlowGuard seinen Job in etwa 1,3 Sekunden, was es praktisch für den Echtzeitgebrauch macht.

Das Papier zeigte auch, dass dieser Trick bei verschiedenen Arten von Robotern funktioniert, von kleineren mit 4 Milliarden „Gehirnzellen“ bis hin zu massiven Modellen mit 70 Milliarden. Es funktionierte sogar bei einem Modell, das über eine API aufgerufen wurde (bei dem man nicht das ganze Gehirn sieht, sondern nur die obersten Vorhersagen), was beweist, dass das Signal des „gebrochenen Gedankens“ ein grundlegender Teil der Funktionsweise dieser Modelle ist und nicht nur ein Fehler in einem spezifischen Design.

Das Fazit

Dieser Artikel legt nahe, dass der beste Weg, multimodale KI zu schützen, nicht darin besteht, höhere Mauern um die Eingaben zu bauen, sondern darauf zu hören, wie die KI denkt. Indem man beobachtet, in dem Moment, in dem Bild und Text aufhören, gut miteinander zu spielen, kann FlowGuard den Trick eines Hackers erkennen, noch bevor der Roboter seinen Satz beendet hat. Es ist eine leichte, schnelle und überraschend robuste Methode, um diese mächtigen Werkzeuge sicher zu halten, was darauf hindeutet, dass der Schlüssel zur Sicherheit vielleicht einfach darin besteht, der internen Harmonie des mechanischen Geistes Aufmerksamkeit zu schenken.

Technisches Resümee: Absicherung multimodaler KI durch interne Informationsdekomposition

Problemstellung

Multimodale Large Language Models (MLLMs) führen neue Angriffsflächen ein, die in unimodalen Systemen nicht vorhanden sind. Akteure können bösartige Absichten über verschiedene Modalitäten (Text und Bild) verteilen, sodass die einzelnen Eingaben für sich genommen harmlos und intern kohärent erscheinen, ihre Kombination jedoch ein unsicheres Verhalten induziert. Dieser „kompositionale“ Fehlermodus macht traditionelle Sicherheitsmechanismen unwirksam. Bestehende Ansätze konzentrieren sich auf die Bereinigung der Rohdaten, die Verifizierung generierter Ausgaben oder die Überwachung skalarer Konfidenzmetriken (z. B. Likelihood, Entropie, Perplexität). Diese Methoden scheitern jedoch oft, wenn die rein textuelle und die rein visuelle Argumentation jeweils konsistent erscheinen, die Fusion daraus jedoch ein selbstbewusstes, aber kompositional fehlgeleitetes Verhalten erzeugt. Die zentrale Herausforderung besteht darin, diese Fehler zu erkennen, ohne das zugrunde liegende Modell zu modifizieren oder auf adversarielles Training angewiesen zu sein, insbesondere wenn die Angriffe unbekannt oder Zero-Shot-Angriffe sind.

Methodik: FlowGuard

Die Autoren schlagen FlowGuard vor, ein leichtgewichtiges Framework zur Laufzeit (Inference-Time), das schädliche Eingaben durch die Überwachung der internen Konsistenz des multimodalen Schließens erkennt. Anstatt oberflächliche Eingaben oder Ausgaben zu inspizieren, analysiert FlowGuard die Interaktion zwischen unimodalen und multimodalen Verteilungen.

Kernmechanismus

FlowGuard operiert durch das Probing des Ziel-MLLM unter drei verschiedenen Konditionierungskonfigurationen:

Text-only: $P^{(1)}_t = P_M(\cdot \mid \emptyset, Q)$
Vision-only: $P^{(1)}_v = P_M(\cdot \mid I, Q_\emptyset)$ (unter Verwendung eines festen neutralen Prompts)
Joint Multimodal: $P^{(1)}_{mm} = P_M(\cdot \mid I, Q)$

Das System konzentriert sich auf die erste-Token-Vorhersageverteilung ( $P^{(1)}$ ), welche den initialen Entscheidungszustand des Modells vor der autoregressiven Verstärkung erfasst.

FlowVektoren und Partielle Informationsdekomposition (PID)

Inspiriert von der Partiellen Informationsdekomposition (PID) leitet FlowGuard einen 4-dimensionalen FlowVektor $\phi(x) = (U_v, U_t, R, S)$ ab, der quantifiziert, wie Informationen aus Text und Vision überlappen, divergieren und unter Fusion stabilisieren:

Einzigartigkeit ( $U_v, U_t$ ): Gemessen mittels gerichtete Kullback–Leibler-Divergenz (KL-Divergenz).
- $U_v = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_t)$ : Erfasst, wie stark die fusionierte Posterior von der Text-only Prior divergiert (visuelle Dominanz).
- $U_t = D_{KL}(P^{(1)}_{mm} \parallel P^{(1)}_v)$ : Erfasst die Divergenz von der Vision-only Prior (textuelle Dominanz).
- Bedeutung: Adversarielle Manipulation bricht oft das Gleichgewicht des Modalitätseinflusses, was zu asymmetrischen Divergenzsignalen führt.
Redundanz ( $R$ ): Gemessen als $1 - JSD(P^{(1)}_t \parallel P^{(1)}_v)$ $1 - J S D (P_{t}^{(1)} ∥ P_{v}^{(1)})$ , wobei JSD die Jensen–Shannon-Divergenz ist.
- Bedeutung: Erfasst die semantische Ausrichtung der unimodalen Priors. Benigne Eingaben induzieren ausgerichtete Strukturen; adversarielle Prompts führen zu Konflikten in der Intention, was die Redundanz verringert.
Synergie ( $S$ ): Gemessen als Entropiereduktion: $S = \frac{H(P^{(1)}_t) + H(P^{(1)}_v)}{2} - H(P^{(1)}_{mm})$ $S = \frac{H ( P _{t}^{(1)} ) + H ( P _{v}^{(1)} )}{2} - H (P_{mm}^{(1)})$ .
- Bedeutung: Gibt an, ob die Fusion die Unsicherheit reduziert (konstruktive Integration, $S > 0$ ) oder verstärkt (instabile Interaktion, $S < 0$ ).

Verteidigungsziel

FlowGuard formuliert die Erkennung von Sicherheit als One-Class-Klassifizierungsproblem. Ein Isolation Forest wird ausschließlich auf FlowVektoren trainiert, die aus benignen Daten (z. B. VQAv2-Validierungsset) stammen. Das Modell lernt den kompakten Bereich des „ausgerichteten“ multimodalen Informationsflusses. Adversarielle Eingaben, die abnormale Kreuz-Modalitäts-Interaktionen aufweisen (z. B. gebrochener Fluss, negative Synergie oder extreme Modalitätsdominanz), erscheinen als Ausreißer in diesem Raum.

Zugangsvoraussetzungen: FlowGuard benötigt lediglich Zugriff auf die Next-Token-Wahrscheinlichkeitsverteilung (oder einen ausreichend großen Top- $k$ Logprob-Tail für API-Modelle). Es erfordert keine Modellgewichte, Gradienten oder verborgene Aktivierungen.

Wichtige Beiträge

Prozessorientierte multimodale Sicherheit: Die Arbeit definiert die Sicherheit von MLLMs neu, indem sie sich auf die Konsistenz zwischen textueller, visueller und gemeinsamer Vorhersageverteilung konzentriert und direkt auf Fehler der multimodalen Fusion abzielt, statt auf oberflächlichen Inhalten.
FlowVektoren: Die Einführung kompakter, informationstheoretischer Merkmale (Redundanz, Einzigartigkeit, Synergie), die den internen Informationsfluss des multimodalen Schließens zur Laufzeit erfassen.
Zero-Shot-Angriffserkennung: Der Nachweis, dass die Modellierung benignen multimodalen Verhaltens mittels One-Class-Klassifizierung eine robuste Erkennung vielfältiger, unbekannter Jailbreaks ermöglicht, ohne dass ein adversarielles Training oder generative Verifizierung notwendig ist.

Experimentelle Ergebnisse

Die Autoren evaluierten FlowGuard über mehrere MLLM-Architekturen (LLaVA-1.5-7B, Qwen2.5-VL-7B, Gemma-3-4B, LLaMA-3.1-70B) und Benchmarks (MM-SafetyBench, VLSafe, VLSU), die textuelle, visuelle und cross-modale Angriffe abdecken.

Reduktion der Attack Success Rate (ASR): FlowGuard reduzierte die ASR konsistent von $>90\%$ (ungeschützt) auf $<15\%$ bei unbekannten Angriffen. Beispielsweise reduzierte es bei LLaVA-1.5-7B die ASR für den Universal Master Key (UMK) von 96,0% auf 8,7% und für die Color-Based Substitution Cipher (CBSC) von 94,8% auf 9,1%.
Erhalt der Nützlichkeit (Utility): Das Framework hielt die benigne Nützlichkeit innerhalb von 2,4% der Baseline-Performance. Es erreichte eine False Positive Rate (FPR) von 2,4% bei benignen, aber semantisch komplexen Abfragen (MOSSBench) und übertraf damit signifikant Perplexitäts-basierte (11,2% FPR) und Konfidenz-basierte Detektoren (14,5% FPR).
Effizienz: FlowGuard arbeitet mit einer Latenz von etwa 1,3 Sekunden pro Sample (einschließlich drei Forward-Passes) und bietet damit eine bis zu 6-fache Beschleunigung gegenüber diffusionsbasierten Verifizierungsmethoden wie MirrorCheck und CIDER.
Robustheit: Die Methode zeigte Robustheit über verschiedene Modellskalen (4B bis 70B Parameter) und Teil-Verteilungszugriffe (GPT-4.1-mini mit Top- $k$ Logprobs), wobei sie eine durchschnittliche ASR von 10,4% beibehielt.
Ablationsstudien:
- Synergie ( $S$ ): Das Entfernen des Synergie-Merkmals führte zum größten Leistungsabfall, was darauf hindeutet, dass Abweichungen in der Reduktion der multimodalen Unsicherheit ein primäres Erkennungssignal sind.
- Dekodierungsschritte: Die Überwachung nur des ersten Dekodierungsschritts ( $k=1$ ) war ausreichend für die Sättigung; eine Erhöhung von $k$ brachte im Verhältnis zu den linearen Latenzkosten kaum noch Gewinne.
- Klassifikator-Wahl: Der One-Class Isolation Forest übertraf über überwachte MLPs bei unbekannten Angriffen, wodurch das Overfitting auf spezifische Perturbationsmuster vermieden wurde.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Überwachung der Kreuz-Modal-Konsistenz eine effiziente und effektive Verteidigung für multimodales Schließen bietet, die ein grundlegendes Limit bisheriger Sicherheitskriterien adressiert, welche den Fokus auf Fluenz und Konfidenz statt auf die Struktur der multimodalen Integration legen.

Generalisierbarkeit: Durch die Abhängigkeit von der strukturellen Konsistenz des Informationsflusses statt von spezifischen Angriffsmustern bietet FlowGuard eine angriff-agnostische Verteidigung, die über Architekturen und unbekannte Jailbreak-Strategien hinweg generalisiert.
Komplementarität: Die Autoren positionieren FlowGuard als ergänzende Ebene zu bestehenden Methoden der Input-Purifizierung und Output-Verifizierung, da es ein modellinternes Signal liefert, das Fehler in der multimodalen Integration erkennt, welche oberflächliche Prüfungen übersehen.
Skalierbarkeit: Das Framework ist leichtgewichtig, erfordert kein Modell-Retraining oder Zugriff auf Gradienten und ist somit für den Einsatz in realen Systemen geeignet, in denen Modellgewichte proprietär oder unzugänglich sein können.

Die Autoren merken an, dass FlowGuard zwar sehr effektiv gegen Cross-Modal- und visuelle Angriffe ist, aber eine etwas höhere restliche ASR bei textbasierten Angriffen (ca. 13–14%) zeigt, was darauf hindeutet, dass eine Kombination mit textspezifischen Abwehrmechanismen für einen umfassenden Schutz notwendig sein könnte. Sie räumen zudem ein, dass die Veröffentlichung von Erkennungsmechanismen adaptive Angreifer informieren kann und dass anomaliereagierende Ansätze das Risiko bergen, seltene, aber legitime Eingaben fälschlicherweise zu markieren, was eine sorgfältige Kuration von Referenzdatensätzen und die Prüfung von False Positives in sensiblen Anwendungen erfordert.