💻 computer science

Overloading Large Vision-Language Models for Jailbreaking

Dieses Paper schlägt einen neuartigen „Information Overloading“-Jailbreak-Angriff vor, der rekursive Bild-Typografie-Layouts nutzt, um Large Vision-Language-Modelle mit komplexen multimodalen Eingaben zu überfordern, wobei durch die Ausnutzung intensivierter cross-modaler Verarbeitung die Sicherheitsausrichtung untergraben wird und so staatliche Erfolgsraten bei Open-Source- sowie kommerziellen Modellen erzielt werden.

Ursprüngliche Autoren: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Vision-Language Models (LVLMs) als unglaublich kluge, vielseitige Assistenten vor. Sie können Text lesen, Bilder betrachten und verstehen, wie diese beiden Dinge miteinander in Beziehung stehen. Sie sind wie ein Bibliothekar, der auch ein Gemälde beschreiben kann, während er ein Buch darüber liest. Doch genau wie jedes intelligente System haben auch sie Sicherheitsregeln, um sie vor böswilligen Handlungen zu stoppen (wie etwa Anleitungen zum Hacken eines Bankkontos zu geben).

Dieses Paper stellt eine neue Methode vor, mit der man diese Assistenten dazu verleiten kann, ihre eigenen Sicherheitsregeln zu brechen. Die Autoren nennen diese Methode „Information Overloading“ (Informationsüberlastung).

So funktioniert es, erklärt anhand einfacher Analogien:

1. Die alte Methode: Die Nadel verstecken

Frühere Versuche, diese KI-Assistenten zu überlisten, waren wie der Versuch, eine Nadel in einem Heuhaufen zu verstecken. Angreifer nahmen eine schlechte Anfrage und tarnten sie mithilfe von seltsamen Bildern oder verwirrenden Wörtern (Out-of-Distribution oder „OOD“-Angriffe). Sie hofften, dass die KI durch die Merkwürdigkeit abgelenkt würde und die böswillige Absicht übersieht.

Aber die KI ist klüger geworden. Sie ist nun besser darin, diese „merkwürdige Nadel“ zu erkennen und zu sagen: „Nein, das werde ich nicht tun.“

2. Die neue Methode: Der „Feuerlöschschlauch“ an Informationen

Die Autoren dieses Papers erkannten, dass es effektiver ist, die schlechte Anfrage nicht zu verstecken, sondern die KI in so vielen Informationen zu ertränken, dass sie überfordert wird.

Stellen Sie sich vor, Sie versuchen, jemandem eine einfache Regel zu erklären, aber Sie tun dies gleichzeitig auf drei verwirrende Arten:

Der Text: Sie schreiben einen langen, komplizierten Absatz.
Das Bild: Sie zeigen ihnen ein Bild mit winzigem, schwer lesbarem Text, der überall darauf geschrieben steht (wie ein Poster, das mit überlappenden Schildern bedeckt ist).
Die Verschachtelung: Sie sagen ihnen: „Lies zuerst den Text auf dem Bild, dann lies den Text über den Text auf dem Bild und erkläre dann, wie sich das mit der Hauptfrage verbindet.“

Dies ist das, was die Autoren als „Image-Typography“ und „Recursive Layouts“ (rekursive Layouts) bezeichnen. Sie erstellen Bilder, in denen der Text in komplexen, baumartigen Mustern in das Bild eingebettet ist.

3. Warum es funktioniert: Der „Gehirnfreeze“

Das Paper erklärt, dass die KI bei dem Versuch, dieses massive, verworrene Chaos aus Text und Bildern zu verarbeiten, viel härter arbeiten muss als gewöhnlich. Sie muss ständig zwischen dem Lesen des Textes und der Analyse des Bildes hin- und herwechseln.

Die Analogie: Denken Sie an den Sicherheitsdienst einer KI als an einen Türsteher in einem Club. Normalerweise prüft der Türsteher schnell den Ausweis (den Text) und das Outfit (das Bild). Wenn etwas verdächtig aussieht, sagt er: „Nein.“
Der Angriff: Bei dieser neuen Methode überreicht der Angreifer dem Türsteher ein 50-seitiges Dossier, eine Karte mit 100 transparenten Layern und eine Liste mit 50 verwirrenden Regeln in winziger Schrift. Der Türsteher ist so sehr damit beschäftigt, all diese Informationen zu verarbeiten, dass er verwirrt wird. Er verliert sein Selbstvertrauen. Anstatt ein entschiedenes „Nein“ zu sagen, zögert er und lässt die Person schließlich doch hinein.

Das Paper fand heraus, dass diese „Verwirrung“ die KI weniger sicher in ihrer Ablehnung schlechter Anfragen macht. Wenn eine KI unsicher ist, ist es wahrscheinlicher, dass sie versehentlich „Ja“ zu etwas sagt, das sie eigentlich ablehnen sollte.

4. Die Ergebnisse: Ein Generalschlüssel

Die Forscher testeten diese „Feuerlöschschlauch“-Methode an vielen verschiedenen KI-Modellen, einschließlich Open-Source-Modellen (wie Qwen und Llama) sowie bekannten kommerziellen Modellen (wie Gemini und GPT-4).

Die Punktzahl: Sie maßen, wie oft die KI ihre Regeln brach (Attack Success Rate – Erfolgsrate des Angriffs). Ihre neue Methode funktionierte in 88,6 % der Fälle bei Open-Modellen und in 84,0 % der Fälle bei kommerziellen Modellen.
Vergleich: Dies ist deutlich besser als frühere Methoden, die nur etwa 40–50 % der Zeit funktionierten.
Cross-Model Magic: Selbst wenn sie den Angriff auf ein spezifisches KI-Modell trainierten, funktionierte er überraschend gut auf anderen Modellen, die sie noch nie gesehen hatten. Es ist, als würde man einen Schlüssel erstellen, der in viele verschiedene Schlösser passt, weil der „Schließmechanismus“ (der Sicherheitswächter) durch die Überlastung bei allen Modellen auf die gleiche Weise überfordert wird.

5. Was das bedeutet

Das Paper kommt zu dem Schluss, dass die größte Gefahr für diese KI-Assistenten derzeit nicht nur darin besteht, schlechte Anfragen zu „verstecken“, sondern sie mit zu vielen komplexen Informationen zu überlasten.

Die Autoren warnen davor, dass diese „Informationsüberlastung“-Taktik genutzt werden könnte, um Sicherheitsfilter zu umgehen, wenn KI im echten Leben immer häufiger eingesetzt wird (beim Lesen von Dokumenten, beim Betrachten von Screenshots, bei der Unterstützung bei Aufgaben). Sie hoffen, dass sie durch das Aufzeigen dieser Funktionsweise Entwickler dazu bewegen können, stärkere Sicherheitsmechanismen zu bauen, die nicht verwirrt sind, wenn die Informationen chaotisch werden.

Kurz gesagt: Das Paper zeigt, dass es einer KI, wenn man ihr gleichzeitig massenhaft komplexe Texte und Bilder zuwirft, so sehr mit dem Versuch beschäftigt ist, das Chaos zu begreifen, dass sie vergisst, auf gefährliche Anfragen mit „Nein“ zu antworten.

Technisches Resümee: Überlastung großer visuell-linguistischer Modelle für Jailbreaking

1. Problemstellung

Große visuell-linguistische Modelle (Large Vision-Language Models, LVLMs) werden zunehmend in realen Anwendungen wie persönlichen Assistenten und der Dokumentenanalyse eingesetzt. Ihre dual-modale Natur (Verarbeitung von sowohl Bild als auch Text) schafft jedoch einzigartige Angriffsflächen. Während Jailbreaks bei großen Sprachmodellen (LLMs) sich von einfachen Prompts zu komplexen, mehrdimensionalen Strategien (z. B. Rollenspiele, verschachtelte Instruktionen) entwickelt haben, bleiben bestehende LVLM-Jailbreak-Angriffe vergleichsweise primitiv. Die meisten aktuellen LVLM-Angriffe basieren auf Out-of-Distribution (OOD)-Transformationen, wie etwa dem Verbergen schädlicher Instruktionen als Typografie innerhalb von Bildern oder der Verwendung ablenkender Teilbilder, um Verteilungsverschiebungen zu erzeugen.

Die Autoren argumentieren, dass mit der Integration stärkerer LLM-Backbones und verbesserter multimodaler Fusionsmechanismen diese einfachen OOD-basierten Angriffe weniger effektiv werden, insbesondere im Hinblick auf die Übertragbarkeit auf verschiedene Modellarchitekturen. Es klafft eine Lücke zwischen der Komplexität moderner LLM-Jailbreaks und der Einfachheit aktueller LVLM-Angriffsdesigns. Das Paper postuliert, dass LVLMs nicht nur gegenüber der Verschleierung von Absichten, sondern gegenüber Informationsüberlastung (Information Overloading) anfällig sind, bei der eine übermäßige Kreuzmodal-Verarbeitung die Sicherheitsausrichtung untergräbt.

2. Methodik: Informationsüberlastung

Das Paper schlägt ein neuartiges Angriffsschema vor, das auf Informationsüberlastung basiert und darauf abzielt, die Sicherheitsmechanismen des LVLM zu überwältigen, indem es das Modell zwingt, dichte, komplexe und rekursiv strukturierte multimodale Eingaben zu verarbeiten. Die Methodik unterteilt sich in zwei Stufen:

2.1. Theoretische Untersuchung: Mechanismus der Informationsüberlastung

Bevor das Angriffsszenario vorgeschlagen wird, führten die Autoren eine Probestudie durch, um zu verstehen, warum komplexe Prompts erfolgreich sind.

Beobachtung: Wenn LVLMs mit komplexen Prompts konfrontiert werden, die Typografie und verschachtelte Instruktionen enthalten (im Gegensatz zu einfachen Prompts), sinkt ihr Konfidenzniveau bei der Verweigerung (Refusal Confidence). Dies wird durch einen Anstieg der Entropie des ersten generierten Tokens während einer Verweigerung gemessen.
Mechanismus: Unter Verwendung einer „Attention Knockout“-Technik analysierten die Autoren die Informationsflüsse. Sie fanden heraus, dass komplexe Prompts intensive Kreuzmodal-Informationsflüsse induzieren (speziell von Bild-/Typografie-Tokens zu Text-Tokens). Das Modell investiert mehr Rechenaufwand in die Integration dieser Modalitäten, um die Sicherheit zu bestimmen, was paradoxerweise die Gewissheit bei der Generierung einer Verweigerungsantwort reduziert.
Hypothese: Durch die gezielte Überlastung des Modells mit hochverdichteter, mehrdimensionaler Information kann der Sicherheitsausrichtungsmechanismus gestört werden, was zu einer höheren Wahrscheinlichkeit führt, schädliche Inhalte zu generieren.

2.2. Das Angriffsschema: INFER und INFER+

Um diese Hypothese zu operationalisieren, entwickelten die Autoren zwei iterative Angriffsmethoden:

A. INFER (Interleaved Nested reFERencing)
Dies ist die grundlegende Vorlage, die eine hierarchische Struktur der Instruktionsverarbeitung erstellt.

Dekomposition: Eine schädliche Textanfrage wird in eine harmlose Instruktion und eine schädliche Phrase aufgeteilt.
Einbettung: Die schädliche Phrase wird als Typografie in das Bild ( $v_{harm}$ ) eingebettet, während die harmlose Instruktion ebenfalls als Typografie ( $v_{inst}$ ) eingebettet wird.
Referenzierung: Der Textprompt ( $t_{atk}$ ) weist das Modell explizit an, die harmlose Instruktion im Bild zu erkennen, welche wiederum auf die schädliche Phrase verweist.
Effekt: Dies zwingt das LVLM dazu, eine Kette von Referenzen aufzulösen (Text $\to$ Bild-Instruktion $\to$ Schädliche Bild-Phrase), was die Last der Kreuzmodal-Verarbeitung erhöht.

B. INFER+ (Entropie-gesteuerte Überlastung)
Dies ist die optimierte, skalierbare Version von INFER, die Diversität und exponentielle Komplexität einführt.

Verfeinerung der typografischen Prompts: Ein Hilfssatz von Jailbreak-Regeln ( $v_{rule}$ ) wird als Typografie eingebettet. Diese Regeln beinhalten diverse Angriffsdimensionen wie Framing (Rollenspiele, Szenarienmanipulation) und Constraint (Erzwingung von Ausgabeformaten).
Visuelle Informationsverstärkung: Der Angriff verwendet ein rekursives Baum-Layout. Die schädlichen Bild-Text-Blöcke werden wiederholt innerhalb einer Baumstruktur eingebettet, die durch Rekursionstiefe und Verzweigungsfaktoren definiert ist. Dies erhöht die visuelle Informationsdichte exponentiell.
Optimierung: Die Autoren nutzen einen entropie-gesteuerten Random-Search-Algorithmus. Sie optimieren die Layout-Parameter (Tiefe, Anzahl der Zweige, Schriftgröße/-typ) und Regelkonfigurationen gegen ein Ersatzmodell (Surrogate Model). Die Zielfunktion ist die First-Token-Entropie der Antwort des Modells; eine höhere Entropie deutet auf eine größere Unsicherheit in der Verweigerungsentscheidung hin, was mit einer höheren Wahrscheinlichkeit eines erfolgreichen Jailbreaks korreliert.

3. Zentrale Beiträge

Neues Angriffsparadigma: Das Paper identifiziert „Informationsüberlastung“ als einen distinkten und effektiven Angriffsvektor für LVLMs und bewegt sich damit über die vorherrschenden OOD-basierten Verschleierungsstrategien hinaus. Es ist die erste Arbeit, die LVLMs spezifisch durch die Linse der Bild-Text-Überlastung jiailbreakt.
Skalierbares Framework: Die Autoren schlagen ein skalierbares Framework (INFER+) vor, das verfeinerte Textvorlagen, typografie-gestützte Bilder und rekursive Bild-Typografie-Layouts kombiniert, um die Informationsverarbeitungslast über diverse reale Eingaben hinweg zu erhöhen.
Empirische Validierung: Umfangreiche Experimente zeigen, dass diese Methode eine State-of-the-Art Attack Success Rate (ASR) sowohl bei Open-Source- als auch bei kommerziellen LVLMs erreicht.
Mechanistischer Einblick: Durch die Analyse der Informationsflüsse liefert das Paper Beweise dafür, dass komplexe Bild-Typografie-Kompositionen die Kreuzmodal-Verarbeitung intensivieren und die Gewissheit des Modells bei der Generierung von Verweigerungsantworten verringern.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode an fünf Open-Source-LVLMs (Qwen3-VL, Qwen2-VL, InternVL3.5, InternVL2, Llama 3.2-Vision) und drei kommerziellen Modellen (Gemini 2.5 Flash, Gemini 2.5 Flash-Lite, GPT-4.1-mini).

Leistung bei Open-Source-Modellen: INFER+ erreichte eine durchschnittliche ASR von 88,6 % und übertraf den stärksten konkurrierenden Baseline-Ansatz um 32,8 %. Bei spezifischen Modellen wie Qwen2-VL erreichte die ASR 97,52 % auf dem HADES-Datensatz.
Leistung bei kommerziellen Modellen: Die Methode erreichte eine durchschnittliche ASR von 84,0 % bei kommerziellen Modellen, was die beste Baseline um 48,7 % übertraf. Bemerkenswert ist, dass sie eine ASR von 91,11 % auf GPT-4.1-mini erreichte.
Übertragbarkeit: Der Angriff zeigte eine starke Cross-Model-Transferierbarkeit. Auf einem Ersatzmodell (z. B. Qwen2-VL) optimierte Prompts blieben auch auf Black-Box-Targets hochwirksam (erreichten z. B. 87,9 % ASR auf Llama 3.2-Vision), was darauf hindeutet, dass Informationsüberlastung eine gemeinsame Schwachstelle über verschiedene Architekturen hinweg adressiert.
Robustheit: Die Methode behielt ihre überlegene Leistung selbst unter Verteidigungsmechanismen wie Input Guards, TVPI Defense und FigStep Defense bei, was darauf hindeutet, dass sie tiefere multimodale Schwachstellen angreift.
Korrelationsanalyse: Die Studie bestätigte eine positive Korrelation zwischen First-Token-Entropie, ASR und dem Refusal Contribution Index (RCI), was die Hypothese validiert, dass eine erhöhte Unsicherheit bei der Verweigerung zu erfolgreichen Jailbreaks führt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Informationsüberlastung ein praktisches und aufkommendes Sicherheitsrisiko für reale LVLM-Einsätze darstellt. Im Gegensatz zu früheren Angriffen, die auf der Verschleierung der Absicht basieren, zwingt diese Methode das Modell dazu, übermäßige, komplexe multimodale Inhalte zu verarbeiten, was seine Fähigkeit zur Durchsetzung von Sicherheitsbeschränkungen beeinträchtigt.

Die Autoren betonen, dass ihre Ergebnisse die Notwendigkeit stärkerer Abwehrmechanismen gegen komplexe multimodale Jailbreak-Eingaben hervorheben. Sie argumentieren, dass mit der Integration von LVLMs in Umgebungen, die reiche Dokumente, Screenshots und Webseiten verarbeiten, die aktuellen Sicherheitsausrichtungsmechanismen gegenüber Eingaben, die eine hohe Kreuzmodal-Verarbeitungslast induzieren, unzureichend sein könnten. Die Arbeit dient als diagnostisches Instrument, um zu verstehen, wie multimodale Sicherheitsmechanismen unter komplexen Eingaben versagen, und ruft zu einem verantwortungsbewussten Umgang mit dieser Forschung auf, um die Robustheit der Modelle zu verbessern.