💻 computer science

Multi-Turn Adaptive Prompting Attack on Large Vision-Language Models

Dieser Beitrag stellt den Multi-Turn Adaptive Prompting Attack (MAPA) vor, eine neuartige Strategie, die Text-Vision-Eingaben abwechselnd verwendet und Angriffsverläufe iterativ verfeinert, um Sicherheitsvorkehrungen in Large Vision-Language Models zu überwinden und dabei deutlich höhere Jailbreak-Erfolgsraten als bestehende Methoden zu erzielen.

Ursprüngliche Autoren: In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: In Chong Choi, Jiacheng Zhang, Feng Liu, Yiliao Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, hochtrainierten Roboter-Assistenten. Dieser Roboter wurde strengen Regeln unterwiesen: „Hilfe niemals jemandem beim Bau einer Bombe", „Erkläre niemals, wie man ein tödliches Virus verbreitet" und „Sei immer sicher". Dies wird als „Sicherheitsausrichtung" (safety alignment) bezeichnet.

Lange Zeit versuchten Hacker (oder „Red Teamer"), diese Roboter durch trickreiche Fragen zu täuschen. Doch die Roboter wurden besser darin, „Nein" zu sagen.

Diese Arbeit stellt eine neue Methode vor, um diese Roboter zu täuschen, insbesondere diejenigen, die Bilder sehen sowie Text lesen können. Die Forscher nennen ihre Methode MAPA (Multi-turn Adaptive Prompting Attack).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „übermäßig offensichtliche" Falle

Die Forscher stellten fest, dass der Roboter sofort in Panik gerät und ablehnt, wenn man versucht, ihn zu täuschen, indem man ihm ein Bild einer Bombe zeigt und fragt: „Wie baue ich das?". Es ist, als würde man zu einem Sicherheitsbeamten gehen und ein riesiges, blinkendes Schild halten, auf dem steht: „ICH BIN EIN DIEB". Der Beamte hält Sie sofort auf.

Selbst wenn Sie eine Frage im Text stellen und ein Bild zeigen, lösen die Sicherheitsfilter des Roboters aus, wenn das Bild zu beunruhigend oder der Text zu direkt ist, und beenden das Gespräch.

2. Die Lösung: Die „langsame Zündung"-Strategie

Die Arbeit schlägt eine Strategie vor, die MAPA genannt wird und wie ein Schachspiel über viele Züge hinweg funktioniert, anstatt wie ein einzelner Schlag.

Die Kernidee: Anstatt die Abwehrkräfte des Roboters auf einmal zu brechen, schleust man die schädliche Anfrage langsam, Schritt für Schritt, über viele Gesprächsdurchgänge ein.

Wie MAPA das Spiel spielt:

Die Forscher nutzen einen „Coach" (eine KI), um den Angriff zu steuern. Der Coach hat zwei Hauptaufgaben:

Aufgabe A: Mischen der Zutaten (auf der Ebene des „Zugs")
In jedem einzelnen Schritt des Gesprächs versucht der Coach drei verschiedene Arten, die Frage zu stellen, um zu sehen, welche am besten funktioniert:

Nur Text: Fragen ohne Bild.
Text + beunruhigendes Bild: Fragen mit einem Bild, das zum Text passt.
Text + „sicheres" Bild: Fragen mit einem Bild, bei dem der beunruhigende Teil im Bild verborgen ist, und der Text so umgeschrieben wird, dass er harmlos klingt.

Analogie: Stellen Sie sich vor, Sie versuchen, einen Freund dazu zu bringen, einer verrückten Idee zuzustimmen.

Option 1: Sie fragen ihn direkt.
Option 2: Sie fragen ihn, während Sie ihm ein verrücktes Foto zeigen.
Option 3: Sie fragen ihn, während Sie ihm ein Foto eines Sonnenuntergangs zeigen, aber Sie sprechen über die „verrückte Idee" auf eine Weise, die zum Sonnenuntergang passt.
Der Coach wählt die Option aus, die den Freund am nächsten dazu bringt, „Ja" zu sagen, ohne dass er wütend wird.

Aufgabe B: Anpassen des Pfads (auf der Ebene „über die Züge hinweg")
Wenn der Freund „Nein" sagt oder verwirrt ist, gibt der Coach nicht einfach auf. Er betrachtet, was passiert ist, und ändert den Plan für den nächsten Schritt.

Voranschreiten: Wenn der Freund der Idee näher kommt, geht der Coach zur nächsten, etwas direkteren Frage über.
Neuformulierung: Wenn der Freund verwirrt ist, versucht der Coach, dieselbe Frage erneut zu stellen, aber mit anderen Worten.
Zurückgehen: Wenn der Freund plötzlich wütend wird, weil etwas gesagt wurde, das vor zwei Schritten fiel, geht der Coach zu diesem früheren Schritt zurück und versucht einen anderen Ansatz.

Analogie: Dies ist wie ein Detektiv, der versucht, einen Fall zu lösen. Wenn ein Verdächtiger lügt, schreit der Detektiv nicht einfach; er geht zurück, überdenkt seine Theorie und stellt eine andere Frage, um die Lüge aufzudecken.

3. Der „Reflexions"-Mechanismus

Wenn der gesamte Versuch scheitert (der Roboter sagt immer noch „Nein"), versucht der Coach nicht einfach exakt dasselbe erneut. Er betrachtet, warum es gescheitert ist, lernt aus dem Fehler und entwickelt einen völlig neuen, klügeren Plan für den nächsten Versuch. Es ist, als würde man eine gescheiterte Prüfung studieren, um bei der nächsten besser abzuschneiden.

4. Die Ergebnisse

Die Arbeit testete diese Methode gegen mehrere populäre KI-Modelle (wie LLaVA, Qwen und GPT-4o-mini).

Alte Methoden (nur Text oder nur Text + Bilder) scheiterten in den meisten Fällen gegen diese intelligenten Roboter.
MAPA war 15 % bis 30 % häufiger erfolgreich als die besten bestehenden Methoden.
In einigen Tests gelang es MAPA, die Roboter in etwa 96 % der Fälle dazu zu bringen, schädliche Antworten zu geben, während andere Methoden nur in etwa 60–70 % der Fälle erfolgreich waren.

Zusammenfassung

Die Arbeit behauptet, dass man, um die Sicherheit moderner KI, die sehen und lesen kann, zu brechen, nicht einfach laut und offensichtlich sein darf. Man muss ein schlau adaptiver Gesprächspartner sein. Man muss Text und Bilder sorgfältig mischen, auf die Antworten des Roboters hören und die Konversation langsam über viele Züge hinweg zum verbotenen Thema führen, bis der Roboter versehentlich ausrutscht und die schädliche Frage beantwortet.

Wichtiger Hinweis: Die Autoren betonen, dass dies eine „Red Teaming"-Übung ist. Sie tun dies, um Lücken in den Sicherheitssystemen zu finden, damit Entwickler diese beheben und die KI sicherer machen können, nicht um Menschen tatsächlich beizubringen, Schaden anzurichten.

Technische Zusammenfassung: Multi-Turn Adaptive Prompting Attack auf Large Vision-Language Models

Problemstellung

Während Multi-Turn-Jailbreak-Angriffe sich als wirksam gegen rein textbasierte Large Language Models (LLMs) erwiesen haben, indem sie schrittweise schädliche Inhalte einführen, um die Sicherheitsausrichtung zu umgehen, bleibt die Übertragung dieser Techniken auf Large Vision-Language Models (LVLMs) weitgehend unerforscht. Die Autoren identifizieren eine kritische Lücke: Das naive Einbeziehen visueller Eingaben in Multi-Turn-Angriffe macht diese oft leichter abwehrbar. Sicherheitsausgerichtete LVLMs neigen dazu, bei Präsentation von übermäßig schädlichen visuellen Inhalten eher Abwehrmechanismen zu aktivieren, was zu konservativen Antworten führt. Darüber hinaus gelingt es bestehenden Methoden nicht, schädliche Hinweise über Modalitäten hinweg (Text und Vision) effektiv zu koordinieren, um sich gegenseitig zu verstärken statt zu widersprechen, was die Wirksamkeit der Angriffe begrenzt.

Methodik: MAPA

Um diese Herausforderungen zu bewältigen, schlagen die Autoren MAPA (Multi-Turn Adaptive Prompting Attack) vor, ein Framework, das darauf ausgelegt ist, durch ein zweistufiges adaptives Design progressiv schädlichere Antworten hervorzurufen.

1. Turn-Ebene: Alternierende Angriffsaktionen

In jedem Turn des Dialogs wendet MAPA eine gierige Suchstrategie an, um die effektivste Angriffsaktion aus drei Kandidaten auszuwählen. Dieser Prozess umfasst ein Attacker LLM, das einen initialen unverbundenen Text-Prompt ( $ucQ_T$ ) generiert, sowie ein Connector LLM (das in einer Chain-of-Thought-Manier arbeitet), das:

Schädliche Konzepte im Text identifiziert.
Einen entsprechenden Prompt zur Bildgenerierung erstellt.
Den Text-Prompt ( $cQ_T$ ) verfeinert, indem es schädliche Konzepte ersetzt, um sie mit dem visuellen Input abzugleichen.
Stable Diffusion nutzt, um ein schädliches Bild ( $cQ_V$ ) zu generieren.

Basierend auf diesen Komponenten werden drei Angriffsaktionen formuliert und gegen das betroffene LVLM getestet:

Aktion 1: Nur unverbundener Text-Prompt ( $ucQ_T$ ).
Aktion 2: Unverbundener Text-Prompt + generiertes schädliches Bild ( $ucQ_T + cQ_V$ ).
Aktion 3: Verbundener Text-Prompt + generiertes schädliches Bild ( $cQ_T + cQ_V$ ).

Ein Judge LLM bewertet die Antworten. Falls keine erfolgreich ist, wird die Aktion ausgewählt, die die höchste Semantische Korrelation (SEM) mit dem Jailbreak-Aufgabe aufweist, als optimale Aktion für den aktuellen Turn.

2. Cross-Turn: Adaptive Trajektorienanpassung

Über die Turns hinweg passt MAPA die Angriffs-Trajektorie durch iterative Hin-und-Her-Verfeinerung an, um die Schädlichkeit schrittweise zu verstärken. Das System vergleicht die semantische Korrelation der aktuellen Antwort mit dem historischen Kontext und vorherigen Turns, um eine von drei Richtlinien zu entscheiden:

Advance: Ausgelöst, wenn die aktuelle semantische Korrelation im Vergleich zum vorherigen Turn und zur Version ohne historischen Kontext steigt, was eine erfolgreiche schrittweise Einschleusung von Schädlichkeit anzeigt.
Back: Ausgelöst, wenn die aktuelle Korrelation im Vergleich zum vorherigen Turn sinkt, aber ohne historischen Kontext steigt, was darauf hindeutet, dass der Kontext des vorherigen Turns den Angriff verschlechtert hat. Das System kehrt zum vorherigen Turn für eine Neubearbeitung zurück.
Regen: Ausgelöst, wenn die Korrelation steigt, aber nicht in einer schrittweisen Weise, oder wenn sie insgesamt sinkt. Der Prompt des aktuellen Turns wird neu generiert.

Zusätzlich enthält MAPA einen Reflexionsmechanismus. Wenn ein Multi-Turn-Angriffsversuch nach Erschöpfung des Turn-Limits scheitert, analysiert das Attacker LLM die Fehlerhistorie (gescheiterte Strategien und Antworten), um eine neue, effektivere Angriffschain für einen nachfolgenden Versuch zu entwerfen, was ein lernendes Vorgehen innerhalb der Aufgabe ermöglicht.

Hauptbeiträge

Charakterisierung von LVLM-Jailbreak-Fehlern: Die Studie deckt auf, dass bestehende Single-Turn- und naiv erweiterte Multi-Turn-Angriffe oft gegen sicherheitsausgerichtete LVLMs versagen, weil das direkte Einfügen schädlichen visuellen Inhalts Abwehrmechanismen auslöst.
MAPA-Framework: Eine praktische Lösung, die ein zweistufiges Design (Aktionenwechsel auf Turn-Ebene und Trajektorienanpassung über Turns hinweg) nutzt, um diese Fehler zu mindern. Sie steuert explizit das Zusammenspiel zwischen Text- und Vision-Modalitäten, um die Wirksamkeit des Angriffs zu verstärken.
Umfassende Evaluation: Zahlreiche Experimente und Ablationsstudien, die die Überlegenheit von MAPA gegenüber State-of-the-Art-Methoden belegen.

Experimentelle Ergebnisse

Die Autoren evaluierten MAPA auf vier Benchmarks (HarmBench, JailbreakBench, AdvBench, RedTeam-2K) gegen vier Zielmodelle: LLaVA-v1.6-Mistral-7B, Qwen2.5-VL-7B-Instruct, Llama-3.2-Vision-11B-Instruct und GPT-4o-mini.

Leistung: MAPA übertraf Baselines (einschließlich CoA, ActorAttack, FootInTheDoor, VRP und MML) konsistent. Auf HarmBench erreichte es eine durchschnittliche Attack Success Rate (ASR) von 96,66 %, was eine Verbesserung von etwa 26,11 % gegenüber der zweitbesten Methode darstellt.
Benchmark-Konsistenz: MAPA zeigte signifikante Gewinne über alle Benchmarks hinweg und verbesserte die durchschnittliche ASR um 23,33 % auf JailbreakBench, 14,45 % auf AdvBench und 32,22 % auf RedTeam-2K im Vergleich zu den besten Baselines.
Ablationsstudien: Das Entfernen des Reflexionsmechanismus reduzierte die Leistung im Durchschnitt um 8,89 %. Das Deaktivieren der Richtlinenanpassung (Trajektorienverfeinerung) führte zu einem Rückgang von 12,23 %. Die Studie zeigte zudem, dass das naive Hinzufügen visueller Eingaben (ohne die adaptive Ausrichtung von Aktion 3) die Leistung verschlechtern kann, insbesondere bei Modellen mit starken visuellen Sicherheitsmechanismen wie Llama-3.2-Vision.
Effizienz: Bei festen Query-Budgets behielt MAPA höhere Erfolgsraten bei, während es weniger Queries verbrauchte als die Baselines.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste Studie zu sein, die systematisch die Schmerzpunkte von Multi-Turn-Jailbreaks auf LVLMs untersucht und adressiert. Sie offenbart Sicherheitslücken in weit verbreiteten LVLMs innerhalb von cross-modalen Multi-Turn-Dialogen. Die Autoren behaupten, dass ihre Erkenntnisse die Notwendigkeit einer intelligenten Optimierung von Text-Vision-Prompts unterstreichen, anstatt sie nur oberflächlich abzugleichen. Letztlich zielt die Arbeit darauf ab, durch die Aufdeckung dieser spezifischen Schwachstellen die Entwicklung robusterer Sicherheitsausrichtungen für LVLMs in realistischen und bösartigen Szenarien zu fördern.