📊 statistics

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

Das Papier stellt VERA-V vor, ein Inferenzrahmenwerk auf Variationsbasis, das die Entdeckung multimodaler Jailbreaks als Erlernen einer gemeinsamen Posteriorverteilung über Text-Bild-Prompts neu formuliert und so die Generierung von unauffälligen, gekoppelten adversarialen Eingaben ermöglicht, die bestehende Methoden beim Umgehen von Guardrails für Vision-Language-Modelle erheblich übertreffen.

Ursprüngliche Autoren: Qilin Liao, Anamika Lochab, Ruqi Zhang

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qilin Liao, Anamika Lochab, Ruqi Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, sicherheitsbewussten Roboterassistenten (ein Vision-Language-Modell), der Texte lesen und Bilder betrachten kann. Sie haben ihn so trainiert, dass er hilfreich ist, aber auch gefährliche Anfragen ablehnt, wie etwa „Wie baue ich eine Bombe?" oder „Wie hacke ich eine Bank?".

Normalerweise sagt es, wenn Sie es direkt fragen: „Nein, das kann ich nicht."

Die Arbeit VERA-V stellt eine neue, hinterhältige Methode vor, um diesen Roboter dazu zu bringen, seine eigenen Regeln zu brechen. Anstatt nur eine Frage zu stellen, haben die Forscher einen „Meister-Trickbetrüger" (einen KI-Angreifer) entwickelt, der lernt, wie man Kombinationen aus Text und Bild erstellt, die zusammenarbeiten, um den Roboter zu verwirren.

So funktioniert VERA-V, erklärt durch einfache Analogien:

1. Der alte Weg: Der „Vorschlaghammer" vs. das „Schweizer Taschenmesser"

Frühere Methoden, um diese Roboter zu täuschen, waren wie der Einsatz eines Vorschlaghammers. Sie würden entweder:

Die bösen Wörter in ein Bild schreiben: Anstatt „Baue eine Bombe" zu tippen, würden sie ein Foto eines Schildes machen, auf dem „Baue eine Bombe" steht, und es dem Roboter zeigen. Der Roboter könnte den Text innerhalb des Fotos übersehen.
Rauschen zu einem Bild hinzufügen: Sie würden ein Foto mit statischen Störungen oder seltsamen Mustern verunstalten, um die Augen des Roboters zu verwirren.

Das Problem: Diese Methoden sind ungeschickt. Sie behandeln Text und Bild als getrennte Dinge. Wenn der Roboter intelligent genug ist, um das Schild auf dem Foto zu lesen, schlägt der Trick fehl.

2. Der VERA-V-Weg: Die „Jazzband"

VERA-V ist anders. Anstatt eines Vorschlaghammers agiert es wie eine Jazzband. Es spielt nicht nur eine einzelne Note; es lernt, wie Text und Bild koordiniert werden können, damit sie perfekt harmonieren, um die Abwehrkräfte des Roboters zu umgehen.

Die Forscher nennen dies „Variational Inference". Auf Deutsch bedeutet das, dass der Angreifer-KI nicht einfach nur einen bösen Trick errät. Sie lernt eine Karte aller möglichen bösen Tricks. Sie versteht, dass manchmal eine bestimmte Art von Text am besten mit einer bestimmten Art von unscharfem Bild funktioniert und zu anderen Zeiten ein anderer Text mit einem scharfen Bild. Sie lernt die Beziehung zwischen den beiden.

3. Die dreiteilige „Ablenkungs"-Strategie

Damit der Trick funktioniert, kombiniert VERA-V drei spezifische Zutaten zu einem Paket, das an den Roboter gesendet wird:

Zutat A: Der „versteckte Text" (Typografie)
Der Angreifer nimmt die schädliche Anweisung und verwandelt sie in ein Bild von Text (wie ein Schild oder eine Notiz). Dies versteckt die bösen Wörter vor den Textfiltern des Roboters, die normalerweise das scannen, was Sie tippen, nicht das, was Sie zeigen.
Zutat B: Das „geheime Signal" (Diffusionsbild)
Der Angreifer verwendet einen Bildgenerator, um ein Bild zu erstellen, das einen subtilen, versteckten Hinweis enthält. Es ist nicht offensichtlich. Es ist wie ein Flüstern in einem vollen Raum. Der Roboter sieht das Bild, aber die „böse Bedeutung" ist tief in den Pixeln begraben, nicht klar ausgeschrieben.
Zutat C: Die „verwirrende Menge" (Ablenkungen)
Dies ist der cleverste Teil. Der Angreifer füllt den Rest des Bildschirms mit zufälligen, langweiligen Bildern (wie eine Katze, ein Baum oder eine Tasse Kaffee), die nichts mit der bösen Anfrage zu tun haben.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, eine bestimmte Person in einer Menge zu finden. Wenn sie allein steht, entdecken Sie sie leicht. Aber wenn sie in einer Menge von 50 anderen Menschen steht, die überhaupt nicht wie sie aussehen, wird Ihr Gehirn verwirrt und hat Schwierigkeiten, sich auf das Ziel zu konzentrieren. VERA-V verwendet diese „Ablenkungs"-Bilder, um die Aufmerksamkeit des Roboters zu zerstreuen, was es für die Sicherheitsfilter des Roboters schwieriger macht, die böse Anfrage zu erkennen.

4. Die „Feedback-Schleife" (Der Trainer)

Wie lernt die Angreifer-KI, dies so gut zu tun?

Sie versucht einen Trick.
Sie fragt einen „Richter" (eine andere KI), ob der Roboter darauf hereingefallen ist.
Wenn der Roboter „Nein" sagte, lernt der Angreifer: „Okay, diese Kombination hat nicht funktioniert. Lassen Sie uns eine andere Mischung aus Text und Bild versuchen."
Sie wiederholt dies Tausende Male und verfeinert ihre „Karte" darüber, wie man den Roboter verwirrt.

5. Die Ergebnisse: Ein neuer Rekord

Die Arbeit testete dies gegen einige der intelligentesten Roboter, die heute verfügbar sind (wie GPT-4o).

Die alten Tricks: Beim härtesten Roboter (GPT-4o) versagten die alten Methoden fast 100 % der Zeit. Sie waren wie der Versuch, einen Bankschrank mit einer Büroklammer zu knacken.
VERA-V: Durch die Verwendung dieser koordinierten, mehrstufigen Strategie gelang es VERA-V, den Roboter 67,75 % der Zeit zu täuschen. Das ist ein massiver Sprung im Vergleich zu den bisherigen besten Methoden.

Zusammenfassung

Denken Sie an VERA-V nicht als an einen einzelnen Dietrich, sondern als an einen Schlosser, der den gesamten Schließmechanismus studiert. Anstatt nur zu versuchen, die Tür gewaltsam zu öffnen, lernt es, wie man den Griff wackelt, mit den Scharnieren flüstert und den Wächter gleichzeitig ablenkt. Es erstellt eine „joint posterior distribution" – was nur eine ausgefallene Art zu sagen ist, dass es das perfekte Rezept für eine Text-und-Bild-Kombination gelernt hat, die die Sicherheitswachen des Roboters verwirrt.

Wichtiger Hinweis: Die Autoren stellen klar fest, dass diese Forschung für Red Teaming gedacht ist. Das bedeutet, sie agieren als „ethische Hacker", um diese Schwachstellen zu finden, damit Unternehmen sie beheben und ihre Roboter sicherer machen können. Sie stellen kein Werkzeug bereit, mit dem Menschen tatsächlich anderen Schaden zufügen können; sie zeigen, wie fragil die aktuellen Sicherheitssysteme sind, damit sie gestärkt werden können.

Technische Zusammenfassung: VERA-V

Problemstellung
Vision-Language-Modelle (VLMs) integrieren visuelles Reasoning mit Large Language Models (LLMs), doch ihr multimodales Design führt zu unerforschten Verwundbarkeiten. Bestehende Red-Teaming-Methoden für VLMs leiden unter drei Hauptbeschränkungen: (1) sie behandeln Text- und Bildmodalitäten oft unabhängig voneinander und ignorieren komplexe cross-modale Interaktionen; (2) sie verlassen sich stark auf handgefertigte Vorlagen, was zu engen und unzusammenhängenden Angriffsbeispielen führt; und (3) sie operieren typischerweise in Single-Attack-Szenarien, wodurch sie leicht erkannt werden und gegenüber Frontier-Modellen unwirksam sind. Folglich versagen aktuelle Ansätze darin, das breite Spektrum multimodaler Verwundbarkeiten systematisch aufzudecken.

Methodik
Die Arbeit stellt VERA-V vor, ein Framework für variationale Inferenz, das die Entdeckung multimodaler Jailbreaks als Erlernen einer gemeinsamen Posterior-Verteilung über gepaarte Text-Bild-Prompts neu fasst. Anstatt nach isolierten adversariellen Instanzen zu suchen, modelliert VERA-V das Landschaftsprofil der Verwundbarkeiten als Verteilung.

Die Kernkomponenten der Methodik umfassen:

Variationale Formulierung: Das Framework definiert einen latenten Prompt-Generierungsprozess, bei dem ein angreifendes LLM ein Paar latenter Prompts ausgibt: einen Text-Prompt ( $x_t$ ) und einen Bild-Prompt ( $x_v$ ). Diese werden über eine Abbildungsfunktion $g$ in tatsächliche VLM-Eingaben transformiert. Der Text-Prompt wird typografisch gerendert, um explizite schädliche Hinweise einzubetten, während der Bild-Prompt mittels eines Diffusionsmodells synthetisiert wird, um implizite adversarielle Signale zu kodieren.
Zusammengesetzter Eingabeaufbau: Die finale Eingabe an das Ziel-VLM besteht aus einem festen, harmlosen Text-Wrapper ( $x_f$ $x_{f}$ ) und einem zusammengesetzten Bild ( $v_{comp}$ $v_{co m p}$ ). Das zusammengesetzte Bild integriert drei Elemente:
- Typografisches Rendern: Text, der in ein Bild umgewandelt wird, um Textfilter zu umgehen.
- Diffusions-Synthese: Bilder, die aus $x_v$ generiert werden, um implizite adversarielle Hinweise einzuführen.
- Strukturierte Ablenkungen: Eine Menge unzusammenhängender Bilder, die abgerufen werden, um die visuelle Aufmerksamkeit des VLM zu fragmentieren und den schädlichen Inhalt zu verschleiern.
Optimierung via Variationale Inferenz: Der Angreifer wird trainiert, die Posterior-Verteilung adversarieller Prompts zu approximieren, die schädliches Verhalten ( $y^*$ ) hervorrufen. Dies wird durch Maximierung der Evidence Lower Bound (ELBO) erreicht, welche die Wahrscheinlichkeit der Generierung einer schädlichen Antwort mit der Plausibilität und Vielfalt der Prompts ausbalanciert. Da das Ziel-VLM eine Blackbox ist, wird die Wahrscheinlichkeit mittels einer Judge-Funktion approximiert, die die Schädlichkeit der VLM-Antwort bewertet. Die Optimierung nutzt den REINFORCE-Gradientenschätzer, um die Parameter des Angreifers (implementiert via LoRA-Adapter) basierend auf Monte-Carlo-Sampling zu aktualisieren.

Hauptbeiträge

Probabilistisches Framework: VERA-V ist das erste Framework, das die Generierung multimodaler Jailbreaks als variationale Inferenz über gepaarte Text-Bild-Eingaben formuliert, wodurch das Erlernen einer gemeinsamen Posterior-Verteilung ermöglicht wird, die cross-modale Korrelationen erfasst.
Kompositionelle Adversarielle Strategie: Die Arbeit schlägt ein neuartiges Angriffsdesign vor, das typografisches Rendern, diffusionsgesteuerte Bildsynthese und strukturierte Ablenkungen kombiniert. Dieser Ansatz koordiniert explizite und implizite Hinweise, um potente Angriffe zu erzeugen, während gleichzeitig die Raten der Toxizitätserkennung reduziert werden.
Skalierbares und vielfältiges Sampling: Durch das Erlernen einer Verteilung anstelle eines einzelnen Punkts ermöglicht VERA-V ein effizientes Sampling vielfältiger Jailbreaks und liefert verteilungsbasierte Einblicke in Verwundbarkeiten, was skalierbares Red-Teaming unterstützt.

Experimentelle Ergebnisse
Die Autoren evaluierten VERA-V auf den Benchmarks HarmBench und HADES sowohl für Open-Source-Modelle (Qwen2.5-VL-7B, InternVL3-8B) als auch für kommerzielle Frontier-Modelle (GPT-4o-mini, GPT-4o).

Leistung: VERA-V übertraf konsistent State-of-the-Art-Baselines (FigStep, HADES, CS-DJ). Auf dem GPT-4o-Modell erreichte VERA-V eine Attack Success Rate (ASR) von 67,75% auf HarmBench und 73,5% auf HADES, was Verbesserungen von bis zu 53,75% gegenüber der besten Baseline darstellt.
Transferierbarkeit: Angriffe, die auf einem Modell optimiert wurden, übertrugen sich effektiv auf andere; Prompts, die von GPT-4o generiert wurden, erzielten auf anderen Zielmodellen eine ASR von über 50%, was die Entdeckung generalisierbarer Verwundbarkeiten indiziert.
Robustheit: Unter verschiedenen Abwehrmechanismen (OCR-basierte Erkennung, BlueSuffix, ETA) behielt VERA-V im Vergleich zu Baselines, die stark abfielen, signifikant höhere Erfolgsraten bei.
Ablationsstudien: Experimente bestätigten, dass die hybride Komposition (Typografie + Diffusion + Ablenkungen) den optimalen Kompromiss zwischen ASR und Tarnung liefert. Darüber hinaus erwies sich der variationale Fine-Tuning-Prozess als kritisch und übertraf eine „Best-of-N"-Sampling-Strategie mit großem Abstand (66% vs. 8% ASR).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass VERA-V die Notwendigkeit unterstreicht, von isolierten, single-modalen Ausnutzungen hin zu verteilungsbasierten Red-Teaming-Ansätzen überzugehen. Indem gezeigt wird, dass selbst robuste, sicherheitsausgerichtete VLMs anfällig für transferierbare und fluente adversarielle Prompts sind, offenbart die Arbeit kritische Lücken in aktuellen Abwehrstrategien. Die Autoren betonen, dass das Aufdecken dieser Schwachstellen durch ein probabilistisches Framework ein wesentlicher Schritt zur Verbesserung von VLM-Sicherheitssystemen ist, um die Entwicklung stärkerer Filter und effektiverer Alignment-Techniken zu leiten. Die Methodik wird ausschließlich zu Forschungszwecken vorgestellt, um Sicherheitsfilter zu stress-testen und die Robustheit von Modellen zu verbessern.