🤖 machine learning

VLMGuard: Bootstrapping Malicious Prompt Detectors from Unlabeled Vision-Language Prompts in the Wild

VLMGuard ist ein neuartiges Framework, das durch die Nutzung unbeschrifteter In-the-Wild-Prompts und eines automatisierten Score zur Schätzung der Bösartigkeit Detektoren für bösartige Prompts bei Vision-Language-Modellen bootstrappt, wodurch die Notwendigkeit menschlicher Annotationen eliminiert wird, während gleichzeitig eine überlegene Detektionsleistung gegenüber dem aktuellen Stand der Technik erzielt wird.

Ursprüngliche Autoren: Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junlin Fang, Wenyu Chen, Reshmi Ghosh, Robert Sim, Ahmed Salem, Vitor R. Carvalho, Emily Lawton, Sharon Li, Jack W. Stokes, Sean Du

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, hilfreichen Roboter-Assistenten (ein Vision-Language-Modell), der Bilder ansehen und Text lesen kann, um Ihre Fragen zu beantworten. Sie möchten diesen Roboter in die reale Welt bringen, um Menschen zu helfen. Aber es gibt ein Problem: Einige Menschen könnten versuchen, den Roboter zu überlisten, um ihn zu schlechten Taten zu verleiten, wie zum Beispiel Anleitungen zum Bau einer Waffe zu geben oder Sicherheitsregeln zu umgehen. Diese Täuschungsversuche werden als „böswillige Prompts“ (malicious prompts) bezeichnet.

Das Paper stellt ein neues System namens VLMGuard vor, das die Trickbetrüger abfängt, bevor der Roboter antwortet. So funktioniert es, einfach erklärt:

Das große Problem: Die „Nadel im Heuhaufen“

Normalerweise muss man einem Computer beibringen, einen Bösewicht zu erkennen, indem man ihm eine riesige Liste von Beispielen zeigt, die genau definieren, was „schlecht“ und was „gut“ ist. Man müsste Menschen benötigen, die tausende Beispiele kennzeichnen: „Dies ist sicher“, „Dies ist gefährlich“.

Aber in der realen Welt ist das Sammeln solcher gekennzeichneten Listen schwierig, teuer und langsam. Angreifer erfinden ständig neue Tricks, und bis man die alten Tricks gekennzeichnet hat, sind die neuen bereits draußen. Zudem sind die meisten Menschen, die den Roboter nutzen, nett; die Bösewichte sind selten. Es ist, als versuche man, ein paar spezifische Nadeln in einem massiven Heuhaufen zu finden, ohne vorher zu wissen, welche davon Nadeln sind.

Die Lösung: VLMGuard (Der „Intuitions“-Detektor)

VLMGuard löst dies durch die Nutzung der unbeschrifteten Daten – der Millionen von Fragen und Bildern, die der Roboter jeden Tag von der Öffentlichkeit erhält. Es benötigt keinen Menschen, der sagt „das ist schlecht“. Stattdessen bringt es sich selbst durch einen zweistufigen Prozess bei.

Schritt 1: Die „Finde den Außenseiter“-Phase (Subspace Extraction)

Stellen Sie sich vor, das Gehirn des Roboters ist ein riesiger Raum voller Millionen von Murmeln. Jede Murmel repräsentiert eine Benutzerfrage. Die meisten Murmeln sind „gut“ (benigne), und eine winzige Anzahl ist „schlecht“ (böswillig).

VLMGuard betrachtet die Form des Raums. Es erkennt, dass die „guten“ Murmeln meist im Zentrum gruppiert sind, während die „schlechten“ Murmeln, da sie anders und hinterhältig sind, dazu neigen, in einer spezifischen, ungewöhnlichen Richtung vom Zentrum weg zu liegen.

Das System nutzt einen mathematischen Trick (genannt Singular Value Decomposition), um diese spezifische „ungewöhnliche Richtung“ zu finden. Es vergibt dann für jede Murmel einen Wert basierend darauf, wie weit sie in diese Richtung ausschert.

Die Analogie: Denken Sie an einen Metalldetektor an einem Flughafen. Die meisten Menschen (gute Prompts) gehen hindurch, ohne dass der Alarm ausgelöst wird. Aber wenn jemand etwas Schweres und Metallisches bei sich trägt (einen böswilligen Prompt), schlägt der Detektor aus. VLMGuard erstellt für jede Frage, die der Roboter erhält, einen „Piep-Score“, selbst ohne zu wissen, ob es sich tatsächlich um eine schlechte Frage handelt.

Schritt 2: Die „Intelligente Filter“-Phase (Training eines Klassifikators)

Nun besitzt VLMGuard eine Liste von Scores. Es geht davon aus, dass die Fragen mit den höchsten „Piep-Scores“ wahrscheinlich die schlechten sind und die niedrigen die guten. Es verwendet diese Liste, um einen zweiten, kleineren und intelligenteren „Sicherheitswächter“ (einen Klassifikator) zu trainieren.

Dieser Sicherheitswächter lernt, auf die Fragen zu schauen und zu sagen: „Diese hier sieht aus wie die hoch bewerteten, die ich zuvor gesehen habe“, oder „Diese hier sieht aus wie die niedrig bewerteten“.

Warum ist dieser zweite Schritt wichtig?
Die Autoren des Papers stellten fest, dass der erste Schritt (der „Piep-Score“) nicht perfekt ist. Manchmal kann eine normale Frage deshalb „seltsam“ aussehen, weil sie auf eine bestimmte Weise formuliert wurde (wie durch die Verwendung von gehobener Sprache oder einer ungewöhnlichen Satzstruktur), was zu einem Fehlalarm führt. Der zweite Schritt (der Sicherheitswächter) lernt, diese harmlosen Eigenheiten zu ignorieren und sich stattdüssen auf die Absicht der Frage zu konzentrieren. Es ist der Unterschied zwischen einem Wachmann, der bei jedem lauten Geräusch in Panik gerät, und einem Wachmann, der den Unterschied zwischen einem lachenden Kind und einer tickenden Bombe kennt.

Warum das eine große Sache ist

Keine zusätzliche Hausarbeit: Das System benötigt keine Menschen, die sich hinsetzen und tausende Beispiele manuell kennzeichnen. Es lernt aus den unbeschrifteten Daten, die bereits in der freien Welt existieren.
Es passt sich an: Da es aus der realen Welt lernt, kann es neue Arten von Tricks erkennen, an die Menschen noch gar nicht gedacht haben.
Es funktioniert: Die Autoren haben dies an mehreren verschiedenen Robotermodellen getestet und festgestellt, dass es bei der Erkennung böswilliger Prompts viel besser ist als andere aktuelle Methoden. Es verbesserte die Genauigkeit der Erkennung signifikant (etwa 5 % besser als die besten bestehenden Methoden).

Das Fazit

VLMGuard ist wie ein Sicherheitssystem, das lernt, indem es die Menge beobachtet. Anstatt ein Handbuch über „Bösewichte“ zu benötigen, mit dem man vergleicht, lernt es, was „normal“ aussieht, erkennt die statistischen Anomalien, die auf einen Trick hindeuten, und trainiert dann einen smarten Filter, um die echten Bedrohungen zu erfassen, während es harmloses Rauschen ignoriert. Dies macht es viel einfacher und schneller, KI-Assistenten in der realen Welt sicher zu halten.

Technisches Resümee: VLMGuard

Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend in Open-World-Umgebungen eingesetzt, in denen sie eine Mischung aus benignen (gutartigen) und adversariell manipulierten Eingaben verarbeiten. Im Gegensatz zu rein textbasierten Modellen stehen VLMs vor einer erweiterten Angriffsfläche, bei der Akteure sowohl den visuellen als auch den textuellen Kanal – oder beide – manipulieren können, um unsichere Verhaltensweisen zu induzieren, wie etwa das Generieren schädlicher Inhalte oder das Ausführen unbeabsichtigter Tool-Aktionen.

Die primäre Herausforderung bei der Entwicklung von Schutzmechanismen für VLMs liegt im Mangel an hochwertigen, annotierten Datensätzen, die sowohl benigne als auch maliziöse Prompts enthalten. Die Kuratierung solcher Daten erfordert erheblichen menschlichen Aufwand und kontinuierliche Aktualisierungen, da sich Angriffsstrategien stetig weiterentwickeln. Folglich besteht ein kritischer Bedarf an Methoden, die in der Lage sind, maliziöse Prompts effektiv unter Verwendung der großen Mengen an unlabeled (unannotierten) User-Prompts zu erkennen, die in realen Anwendungen natürlich anfallen, ohne auf umfangreiche manuelle Annotation angewiesen zu sein.

Methodik: VLMGuard

Die Autoren schlagen VLMGuard vor, ein zweistufiges Lernframework, das darauf ausgelegt ist, Detektoren für maliziöse Prompts mithilfe unannotierter Daten zu initialisieren (Bootstrapping). Das Framework operiert unter der Annahme, dass unannotierte User-Prompts einem Huber-Kontaminationsmodell folgen, bei dem die Verteilung der unannotierten Daten $P_{unlabeled}$ eine Mischung aus benignen ( $P_{benign}$ ) und maliziösen ( $P_{malicious}$ ) Verteilungen mit einem kleinen Mischungsverhältnis $\pi$ ist.

Stufe 1: Automatisierte Schätzung der Maliziösität via Latent Subspace

Die erste Stufe nutzt die internen Repräsentationen eines vortrainierten VLMs, um zwischen benignen und maliziösen Stichproben innerhalb der unannotierten Mischung zu unterscheiden.

Extraktion der Repräsentation: Für jeden Prompt $(x_v, x_t)$ wird eine $d$ -dimensionale Repräsentation $f$ aus einer spezifischen Schicht $\ell$ des VLMs extrahiert.
Identifikation des Subspaces: Die Autoren führen eine Singulärwertzerlegung (SVD) der zentrierten Embedding-Matrix durch. Die theoretische Analyse legt nahe, dass unter dem Huber-Kontaminationsmodell die führenden singulären Richtungen der Repräsentationswolke durch die Abweichungen verursacht werden, die durch die seltenen maliziösen Stichproben entstehen.
Scoring: Ein Score zur Schätzung der Maliziösität $\kappa_i$ wird für jeden Prompt basierend auf seiner Projektionsenergie auf die Top- $k$ dominanten singulären Richtungen berechnet, gewichtet durch deren Singulärwerte:
$\kappa_i = \frac{1}{k} \sum_{j=1}^{k} \lambda_j \cdot \langle f_i - \mu, v_j \rangle^2$
wobei $\mu$ der empirische Mittelwert, $v_j$ die rechten singulären Vektoren und $\lambda_j$ die Singulärwerte sind.
Pseudo-Partitionierung: Prompts werden mithilfe eines Schwellenwerts $T$ in einen Kandidaten-Menge für maliziöse Daten $\mathcal{M}$ (hohe Scores) und eine Kandidaten-Menge für benigne Daten $\mathcal{B}$ (niedrige Scores) unterteilt. Dies erzeugt eine verrauschte Pseudo-Labeling der unannotierten Daten.

Stufe 2: Training des Klassifikators für Safeguarding-Prompts

Die zweite Stufe adressiert die Sprödigkeit direkter Projektionsscores, die gegenüber oberflächlichen Variationen (z. B. Paraphrasierung) empfindlich sein können, welche die maliziöse Absicht nicht widerspiegeln.

Klassifikator-Training: Ein leichtgewichtiger binärer Klassifikator (ein 3-Schicht-MLP) wird auf den pseudo-gelabelten Mengen $\mathcal{M}$ (Label 1) und $\mathcal{B}$ (Label 0) unter Verwendung des logistischen Verlusts trainiert.
Robustheit: Die Autoren argumentieren, dass dieser Klassifikator lernt, „Störvariationen“ (wie lexikalische oder syntaktische Änderungen in benignen Prompts) zu ignorieren, die fälschlicherweise mit der Energie des dominanten Subspaces korrelieren, wodurch eine robustere Entscheidungsgrenze für die Detektion zur Testzeit geschaffen wird.

Zentrale Beiträge

Framework-Formulierung: Die Einführung von VLMGuard, einem zweistufigen Framework, das die Detektion maliziöser Prompts formalisiert, indem es unannotierte User-Prompts aus der Praxis nutzt und somit eine praktische Lösung für das Problem der Datenknappheit bietet.
Prinzipielle Scoring-Funktion: Die Entwicklung einer Scoring-Funktion, die aus VLM-Repräsentationen (via SVD) abgeleitet ist und die Wahrscheinlichkeit schätzt, dass ein Prompt maliziös ist. Die Arbeit liefert eine theoretische Begründung, wonach die Projektionsenergie auf die führenden Kovarianzrichtungen eine klassenbedingte Lücke erzeugt, die proportional zur Trennung der benignen und maliziösen Mittelwerte ist.
Empirische Validierung: Umfangreiche Experimente demonstrieren die Effektivität des Frameworks, seine Skalierbarkeit auf größere Modelle (z. B. 72B Parameter) sowie seine Robustheit gegenüber realistischen Prompt-Variationen und abnormalen benignen Daten.

Experimentelle Ergebnisse

Die Autoren evaluierten VLMGuard in drei realen Szenarien mit fünf Datensätzen (JailBreakV, GPT4V, VLGuard, MLLMGuard, MSSBench) und zwei Backbone-VLMs (LLaVA-1.6-7B und Qwen2.5-VL-7B/72B).

Performance: VLMGuard erreichte eine State-of-the-Art-Leistung in allen Szenarien. Im Durchschnitt verbesserte es die Area Under the Receiver Operating Characteristic Curve (AUROC) um 5,39 % gegenüber der besten bestehenden Methode (GPT-5.4) und übertraf unsicherheitsbasierte sowie aktivierungsbasierte Baselines deutlich.
Robustheit gegenüber geringer Prävalenz: Die Methode blieb selbst dann effektiv, wenn das maliziöse Verhältnis $\pi$ im unannotierten Trainingssatz extrem niedrig war (z. B. $\pi=0,001$ ), wobei sie eine AUROC von 88,16 % erreichte.
Generalisierung: Das Framework zeigte eine starke Transferierbarkeit und behielt eine hohe Detektionsgenauigkeit bei, wenn es auf einem Datensatz trainiert und an verschiedenen maliziösen Benchmarks getestet wurde.
Ablationsstudien:
- Notwendigkeit des Klassifikators: Die direkte Verwendung des SVD-Projektionsscores lieferte eine geringere Performance als der zweistufige Ansatz, was die Rolle des Klassifikators bei der Entrauschung und dem Umgang mit Prompt-Variationen bestätigt.
- Schichtselektion: Mittlere Schichten des VLMs lieferten die besten Repräsentationen für die Detektion und schnitten sowohl gegenüber frühen als auch gegenüber finalen Schichten besser ab.
- Skalierbarkeit: Die Performance verbesserte sich beim Skalieren von 7B auf 72B Parameter Modelle.

Bedeutung und Ansprüche

Das Paper behauptet, dass VLMGuard einen praktischen und flexiblen Ansatz für den realen Einsatz von VLMs bietet. Durch den Verzicht auf zusätzliche menschliche Annotationen und zusätzliche externe Modelle (wie separate Judge-Modelle oder Diffusionsmodelle zur Entrauschung) bietet das Framework eine in sich geschlossene Lösung zur Absicherung von VLMs.

Die Autoren betonen, dass ihre Methode robust gegenüber realistischen Prompt-Variationen (lexikalische und syntaktische Änderungen) ist und maliziöse Absichten selbst in Gegenwart abnormaler, aber benigner Daten unterscheiden kann. Die Arbeit zielt darauf ab, zukünftige Forschung zur Nutzung unannotierter Prompt-Datensätze für sicherheitskritische Anwendungen anzuregen und damit den grundlegenden Engpass der Knappheit an annotierten Daten in der adversariellen Lernforschung zu adressieren.