VALD: Multi-Stage Vision Attack Detection for Efficient LVLM Defense

1. Problemstellung

Large Vision-Language Models (LVLMs) sind hochleistungsfähig, aber anfällig für adversarielle Angriffe (Gegenspieler-Angriffe). Dabei werden für das menschliche Auge kaum wahrnehmbare Störungen in Eingabebildern eingefügt, um das Modell zu manipulieren.

• Ziel der Angriffe: Im Gegensatz zu „Jailbreaks", die schädliche Inhalte erzeugen, zielen diese Angriffe darauf ab, das Modell zu faktisch falschen, aber harmlos erscheinenden Antworten zu verleiten (z. B. falsche Objekterkennung oder Halluzinationen).
• Herausforderung für bestehende Verteidigungen:
  • Viele aktuelle Methoden sind rechenintensiv, da sie für jedes Bild mehrere Transformationen generieren und auswerten müssen, selbst wenn das Bild sauber ist.
  • Andere Methoden erfordern eine Nachtrainierung (Adversarial Training), was nicht skalierbar ist.
  • Bestehende Ansätze nutzen oft sehr große Modelle für die Konsolidierung der Antworten, was den Rechenaufwand in der Praxis untragbar macht.

2. Methodik: VALD Framework

VALD (Vision Attack Detection) ist eine generische, effiziente und training-freie Verteidigungsmethode. Sie basiert auf der Idee, dass adversarielle Angriffe oft empfindlich auf Bildtransformationen reagieren, während der semantische Kern eines sauberen Bildes stabil bleibt.

Das Framework besteht aus vier Stufen, die in einem Multi-Stage-Ansatz arbeiten, um den Großteil der sauberen Bilder frühzeitig zu filtern und nur verdächtige Fälle teuer zu verarbeiten:

A. Frühe Angriffserkennung (Early Attack Detection)

• Ziel: Schnelle Identifizierung von sauberen Bildern, um teure Prozesse zu vermeiden.
• Mechanismus: Das Eingabebild wird mit einer Reihe von inhaltsbewahrenden Transformationen (z. B. große Ausschnitte, Pixel-Maskierung, Gauß-Weichzeichnung, JPEG-Komprimierung) versehen.
• Prüfung: Die Embeddings (Vektordarstellungen) des Originalbildes und der transformierten Bilder werden durch den visuellen Encoder des LVLMs berechnet.
• Entscheidung: Wenn die Embeddings konsistent sind (Abstand unter einem Schwellenwert $\tau$), wird das Bild als „sauber" klassifiziert. Der Verteidigungsprozess wird übersprungen, und die ursprüngliche Antwort des LVLMs wird ausgegeben.
• Effizienz: Dieser Schritt ist extrem schnell und filtert ca. 95 % aller sauberen Bilder heraus.

B. Bildbasierte Antwortgenerierung (Image-based Response Generation)

• Falls ein Angriff vermutet wird, generiert das LVLM unabhängig voneinander Antworten (z. B. Bildbeschreibungen) für das Originalbild und alle $K$ transformierten Versionen.
• Dies erzeugt eine Menge von Antworten $R = \{r_0, r_1, ..., r_K\}$.

C. Späte Angriffserkennung (Late Detection)

• Ziel: Weitere Filterung von sauberen Bildern, bevor der teure Konsolidierungsschritt beginnt.
• Mechanismus: Analyse der semantischen Diskrepanzen im Text-Embedding-Raum der generierten Antworten.
• Verfahren: Es wird eine Ähnlichkeitsmatrix zwischen den Antwort-Vektoren erstellt. Die Divergenz (mittels KL-Divergenz) zwischen den Verteilungen der Antworten wird berechnet.
• Entscheidung: Wenn die Diskrepanz zwischen den Antworten zu groß ist, wird ein Angriff bestätigt. Bleibt die Diskrepanz gering, wird die ursprüngliche Antwort ($r_0$) beibehalten. Dieser Schritt fängt weitere ca. 1 % der sauberen Bilder ab.

D. Antwort-Konsolidierung (Response Generation / Agentic Data Consolidation)

• Nur für verdächtige Eingaben: Dieser Schritt wird nur ausgelöst, wenn ein Angriff wahrscheinlich ist.
• Rolle des LLM: Ein leistungsstarkes, aber externes Large Language Model (LLM) wird eingesetzt, um die Menge der Antworten zu konsolidieren.
• Strategie: Das LLM fungiert als „Agent", der die Antworten analysiert und nach Konsistenz sucht:
  • Elemente, die in den meisten Antworten (Original + Transformationen) übereinstimmen, werden als wahr angenommen.
  • Inkonsistente Elemente, die nur in wenigen oder einzelnen Antworten auftauchen (oft durch den Angriff verursacht), werden verworfen.
• Vorteil: Das LLM verarbeitet nur Text, keine Bilder, was den Rechenaufwand im Vergleich zu visuellen Konsolidierungsmethoden senkt. Zudem wird ein leichteres LVLM für die Bildanalyse genutzt, während nur der Konsolidierungsschritt ein großes Modell benötigt.

3. Hauptbeiträge

1. Effiziente, training-freie Verteidigung: VALD ist eine generische Lösung, die keine Anpassung der Modellgewichte erfordert und gegen eine Vielzahl von Angriffen (White-Box und Black-Box) funktioniert.
2. Leichtgewichtiger Zwei-Stufen-Detektor: Ein neuartiger Mechanismus, der 95 % der sauberen Eingaben mit minimalem Rechenaufwand filtert, bevor teure Verteidigungsmaßnahmen greifen.
3. Entkopplung von Analyse und Konsolidierung: Die Trennung der visuellen Analyse (durch ein leichtes LVLM) von der logischen Konsolidierung (durch ein starkes LLM) ermöglicht hohe Genauigkeit bei geringen Gesamtkosten.
4. State-of-the-Art Ergebnisse: Das Verfahren erreicht die beste Genauigkeit bei gleichzeitig signifikant geringerem Rechenaufwand als bestehende Methoden.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte auf den Datensätzen MS-COCO und Flickr8k Expert gegen drei repräsentative Angriffe: MF-ii, MixAttack und M-Attack. Getestet wurde mit LVLMs wie LLaVA-1.5, MiniGPT-v2 und Qwen3-VL.

• Genauigkeit: VALD übertrifft alle Baselines (inkl. SmoothVLM und adversariell trainierter Modelle wie FARE) deutlich.
  • Beispiel LLaVA unter MF-ii-Angriff: VALD erreicht einen SentenceBERT-Score von 0,716, während SmoothVLM nur 0,679 erreicht und das undefendierte Modell nur 0,268.
  • Auch auf sauberen Bildern bleibt die Leistung erhalten (kein „Performance Drop").
• Erkennungsrate:
  • 93–96 % der sauberen Bilder werden korrekt als sauber identifiziert und durchlaufen den schnellen Pfad.
  • Die Recall-Rate (Erkennung von Angriffen) liegt bei über 91 % (oft >99 %).
• Laufzeit-Effizienz:
  • Best-Case (saubere Bilder): ~1,9 Sekunden pro Bild (fast identisch mit undefendiertem Betrieb).
  • Worst-Case (Angriffe): ~22,9 Sekunden pro Bild.
  • Vergleich: SmoothVLM benötigt für jedes Bild konstant 52,7 Sekunden. VALD ist im Durchschnitt (bei realistischen Szenarien mit vielen sauberen Bildern) bis zu 27-mal schneller.

5. Bedeutung und Fazit

VALD adressiert das kritische Dilemma zwischen Sicherheit und Effizienz bei LVLMs.

• Praktische Anwendbarkeit: Da die meisten Eingaben in der realen Welt sauber sind, ermöglicht der Multi-Stage-Ansatz den Einsatz von LVLMs in Echtzeitsystemen, ohne dass die Latenz durch ständige Verteidigungsmechanismen in die Höhe schnellt.
• Robustheit: Die Methode ist nicht auf spezifische Angriffstypen trainiert, sondern nutzt die inhärente Instabilität adversarieller Beispiele gegenüber Transformationen, was sie auch gegen adaptive Angriffe robust macht.
• Limitationen: Das System kann versagen, wenn ein Angriff so konstruiert ist, dass er über alle Transformationen hinweg konsistente Fehler erzeugt (z. B. wenn alle Transformationen fälschlicherweise ein drittes Objekt hallucinieren). Zudem besteht ein Trade-off zwischen Effizienz und Robustheit: Eine zu aggressive Filterung könnte theoretisch Angriffe übersehen, obwohl die Studie zeigt, dass die False-Negative-Rate extrem gering ist.

Zusammenfassend stellt VALD einen wichtigen Schritt hin zu skalierbaren, sicheren und effizienten Vision-Language-Modellen dar, indem es teure Rechenvorgänge intelligent nur dort einsetzt, wo sie wirklich benötigt werden.