💬 NLP

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

Dieses Paper führt VEV-UAP ein, ein kosteneffizientes und aufgabenagnostisches Angriffssframework, das strukturell konzentrierte Schwachstellen in den Wertkomponenten der Attention-Mechanismen der mittleren Schichten innerhalb der Vision-Encoder von LVLMs ausnutzt, um universelle adversarielle Perturbationen zu generieren, die ohne die Notwendigkeit von Texteingaben überzuführende Erfolgsraten bei Modellen und Aufgaben hinweg erzielen.

Ursprüngliche Autoren: Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Vision-Language Model (LVLM) wie ein hochintelligentes Zweierteam vor, das gemeinsam Rätsel löst.

Die Augen (Vision Encoder): Dieser Partner betrachtet ein Bild und beschreibt, was er sieht.
Das Gehirn (Language Model): Dieser Partner hört der Beschreibung zu und schreibt die endgültige Antwort.

Lange Zeit glaubten Forscher, dass man dieses Team austricksen müsste, indem man den gesamten „Augen“-Partner manipuliert. Sie nahmen an, dass jeder Teil der Augen gleichermaßen wichtig und gleichermaßen leicht zu täuschen sei. Sie versuchten, ein wenig „statistisches Rauschen“ in das gesamte Bild einzufügen, in der Hoffnung, das gesamte System zu verwirren.

Die große Entdeckung des Papers: Das „schwache Glied“
Die Autoren dieser Arbeit erkannten, dass der „Augen“-Partner kein gleichmäßiger Block aus Muskelmasse ist; er ist eher wie eine komplexe Fabrik mit vielen verschiedenen Stationen. Sie untersuchten die Fabrikhalle und fanden etwas Überraschendes heraus: Nicht alle Stationen sind gleichermaßen verwundbar.

Sie entdeckten, dass die mittleren Stationen der Fabrik, speziell diejenigen, die für das Halten der eigentlichen Inhalte (genannt „Value Vectors“) verantwortlich sind, die schwachen Glieder sind.

Die Analogie: Stellen Sie sich vor, die Fabrik hat ein Förderband. Die frühen Stationen sortieren nur die Boxen (Details auf niedriger Ebene), und die späten Stationen verpacken die fertigen Boxen (Zusammenfassungen auf hoher Ebene). Die mittleren Stationen sind der Ort, an dem die Boxen tatsächlich geöffnet, inspiziert und die Inhalte entschieden werden.
Die Forscher fanden heraus, dass, wenn man die Inhalte an genau dieser mittleren Stelle manipuliert, die gesamte Fabrik zusammenbricht. Wenn man das Sortieren oder das Verpacken manipuliert, ignoriert die Fabrik dies oft einfach und arbeitet weiter.

Die neue Strategie: VEV-UAP
Basierend darauf entwickelte das Team eine neue Angriffsmethode namens VEV-UAP. Anstatt zu versuchen, den gesamten „Augen“-Partner zu verwirren, zielen sie chirurgisch nur auf diese mittleren, inhaltshaltenden Stationen ab.

So funktioniert es in einfachen Worten:

Den Schwachpunkt finden: Sie analysierten das Modell und lokalisierten exakt die mittleren Schichten der Fabrik, in denen der „Inhalt“ am fragilsten ist.
Der universelle „Glitch“: Sie erstellten ein einziges, winziges Muster aus Rauschen (eine „universelle Perturbation“). Denken Sie an eine spezifische Art von statischem Rauschen auf einem Fernsehbildschirm.
Die Magie: Wenn dieses einzelne Muster zu jedem Bild hinzugefügt wird (einer Katze, einem Auto, einem Sonnenuntergang), stört es gezielt diese mittleren „Inhaltsstationen“.
Das Ergebnis: Der „Augen“-Partner wird darüber verwirrt, was das Bild tatsächlich darstellt. Er gibt eine verstümmelte, falsche Beschreibung an das „Gehirn“ weiter. Das „Gehirn“, das nun Unsinn hört, schreibt eine völlig falsche Antwort.

Warum das eine große Sache ist

Einheitslösung: Man muss nicht für jedes einzelne Bild einen neuen Trick entwickeln. Ein einziger, winziger „Glitch“ funktioniert bei tausenden verschiedenen Bildern.
Super schnell: Da sie nur die schwachen mittleren Stellen angreifen und den Rest des Modells ignorieren, müssen sie nicht so viel rechnen. Es ist, als würde man ein Schloss mit einem spezifischen Schlüssel knacken, anstatt die ganze Tür einzurennen.
Es verbreitet sich: Wenn zwei verschiedene KI-Teams denselben „Augen“-Partner verwenden (selbst wenn sie unterschiedliche „Gehirne“ haben), funktioniert dieser einzelne Glitch bei beiden. Es ist wie ein Virus, der ein bestimmtes Organ angreift; wenn zwei Menschen dieses Organ haben, werden beide krank, auch wenn ihre Körper unterschiedlich sind.

Was passiert, wenn es funktioniert?
Das Paper zeigt, dass die Antworten der KI völlig aus dem Ruder laufen, wenn dieser Angriff angewendet wird.

Anstatt „Ein rotes Boot“ zu sagen, könnte sie sagen: „Das Bild zeigt einen Holztisch.“
Anstatt eine Frage zu beantworten, wiederholt sie vielleicht nur immer wieder das Wort „das“.
Es unterbricht effektiv die Verbindung zwischen dem, was die KI sieht, und dem, was sie sagt.

Das Fazit
Das Paper beweist, dass KI-Modelle nicht überall gleich stark sind. Sie haben spezifische, verborgene „Engpässe“ in ihren mittleren Schichten. Indem man diese Punkte findet und gezielt angreift, kann man einen hocheffizienten, universellen Trick erschaffen, der die Vision der KI verwirrt und sie bei fast jeder Aufgabe scheitern lässt, ohne die spezifische Frage oder die Antwort im Voraus kennen zu müssen.

Technisches Resümee: Ausnutzung von Schwachstellen im Vision Encoder für universelle adiabatische Störungen auf Large Vision-Language Models

Problemstellung

Large Vision-Language Models (LVLMs) haben signifikante Leistungen in multimodalen Aufgaben erzielt, bleiben jedoch äußerst anfällig für adiabatische Störungen (Adversarial Perturbations). Bestehende Angriffsstrategien behandeln den Vision Encoder typischerweise als monolithische, einheitlich verwundbare Oberfläche, indem sie Störungen gegen die finalen Embedding-Ausgaben des Encoders optimieren. Dieser Ansatz ignoriert jedoch die interne strukturelle Heterogenität des Encoders, was die adiabatischen Effekte durch das Anvisieren robuster Komponenten abschwächen kann. Darüber hinaus verlassen sich die meisten bisherigen Methoden auf bildspezifische Störungen, was zu hohen Rechenkosten führt und die Skalierbarkeit bei der Robustheitsbewertung über große Bildsätze hinweg einschränkt. Es mangelt an einer systematischen Analyse darüber, welche internen Komponenten des Vision Encoders am kritischsten für das Verhalten des nachgeschalteten Sprachmodells sind und wie man diese Schwachstellen effizient ausnutzen kann.

Methodik: VEV-UAP

Die Autoren schlagen Vision Encoder Vulnerable-Component-Targeted Universal Adversarial Perturbation (VEV-UAP) vor, ein Framework, das darauf ausgelegt ist, eine einzige, universelle Störung zu generieren, welche die Leistung von LVLMs über Bilder und Aufgaben hinweg verschlechtert, ohne während der Optimierung textuelle Eingaben oder das Sprachmodell einzubeziehen. Die Methodik gliedert sich in zwei Hauptphasen:

1. Strukturelle Schwachstellenanalyse

Die Autoren führen eine systematische Komponenten- und Schichtweise Analyse der Aufmerksamkeitsmechanismen innerhalb der Vision Encoder durch, um einen „Representation Robustness (RR) Score“ zu identifizieren. Dieser Score misst die Kosinusähnlichkeit zwischen den Hidden States des nachgeschalteten Large Language Models (LLM) vor und nach der Störung spezifischer Aufmerksamkeitskomponenten (Attention Weights, Query, Key und Value Vektoren) auf verschiedenen Schichten.

Kernelement: Die Analyse zeigt, dass die adiabatische Verwundbarkeit nicht gleichmäßig verteilt ist. Stattdessen ist sie strukturell konzentriert in den Value Vektoren der mittleren Schichten des Vision Encoders. Die Störung dieser spezifischen Komponenten induziert die größte Divergenz in den Hidden States des LLM, während die Störung früher oder späterer Schichten oder anderer Komponenten (Query, Key, Attention Weights) deutlich geringere Auswirkungen hat.

2. Angriffsoptimierung

Basierend auf der Schwachstellenanalyse optimiert VEV-UAP eine universelle Störung $\delta$ , indem es die Divergenz der Value Vektoren in den identifizierten vulnerablen mittleren Schichten ( $L_{vul}$ ) über einen Satz von Eingabebildern $X$ maximiert.

Zielsetzung: Die Optimierung minimiert den RR Score (maximiert die Kosinusdistanz) zwischen den Value Vektoren der sauberen Bilder $V_l(x)$ und der gestörten Bilder $V_l(x+\delta)$ für die Schichten $l \in L_{vul}$ .
Beschränkungen: Die Störung wird durch eine $L_\infty$ -Norm ( $\|\delta\|_\infty \leq \epsilon$ ) beschränkt, um Unauffälligkeit zu gewährleisten.
Effizienz: Der Prozess basiert vollständig auf dem Vision Encoder. Er erfordert keine Gradienten vom LLM, verwendet keine textuellen Prompts während der Optimierung und generiert eine einzige Störung, die für alle Bilder geteilt wird, wodurch die Kosten für die Optimierung pro Bild entfallen.

Kernbeiträge

Identifizierung vulnerabler Komponenten: Die Arbeit liefert die erste systematische Komponente- und Schichtweise Analyse der Vision Encoder von LVLMs und identifiziert die Value Vektoren der mittleren Schichten als den primären Ausbreitungspfad für adiabatische Effekte auf das Sprachmodell.
VEV-UAP Framework: Die Autoren führen eine Methode zur universellen adiabatischen Störung ein, die gezielt diese spezifischen vulnerablen Komponenten angreift. Dieser Ansatz erreicht hohe Erfolgsraten (ASR) bei gleichzeitig aufgabenneutraler Natur und ohne die Notwendigkeit textueller Überwachung oder LLM-Zugriff während des Trainings.
Effizienz und Transferierbarkeit: Die vorgeschlagene Methode demonstriert eine überlegene Recheneffizienz im Vergleich zu Baselines, die eine Vollmodell-Optimierung durchführen. Entscheidend ist, dass eine einzelne mit VEV-UAP optimierte Störung, die auf einem spezifischen Vision Encoder generiert wurde, effektiv auf verschiedene LVLMs transferiert werden kann, die denselben Vision Encoder teilen, selbst wenn sie mit unterschiedlichen Sprachmodellen kombiniert sind.

Experimentelle Ergebnisse

Die Autoren evaluierten VEV-UAP über mehrere LVLMs (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) und Aufgaben (Bildklassifizierung, Bildbeschreibung, Visual Question Answering).

Angriffserfolgsraten (ASR): VEV-UAP übertraf bestehende Baselines (Text-Emb, Img-Emb, Both-Emb) konsistent. Beispielsweise erreichte VEV-UAP bei der Klassifizierung für LLaVA-1.5 eine ASR von 96,1 % (bei $\tau=0,9$ ), verglichen mit 29,9 % für die beste Baseline. Bei VQA-Aufgaben senkte es die Modellwerte auf nahezu Null (z. B. 0,3 auf VQAv2 für LLaVA-1.5).
Transferierbarkeit: Eine einzelne Störung, die mit dem EVA-CLIP Vision Encoder generiert wurde, täuschte erfolgreich sowohl InstructBLIP als auch MiniGPT-4, obwohl diese unterschiedliche Sprach-Backbones (Vicuna-13B vs. LLaMA2-7B) verwenden. Ebenso beeinflusste eine auf CLIP-336 basierende Störung sowohl LLaVA als auch LLaVA-1.5.
Robustheit gegenüber Abwehrmechanismen: Unter JPEG-Kompression ( $Q=90$ ) behielt VEV-UAP eine signifikant höhere ASR als die Baselines (z. B. 88,5 % vs. 65,9 % für die Qwen2.5-VL Klassifizierung).
Rechenaufwand: VEV-UAP reduzierte die Optimierungszeit auf etwa 3,19 Stunden pro UAP, was eine 6,4-fache Beschleunigung gegenüber Methoden darstellt, die durch die gesamte LVLM-Architektur optimieren.
Qualitative Analyse: Visualisierungen zeigten, dass VEV-UAP dazu führt, dass die Verteilungen der Value Vektoren über verschiedene Eingabebilder hinweg invariant werden und zu verschwommenen, fehlgeleiteten Attention-Mustern im nachgeschalteten LLM führt, was repetitive oder semantisch unzusammenhängende Ausgaben zur Folge hat.

Bedeutung und Behauptungen

Das Paper behauptet, dass die adiabatische Verwundbarkeit von LVLMs strukturell konzentriert und nicht gleichmäßig verteilt ist. Durch die Identifizierung und gezielte Ansprache der spezifischen „Engpass“-Komponenten (mittlere Schicht-Value-Vektoren), die die Merkmalsintegration vor der Projektion zum Sprachmodell vermitteln, erreicht VEV-UAP eine effizientere und potentere Störung der multimodalen Pipeline.

Die Autoren positionieren VEV-UAP nicht bloß als Angriffswerkzeug, sondern als praktisches Framework für die skalierbare Robustheitsbewertung. Da es die Notwendigkeit einer Optimierung pro Bild und pro Prompt eliminiert und ausschließlich auf dem Vision Encoder basiert, ermöglicht es eine schnelle Bewertung der Robustheit über große Bildsätze und diverse Modellarchitekturen hinweg, die denselben visuellen Backbone nutzen. Die Arbeit legt nahe, dass zukünftige Bemühungen zur Verbesserung der LVLM-Robustheit darauf fokussiert sein sollten, die Repräsentationen der vulnerablen mittleren Schichten explizit zu verstärken.