🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

Dieses Paper schlägt ein duales adversarielles Fine-Tuning-Framework vor, das visuelle und semantische Überwachungssignale gemeinsam optimiert, um die Robustheit und die aufgabenübergreifende Generalisierbarkeit von Large Vision-Language Models gegenüber adversariellen Angriffen signifikant zu verbessern, ohne Architekturmodifikationen oder aufgabenspezifisches Retraining zu erfordern.

Ursprüngliche Autoren: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Veröffentlicht 2026-07-22

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer Bilder nicht nur sehen, sondern sie auch wirklich „verstehen“ – als würden sie über den Inhalt eines Fotosalbums plaudern wie ein Freund. Dies ist das Reich der Large Vision-Language Models (LVLMs), der superintelligenten KI-Gehirne hinter Werkzeugen, die einen Sonnenuntergang beschreiben, Fragen zu einem Diagramm beantworten oder eine Geschichte anhand eines einzelnen Bildes erzählen können. Um diese Giganten zum Arbeiten zu bringen, lehren Wissenschaftler sie, Bilder mit Wörtern zu verknüpfen, ganz so, als würde man ein Puzzleteil an seinen perfekten Platz setzen. Es gibt jedoch ein heimliches Problem: Diese KI-Gehirne sind überraschend zerbrechlich. Genau wie ein Magier durch eine kleine Ablenkung getäuscht werden kann, können diese Modelle durch „adversarial attacks“ (gegnerische Angriffe) aus der Fassung gebracht werden – winzige, unsichtbare Veränderungen an einem Bild, die für das menschliche Auge wie Rauschen aussehen, aber das KI-Gehirn völlig den Verstand verlieren lassen, sodass es einen Hund als Toaster oder einen Bus als Giraffe sieht. Das ist ein großes Problem, denn wenn wir beginnen, diesen Modellen wichtige Aufgaben anzuvertrauen, müssen wir sicherstellen, dass sie nicht durch digitales Rauschen getäuscht werden.

Hier kommt ein neues Team von Forschern ins Spiel, das beschlossen hat, die KI weniger leicht manipulierbar zu machen. Sie erkannten, dass bisherige Versuche, diese Modelle „widerstandsfähiger“ zu machen, so waren, als würde man einen Boxer darauf trainieren, nur gegen einen ganz bestimmten Gegner zu kämpfen; die Modelle wurden gut in diesem einen Kampf, konnten aber mit allem anderen nichts anfangen. Die Forscher schlugen ein kluges neues Trainingslager namens Dual Adversarial Fine-Tuning (DAFT) vor. Anstatt der KI nur beizubringen, das Rauschen zu ignorieren, lehrten sie ihr zwei Lektionen gleichzeitig. Erstens zeigten sie ihr die „saubere“ Version des Bildes (die Wahrheit), um ihr Gedächtnis scharf zu halten. Zweitens nutzten sie reichhaltige, beschreibende Geschichten (Captions) über das Bild anstelle einfacher Etiketten wie „Katze“ oder „Hund“. Stellen Sie sich das wie das Lehren eines Schülers vor, der nicht nur das Wort „Apfel“ auswendig lernt, sondern das gesamte Konzept eines Apfels versteht – seine Röte, seinen Biss und wie er in eine Obstschale passt – damit der Schüler selbst dann noch weiß, was es ist, wenn jemand das Bild beschmiert.

Die Arbeit stellt fest, dass dieser zweigleisige Ansatz Wunder wirkt. Als sie ihre neue Methode gegen die alten testeten, blieben die DAFT-trainierten Modelle selbst dann ruhig und gefasst, wenn die Bilder mit unsichtbarem Rauschen angegriffen wurden. Ob die Aufgabe darin bestand, zu erraten, was ein Bild darstellt (Klassifizierung), einen Satz darüber zu schreiben (Bildbeschreibung) oder eine knifflige Frage zu beantworten (Visual Question Answering) – die neue Methode bewahrte die Fassung. Die Forscher zeigten, dass das gesamte System viel schwerer zu täuschen war, indem sie die „Augen“ der KI durch ihre neu trainierte Version ersetzten, ohne das gesamte Gehirn von Grund auf neu bauen zu müssen. Es ist ein bisschen so, als würde man einem Superhelden eine neue Brille geben, die das schlechte Zeug herausfiltert, während das gute kristallklar bleibt.

Die Geschichte der Arbeit

Das Problem: Die „Ein-Trick-Pony“-KI
Large Vision-Language Models (LVLMs) sind erstaunlich. Sie können auf ein Foto eines Riesenrads schauen und Ihnen sagen, dass es ein „Riesenrad“ ist, oder eine Frage beantworten wie „Was befindet sich in der Mitte?“. Aber diese Modelle haben eine geheime Schwäche: Sie lassen sich leicht täuschen. Wenn man ein wenig unsichtbares statisches Rauschen zu einem Bild hinzufügt (einen „adversarial attack“), könnte die KI plötzlich glauben, das Riesenrad sei ein „Bus“ oder eine „Giraffe“.

Wissenschaftler haben schon früher versucht, dies zu beheben. Einige versuchten, die KI unter Verwendung einfacher Etiketten (wie „Katze“ oder „Bus“) zu trainieren, während sie ihr diese trickreichen, verrauschten Bilder zeigten. Aber die Arbeit argumentiert, dass dies so ist, als würde man einen Hund darauf trainieren, nur auf „Sitz“ zu hören, wenn man es in einem ruhigen Raum sagt; wenn man es in einem lauten Park sagt, wird der Hund verwirrt. Diese Methoden funktionierten ganz gut für einfache Aufgaben, scheiterten aber, wenn die KI schwierigere Dinge tun musste, wie eine Geschichte zu schreiben oder komplexe Fragen zu beantworten. Andere Methoden versuchten, die KI ganz ohne Etiketten zu trainieren, aber sie wurden nicht stark genug, um wirklich schwierige Angriffe zu bewältigen.

Die Lösung: Ein zweiteiliges Trainingslager
Die Autoren dieser Arbeit, Sibo Wang und sein Team, entwickelten eine neue Art, die KI zu trainieren, die DAFT (Dual Adversarial Fine-Tuning) heißt. Sie erkannten, dass die KI, um wirklich robust zu sein, zwei Arten von Anleitung gleichzeitig benötigte, wie ein Schüler, der mit zwei verschiedenen Lehrern lernt.

Der „visuelle“ Lehrer (Der Anker): Dieser Teil des Trainings verwendet eine eingefrorene, originale Version der „Augen“ der KI (den Vision Encoder). Er fungiert als Referenzleitfaden. Wenn die KI auf ein verrauschtes, trickreiches Bild blickt, sagt dieser Lehrer: „Hey, erinnere dich daran, wie das echte Bild aussieht! Vergiss die ursprünglichen Merkmale nicht.“ Dies verhindert, dass die KI verwirrt wird und übermäßig auf das Rauschen reagiert (Overfitting – also das Auswendiglernen des Rauschens statt der Wahrheit).
Der „semantische“ Lehrer (Der Geschichtenerzähler): Dies ist die große Innovation. Anstatt einfacher Etiketten wie „Bus“ oder „Katze“ nutzt dieser Lehrer vollständige Sätze oder Bildbeschreibungen, die das Bild im Detail beschreiben. Zum Beispiel sagt er statt nur „Bus“: „Ein blauer Bus, der eine regnerische Straße entlangfährt.“ Die KI wird dann darauf trainiert, das verrauschte Bild mit dieser reichhaltigen Beschreibung abzugleichen. Dies hilft der KI, die Bedeutung und den Kontext des Bildes zu verstehen, nicht nur die Kategorie.

Die Magie geschieht, weil diese beiden Lehrer zusammenarbeiten. Der „visuelle“ Lehrer hält die KI in der Realität verankert, während der „semantische“ Lehrer ihr hilft, die tiefe Bedeutung des Bildes zu verstehen, selbst wenn das Bild gestört ist.

Die Ergebnisse: Stärker und Schlauer
Das Team testete seine Methode an einer Reihe von verschiedenen Aufgaben. Sie nahmen ein populäres KI-Modell namens LLaVA und tauschten dessen ursprüngliche „Augen“ gegen die neue, gehärtete Version aus. Dann griffen sie es mit unsichtbarem Rauschen an, um zu sehen, was passieren würde.

Zero-Shot Klassifizierung: Als sie gefragt wurden, Objekte in Bildern zu identifizieren, die sie noch nie gesehen hatten, war das DAFT-Modell viel besser darin, das Rauschen zu ignorieren. Im Durchschnitt verbesserte es die Genauigkeit um etwa 12 % im Vergleich zu den alten Methoden, die einfache Etiketten verwendeten.
Bildbeschreibung und Q&A: Hier glänzte die neue Methode besonders. Wenn sie gefragt wurden, eine Beschreibung eines verrauschten Bildes zu schreiben oder eine Frage zu beantworten, gaben die alten Modelle oft unsinnige Antworten (wie z. B. einen Kran als „Giraffe“ zu bezeichnen). Das DAFT-Modell hingegen traf meistens richtig. In einem Test beispielsweise, bei dem andere Modelle unter Angriff nicht in der Lage waren, ein „Riesenrad“ korrekt zu identifizieren, gelang dem DAFT-Modell die korrekte Erkennung.
Der Kompromiss: Die Arbeit stellt fest, dass es manchmal die Leistung bei sauberen Bildern leicht verschlechtern kann, wenn man ein Modell so widerstandsfähig gegen Angriffe macht. DAFT gelang es jedoch, die Leistung bei sauberen Bildern fast so gut zu halten wie die besten existierenden Methoden, während es gleichzeitig viel stärker gegen Angriffe ist.

Was die Arbeit ausschließt
Die Autoren sind sich sehr klar darüber, was nicht funktioniert. Sie argumentieren, dass die bloße Verwendung von Kategorien-Etiketten (wie „Katze“ oder „Bus“) als einzige Orientierungshilfe nicht ausreicht, da dies zu Overfitting führt. Sie zeigen auch, dass rein unüberwachte Methoden (das Lernen ohne Textunterstützung) nicht stark genug gegen die fortgeschrittensten Angriffe sind. Ihre Experimente legen nahe, dass man tatsächlich die Kombination aus visueller Verankerung und reichem semantischem Verständnis benötigt, um die besten Ergebnisse zu erzielen.

Wie sicher sind sie sich?
Die Autoren führten umfangreiche Experimente über viele verschiedene Datensätze hinweg durch (wie Caltech101, COCO und VQAv2) und unter verschiedenen Ebenen von Rauschen (speziell Perturbationsbudgets von $\epsilon = 2/255$ und $\epsilon = 4/255$ ). Sie verglichen ihre Methode mit den derzeit besten Methoden (wie TeCoA und FARE) und fanden heraus, dass DAFT diese konsistent übertraf. Sie haben dies nicht nur simuliert, sondern die Modelle tatsächlich trainiert und unter realen Bedingungen getestet. Die Ergebnisse werden als gemessene Fakten aus ihren Experimenten präsentiert, die eine klare Verbesserung der Robustheit zeigen.

Das Fazit
Diese Arbeit legt nahe, dass wir, um die visuelle Wahrnehmung von KI-Modellen wirklich sicher und zuverlässig zu machen, sie nicht nur lehren dürfen, Rauschen zu ignorieren; wir müssen sie lehren, die Geschichte hinter dem Bild zu verstehen, während sie gleichzeitig einen festen Griff auf die visuellen Fakten behalten. Durch die Verwendung eines „dualen“ Ansatzes, der einen visuellen Anker mit reichhaltigen, beschreibenden Bildunterschriften kombiniert, haben die Forscher ein Modell geschaffen, das viel schwerer zu täuschen ist, was einen bedeutenden Schritt nach vorn für die Sicherheit dieser leistungsstarken KI-Werkzeuge darstellt.

Technisches Resümee: Dual Adversarial Fine-tuning zur Verbesserung der Robustheit von Large Vision Language Models

Problemstellung

Large Vision-Language Models (LVLMs), wie LLaVA und GPT-4V, haben bemerkenswerte Fähigkeiten im Bereich des Reasoning und des Verständnisses multimodaler Daten demonstriert. Sie bleiben jedoch inhärent anfällig für visuelle adversarielle Angriffe, bei denen unmerkliches Rauschen in visuellen Eingaben Modelle dazu zwingen kann, fehlerhafte Ausgaben zu generieren, wie etwa falsche Bildunterschriften oder Antworten auf visuelle Fragen.

Bestehende Verteidigungsstrategien stehen bei der Anwendung auf LVLMs vor zwei kritischen Einschränkungen:

Overfitting und mangelnde Generalisierung in der kategorie-ausgerichteten Überwachung: Methoden wie TeCoA verlassen sich auf feste Text-Embeddings (z. B. ImageNet-Klassenlabels) zur Überwachung. Während dies effektiv für die Zero-Shot-Klassifizierung innerhalb vordefinierter Kategorien ist, fehlt dieser Ansatz der semantischen Reichhaltigkeit, die für komplexe Aufgaben wie Bildbeschreibung (Image Captioning) und Visual Question Answering (VQA) erforderlich ist. Folglich überträgt sich der Gewinn an Robustheit oft nicht auf ungesehene Datensätze oder multimodale Aufgaben.
Begrenzter Nutzen durch unüberwachtes Fine-Tuning: Unüberwachte Methoden wie FARE verbessern die Generalisierung durch die Ausrichtung von adversariellen und sauberen Features ohne gelabelte Daten. Sie konzentrieren sich jedoch primär darauf, Feature-Diskrepanzen zu minimieren, und versagen oft bei der Abwehr anspruchsvoller Angriffe, die gezielt die Bild-Text-Ausrichtungsmechanismen von LVLMs angreifen.

Darüber hinaus ist das Durchführung von Adversarial Training von Grund auf für große Modelle rechnerisch prohibitiv. Die Herausforderung besteht daher darin, eine Strategie für das adversarielle Fine-Tuning zu entwickeln, die die Robustheit über verschiedene Downstream-Aufgaben hinweg verbessert, ohne ein vollständiges Retraining des gesamten Modells oder separate aufgabenspezifische Anpassungen zu erfordern.

Methodik: Dual Adversarial Fine-tuning (DAFT)

Die Autoren schlagen DAFT vor, ein duales adversarielles Fine-tuning-Framework, das darauf ausgelegt ist, visuelle und semantische Überwachungssignale gemeinsam zu optimieren. Die Methode konzentriert sich auf das Fine-tuning des Vision-Encoders (speziell des CLIP-Vision-Encoders) eines LVLM. Einmal feinabgestimmt, kann dieser robuste Encoder den ursprünglichen Encoder in Modellen wie LLaVA ersetzen und so die adversarielle Resilienz erben, ohne das Sprachmodell oder das gesamte System modifizieren zu müssen.

Das Framework besteht aus zwei synergetischen Zweigen:

1. Visueller Überwachungszweig (Visual Supervision Branch)

Dieser Zweig zielt darauf ab, die Generalisierungsfähigkeit des vortrainierten Modells zu bewahren und das Overfitting auf spezifische adversarielle Beispiele zu mildern.

Mechanismus: Er verwendet einen eingefrorenen Original-Vision-Encoder ( $F_{ori}$ ), um Merkmale aus sauberen Bildern zu extrahieren.
Zielsetzung: Das Zielmodell ( $F_\theta$ ) wird trainiert, um den $L_2$ -Abstand zwischen den Merkmalen von adversariellen Beispielen ( $x_a$ ) und den Merkmalen von sauberen Bildern ( $x$ ), die vom eingefrorenen Encoder extrahiert wurden, zu minimieren.
Verlustfunktion: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
Effekt: Dies stellt sicher, dass das Zielmodell die robusten, generalisierbaren Merkmale des ursprünglichen Fundamentmodells beibehält.

2. Semantischer Überwachungszweig (Semantic Supervision Branch)

Dieser Zweig adressiert die Notwendigkeit einer reichen semantischen Ausrichtung, um gegen Angriffe zu verteidigen, die die multimodale Kohärenz angreifen.

Mechanismus: Anstatt einfacher Kategorie-Labels verwendet dieser Zweig deskriptive Bildunterschriften als semantisches Überwachungssignal.
Zielsetzung: Er richtet adversarielle Beispiele an ihren Ground-Truth-Bildunterschriften aus, während er sie gleichzeitig von unzusammenhängenden Bildunterschriften innerhalb desselben Batches wegdrängt.
Verlustfunktion: Es wird ein Triplet-Loss verwendet, bei dem das adversarielle Feature der Anker ist, die Ground-Truth-Bildunterschrift das positive Sample ( $P_o$ ) darstellt und das „schwierigste“ negative Sample ( $N_e$ ) – definiert als die Bildunterschrift im Batch, die dem adversariellen Feature am ähnlichsten ist – verwendet wird, um die Margin zu maximieren.
Verlustfunktion: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
Effekt: Dies nutzt die reichhaltigen kontextuellen Informationen in Bildunterschriften, um die semantische Kohärenz unter Angriff aufrechtzuerhalten, was für Aufgaben wie VQA und Bildbeschreibung entscheidend ist.

Optimierung

Die finale Zielfunktion kombiniert beide Zweige: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . Der Trainingsprozess beinhaltet eine alternierende Min-Max-Optimierung:

Generierung des Angriffs: Generierung von adversariellen Beispielen $x_a$ durch Maximierung von $L_{DAFT}$ mittels Projected Gradient Descent (PGD).
Parameter-Update: Aktualisierung der Parameter $\theta$ des Vision-Encoders durch Minimierung von $L_{DAFT}$ auf den generierten adversariellen Beispielen.

Kernbeiträge

Duales Überwachungs-Framework: Der Vorschlag von DAFT, das sowohl visuelle als auch semantische Überwachungssignale gemeinsam optimiert, um die Cross-Task-Robustheit in LVLMs zu erhöhen und gleichzeitig Overfitting zu vermeiden.
Bildunterschriften-gestützte semantische Überwachung: Nach Kenntnis der Autoren ist dies das erste Framework, das deskriptive Bildunterschriften (statt Klassenlabels) als semantische Überwachung für das adversarielle Training integriert. Dieser Ansatz verbessert die Robustheit in multimodalen Aufgaben signifikant, indem er reichere semantische Informationen nutzt.
Plug-and-Play-Robustheit: Die Methode erreicht Cross-Task-Robustheit durch den einfachen Austausch des CLIP-Vision-Encoders im ursprünglichen LVLM, was kein separates aufgabenspezifisches Retraining oder Architekturmodifikationen erfordert.

Experimentelle Ergebnisse

Die Autoren evaluierten DAFT auf Zero-Shot-Klassifizierungs-, Bildbeschreibungs- und VQA-Aufgaben über mehrere Datensätze hinweg (z. B. Caltech101, COCO, VQAv2) mit Perturbationsbudgets von $\epsilon = 2/255$ und $\epsilon = 4/255$ .

Zero-Shot-Klassifizierung: DAFT übertraf State-of-the-Art-Methoden (TeCoA, PMG-AFT, FARE). Unter $\epsilon = 2/255$ verbesserte es die durchschnittliche robuste Genauigkeit um etwa 12 % gegenüber kategorie-label-überwachten Methoden und um 1,2 % gegenüber der unüberwachten Methode FARE, während die saubere Genauigkeit vergleichbar blieb.
Bildbeschreibung und VQA: DAFT demonstrierte eine überlegene Robustheit in generativen Aufgaben. Im Vergleich zu FARE (dem vorherigen SOTA für Generalisierung) verbesserte DAFT den durchschnittlichen CIDEr-Score um 2,3 und die durchschnittliche VQA-Genauigkeit um 1,1 % unter $\epsilon = 2/255$ . Unter stärkeren Angriffen ( $\epsilon = 4/255$ ) waren die Verbesserungen sogar noch ausgeprägter.
Ablationsstudien:
- Verlustkomponenten: Die Verwendung sowohl der visuellen als auch der semantischen Überwachung lieferte die besten Ergebnisse. Die Verwendung nur der semantischen Überwachung führte zu signifikantem Overfitting, während die alleinige visuelle Überwachung nicht in der Lage war, die Robustheit zu maximieren.
- Art der Überwachung: Das Ersetzen von deskriptiven Bildunterschriften durch Kategorie-Labels führte zu einem Rückgang der Zero-Shot-Klassifizierungsgenauigkeit um 12,4 % und einem Rückgang der CIDEr-Scores um 15,2 Punkte, was die Überlegenheit der bildunterschriftenbasierten Überwachung validiert.
- Negatives Sampling: Die Auswahl des „schwierigsten“ negativen Samples (am ähnlichsten zum adversariellen Feature) war entscheidend; die Verwendung von „einfachen“ Negativen führte zu nahezu null Robustheit.
- Hyperparameter: Die optimale Leistung wurde mit einer Margin $\alpha=0.2$ und einem Balancing-Koeffizienten $\gamma=0.5$ erreicht.

Bedeutung und Ansprüche

Das Paper behauptet, dass DAFT die kritische Lücke in der aktuellen LVLM-Verteidigungsforschung adressiert, in der bestehende Methoden entweder auf spezifische Klassifizierungskategorien überfitten oder die komplexen multimodalen Ausrichtungsmechanismen nicht schützen können. Durch die Vereinigung von visueller und semantischer Ausrichtung unter Angriffskonditionen bietet DAFT eine skalierbare Lösung, die die adversarielle Robustheit über verschiedene Downstream-Aufgaben (Klassifizierung, Bildbeschreibung, VQA) hinweg erhöht, ohne den Rechenaufwand für ein vollständiges Retraining des Modells zu verursachen. Die Autoren positionieren diese Arbeit als einen Schritt zur Sicherung des Einsatzes von LVLMs in sicherheitskritischen Anwendungen, indem sie eine konsistente Leistung selbst bei gestörten visuellen Eingaben gewährleisten.

Die Autoren weisen auf Limitationen hin, einschließlich des Fokus auf CLIP-basierte Modelle, der White-Box-Natur der Verteidigung und der Abhängigkeit vom COCO-Datensatz für das Training, und schlagen vor, dass zukünftige Arbeiten nicht-CLIP-Architekturen, Black-Box-Verteidigungen und größere Bildunterschriften-Datensätze untersuchen könnten.