🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

Dit artikel stelt een duaal adversarieel fine-tuning framework voor dat visuele en semantische supervisiesignalen gezamenlijk optimaliseert om de robuustheid en cross-task generaliseerbaarheid van Large Vision-Language Models tegen adversariële aanvallen aanzienlijk te verbeteren zonder architecturale wijzigingen of taakspecifieke hertraining te vereisen.

Oorspronkelijke auteurs: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Gepubliceerd 2026-07-22

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen plaatjes zien, maar ze ook echt "begrijpen", en erover chatten zoals een vriend die naar een fotoalbum kijkt. Dit is het domein van Large Vision-Language Models (LVLMs), de superintelligente AI-hersenen achter tools die een zonsondergang kunnen beschrijven, vragen over een diagram kunnen beantwoorden of een verhaal kunnen vertellen op basis van een enkele afbeelding. Om deze reuzen te laten werken, leren wetenschappers hen om afbeeldingen met woorden te verbinden, net zoals het matchen van een puzzelstukje op zijn perfecte plek. Echter, er is een verraderlijk probleem: deze AI-hersenen zijn verrassend fragiel. Net zoals een goochelaar afgeleid kan worden door een kleine afleiding, kunnen deze modellen worden gefopt door "adversarial attacks"—kleine, onzichtbare aanpassingen aan een afbeelding die voor het menselijk oog lijken op statische ruis, maar de AI volledig de weg kwijt laten raken, waardoor een hond als een broodrooster wordt gezien of een bus als een giraffe. Dit is een groot probleem, want naarmate we deze modellen meer vertrouwen voor belangrijke taken, moeten we ervoor zorgen dat ze niet worden misleid door digitale ruis.

Maak kennis met een nieuw team onderzoekers die besloten de AI minder gemakkelijk laat foppen te worden. Ze realiseerden zich dat eerdere pogingen om deze modellen "taai" te maken, leken op het trainen van een bokser die alleen tegen één specifieke tegenstander vecht; de modellen werden goed in dat ene gevecht, maar konden met niets anders omgaan. De onderzoekers stelden een slim nieuw trainingskamp voor genaamd Dual Adversarial Fine-Tuning (DAFT). In plaats van de AI alleen te leren de ruis te negeren, leerden ze het twee lessen tegelijk. Ten eerste toonden ze de "schone" versie van de afbeelding (de waarheid) om het geheugen scherp te houden. Ten tweede gebruikten ze rijke, beschrijvende verhalen (captions) over de afbeelding in plaats van eenvoudige labels zoals "kat" of "hond". Denk eraan als het leren van een student niet alleen het woord "appel" te onthouden, maar het hele concept van een appel te begrijpen—de roodheid, de crunch, en hoe hij in een fruitmand past—zodat zelfs als iemand op de foto krabbelt, de student nog steeds weet wat het is.

Het onderzoek concludeert dat deze tweeledige aanpak wonderen doet. Wanneer ze hun nieuwe methode testten tegen de oude methoden, bleven de met DAFT getrainde modellen kalm en beheerst, zelfs wanneer de afbeeldingen werden aangevallen met onzichtbare ruis. Of de taak nu het raden van wat een plaatje is (classificatie), het schrijven van een zin over de afbeelding (captioning), of het beantwoorden van een lastige vraag (visual question answering) was, de nieuwe methode hield de controle. De onderzoekers lieten zien dat door de "ogen" van de AI te vervangen door hun nieuw getrainde versie, het hele systeem veel moeilijker te misleiden was, zonder dat de hele hersenstructuur opnieuw gebouwd hoefde te worden. Het is een beetje alsof je een superheld een nieuwe bril geeft die de slechte dingen wegfiltert terwijl de goede dingen kristalhelder houdt.

Het Verhaal van het Papier

Het Probleem: De "Eendelige" AI
Large Vision-Language Models (LVLMs) zijn geweldig. Ze kunnen naar een foto van een reuzenrad kijken en zeggen dat het een "reuzenrad" is, of een vraag beantwoorden als "Wat zit er in het midden?". Maar deze modellen hebben een geheim zwak punt: ze worden gemakkelijk misleid. Als je een klein beetje onzichtbare statische ruis aan een plaatje toevoft (een "adversarial attack"), kan de AI plotseling denken dat het reuzenrad een "bus" of een "giraffe" is.

Wetenschappers hebben geprobeerd dit eerder op te lossen. Sommigen probeerden de AI te trainen met eenvoudige labels (zoals "kat" of "bus") terwijl ze deze lastige, ruisige plaatjes lieten zien. Maar het artikel betoogt dat dit is als het trainen van een hond om alleen te gaan zitten als je "zit" zegt in een stille kamer; als je het in een lawaaierig park zegt, raakt de hond in de war. Deze methoden werkten redelijk voor eenvoudige taken, maar faalden bij moeilijkere zaken zoals het schrijven van een verhaal of het beantwoorden van complexe vragen. Andere methoden probeerden de AI te trainen zonder labels te gebruiken, maar die werden niet sterk genoeg om de echt lastige aanvallen te weerstaan.

De Oplossing: Een Tweeledig Trainingskamp
De auteurs van dit papier, Sibo Wang en zijn team, bedachten een nieuwe manier om de AI te trainen genaamd DAFT (Dual Adversarial Fine-Tuning). Ze realiseerden zich dat om de AI echt robuust te maken, het twee soorten begeleiding tegelijkertijd nodig had, zoals een student die studeert met twee verschillende leraren.

De "Visuele" Leraar (Het Anker): Dit deel van de training maakt gebruik van een bevroren, originele versie van de "ogen" van de AI (de vision encoder). Het fungeert als een referentiegids. Wanneer de AI naar een ruisige, lastige foto kijkt, zegt deze leraar: "Hé, weet je nog hoe de echte foto eruitzag? Vergeet de originele kenmerken niet." Dit voorkomt dat de AI in de war raakt en overfit (het memoriseren van de ruis in plaats van de waarheid).
De "Semantische" Leraar (De Verhalenverteller): Dit is de grote innovatie. In plaats van eenvoudige labels zoals "bus" of "kat", gebruikt deze leraar volledige zinnen of bijschriften die de afbeelding in detail beschrijven. Bijvoorbeeld, in plaats van alleen "bus", zegt het: "Een blauwe bus die over een regenachtige straat rijdt." De AI wordt vervolgens getraind om de ruisige afbeelding te koppelen aan deze rijke beschrijving. Dit helpt de AI om de betekenis en de context van de afbeelding te begrijpen, en niet alleen de categorie.

De magie gebeurt omdat deze twee leraren samenwerken. De "Visuele" leraar houdt de AI geworteld in de realiteit, terwijl de "Semantische" leraar de AI leert de diepe betekenis van de afbeelding te begrijpen, zelfs als de foto verstoord is.

De Resultaten: Sterker en Slimmer
Het team testte hun nieuwe methode op een reeks verschillende taken. Ze namen een populair AI-model genaamd LLaVA en vervingen de originele "ogen" door hun nieuwe, getoonde versie. Daarna vielen ze het aan met onzichtbare ruis om te zien wat er zou gebeuren.

Zero-Shot Classificatie: Wanneer gevraagd werd om objecten in foto's te identificeren die het model nog nooit had gezien, was het DAFT-model veel beter in het negeren van de ruis. Gemiddeld verbeterde de nauwkeurigheid met ongeveer 12% vergeleken met de oude methoden die eenvoudige labels gebruikten.
Captioning en Q&A: Hier blonk de nieuwe methode echt uit. Wanneer gevraagd werd om een beschrijving van een ruisige afbeelding te schrijven of een vraag te beantwoorden, gaven de oude modellen vaak onzinantwoorden (zoals een kraan een "giraffe" noemen). Het DAFT-model kreeg het echter wel goed. In één test bijvoorbeeld, terwijl andere modellen er niet in slaagden een "reuzenrad" correct te identificeren onder aanval, haalde het DAFT-model het perfect.
De Afweging: Het artikel merkt op dat het soms de prestaties op schone foto's iets kan verslechteren als je een model zo taai maakt tegen aanvallen. Echter, DAFT slaagde erin om de prestaties op schone foto's bijna even goed te houden als de beste bestaande methoden, terwijl het veel sterker was tegen aanvallen.

Wat het Papier Uitsluit
De auteurs zijn zeer duidelijk over wat niet werkt. Ze betogen dat het simpelweg gebruiken van categorie-labels (zoals "kat" of "bus") als enige gids niet voldoende is, omdat dit leidt tot overfitting. Ze laten ook zien dat het gebruik van unsupervised methoden (leren zonder tekstuele hulp) niet sterk genoeg is tegen de meest geavanceerde aanvallen. Hun experimenten suggereren dat je echt die combinatie van visuele verankering en rijke semantische begripsvorming nodig hebt voor de beste resultaten.

Hoe Zeker Zijn Ze?
De auteurs hebben uitgebreide experimenten uitgevoerd over vele verschillende datasets (zoals Caltech101, COCO en VQAv2) en onder verschillende niveaus van ruis (specifiek perturbatie-budgetten van $\epsilon = 2/255$ en $\epsilon = 4/255$ ). Ze vergeleken hun methode met de huidige beste methoden (zoals TeCoA en FARE) en stelden vast dat DAFT consequent beter presteerde. Ze hebben dit niet alleen gesimuleerd; ze hebben de modellen daadwerkelijk getraind en getest op echte taken. De resultaten worden gepresenteerd als gemeten feiten uit hun experimenten, wat een duidelijke verbetering in robuustheid laat zien.

De Kernboodschap
Dit papier suggereert dat om visuele AI-modellen echt veilig en betrouwbaar te maken, we ze niet alleen moeten leren om ruis te negeren; we moeten ze leren om het verhaal achter de afbeelding te begrijpen, terwijl ze een stevige grip houden op de visuele feiten. Door een "duale" aanpak te gebruiken die een visueel anker combineert met rijke, beschrijvende bijschriften, hebben de onderzoekers een model gebouwd dat veel moeilijker te misleiden is, wat een belangrijke stap voorwaarts is voor de veiligheid van deze krachtige AI-tools.

Technische Samenvatting: Dual Adversarial Fine-tuning voor het Verbeteren van de Robuustheid van Large Vision Language Models

Probleemstelling

Large Vision-Language Models (LVLMs), zoals LLaVA en GPT-4V, hebben indrukwekkende capaciteiten getoond in redeneren en het begrijpen van multimodale data. Ze blijven echter inherent kwetsbaar voor visuele adversariële aanvallen, waarbij onwaarneembare ruis in visuele inputs modellen kan dwingen tot het genereren van foutieve outputs, zoals onjuiste beschrijvingen of antwoorden op visuele vragen.

Bestaande verdedigingsstrategieën kampen met twee kritieke beperkingen wanneer ze worden toegepast op LVLMs:

Overfitting en Slechte Generalisatie in Categorie-gealigneerde Supervisie: Methoden zoals TeCoA vertrouwen op vaste tekst-embeddings (bijv. ImageNet-klasselabels) voor supervisie. Hoewel dit effectief is voor zero-shot classificatie binnen vooraf gedefinieerde categorieën, ontbreekt het deze aan de semantische rijkdom die vereist is voor complexe taken zoals beeldbeschrijving (image captioning) en Visual Question Answering (VQA). Gevolgelijkelijk faalt de winst in robuustheid vaak bij het overdragen naar ongeziene datasets of multimodale taken.
Beperkte Winst uit Ongesuperviseerde Fine-tuning: Ongesuperviseerde methoden zoals FARE verbeteren de generalisatie door adversariële en schone features te aligneren zonder gelabelde data. Echter, zij richten zich primair op het minimaliseren van feature-discrepanties en falen vaak in het verdedigen tegen geavanceerde aanvallen die specifiek gericht zijn op de beeld-tekst alignatiemechanismen van LVLMs.

Bovendien is het vanaf nul uitvoeren van adversariële training voor grote modellen computationeel onhaalbaar. Daarom ligt de uitdaging in het ontwikkelen van een strategie voor adversariële fine-tuning die de robuustheid over diverse downstream-taken heen verbetert, zonder dat volledige hertraining van het model of aparte taakspecifieke aanpassingen nodig zijn.

Methodologie: Dual Adversarial Fine-tuning (DAFT)

De auteurs stellen DAFT voor, een dual adversarial fine-tuning framework ontworpen om zowel visuele als semantische supervisiesignalen gezamenlijk te optimaliseren. De methode richt zich op het fine-tunen van de vision encoder (specifiek de CLIP vision encoder) van een LVLM. Eenmaal gefinetuned kan deze robuuste encoder de originele encoder in modellen zoals LLaVA vervangen, waarbij de adversariële veerkracht wordt geërfd zonder het taalmodel of het gehele systeem te wijzigen.

Het framework bestaat uit twee synergetische takken:

1. Visuele Supervisietak

Deze tak heeft als doel de generalisatiecapaciteiten van het vooraf getrainde model te behouden en overfitting op specifieke adversariële voorbeelden te beperken.

Mechanisme: Het maakt gebruik van een bevroren originele vision encoder ( $F_{ori}$ ) om features te extraheren uit schone afbeeldingen.
Doelstelling: Het doelmodel ( $F_\theta$ ) wordt getraind om de $L_2$ -afstand te minimaliseren tussen de features van adversariële voorbeelden ( $x_a$ ) en de features van schone afbeeldingen ( $x$ ) die door de bevroren encoder zijn geëxtraheerd.
Verliesfunctie: $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ .
Effect: Dit zorgt ervoor dat het doelmodel de robuuste, generaliseerbare features van het originele fundamentele model behoudt.

2. Semantische Supervisietak

Deze tak adresseert de behoefte aan rijke semantische alignment om te verdedigen tegen aanvallen die de multimodale coherentie targeten.

Mechanisme: In plaats van eenvoudige categorie-labels, gebruikt deze tak beschrijvende bijschriften (descriptive captions) als het semantische supervisiesignaal.
Doelstelling: Het aligneert adversariële voorbeelden met hun grondwaarheid (ground-truth) beschrijvende bijschriften, terwijl het ze wegduwt van ongerelateerde bijschriften binnen dezelfde batch.
Verliesfunctie: Er wordt een triplet loss gebruikt waarbij het adversariële feature de anchor is, het grondwaarheid bijschrift de positieve sample ( $P_o$ ) is, en de "moeilijkste" negatieve sample ( $N_e$ ) — gedefinieerd als het bijschrift in de batch dat het meest lijkt op het adversariële feature — wordt gebruikt om de marge te maximaliseren.
Verliesfunctie: $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ .
Effect: Dit benut de rijke contextuele informatie in bijschriften om semantische coherentie te handhaven onder aanval, wat cruciaal is voor taken zoals VQA en beeldbeschrijving.

Optimalisatie

De uiteindelijke objectieffunctie combineert beide takken: $L_{DAFT} = L_{sem} + \gamma L_{vis}$ . Het trainingsproces omvat een alternerende min-max optimalisatie:

Generatie van Aanval: Genereer adversariële voorbeelden $x_a$ door $L_{DAFT}$ te maximaliseren met behulp van Projected Gradient Descent (PGD).
Parameter Update: Update de parameters $\theta$ van de vision encoder door $L_{DAFT}$ te minimaliseren op de gegenereerde adversariële voorbeelden.

Belangrijkste Bijdragen

Dual Supervision Framework: De voorstel van DAFT, dat gezamenlijk visuele en semantische supervisiesignalen optimaliseert om de cross-task robuustheid in LVLMs te verbeteren en tegelijkertijd overfitting te beperken.
Caption-Guided Semantic Supervision: Naar weten van de auteurs is dit het eerste framework dat beschrijvende bijschriften (in plaats van klasse-labels) integreert als semantische supervisie voor adversariële training. Deze aanpak verbetert de robuustheid in multimodale taken aanzienlijk door gebruik te maken van rijkere semantische informatie.
Plug-and-Play Robuustheid: De methode bereikt cross-task robuustheid door simpelweg de CLIP vision encoder in het originele LVLM te vervangen, zonder dat er aparte taakspecifieke hertraining of architecturale wijzigingen nodig zijn.

Experimentele Resultaten

De auteurs evalueerden DAFT op zero-shot classificatie, beeldbeschrijving en VQA-taken over meerdere datasets (bijv. Caltech101, COCO, VQAv2) met perturbatiebudgetten van $\epsilon = 2/255$ en $\epsilon = 4/255$ .

Zero-Shot Classificatie: DAFT presteerde beter dan state-of-the-art methoden (TeCoA, PMG-AFT, FARE). Onder $\epsilon = 2/255$ verbeterde het de gemiddelde robuuste nauwkeurigheid met ongeveer 12% ten opzichte van categorie-label gesuperviseerde methoden en met 1,2% ten opzichte van de ongesuperviseerde FARE-methode, terwijl de schone nauwkeurigheid vergelijkbaar bleef.
Beeldbeschrijving en VQA: DAFT demonstreerde superieure robuustheid in generatieve taken. Vergeleken met FARE (de vorige SOTA voor generalisatie), verbeterde DAFT de gemiddelde CIDEr-scores met 2,3 en de gemiddelde VQA-nauwkeurigheid met 1,1% onder $\epsilon = 2/255$ . Onder sterkere aanvallen ( $\epsilon = 4/255$ ) waren de verbeteringen nog prominenter.
Ablatie-studies:
- Loss Componenten: Het gebruik van zowel visuele als semantische supervisie leverde de beste resultaten op. Het gebruik van enkel semantische supervisie leidde tot significante overfitting, terwijl visuele supervisie alleen er niet in slaagde om de robuustheid te maximaliseren.
- Type Supervisie: Het vervangen van beschrijvende bijschriften door categorie-labels resulteerde in een daling van 12,4% in zero-shot classificatie nauwkeurigheid en een daling van 15,2 punten in CIDEr-scores, wat de superioriteit van bijschrift-gebaseerde supervisie valideert.
- Negative Sampling: Het selecteren van de "moeilijkste" negatieve sample (meest vergelijkbaar met het adversariële feature) was cruciaal; het gebruik van "makkelijkste" negatieven resulteerde in bijna nul robuustheid.
- Hyperparameters: Optimale prestaties werden bereikt met een marge $\alpha=0.2$ en een balancerende coëfficiënt $\gamma=0.5$ .

Betekenis en Claims

Het artikel claimt dat DAFT het kritieke gat in huidig LVLM-verdedingsonderzoek aanpakt, waarbij bestaande methoden ofwel overfitten op specifieke classificatiecategorieën, ofwel er niet in slagen de complexe multimodale alignment-mechanismen te beschermen. Door visuele en semantische alignment te verenigen onder aanvalcondities, biedt DAFT een schaalbare oplossing die de adversariële robuustheid over diverse downstream-taken (classificatie, beschrijving, VQA) verbetert zonder de computationele kosten van volledige modelhertraining. De auteurs positioneren dit werk als een stap naar het beveiligen van de inzet van LVLMs in veiligheidsgevoelige toepassingen door consistente prestaties te garanderen, zelfs wanneer visuele inputs worden verstoord.

De auteurs merken beperkingen op, waaronder de focus op CLIP-gebaseerde modellen, de white-box aard van de verdediging, en de afhankelijkheid van de COCO-dataset voor training, wat suggereert dat toekomstig werk niet-CLIP architecturen, black-box verdedigingen en grotere caption-datasets zou kunnen verkennen.