💻 computer science

Unifying Adversarially Robust Model Experts in Vision-Language Models

Dit artikel stelt CARE voor, een collaboratief adversarieel fine-tuning framework dat meerdere gespecialiseerde robuuste model-experts verenigt via harmonisatie in de embedding-ruimte om één enkel vision-language model te creëren met superieure, complementaire adversariële robuustheid over diverse evaluatieomgevingen heen.

Oorspronkelijke auteurs: Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

Gepubliceerd 2026-07-31

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nguyen Duc Thai, Junhao Dong, Sua Qi Rong, Hua Yu, Yew-Soon Ong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robotvriend hebt die naar een foto kan kijken en je direct kan vertellen wat het is, of er zelfs een gedicht over kan schrijven. Deze robot, bekend als een Vision-Language Model (VLM), is geweldig omdat hij zowel afbeeldingen als woorden tegelijkertijd begrijpt. Maar zoals elk slim kind, heeft deze robot een zwakte: hij kan gemakkelijk worden misleid. Als iemand een minuscuul, onzichtbaar stipje "ruis" aan een plaatje toevoegt—zoals een paar pixels die slechts een fractie verschoven zijn—kan de robot plotseling denken dat een panda een broodrooster is of een kat een auto. Dit wordt een "adversarial attack" genoemd, en het is een groot probleem omdat we willen dat deze robots veilig en betrouwbaar zijn in de echte wereld.

Om dit op te lossen, leren wetenschappers de robot om te oefenen met deze verraderlijke plaatjes, een proces dat "adversarial training" wordt genoemd. Denk aan een martial arts-student die traint met een partner om te leren hoe hij een klap moet blokkeren. Dit artikel dat je gaat lezen, verkent een fascinerende ontdekking: er is niet slechts één manier om de robot te leren blokkeren. Sommige leraren focussen op het onthouden van de exacte bewegingen (leren om specifieke woorden te herkennen), terwijl anderen focussen op het behouden van hun evenwicht, ongeacht wat er gebeurt (het stabiel houden van de kenmerken van de afbeelding). Het probleem is dat een student die goed is in het onthouden van bewegingen, misschien omvalt als het gevecht verandert, en een student die goed is in evenwicht, misschien de specifieven namen van de bewegingen vergeet. Dit artikel stelt een simpele maar krachtige vraag: Wat als we het beste van twee werelden kunnen krijgen?

Het Verhaal van Twee Experts en de Magische Lijm

In de wereld van AI-veiligheid trainen onderzoekers "experts" om Vision-Language Modellen weerbaarder te maken tegen aanvallen. Maar hier is het addertje onder het gras: deze experts zijn een beetje als gespecialiseerde atleten. Een type expert, laten we ze de "Woord-Wizzards" noemen, wordt heel goed in het matchen van plaatjes aan specifieke tekstbeschrijvingen. Als je ze een foto van een panda laat zien en vraagt: "Is dit een panda?", zijn ze onwrikbaar. Maar als je ze een foto van een nieuw dier laat zien dat ze nog nooit hebben gezien, kunnen ze struikelen omdat ze zo zwaar vertrouwen op de tekst die ze hebben onthouden.

De andere soort, de "Steadige-Handen", focust op het gelijk houden van de afbeelding zelf, zelfs wanneer iemand probeert ermee te knoeien. Ze zijn geweldig in het omgaan met nieuwe, ongeziene dieren omdat ze minder om de specifieke woorden geven; ze weten gewoon hoe een "katachtige vorm" eruitziet. Echter, ze zijn niet zo scherp in het gebruiken van de tekstuele aanwijzingen om het juiste antwoord te krijgen op bekende dieren.

Een tijdlang probeerden wetenschappers dit op te lossen door eerst één expert te trainen, dan de andere, en ze vervolgens aan het einde samen te voegen. Maar dat was also려 het proberen vast te plakken van twee verschillende soorten klei terwijl ze nog nat waren; ze bleven uit elkaar trekken, of het eindresultaat was een rommelige klodder die nergens goed in was.

Ontmoet CARE: De Collaboratieve Coach

De auteurs van dit artikel, Nguyen Duc Thai en zijn team, besloten iets anders te proberen. In plaats van eerst één expert en dan de andere te trainen, bouwden ze een framework genaamd CARE (Collaborative Adversarial Robustness fine-tuning using Embedding alignment). Denk aan CARE als een briljante coach die de "Woord-Wizzards" en de "Steadige-Handen" in dezelfde sportschool zet en ze zij aan zij laat trainen.

Zo werkt de magie:

De Gezamenlijke Opwarming: Voordat de experts aan hun specifieke oefeningen beginnen, delen ze een "universele perturbatie". Stel je voor dat ze allebei naar dezelfde licht vervormde afbeelding kijken om een gevoel te krijgen bij de problemen. Dit helpt hen om op dezelfde golflengte te beginnen.
De Gespecialiseerde Oefeningen: De "Woord-Wizard" oefent met het matchen van de vervormde afbeelding aan de juiste tekst. De "Steadige-Hand" oefent met het zorgen ervoor dat de afbeelding niet te veel van vorm verandert.
De Geheime Handdruk (Harmonisatie): Dit is het belangrijkste deel. Terwijl ze trainen, dwingt de coach hen om met elkaar te communiceren. De "Woord-Wizard" zegt tegen de "Steadige-Hand": "Hé, kijk hoe ik de tekst match!" en de "Steadige-Hand" zegt: "Hé, kijk hoe ik de afbeelding stabiel houd!" Ze wisselen deze kennis in realtime uit. Dit voorkomt dat ze te ver uit elkaar drijven en zorgt ervoor dat ze beiden leren van elkaars sterke punten.
De Finale Versmelting: Aan het einde van de dag mengt de coach hun breinen samen tot één super-expert. Dit nieuwe model is niet alleen een mix; het is een verenigd brein dat weet hoe het woorden moet matchen én hoe het afbeeldingen stabiel moet houden.

Wat Ze Ontdekten

Het team testte deze nieuwe methode op een beroemde dataset genaamd ImageNet en vele andere lastige plaatjessets. De resultaten waren behoorlijk cool.

Beter dan de Specialisten: Het nieuwe CARE-model was beter dan de "Woord-Wizard" alleen en beter dan de "Steadige-Hand" alleen. Sterker nog, wanneer de aanvallen sterk waren (met een perturbatiegrootte van $\epsilon = 4/255$ ), presteerde CARE ongeveer 2% beter dan de "Woord-Wizard" (TeCoA) en bijna 8% beter dan de "Steadige-Hand" (FARE).
Omgaan met het Onbekende: Het CARE-model werd niet alleen beter in het herkennen van bekende dieren; het werd ook beter in het raden van nieuwe dieren. De "Steadige-Hand" wint meestal bij nieuwe zaken, en de "Woord-Wizard" wint meestal bij bekende zaken. CARE slaagde erin om op beide gebieden de beste te zijn.
Real-World Taken: Ze testten het model ook op taken zoals het schrijven van bijschriften voor afbeeldingen en het beantwoorden van vragen over deze afbeeldingen. Zelfs wanneer de afbeeldingen werden aangevallen, gaf CARE vaker het juiste antwoord dan de andere methoden. Bijvoorbeeld, in een test waarbij ze een "Hot Dog" in een afbeelding moesten identificeren, zei CARE zelfs onder aanval correct "Hot Dog", terwijl anderen in de war raakten.

De Prijs van Grootheid

Natuurlijk is er een prijs voor dit teamwork. Het trainen van twee experts tegelijk kost meer computerkracht. Het artikel merkt op dat het trainen van CARE ongeveer 1,5 keer langer duurt dan het trainen van slechts één expert (83 uur versus 48-50 uur) en meer geheugen gebruikt (52,6 GB versus 25-29 GB). De auteurs suggereren echter dat met slimme engineering, zoals het verwijderen van tijdelijke gegevens zodra ze gebruikt zijn, ze het geheugengebruik beheersbaar kunnen houden.

De Kern van het Verhaal

Het artikel suggereert dat de oude manier van denken—kiezen voor één strategie en je eraan vasthouden—misschien te beperkend is. Door verschillende soorten AI-experts samen te laten werken en van elkaars sterke punten te laten leren, kunnen we modellen bouwen die veel moeilijker te misleiden zijn. De auteurs beweren niet dat dit de definitieve oplossing is voor alle problemen rondom AI-veiligheid, maar ze laten wel zien dat deze "collaboratieve" aanpak een zeer veelbelovende richting is. Het is een herinnering dat je, om echt robuust te zijn, niet alleen sterk moet zijn; je moet ook in staat zijn om met anderen samen te werken.

Technische Samenvatting: Het verenigen van adversariële robuuste model-experts in Vision-Language Models

Probleemstelling
Vision-Language Models (VLM's), zoals CLIP, zijn zeer vatbaar voor adversariële aanvallen, waarbij onwaarneembare verstoringen de voorspellingen drastisch kunnen veranderen. Hoewel adversariële fine-tuning een primaire defensiestrategie is, produceren bestaande methoden doorgaans gespecialiseerde "robuuste model-experts" met uiteenlopende en vaak conflicterende kenmerken. Specifiek identificeert het artikel twee dominante fine-tuning filosofieën:

Image-Text Alignment Experts (bijv. TeCoA): Deze vertrouwen op de gedeelde embedding-ruimte om de training te sturen, waarbij de uitlijning tussen afbeeldingen en tekstprompts wordt gemaximaliseerd. Ze presteren goed op geleerde klassenamen, maar hebben moeite om robuustheid te behouden op ongeziene klassen of nieuwe tekstprompts.
Image-Invariance Experts (bijv. FARE): Deze richten zich op het behoud van visuele representaties door de afstand tussen schone en adversariële afbeelding-embeddings te minimaliseren. Ze generaliseren beter naar ongeziene datasets, maar presteren vaak minder goed op bekende klassen omdat ze de gedeelde beeld-tekstrepresentatie niet expliciet benutten.

De kernuitdaging is dat deze experts tijdens de training uiteenlopen vanwege hun verschillende optimalisatiedoelstellingen, wat het instabiel maakt om ze achteraf simpelweg samen te voegen. Eerdere pogingen om modellen te combineren vereisten vaak periodieke parameter-overschrijving om stabiliteit te behouden, wat de exploratie en specialisatie van individuele experts beperkt.

Methodologie: CARE Framework
De auteurs stellen CARE voor (Collaborative Adversarial Robustness fine-tuning using Embedding alignment), een framework dat meerdere expertmodellen gelijktijdig traint terwijl het kennisuitwisseling faciliteert om divergentie te voorkomen. Het framework integreert twee specifieke experts: een Alignment expert (gebaseerd op TeCoA) en een Invariance expert (gebaseerd op FARE).

Het CARE-proces bestaat uit vier stappen:

Universal Perturbation Initialization (GAIP): In plaats van onafhankelijke willekeurige ruis voor elke expert te genereren, gebruikt CARE een Global Adversarial perturbation Initialization Process (GAIP). Dit creëert een gedeelde universele perturbatie door de verstoorde logits af te stemmen op de Alignment expert en de afbeelding-embeddings op de Invariance expert met behulp van negatieve cosinus-gelijkenis. Dit zorgt voor een coherente startpositie voor de generatie van adversariële samples.
Onafhankelijke Adversariële Generatie: Elke expert genereert zijn specifieke adversariële samples met behulp van de geïnitialiseerde perturbatie. De Alignment expert gebruikt Cross-Entropy (CE) loss, terwijl de Invariance expert $L_2$ -afstand loss gebruikt.
Expert Harmonization: Dit is de kerninnovatie. Om te voorkomen dat de experts uit elkaar drijven, wordt een Embedding-space harmonization mechanisme toegepast.
- De Invariance expert stemt zijn schone logits (die hij normaal gesproken niet optimaliseert) af met die van de Alignment expert.
- De Alignment expert stemt zijn schone afbeelding-embeddings af met die van de Invariance expert.
- Theoretische analyse (Theorem 1) suggereert dat het gebruik van cosinus-gelijkenis voor deze hulp-losses werkt als een momentumterm, die de experts naar elkaar toe trekt en de training stabiliseert zonder hun individuele specialisaties op te offeren.
Knowledge Generalization: Ten slotte worden de parameters van het verenigde model ( $\theta_{CARE}$ ) bijgewerkt met behulp van een Exponential Moving Average (EMA) van de twee experts, gewogen door een factor $\gamma$ .

Belangrijkste Bijdragen

Verenigd Framework: De voorstel van CARE, dat meerdere adversariële robuuste experts behoudt en hun geleerde kennis verenigt in één enkel model, waarmee de instabiliteit van het samenvoegen van gespecialiseerde modellen wordt aangepakt.
Harmonization Mechanisme: De introductie van een embedding-space harmonisatie-loss die kennisuitwisseling tussen experts tijdens de training mogelijk maakt. Dit stelt het model in staat om complementaire robuustheidseigenschappen te leren (zowel beeld-tekst uitlijning als beeld-invariantie) zonder de noodzaak van verstorende parameter-overschrijving.
Empirische Validatie: Uitgebreide experimenten die aantonen dat CARE zowel de individueel getrainde experts (TeCoA en FARE) als de in-distributie beeldclassificatie en zero-shot downstream vision-language taken overtreft.

Resultaten
De auteurs evalueerden CARE op ImageNet-1K en 13 aanvullende zero-shot datasets, evenals downstream taken zoals beeldbeschrijving (COCO, Flickr30k) en visual question answering (TextVQA, VQAv2).

Beeldclassificatie: CARE presteerde consequent beter dan zowel TeCoA als FARE. Onder sterke adversariële aanvallen ( $\epsilon = 4/255$ ) presteerde CARE gemiddeld ongeveer 2% beter dan TeCoA en bijna 8% beter dan FARE. Opvallend genoeg erfde CARE de stabiliteit van TeCoA op in-distributie data, terwijl het de generalisatiekracht van FARE op ongeziene datasets behield.
Downstream Taken: In beeldbeschrijvings- en VQA-taken behaalde CARE de beste robuuste nauwkeurigheid in de meeste settings. Hoewel FARE een sterke prestatie toonde op schone data (vanwege de invariantie-aard), bood CARE superieure robuustheid tegen adversariële perturbaties en slaagde het erin de uitlijningskennis succesvol over te dragen naar verschillende tekst-encoders die in downstream modellen (LLaVA) worden gebruikt.
Kwalitatieve Analyse: t-SNE visualisaties toonden aan dat CARE compacte clusters produceerde met goed gedefinieerde grenzen, waarbij de hoge spreiding van TeCoA combineerde met de fragmentatie van FARE. Kwalitatieve resultaten van beschrijvingen en VQA toonden aan dat CARE consistente en correcte outputs behield onder aanval, terwijl andere modellen vaak hallucinaties of onjuiste antwoorden genereerden.

Betekenis en Claims
Het artikel claimt dat collaboratief leren over model-experts een veelbelovende richting is voor het verbeteren van de adversariële robuustheid in VLM's. De betekenis van CARE ligt in het vermogen om de trade-off tussen in-distributie nauwkeurigheid en zero-shot generalisatie te overwinnen. Door experts te harmoniseren via embedding-uitlijning, creëert CARE een verenigd model dat de complementaire sterktes van verschillende adversariële trainingsstrategieën erft. De auteurs merken op dat hoewel de methode extra computationele middelen vereist (het trainen van meerdere modellen), engineering-optimalisaties zoals gedeelde perturbatie-initialisatie en geheugenbeheer deze kosten beperken. Het werk suggereert dat toekomstig onderzoek de weg moet inslaan naar collaboratieve methoden die rekening houden met de asymmetrie tussen beeld-embeddings en klasse-logits, aangezien het huidige uitlijningsproces liet zien dat het optimaliseren van beide niet altijd een strikt beter model oplevert als dit niet zorgvuldig gebalanceerd wordt.

Het Verhaal van Twee Experts en de Magische Lijm

Ontmoet CARE: De Collaboratieve Coach

Wat Ze Ontdekten

De Prijs van Grootheid

De Kern van het Verhaal

Meer zoals dit