Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

Technische Samenvatting: Verbeteren van de Adversariële Robuustheid van Zero-Shot CLIP met Confidence-Aware Weighting

Probleemstelling
Visie-taalmodellen (VLMs), in het bijzonder CLIP, vertonen indrukwekkende zero-shot generalisatie over diverse taken. Ze blijven echter zeer kwetsbaar voor adversariële aanvallen, waarbij onwaarneembare perturbaties leiden tot significante voorspellingsverschuivingen. Hoewel adversariële training een standaardmethode is voor het verbeteren van robuustheid, kampen bestaande methoden toegepast op grootschalige VLMs met twee primaire beperkingen:

1. Inefficiënte Optimalisatie: Huidige benaderingen behandelen alle adversariële voorbeelden gelijk tijdens de training, ongeacht hun moeilijkheidsgraad of stabiliteit. Dit negeert het feit dat samples met een lage robuuste confidence (instabiele voorspellingen) meer bijdragen aan kwetsbaarheid dan hoog-confidente samples.
2. Resource- en Prestatieafwegingen: State-of-the-art methoden zoals PMG-AFT en TGA-ZSR vereisen vaak een hoge geheugengebruik of worstelen om robuuste nauwkeurigheid te behouden onder sterke aanvallen (bijv. AutoAttack) zonder de clean accuracy of generalisatie in gevaar te brengen.

Methodologie: Confidence-Aware Weighting (CAW)
De auteurs stellen Confidence-Aware Weighting (CAW) voor, een framework voor adversariële fine-tuning ontworpen om de zero-shot robuustheid van pre-trained CLIP-modellen te verbeteren terwijl hun generalisatievermogen behouden blijft. De methode introduceert een samengestelde verliesfunctie ($L_{total}$) bestaande uit drie termen:

1. Standaard Contrastive Loss ($L_{CE}$): De baseline cross-entropy loss die wordt gebruikt om beeld- en tekstembeddings uit te lijnen.
2. Confidence-Aware Loss ($L_{CA}$): Deze component adresseert de inefficiëntie van het gelijk behandelen van alle samples. Het schaalt de Kullback-Leibler (KL) divergentie tussen de voorspellingsdistributie van het gefinetunede model op adversariële inputs ($P_{adv}$) en het bevroren pre-trained model op clean inputs ($P_{clean}$).
   • Mechanisme: De KL-divergentie wordt gewogen door $(1 - P_{adv, i, y_i})$, waarbij $P_{adv, i, y_i}$ de voorspelde waarschijnlijkheid van de ware klasse is voor het adversariële sample.
   • Effect: Deze weging kent een hogere belangrijkheid toe aan "moeilijke" adversariële voorbeelden waar het model onzeker over is (lage confidence), waardoor het model wordt gedwongen zich te concentreren op het stabiliseren van deze kwetsbare gevallen. De auteurs maken specifiek gebruik van $KL(P_{adv} \parallel P_{clean})$ in plaats van het omgekeerde, met het argument dat dit foutieve hoog-waarschijnlijke voorspellingen in de adversariële distributie beter bestraft.
3. Feature Alignment Regularization ($L_{Reg}$): Om overfitting en het vergeten van pre-trained kennis te voorkomen, minimaliseert deze term de $\ell_2$-afstand tussen de beeldfeatures van de adversariële input verwerkt door de gefinetunede encoder en dezelfde input verwerkt door de bevroren pre-trained encoder.
   • Onderscheid: In tegenstelling tot methoden zoals FARE, die clean bevroren representaties uitlijnen met adversariële gefinetunede representaties, lijnt CAW adversariële representaties van beide encoders uit om de feature-representaties tijdens het fine-tuning proces te stabiliseren.

Het totale doel wordt geformuleerd als:
$$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$$

Belangrijkste Bijdragen

• Nieuw Wegingsmechanisme: Het artikel introduceert een confidence-aware wegingstrategie die specifiek is afgestemd op zero-shot VLMs, waarbij de focus verschuift naar instabiele, laag-confidente adversariële samples om robuustheid te verbeteren zonder de clean accuracy op te offeren.
• Dual-Loss Architectuur: De combinatie van een confidence-geschaalde KL-divergentie en een feature-level regularisatieterm creëert een balans tussen het leren van robuuste features en het behouden van semantische kennis uit de pre-training.
• Efficiëntie: De voorgestelde methode bereikt state-of-the-art prestaties terwijl deze minder geheugen gebruikt dan concurrerende baselines (PMG-AFT en TGA-ZSR).

Experimentele Resultaten
De auteurs evalueerden CAW op de TinyImageNet dataset voor fine-tuning en testten de zero-shot prestaties op 15 aanvullende datasets die variëren van algemene objectherkenning, fine-grained classificatie, scèneherkenning, domeinspecifieke taken en medische beeldvorming.

• AutoAttack ($\epsilon = 1/255$): CAW behaalde de hoogste gemiddelde robuuste nauwkeurigheid (33,51%) over 15 datasets, waarmee het PMG-AFT (31,55%) en TGA-ZSR (31,63%) overtrof. Het toonde bijzondere kracht op datasets zoals CIFAR-10 en Caltech-101.
• PGD-100 en CW Aanvallen: Onder deze aanvallen overtrof CAW PMG-AFT in zowel robuuste als clean nauwkeurigheid. Bijvoorbeeld, onder PGD-100 behaalde CAW een gemiddelde robuste nauwkeurigheid van 34,91% vergeleken met 33,20% van PMG-AFT, terwijl het ook de clean nauwkeurigheid verbeterde (53,75% vs. 47,28%).
• Geheugenefficiëntie: CAW vereiste ongeveer 15.986 MB aan geheugen, wat lager is dan PMG-AFT (18.449 MB) en aanzienlijk lager dan TGA-ZSR (21.227 MB).
• Analyse:
  • Confidence Analyse: Scatter plots toonden aan dat na fine-tuning de correlatie tussen clean en robuuste confidence toenam, met een verschuiving richting de diagonaal, wat wijst op verbeterde stabiliteit. De methode verminderde effectief de "Clean Only" samples (correct op clean, fout op adversariële) zonder over-confidente misclassificaties te creëren.
  • Attention Maps: Visualisaties toonden aan dat CAW hielp om de constante, semantisch betekenisvolle aandacht op object-relevante regio's te behouden voor zowel clean als adversariële voorbeelden, terwijl modellen vóór fine-tuning onder aanval vaak aandacht besteedden aan irrelevante achtergrondruis.

Betekenis en Claims
Het artikel claimt dat CAW een belangrijke stap voorwaarts is in het beveiligen van zero-shot VLMs tegen adversariële dreigingen. Door expliciet de onzekerheid van het model te targeten, leert de methode meer overdraagbare en robuuste features. De auteurs benadrukken dat hun aanpak de robuustheid onder sterke aanvallen (AutoAttack, PGD, CW) verbetert terwijl een lager geheugenvoetafdruk behouden blijft, wat het een praktische oplossing maakt voor grootschalige modellen.

Beperkingen
De auteurs erkennen enkele beperkingen:

• De methode is momenteel specifiek voor de CLIP-architectuur en is niet getest op andere VLMs.
• Het richt zich alleen op perturbaties in de beeld-encoder, waardoor de tekst-encoder onbehandeld blijft ondanks het belang ervan voor VLMs.
• De evaluatie is beperkt tot standaard white-box aanvallen; black-box, adaptive aanvallen en grotere perturbatie-radii werden niet onderzocht.