Semantic-aware Adversarial Fine-tuning for CLIP

1. Il Problema: Limiti della Robustezza Adversariale in CLIP

Il modello CLIP (Contrastive Language-Image Pre-training) è noto per le sue eccellenti capacità di generalizzazione "zero-shot", ma è vulnerabile agli esempi avversari (AE). Le tecniche attuali di Adversarial Fine-Tuning (AFT) mirano a migliorare la robustezza allenando il codificatore di immagini su esempi avversari generati minimizzando la similarità coseno tra l'immagine e un singolo template testuale manuale (es. "Una foto di un {etichetta}").

Il paper identifica un limite fondamentale in questo approccio:

• Inadeguatezza della Metrica: La similarità coseno calcolata su un singolo template testuale non cattura appieno l'allineamento immagine-testo.
• Fallimento della Generalizzazione: Gli esempi avversari generati per ingannare CLIP rispetto a un template specifico (es. "Una foto di...") spesso falliscono quando la similarità viene valutata con metriche semanticamente più ricche (come CuPL o WCA) o con descrizioni testuali diverse.
• Effetto Controproducente: In alcuni casi, gli AE ottimizzati per un singolo template non riducono la similarità con descrizioni alternative; anzi, possono aumentare la confidenza del modello su input perturbati, rendendo il fine-tuning basato su questi AE inefficace e producendo un codificatore di immagini meno robusto.

2. Metodologia: Semantic-aware Adversarial Fine-Tuning (SAFT)

Per superare questi limiti, gli autori propongono SAFT, un nuovo framework che genera esempi avversari "consapevoli del significato semantico" (semantic-aware) utilizzando un ensemble di descrizioni testuali raffinate, anziché un singolo template.

Il processo si articola in tre fasi principali:

A. Generazione di Descrizioni Consapevoli delle Allucinazioni (Hallucination-aware Description Generation)

Invece di usare template fissi, SAFT utilizza un modello fondazionale (LLM o MLLM) per generare un insieme diversificato di descrizioni testuali per ogni classe (es. per "cane": "un mammifero peloso che abbaia", "un animale domestico leale", ecc.).

• Filtraggio Semantico: Poiché i modelli fondazionali possono generare allucinazioni (es. descrivere un cane come "una creatura mitologica alata"), SAFT introduce un meccanismo di filtraggio. Calcola la similarità coseno tra ogni descrizione generata e l'etichetta di classe originale (codificata dal text encoder di CLIP). Vengono mantenuti solo i Top-K descrizioni con i punteggi di rilevanza più alti, scartando quelle semanticamente irrilevanti o fattualmente errate.

B. Attacco Adversario a Ensemble Semantico (Semantic-ensemble Adversarial Attack)

Una volta ottenute le descrizioni raffinate, gli esempi avversari ($\delta^*$) vengono generati massimizzando la dissimilarità media tra l'embedding dell'immagine perturbata e l'insieme di tutti gli embedding delle descrizioni testuali selezionate.

• L'obiettivo non è ingannare il modello su una singola frase, ma su un'intera varietà di espressioni semantiche, rendendo l'attacco più robusto e generalizzabile.

C. Obiettivo di Apprendimento (Learning Objective)

Durante il fine-tuning, il codificatore di immagini di CLIP viene ottimizzato per minimizzare la dissimilarità media tra le immagini perturbate e l'ensemble delle descrizioni testuali. Questo forza il modello a imparare rappresentazioni che sono invarianti sia alle perturbazioni visive che alle variazioni linguistiche.

3. Contributi Chiave

1. Osservazione Critica: Dimostrano empiricamente che gli AE generati minimizzando il punteggio CLIP standard (su un singolo template) sono inefficaci quando valutati con metriche semanticamente arricchite, portando a una robustezza inferiore.
2. Nuovo Framework (SAFT): Propongono un metodo di fine-tuning che integra descrizioni testuali generate da LLM e filtrate semanticamente per creare esempi avversari più generalizzabili.
3. Filtraggio delle Allucinazioni: Introducono una strategia di filtraggio per garantire che le descrizioni testuali aggiuntive siano fattualmente corrette e semanticamente pertinenti, mitigando i rischi legati all'uso di LLM.
4. Performance Superiori: Dimostrano sperimentalmente che SAFT supera gli stati dell'arte (SOTA) in termini di compromesso tra accuratezza e robustezza su 16 dataset diversi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 16 dataset (inclusi CIFAR, ImageNet, Food101, ecc.) utilizzando come base il modello CLIP ViT-B/32 e, in estensioni, CLIP-L/14.

• Robustezza Zero-Shot: SAFT supera i metodi SOTA (come TGA-ZSR, PMG-AFT, TeCoA) con un miglioramento medio di 3.85% nell'accuratezza robusta zero-shot su 15 dataset target.
• Accuratezza Pulita: SAFT mantiene un'alta accuratezza su dati puliti, classificandosi secondo o terzo tra i metodi confrontati, dimostrando un ottimo compromesso accuracy-robustness.
• Generalizzazione:
  • Template Inediti: SAFT mostra una superiorità significativa quando testato su 13 template testuali diversi (inclusi quelli non visti durante l'addestramento), confermando la sua capacità di catturare la diversità semantica.
  • Scalabilità: I risultati si mantengono validi su modelli più grandi (CLIP-L/14) e su dataset più vasti (ImageNet-1K).
  • Altri Compiti: La robustezza si trasferisce anche ad altri compiti downstream, come il recupero immagine-testo (Image-Text Retrieval) su COCO e Flickr.
• Resistenza ad Attacchi Multipli: SAFT dimostra robustezza contro attacchi diversi (PGD, AutoAttack, C&W), non solo contro quello usato durante l'addestramento.

5. Significato e Impatto

Il lavoro di SAFT rappresenta un passo avanti significativo nella sicurezza dei modelli Vision-Language (VLM).

• Cambio di Paradigma: Sposta l'attenzione dalla semplice ottimizzazione contro un template fisso all'uso di un "spazio semantico" più ricco e diversificato per l'addestramento avversario.
• Affidabilità dei Sistemi AI: Migliorando la robustezza zero-shot, SAFT contribuisce a rendere i modelli CLIP più sicuri per il deployment in scenari reali, dove le descrizioni testuali e i contesti possono variare in modo imprevedibile.
• Efficienza: Nonostante l'uso di LLM per la generazione delle descrizioni, il processo di filtraggio e l'ensemble sono computazionalmente gestibili, rendendo il metodo scalabile rispetto alle tecniche di addestramento avversario tradizionali.

In sintesi, SAFT dimostra che l'integrazione di supervisione testuale semantica ricca e verificata è fondamentale per costruire codificatori di immagini CLIP che siano realmente robusti contro le manipolazioni avversarie.