Enhancing CLIP Robustness via Cross-Modality Alignment

Il paper propone COLA, un framework basato sul trasporto ottimo e privo di addestramento che migliora la robustezza dei modelli CLIP agli attacchi avversari allineando le rappresentazioni visive e testuali attraverso una proiezione sottomatrice e una regolarizzazione strutturale, ottenendo significativi guadagni di accuratezza su 14 benchmark senza compromettere le prestazioni su campioni puliti.

L'essenziale

🎨 Il Problema: L'Intelligenza Artificiale che "Si Confonde" con un Trucco

Immagina di avere un detective super-intelligente (chiamiamolo CLIP) che è bravissimo a riconoscere le cose guardando una foto e leggendo una descrizione. Se gli mostri una foto di un cane e gli chiedi "È un cane?", lui risponde subito "Sì!".

Tuttavia, questo detective ha un difetto: è facilmente ingannabile.
Se un hacker prende la foto del cane e ci aggiunge un po' di "rumore" invisibile all'occhio umano (come una pioggia di puntini colorati che l'occhio non vede ma il computer sì), il detective va in tilt.

• Cosa succede? Il detective guarda la foto "rovinata" e pensa: "Oh, questa non è più un cane! Sembra una pizza!" e sbaglia risposta.

Il problema è che il detective ha due "cervelli" separati: uno per le immagini e uno per le parole. Quando la foto viene attaccata, il cervello delle immagini si sposta lontano dal cervello delle parole, perdendo il contatto. È come se due amici che camminano tenendosi per mano venissero separati da una folla: uno corre via e l'altro non sa più dove andare.

🛠️ La Soluzione: COLA (Il "Ponte" Magico)

Gli autori del paper hanno creato un metodo chiamato COLA (Cross-modaLity Alignment). Non serve riaddestrare il detective (che sarebbe costoso e lento), ma gli danno degli "occhiali speciali" da indossare solo quando deve lavorare.

Ecco come funziona COLA, passo dopo passo, con delle metafore:

1. Il Filtro "Pulisci-Immagini" (Proiezione nel Sottospazio)

Immagina che la foto attaccata sia come una fotografia sporca di fango. Il detective non riesce a vedere bene il cane.
COLA prende questa foto sporca e la passa attraverso un filtro magico.

• Come funziona? Questo filtro sa esattamente come dovrebbe essere la descrizione di un cane (basandosi su tutte le descrizioni di cani che il detective ha imparato).
• L'effetto: Il filtro rimuove il "fango" (il rumore dell'attacco) che non ha senso, ma lascia intatto il cane vero. In pratica, forza la foto "sporca" a tornare a stare vicino alla descrizione corretta, come se rimettesse i due amici che si erano persi per mano.

2. Il "Gioco delle Coppie Perfette" (Trasporto Ottimo)

Una volta che la foto è stata "pulita", COLA non si fida ancora ciecamente di un solo confronto.

• L'idea: Immagina di dover abbinare una foto di un cane a una lista di 50 descrizioni diverse (es. "cane che corre", "cane felice", "cane al sole").
• Il gioco: Invece di guardare solo la foto originale, COLA crea 5 copie leggermente diverse della foto (girata, zoomata, tagliata) e 50 copie diverse della descrizione.
• La magia: COLA fa un gioco di abbinamento matematico (chiamato Trasporto Ottimo). Chiede: "Qual è il modo migliore per collegare queste 5 foto a queste 50 descrizioni con il minimo sforzo?".
• Il risultato: Anche se l'attacco ha reso la foto strana, COLA trova il percorso più logico per collegarla alla descrizione giusta, ignorando i dettagli confusi. È come se, invece di ascoltare una sola persona che urla, ascoltassi un coro intero: anche se uno canta stonato, il coro ti dice chiaramente qual è la nota giusta.

🏆 Perché è Geniale?

1. Non serve riaddestrare: È come dare un nuovo paio di occhiali a un detective già esperto, invece di mandarlo a scuola per 5 anni. Funziona subito su qualsiasi modello esistente.
2. Resiste agli attacchi forti: Anche se gli hacker usano trucchi molto potenti, COLA riesce a mantenere il detective concentrato sulla verità.
3. Non perde la memoria: Il detective continua a essere bravissimo anche con le foto normali (non attaccate). Non diventa "stupido" per essere più sicuro.

📊 I Risultati in Pratica

Gli autori hanno testato questo metodo su 14 prove diverse (dalle foto di gatti alle immagini satellitari).

• Senza COLA: Con un attacco forte, il detective sbagliava quasi il 100% delle volte (poteva dire che un cane è un'auto).
• Con COLA: Il detective ha mantenuto un'accuratezza altissima (spesso sopra il 50-60% anche sotto attacco), mentre gli altri metodi fallivano miseramente.

In Sintesi

COLA è come un sistema di sicurezza che, quando vede un tentativo di inganno, riorganizza immediatamente i pezzi del puzzle per far tornare tutto a posto. Non combatte l'attacco direttamente, ma "ripara" la visione del modello in tempo reale, assicurandosi che l'immagine e la parola rimangano sempre "amici stretti", anche sotto pressione.

È un passo avanti fondamentale per rendere le intelligenze artificiali più sicure, specialmente in campi delicati come la guida autonoma o la diagnosi medica, dove un errore potrebbe costare caro.

Sommario tecnico

1. Il Problema

I modelli Vision-Language (VLM), come CLIP, eccellono nel classificazione zero-shot grazie alla loro capacità di generalizzazione. Tuttavia, sono estremamente vulnerabili agli attacchi avversariali. Piccole perturbazioni impercettibili negli input visivi possono causare un crollo drastico delle prestazioni di classificazione.

Il paper identifica la causa radice di questa vulnerabilità non solo nelle perturbazioni stesse, ma in un problema fondamentale di disallineamento cross-modale:

• Disallineamento Globale: Gli attacchi spostano le caratteristiche (embedding) dell'immagine lontano dalle caratteristiche del testo corrispondenti nello spazio delle feature.
• Disallineamento Locale: Gli attacchi distruggono la struttura locale dello spazio delle feature, facendo sì che immagini simili (o varianti della stessa immagine) si disperdano, perdendo coerenza interna.
• Le soluzioni esistenti (addestramento avversariale, ottimizzazione dei prompt) spesso richiedono costi computazionali elevati, introducono latenza o non affrontano direttamente questo disallineamento strutturale.

2. Metodologia: COLA (Cross-modaLity Alignment)

Gli autori propongono COLA, un framework senza addestramento (training-free) e senza modifiche architetturali, basato sul Trasporto Ottimale (Optimal Transport - OT). L'obiettivo è ripristinare l'allineamento tra immagini e testo sia a livello globale che locale.

Il metodo si articola in due fasi principali:

A. Allineamento delle Feature Globali (Proiezione nel Sottospazio)

• Concetto: Si assume che il sottospazio generato dalle feature testuali pulite (di tutte le classi) sia un proxy affidabile per le rappresentazioni semantiche corrette.
• Implementazione:
  1. Le embedding testuali di tutte le classi vengono organizzate in una matrice e sottoposte a Decomposizione ai Valori Singolari (SVD).
  2. Si estraggono i primi $C$ componenti principali per definire un sottospazio $U$.
  3. Le feature dell'immagine avversariale ($\hat{x}$) vengono proiettate su questo sottospazio $U$.
  4. Effetto: Questa proiezione filtra le distorsioni non semantiche (rumore avversariale) che si trovano nelle direzioni ortogonali al sottospazio semantico, preservando le informazioni discriminative e ripristinando l'allineamento globale.

B. Allineamento Strutturale Locale (Trasporto Ottimale)

• Concetto: Per gestire le discrepanze residue (es. sfondi o oggetti irrilevanti non descritti dal testo), il metodo modella immagini e testi come distribuzioni discrete anziché singoli vettori.
• Implementazione:
  1. Augmentation: Si generano $N$ viste aumentate dell'immagine avversariale (crops, flip, resize) e $M$ descrizioni testuali fine-grained per ogni classe (generate tramite LLM).
  2. Ponderazione: Si assegnano pesi di importanza alle diverse viste basandosi sull'entropia della previsione (viste più certe ricevono pesi maggiori).
  3. Costo OT: Si calcola la distanza di trasporto ottimale tra la distribuzione delle immagini e quella dei testi. Crucialmente, la matrice dei costi per il calcolo dell'OT utilizza le feature proiettate (dalla fase A) invece di quelle originali.
  4. Classificazione: La classe predetta è quella che minimizza il costo di trasporto ottimalo.

3. Contributi Chiave

1. Prima difesa test-time training-free: COLA è il primo metodo che migliora la robustezza avversariale di CLIP senza richiedere alcun ri-addestramento del modello o modifiche architetturali, rendendolo immediatamente applicabile a modelli già fine-tuned.
2. Analisi Teorica: Gli autori dimostrano teoricamente che:
   • La proiezione nel sottospazio preserva la similarità tra coppie di feature (riducendo la distorsione del coseno).
   • L'approccio basato su OT con costi proiettati garantisce margini decisionali più ampi, il che implica una migliore capacità di generalizzazione e robustezza.
3. Integrazione Sincrona: L'integrazione della proiezione nel calcolo del costo di trasporto OT garantisce che l'allineamento sia stabile anche sotto condizioni avversariali, senza aumentare la distanza di trasporto.

4. Risultati Sperimentali

Il metodo è stato valutato su 14 benchmark di classificazione zero-shot (inclusi ImageNet, varianti come ImageNet-A/R/Sketch, e dataset specifici come Pets, Flowers, Cars, ecc.) sotto attacchi PGD e CW.

• Robustezza su ImageNet: COLA ottiene un miglioramento medio del 6.7% sulla robustezza (accuratezza sotto attacco PGD) su ImageNet e le sue varianti, mantenendo un'alta accuratezza sui campioni puliti.
• Confronto con lo Stato dell'Arte:
  • Supera significativamente metodi basati su fine-tuning (TeCoA, PMG, FARE) che spesso degradano le prestazioni su dati puliti.
  • Supera metodi di difesa test-time esistenti (come TTC e TTE) sia in termini di accuratezza robusta che di efficienza.
  • Su ImageNet-R e ImageNet-Sketch, i guadagni di robustezza superano il +7%.
• Efficienza: COLA è più veloce dei metodi basati su ottimizzazione iterativa (come TTC). Su ImageNet, completa la valutazione in 28 minuti contro i 40 minuti di TTC, pur ottenendo un'accuratezza robusta superiore (50.0% vs 40.0%).
• Robustezza ad Attacchi Forti: Anche con budget di attacco elevati ($\epsilon_a = 4/255$), dove i metodi baseline collassano quasi a zero, COLA mantiene prestazioni significative.

5. Significato e Impatto

Il lavoro di COLA è significativo perché affronta la vulnerabilità dei modelli VLM non come un problema puramente di "rumore" da filtrare, ma come un problema di allineamento semantico da ripristinare.

• Sicurezza Applicativa: Migliora l'affidabilità di sistemi critici (guida autonoma, diagnosi medica) che si basano su VLM, rendendoli meno suscettibili a manipolazioni malevole.
• Efficienza Operativa: La natura training-free e plug-and-play di COLA lo rende una soluzione pratica per il deployment reale, eliminando la necessità di costosi cicli di ri-addestramento.
• Nuova Prospettiva: Introduce l'uso del Trasporto Ottimale combinato con la proiezione nel sottospazio come strategia efficace per la difesa avversariale, spostando il focus dalla modifica del modello alla correzione delle rappresentazioni nello spazio delle feature.

In sintesi, COLA dimostra che è possibile recuperare la robustezza dei modelli Vision-Language ripristinando la coerenza strutturale e semantica tra le modalità visiva e testuale, senza compromettere le prestazioni originali.