Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models

1. Il Problema

I modelli visione-linguaggio (VLM), come CLIP, hanno dimostrato capacità eccezionali nell'inferenza zero-shot. Tuttavia, sono estremamente vulnerabili agli attacchi avversari: piccole perturbazioni a livello di pixel possono indurre il modello a commettere errori di classificazione.

Le ricerche recenti hanno tentato di mitigare questo problema tramite l'Adversarial Finetuning (AFT). Il paradigma attuale (es. TeCoA, PMG-AFT) prevede:

1. Utilizzare un dataset di proxy ben curato e etichettato (es. ImageNet).
2. Generare immagini avversarie su questo dataset.
3. Finetunare l'encoder visivo di CLIP per classificare correttamente queste immagini avversarie utilizzando una funzione di perdita Cross-Entropy.

Limiti dell'approccio attuale:

• Deviazione dal Pre-addestramento: CLIP è stato pre-addestrato su milioni di coppie immagine-testo web-scale utilizzando una perdita contrastiva, non per la classificazione diretta. Finetunare con la Cross-Entropy su un dataset classificato devia drasticamente dalla distribuzione dei dati e dall'obiettivo di apprendimento originali.
• Degrado delle capacità Zero-Shot: Questo approccio causa una significativa riduzione delle capacità zero-shot del modello su domini non visti.
• Scarsa trasferibilità: La robustezza appresa non si trasferisce bene tra diversi domini e dataset.

2. Metodologia: AdvFLYP

Gli autori propongono AdvFLYP (Adversarially Finetune Like You Pretrain), un paradigma che rispetta fedelmente il processo di pre-addestramento di CLIP durante la fase di finetuning avversario.

A. Preparazione dei Dati

Invece di usare dataset etichettati come ImageNet, AdvFLYP utilizza coppie immagine-testo raccolte dal web (es. da LAION-400M). Questo simula la distribuzione dei dati originale di CLIP, mantenendo la diversità e la natura "rumorosa" dei dati web.

B. Framework di Addestramento

Il processo segue un'ottimizzazione min-max, ma con un obiettivo diverso rispetto ai metodi precedenti:

1. Generazione Avversaria: Per un batch di coppie $(x_i, t_i)$, si generano perturbazioni $\delta_i$ che massimizzano la perdita contrastiva (non la Cross-Entropy) all'interno del batch. Le perturbazioni sono ottimizzate congiuntamente per il batch.
2. Finetuning: L'encoder visivo viene aggiornato per minimizzare la perdita contrastiva tra le immagini avversarie ($x_i + \delta_i$) e i loro testi corrispondenti ($t_i$), trattando gli altri testi del batch come campioni negativi.
   • Questo allinea le immagini avversarie con i loro testi, esattamente come avviene nel pre-addestramento.

C. Regularizzazione

Poiché i dati web sono rumorosi e la massimizzazione della perdita contrastiva può distorcere le feature delle immagini avversarie nello spazio latente, gli autori introducono due termini di regolarizzazione:

1. Regularizzazione a livello di Logit ($L_{logit}$): Penalizza la divergenza KL tra le probabilità del modello target e quelle del modello CLIP originale (frozen) sulle immagini avversarie. Questo migliora la robustezza.
2. Regularizzazione a livello di Feature ($L_{feat}$): Penalizza la deviazione delle feature delle immagini avversarie generate dal modello target rispetto a:
   • Le feature delle immagini pulite (clean).
   • Le feature delle immagini avversarie generate dal modello CLIP originale.
     Questo termine è cruciale per preservare l'accuratezza su dati puliti (clean accuracy) e le capacità zero-shot, impedendo che l'encoder visivo venga "contaminato" da feature distorte.

La funzione di perdita finale è:
$$\theta' = \arg \min_\theta \{ \mathcal{L}_{CLIP} + \mathcal{L}_{logit} + \mathcal{L}_{feat} \}$$

3. Contributi Chiave

• Paradigma AdvFLYP: Un approccio semplice ma efficace che sfida la pratica standard di finetunare CLIP su dataset classificati con Cross-Entropy. Invece, rispetta la ricetta di pre-addestramento (dati web-scale + perdita contrastiva).
• Analisi della Regularizzazione: Dimostrano che, nel contesto di AdvFLYP, la regolarizzazione a livello di logit migliora la robustezza, mentre quella a livello di feature è essenziale per mantenere l'accuratezza su dati puliti. Questo comportamento è opposto a quanto osservato in metodi precedenti basati su TeCoA.
• Nuovo Standard: Stabiliscono che per ottenere robustezza avversaria zero-shot efficace, è fondamentale non separare il processo di finetuning da quello di pre-addestramento del VLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 14 dataset downstream che coprono vari domini (riconoscimento oggetti, scene, fine-grained, ecc.) e su varianti di ImageNet per testare la trasferibilità.

• Robustezza Avversaria: AdvFLYP supera costantemente i metodi dello stato dell'arte (TeCoA, PMG-AFT, TGA-ZSR) sotto attacchi come PGD, CW e AutoAttack.
  • La versione completa (AdvFLYPfull) raggiunge un'accuratezza robusta media del 38.39% (contro il 33.77% di TeCoA e 35.85% di PMG-AFT) su 14 dataset.
  • I vantaggi sono ancora più marcati sotto attacchi più forti ($\epsilon = 2/255$ e $4/255$).
• Accuratezza su Dati Puliti: Grazie alla regolarizzazione a livello di feature, AdvFLYPfull mantiene un'accuratezza su dati puliti superiore (55.84% in media), mitigando il classico trade-off tra robustezza e accuratezza.
• Trasferibilità: Il modello mostra una migliore capacità di generalizzare su domini diversi (es. ImageNet-R, ImageNet-A) rispetto ai metodi addestrati su ImageNet standard.

5. Significato e Impatto

Questo lavoro offre una prospettiva fondamentale sulla sicurezza dei modelli foundation:

1. Ridefinizione del Finetuning: Suggerisce che il finetuning per la robustezza non dovrebbe essere visto come un compito di classificazione separato, ma come una continuazione del pre-addestramento.
2. Efficienza: Dimostra che è possibile ottenere una robustezza superiore senza necessariamente utilizzare dataset etichettati massicci, sfruttando invece la ricchezza semantica dei dati web.
3. Implicazioni Future: Il lavoro invita la comunità a ripensare le strategie di adattamento dei VLM, sottolineando che rispettare la distribuzione dei dati e l'obiettivo di apprendimento originali è la chiave per mantenere le capacità zero-shot mentre si migliora la resilienza agli attacchi.

In sintesi, AdvFLYP dimostra che "finetunare come si pre-addestra" è la strategia vincente per rendere i modelli visione-linguaggio robusti senza sacrificarne l'intelligenza generale.