Calibrating Uncertainty for Zero-Shot Adversarial CLIP

Sintesi Tecnica: Calibrazione dell'Incertezza per CLIP Avversario Zero-Shot

1. Definizione del Problema

Il Contrastive Language-Image Pretraining (CLIP) si è affermato come un modello fondamentale per il riconoscimento zero-shot, sfruttando uno spazio di embedding condiviso per accoppiare le caratteristiche delle immagini con prompt testuali senza addestramento specifico per il task. Tuttavia, CLIP rimane altamente vulnerabile agli attacchi avversari, in cui perturbazioni impercettibili a livello di pixel causano classificazioni errate ma sicure.

Il lavoro precedente sulla Robustezza Avversaria Zero-Shot (ZSAR) si è concentrato principalmente sull'allineamento delle caratteristiche delle immagini avversarie con i prototipi testuali reali (allineamento a singolo ancoraggio) per migliorare l'accuratezza. Gli autori identificano un gap di affidabilità critico e trascurato: le perturbazioni avversarie in CLIP non solo degradano l'accuratezza, ma sopprimono sistematicamente l'incertezza predittiva.

Contrariamente all'aspettativa che l'incertezza dovrebbe aumentare quando gli input si discostano dalla distribuzione di addestramento o diventano più difficili, i modelli CLIP standard mostrano over-confidence (eccessiva sicurezza) sugli esempi avversari. Ciò porta a una grave miscalibrazione in cui il modello è spuramente sicuro nelle predizioni errate. I metodi esistenti, che spesso allineano solo i logit predetti o si concentrano sulla discriminazione di una singola classe, non riescono a preservare la geometria semantica relativa tra le classi o l'entità dell'evidenza predittiva, trascurando così la struttura dell'incertezza sottostante, essenziale per un riconoscimento robusto open-vocabulary.

2. Metodologia

Gli autori propongono l'Uncertainty-Calibrated Adversarial Fine-Tuning (UCAT), un framework progettato per ripristinare l'incertezza calibrata mantenendo la robustezza avversaria. La metodologia consiste in tre componenti principali:

A. Riformulazione di Dirichlet dei Logit di CLIP
Gli autori riparametrizzano i logit zero-shot standard di CLIP come parametri di concentrazione ($\alpha$) di una distribuzione di Dirichlet.

• Mappatura: Dati i logit di CLIP $\ell$, i parametri di concentrazione sono definiti come $\alpha_k(x) = \exp(h(\ell_k))$, dove $h(\ell) = (\tau \ell + 1) / \tau'$. Qui, $\tau$ è la temperatura apprendibile e $\tau'$ è un coefficiente di calibrazione.
• Giustificazione Teorica: Questa riformulazione assicura che $\alpha_k \ge 1$, soddisfacendo le condizioni di validità per l'evidenza di Dirichlet. Fondamentalmente, quando $\tau' = \tau$, l'aspettativa della risultante distribuzione di Dirichlet recupera esattamente la regola predittiva softmax originale di CLIP, garantendo che il metodo sia un'interpretazione probabilistica fedele piuttosto che una modifica ad hoc.
• Decomposizione dell'Incertezza: Questa parametrizzazione consente la decomposizione in forma chiusa dell'incertezza predittiva in due componenti senza campionamento:
  • Incertezza Aleatoria (AU): Cattura l'ambiguità intrinseca dei dati (ad es., sovrapposizione semantica tra "lupo" e "cane") tramite l'entropia della distribuzione di Dirichlet.
  • Incertezza Epistemica (EU): Cattura l'incertezza dovuta a evidenza insufficiente o spostamento della distribuzione, inversamente proporzionale alla forza totale dell'evidenza ($\alpha_0 = \sum \alpha_k$).

B. Obiettivo di Allineamento Distribuzionale
Invece di ancorare le caratteristiche avversarie a un singolo prototipo testuale, UCAT allinea l'intera distribuzione predittiva di un campione avversario ($x_a$) con quella del suo corrispettivo pulito ($x$).

• Funzione di Perdita: L'obiettivo combina una funzione di cross-entropy standard guidata dal testo ($L_{ce}$) con un termine di regolarizzazione ($L_{ucr}$) definito come la divergenza KL inversa tra le distribuzioni di Dirichlet:
  $$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$$
• Razionale: Gli autori scelgono la direzione della KL inversa perché è "mode-seeking" (ricerca del modo). A differenza della KL forward, che può appiattire l'evidenza, la KL inversa preserva sia la struttura semantica relativa tra le classi (semantica inter-classe) sia l'entità assoluta dell'evidenza. Ciò impedisce al modello di collassare in errori spuramente sicuri, assicurando che se il campione pulito ha bassa evidenza (alta incertezza), il campione avversario non sia costretto ad avere un'alta evidenza.

C. Pipeline di Addestramento
Il framework effettua il fine-tuning dell'encoder di immagini di CLIP mantenendo congelato l'encoder di testo. Coppie pulite e avversarie (generate tramite $\ell_\infty$-PGD) vengono elaborate per calcolare la perdita congiunta $L = L_{ce} + \lambda L_{ucr}$, dove $\lambda$ bilancia la supervisione discriminativa e la calibrazione dell'incertezza.

3. Contributi Chiave

1. Formulazione basata su Dirichlet: Il paper fornisce un metodo teoricamente fondato e in forma chiusa per interpretare i logit di CLIP come evidenza di Dirichlet, consentendo la decomposizione efficiente dell'incertezza nelle componenti aleatoria ed epistemica.
2. Framework UCAT: Un nuovo metodo di fine-tuning avversario che regolarizza intere distribuzioni di Dirichlet. Questo approccio preserva congiuntamente le relazioni semantiche inter-classe e calibra la forza dell'evidenza, affrontando il problema della miscalibrazione in cui gli input avversari inducono un eccesso di fiducia.
3. Validazione Empirica Estesa: Il metodo è validato su 16 benchmark a etichetta singola e sul dataset multi-label MS-COCO. Dimostra miglioramenti significativi nella calibrazione dell'incertezza (ripristinando l'ordinamento atteso dell'incertezza: pulito < avversario) pur ottenendo una robustezza avversaria competitiva e preservando l'accuratezza sui dati puliti.

4. Risultati Sperimentali

• Calibrazione dell'Incertezza: Gli esperimenti mostrano che il vanilla CLIP presenta un'incertezza predittiva inferiore sugli input avversari rispetto a quelli puliti (un segno di miscalibrazione). UCAT ripristina un ordinamento coerente in cui l'incertezza aumenta con la difficoltà dell'input, riflettendo fedelmente lo spostamento della distribuzione.
• Robustezza: Su 16 dataset a etichetta singola (inclusi CIFAR-10/100, ImageNet e dataset fine-grained), UCAT raggiunge prestazioni state-of-the-art o seconde migliori in termini di media armonica tra accuratezza pulita e avversaria sotto vari attacchi (PGD, CW, AutoAttack).
• Robustezza Multi-Label: Sul dataset MS-COCO, UCAT raggiunge i migliori punteggi di precisione, recall e F1-score top-3 sotto attacchi CW, indicando una stabilità superiore in contesti multi-label ambigui dove preservare l'ordine semantico relativo è critico.
• Generalizzazione: Il metodo si generalizza efficacementamente attraverso diversi backbone CLIP (B/16, B/32) e altri VLM contrastivi (SLIP), suggerendo che l'approccio non è legato a una specifica architettura.
• Studi di Ablazione: Gli autori confermano che la direzione della KL inversa e la formulazione di Dirichlet (rispetto al semplice allineamento softmax) sono critiche per le prestazioni. Il metodo rimane robusto attraverso diverse intensità di regolarizzazione ($\lambda$) e coefficienti di calibrazione ($\tau'$).

5. Significato e Rivendicazioni

Il paper sostiene di colmare un gap critico di affidabilità nei modelli vision-language dimostrando che la robustezza non riguarda solo l'accuratezza, ma anche l'incertezza calibrata. Rivelando che gli attacchi avversari sopprimono l'incertezza in CLIP, gli autori sostengono che i metodi precedenti focalizzati solo sull'allineamento dei logit siano insufficienti.

La significatività di questo lavoro risiede nel:

• Insight Teorico: Fornire una mappatura principiata tra i logit dell'apprendimento contrastivo e l'evidenziale deep learning (distribuzioni di Dirichlet), offrendo una nuova prospettiva su come modellare l'incertezza in contesti open-vocabulary.
• Affidabilità Pratica: Offrire un metodo che assicura che i modelli non diventino eccessivamente sicuri quando attaccati, il che è essenziale per il dispiegamento dei VLM in scenari critici per la sicurezza o in mondi aperti.
• Scalabilità: Dimostrare che la calibrazione dell'incertezza può essere ottenuta tramite fine-tuning senza richiedere il riaddestramento da zero o complessi cambiamenti architettonici, rendendolo applicabile ai modelli di base esistenti.

Gli autori mantengono un tono modesto riguardo al dispiegamento nel mondo reale, osservando che, sebbene l'approccio migliori la comprensione del comportamento del modello sotto perturbazioni avversarie, qualsiasi applicazione pratica richiederebbe una valutazione del rischio approfondita e ulteriori salvaguardie. Il lavoro è posizionato come un avanzamento metodologico nella modellazione dell'incertezza e nella valutazione della robustezza per i framework di apprendimento contrastivo.