CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

Sintesi Tecnica di CRoFT: Fine-Tuning Robusto con Ottimizzazione Concorrente per la Generalizzazione OOD e il Rilevamento OOD in Set Aperto

Enunciato del Problema
I recenti modelli pre-addestrati visione-linguaggio (VL-PTM), come CLIP, hanno dimostrato un successo notevole nelle attività a vocabolario aperto. Tuttavia, il loro dispiegamento in scenari reali richiede spesso un fine-tuning per le applicazioni a valle. Questo processo introduce una sfida critica: il fine-tuning standard può distorcere la conoscenza generale dei modelli, compromettendo la loro capacità di gestire gli spostamenti di distribuzione. Gli ambienti reali presentano due tipi distinti di spostamenti di distribuzione:

1. Spostamenti delle Covariate (OOD a Set Chiuso): Cambiamenti negli stili delle immagini o negli ambienti in cui le etichette di classe rimangono le stesse dei dati di addestramento (ad esempio, un cane in stile schizzo).
2. Spostamenti Semantici (OOD a Set Aperto): La presenza di classi al momento del test che non erano state viste durante l'addestramento (ad esempio, un panda quando il modello è stato addestrato su cani).

I metodi di fine-tuning esistenti si concentrano tipicamente sul migliorare la robustezza agli spostamenti delle covariate (generalizzazione OOD) o sul rilevare classi non viste (rilevamento OOD a set aperto) in isolamento. Spesso falliscono nel affrontare entrambi simultaneamente. Inoltre, i metodi di rilevamento basati sull'energia spesso faticano perché le distribuzioni di energia dei dati ID a set chiuso e dei dati OOD a set aperto si sovrappongono significativamente, rendendo difficile la discriminazione. Il paper affronta la domanda: Come possono essere eseguiti il fine-tuning dei VL-PTM per migliorare la generalizzazione ai dati OOD a set chiuso mentre si rilevano simultaneamente ed efficacemente le classi non viste a set aperto?

Metodologia
Gli autori propongono CRoFT, un framework unificato di fine-tuning che abilita l'ottimizzazione concorrente della generalizzazione OOD e del rilevamento OOD a set aperto. La metodologia si basa su tre componenti fondamentali:

1. Funzione di Perdita per la Rimodellazione della Distribuzione di Energia (EDR):
   Invece di minimizzare direttamente i punteggi di energia sui dati in distribuzione (ID), gli autori propongono di minimizzare la magnitudine del gradiente dei punteggi di energia. Teoricamente, minimizzare la magnitudine del gradiente dei punteggi di energia ($\nabla_\theta E_\theta(x) \to 0$) porta a Hessiani coerenti con il dominio della funzione di perdita di classificazione. Questa perdita EDR è formulata come la minimizzazione della norma quadrata del vettore gradiente del log-sum-exp dei termini di energia. Questo approccio rimodella la distribuzione di energia per distinguere meglio le classi note da quelle sconosciute senza sacrificare l'accuratezza di classificazione.

2. Limite di Generalizzazione OOD Basato sull'Hessiano:
   Attraverso un'analisi teorica, gli autori stabiliscono un collegamento tra la perdita EDR e la generalizzazione OOD. Dimostrano che la perdita EDR induce Hessiani coerenti con il dominio, il che aiuta a limitare le prestazioni di generalizzazione sui dati di test OOD a set chiuso in scenari peggiori. Nello specifico, derivano un limite di generalizzazione che mostra come il divario di prestazioni tra i domini sorgente e target sia correlato al rischio empirico sui dati con spostamento delle covariate nel caso peggiore e alla curvatura (Hessiano) della funzione di rischio.

3. Framework di Ottimizzazione Concorrente:
   Per minimizzare il limite di generalizzazione derivato, CRoFT impiega una strategia di apprendimento avversario. Genera caratteristiche di immagini "nel caso peggiore" con spostamento delle covariate che preservano le informazioni semantiche ma differiscono dalle caratteristiche ID. Il framework ottimizza una funzione obiettivo unificata composta da:

   • Perdita di classificazione standard sulle caratteristiche ID.
   • Una perdita ($L_c$) ottimizzata sulle caratteristiche OOD generate nel caso peggiore per migliorare la robustezza.
   • La perdita EDR ($L_e$) applicata sia alle caratteristiche ID che a quelle OOD generate per rimodellare le distribuzioni di energia.

   Il framework utilizza un fine-tuning leggero (iniettando proiezioni lineari/adattatori a un singolo livello negli encoder CLIP congelati) per garantire l'efficienza computazionale.

Contributi Chiave

• Framework Unificato: CRoFT è il primo framework a ottimizzare simultaneamente la generalizzazione OOD a set chiuso e il rilevamento OOD a set aperto durante il fine-tuning dei VL-PTM.
• Insight Teorico: Il paper fornisce una dimostrazione teorica che la minimizzazione della magnitudine del gradiente dei punteggi di energia (perdita EDR) porta a Hessiani coerenti con il dominio, limitando così teoricamente l'errore di generalizzazione OOD. Ciò rivela una connessione nascosta tra rilevamento OOD e generalizzazione OOD.
• Nuova Funzione di Perdita: L'introduzione della perdita EDR, che rimodella le distribuzioni di energia minimizzando le magnitudini dei gradienti invece dei soli valori di energia, migliora la separazione tra dati ID e OOD.
• Generazione Avversaria: Il metodo genera caratteristiche con spostamento delle covariate nel caso peggiore per addestrare esplicitamente il modello contro gli spostamenti di distribuzione, migliorando la robustezza.

Risultati Sperimentali
Sono stati condotti esperimenti estesi su due configurazioni:

• Configurazione-I: Varianti su larga scala di ImageNet con il 40% di classi a set chiuso e il 60% di classi a set aperto, inclusi dataset con spostamento delle covariate (ImageNet-A, R, Sketch, V2).
• Configurazione-II: Valutazione cross-dataset utilizzando dataset di generalizzazione di dominio (PACS, VLCS) come set chiuso e altri dataset (Caltech101, DTD, Food101) come set aperto.

Risultati Chiave:

• Rilevamento a Set Aperto: CRoFT supera significativamente i metodi di fine-tuning all'avanguardia (ad esempio, CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F). Nella Configurazione-I, ha ottenuto una riduzione fino al 25,3% del FPR95 (Tasso di Falsi Positivi al 95% di richiamo) rispetto a CLIP zero-shot, e un miglioramento fino al 20% nel rilevamento di classi non viste a set aperto rispetto ad altri metodi di fine-tuning.
• Generalizzazione OOD: CRoFT dimostra prestazioni di generalizzazione comparabili o superiori sui set di test OOD a set chiuso (ad esempio, ImageNet-Sketch, ImageNet-A) rispetto ai metodi esistenti.
• Studi di Ablazione: La rimozione della perdita EDR ($L_e$) o della perdita avversaria ($L_c$) ha portato a prestazioni degradate su entrambi i compiti, validando la necessità dell'ottimizzazione concorrente.
• Visualizzazione delle Caratteristiche: Le visualizzazioni t-SNE e i grafici delle distribuzioni di energia mostrano che CRoFT riduce con successo la sovrapposizione tra le distribuzioni di energia ID e OOD e apprende rappresentazioni di caratteristiche più distinte per la discriminazione aperto-vs-chiuso.

Significato e Affermazioni
Il paper afferma che CRoFT colma una lacuna critica nel dispiegamento dei VL-PTM consentendo loro di gestire simultaneamente sia gli spostamenti di distribuzione noti che le classi sconosciute. Gli autori sottolineano che la loro scoperta teorica — che l'ottimizzazione per il rilevamento a set aperto tramite la perdita EDR migliora intrinsecamente la generalizzazione OOD — fornisce una nuova direzione per il fine-tuning robusto. Il metodo è presentato come una soluzione pratica per applicazioni ad alto rischio (ad esempio, guida autonoma, imaging medico) in cui il rilevamento di classi non viste è cruciale quanto il mantenimento dell'accuratezza sulle classi note in condizioni di cambiamento ambientale. Il codice è reso disponibile per facilitare ulteriori ricerche nell'adattamento robusto dei modelli visione-linguaggio.