Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

Sintesi Tecnica: Rompere le Correlazioni Spurie tramite la Randomizzazione Generativa e l'Apprendimento Auto-Supervisionato Cross-Variante

Definizione del Problema
Le reti neurali profonde addestrate con la Minimizzazione del Rischio Empirico (ERM) mostrano spesso una scarsa capacità di generalizzazione in presenza di shift di distribuzione. Questo fallimento è attribuito principalmente allo sfruttamento di correlazioni spurie—associazioni predittive ma non causali tra i target (etichette) e attributi visivi come lo sfondo, la texture o il contesto della scena. Ad esempio, nel benchmark Waterbirds, i modelli possono imparare ad associare gli "uccelli acquatici" (waterbirds) agli "sfondi acquatici" (water backgrounds) e gli "uccelli terrestri" (landbirds) agli "sfondi terrestri" (land backgrounds), piuttosto che apprendere caratteristiche specifiche dell'uccello. Di conseguenza, le prestazioni degradano significativamente quando queste categorie appaiono in contesti atipici. Sebbene metodi precedenti come il Group Distributionally Robust Optimization (GroupDRO) tentino di affrontare questo problema attraverso la riponderazione dei gruppi, essi rimangono sensibili alla qualità della supervisione dei gruppi e alla dinamica di ottimizzazione iniziale. Inoltre, recenti approcci generativi che sintetizzano immagini controfattuali trattano tipicamente queste ultime come standard data augmentation, fallendo nell'imporre esplicitamente all'encoder di mantenere rappresentazioni coerenti dello stesso oggetto attraverso diversi contesti.

Metodologia
Gli autori propongono un framework a due stadi che combina l'intervento generativo con l'apprendimento dell'invarianza a livello di rappresentazione per apprendere esplicitamente rappresentazioni visive invarianti rispetto allo sfondo.

1. Stadio 1: Randomizzazione Ambientale Generativa

   • Isolamento: La pipeline utilizza un approccio di segmentazione zero-shot. Per una data immagine $x_i$ e un'etichetta $y_i$, Grounding DINO estrae un bounding box, che viene poi elaborato dal Segment Anything Model (SAM) per generare una maschera binaria a livello di pixel che isola l'oggetto causale in primo piano.
   • Sintesi: Invece di un semplice scambio di sfondo, il metodo impiega FLUX.1-Fill, un modello di inpainting a diffusione preservante la struttura. La regione dello sfondo (la maschera invertita) viene risintetizzata utilizzando prompt testuali distinti (ad esempio, "lago", "montagna", "foresta") per creare un insieme di varianti con shift di contesto $V_i$. Questo processo preserva l'identità dell'oggetto e la struttura dei pixel, alterando completamente l'ambiente circostante.

2. Stadio 2: Apprendimento Auto-Supervisionato (SSL) Cross-Variante e Fine-Tuning

   • SSL Cross-Variante: Inveve di utilizzare le immagini generate solo come campioni supervisionati, gli autori introducono una strategia di pre-training contrastivo. Per un singolo oggetto causale, due distinte varianti generate (che condividono lo stesso primo piano ma differiscono per sfondo) sono trattate come una coppia positiva. L'encoder è addestrato per massimizzare la similarità tra queste viste utilizzando la perdita NT-Xent (InfoNCE). Questo obiettivo incoraggia esplicitamente l'encoder ad allineare le rappresentazioni centrate sull'oggetto, sopprimendo al contempo gli indizi specifici dello sfondo.
   • Fine-Tuning: L'encoder pre-addestrato tramite SSL viene quindi sottoposto a fine-tuning per la classificazione. Questo processo prevede una fase di ERM warm-up (fissando i pesi dei gruppi in modo uniforme) per stabilizzare il classificatore, seguita dall'ottimizzazione GroupDRO. Fondamentalmente, gli autori utilizzano tassi di apprendimento per livello (layer-wise learning rates) durante questa fase per preservare le caratteristiche invarianti apprese durante il pre-training, adattando al contempo il classificatore al task target.

Contributi Chiave

• Pipeline Generativa ad Alta Fedeltà: L'introduzione di una pipeline che isola gli oggetti causali tramite segmentazione zero-shot e genera diverse varianti con shift di contesto utilizzando la diffusione preservante la struttura.
• SSL Cross-Variante: Una nuova strategia di pre-training contrastivo che allinea le rappresentazioni dello stesso oggetto attraverso sfondi differenti. Questo mira direttamente alla riduzione della dipendenza dallo sfondo, distinguendosi dai metodi che utilizzano semplicemente i dati generati come ulteriori campioni supervisionati.
• Strategia di Ottimizzazione Robusta: Un protocolo di fine-tuning che combina ERM warm-up, tassi di apprendimento per livello e GroupDRO per ottimizzare le prestazioni sul gruppo peggiore (worst-group performance) senza distruggere le caratteristiche invarianti apprese durante il pre-training.

Risultati Sperimentali
Il framework è stato valutato su tre benchmark standard caratterizzati da severi shift di distribuzione ambientale: Waterbirds, MetaShift e NICO++. Il metodo ha raggiunto l'accuratezza state-of-the-art per il worst-group mantenendo un'alta accuratezza media:

• Waterbirds: 92.5% di accuratezza worst-group (rispetto al 91.6% di GroupDRO) e 95.4% di accuratezza media.
• MetaShift: 81.7% di accuratezza worst-group e 82.6% di accuratezza media, superando tutti i baseline.
• NICO++: 87.4% di accuratezza worst-group e 94.0% di accuratezza media.

Gli studi di ablazione su Waterbirds hanno confermato che saltare lo stadio di Cross-Variant SSL ha comportato un calo significativo dell'accuratezza worst-group (dal 92.5% all'89.6%), validando il fatto che aggiungere semplicemente dati generativi non è sufficiente senza l'esplicito obiettivo di invarianza. Allo stesso modo, rimuovere l'ERM warm-up ha portato a una degradazione delle prestazioni a causa dell'overfitting su campioni minoritari rumorosi.

Significatività e Claim
Il paper sostiene che la principale significatività di questo lavoro risieda nel dimostrare che l'intervento generativo è più efficace quando accoppiato con un obiettivo di invarianza a livello di rappresentazione. Allineando le varianti dello stesso oggetto causale attraverso diversi sfondi, il metodo proposto riduce la dipendenza dal contesto spurio e migliora la generalizzazione sotto shift di distribuzione. Gli autori affermano che il loro approccio raggiunge una forte performance sul worst-group in più benchmark, suggerendo che le varianti generate svolgono un ruolo più critico quando utilizzate per apprendere rappresentazioni invarianti piuttosto che come semplici campioni aggiuntivi per l'addestramento supervisionato.

Gli autori riconoscono un limite relativo alla sensibilità del loro approccio alla qualità e alla diversità delle varianti generate, notando la varianza tra i diversi seed casuali. Il lavoro futuro proposto si concentrerà sulla selezione più stabile delle varianti e sul filtraggio della qualità della generazione.