From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

Riepilogo Tecnico: From Fake to Real (FFR)

Definizione del Problema
I modelli di riconoscimento visivo sono soggetti all'apprendimento di correlazioni spurie quando i set di addestramento sono distorti, ovvero quando una specifica condizione $B$ (ad es. "Interni") è sovrarappresentata all'interno di una specifica classe $Y$ (ad es. "Cani Grandi"). Sebbene i dati sintetici generati da modelli generativi su larga scala (ad es. modelli di diffusione) offrano una via promettente per mitigare questo problema aumentando i sottogruppi sottorappresentati, gli approcci esistenti introducono una nuova fonte di bias.

I metodi precedenti, come l'Additive Synthetic Balancing (ASB) e l'Uniform Synthetic Balancing (USB), mescolano dati reali e sintetici durante l'addestramento. Gli autori sostengono che ciò crei una variabile confondente $G$ (Fonte dei Dati: Reale vs. Sintetica). Poiché i dati sintetici e quelli reali possiedono spesso differenze distribuzionali (ad es. artefatti generativi), i modelli addestrati su dati misti possono imparare a predire $Y$ basandosi sulla coppia $(B, G)$ piuttosto che sulle vere caratteristiche semantiche. Ad esempio, un modello potrebbe imparare che le "Donne Sintetiche" sorridono mentre le "Donne Reali" no, semplicemente perché il processo di generazione sintetica ha creato quella correlazione. Il documento fornisce una prova teorica (Teorema 1) dimostrando che, nei normali scenari di correlazione spuria, qualsiasi aumento di un dataset distorto con dati sintetici risulta inevitabilmente in un bias verso la coppia $(B, G)$.

Metodologia: From Fake to Real (FFR)
Per affrontare il bias verso la fonte dei dati $(B, G)$, gli autori propongono From Fake to Real (FFR), una pipeline di addestramento a due stadi che separa l'apprendimento delle distribuzioni dei dati sintetici e reali.

1. Stadio 1: Pre-addestramento su Dati Sintetici Bilanciati
   Il modello viene pre-addestrato esclusivamente su un dataset sintetico bilanciato ($D_{syn}$) dove il target label $Y$ è statisticamente indipendente dal gruppo di bias $B$ ($P_{D_{syn}}(Y|B) = P_{D_{syn}}(Y)$). Ciò viene ottenuto campionando un numero uguale di immagini sintetiche per ogni sottogruppo di bias utilizzando un modello generativo (ad es. Stable Diffusion). L'obiettivo è apprendere rappresentazioni robuste e non distorte attraverso tutti i sottogruppi senza l'esposizione alle differenze statistiche tra dati reali e sintetici.

2. Stadio 2: Fine-tuning su Dati Reali
   Il modello inizializzato dallo Stadio 1 viene sottoposto a fine-tuning su il dataset reale distorto ($D$). Per evitare che il modello ri-apprenda il bias presente nei dati reali, questo stadio utilizza lo standard Empirical Risk Minimization (ERM) o comuni metodi di mitigazione del bias basati sulla perdita (ad es. GroupDRO, Resampling, Deep Feature Reweighting). Fondamentalmente, poiché il modello è stato pre-addestrato su dati bilanciati, esso parte da una rappresentazione meno suscettibile alle correlazioni spurie presenti nei dati reali.

Separando le fonti di dati in distinti stadi di addestramento, FFR impedisce al modello di osservare mai la distribuzione congiunta di $(B, G)$, evitando così l'apprendimento di segnali spuri relativi al fatto che un'immagine sia reale o sintetica.

Contributi Chiave

• Pipeline Innovativa: Introduzione di FFR, un semplice framework di addestramento a due stadi che utilizza i dati sintetici per la mitigazione del bias senza esporre il modello al divario distribuzionale tra dati reali e sintetici.
• Analisi Teorica: Una prova formale che mostra come mescolare dati reali e sintetici in una singola fase di addestramento introduca inevitabilmente un bias verso la fonte dei dati $(B, G)$, rendendo subottimali i precedenti approcci di addestramento misto.
• Valutazione Esaustiva: Analisi sistematica su tre dataset (CelebA-HQ, UTK-Face, SpuCo Animals) e cinque rapporti di bias (che vanno dal 90% al 99,9%), per un totale di oltre 5.000 esperimenti.
• Integrazione: Dimostrazione che FFR è compatibile con e potenzia gli esistenti metodi di mitigazione del bias privi di dati sintetici (ad es. GroupDRO, DFR).

Risultati Sperimentali
Gli autori valutano FFR rispetto ai baseline, inclusi l'assenza di dati sintetici, USB e ASB, utilizzando la Worst Accuracy (WA) e la Balanced Accuracy (BA) come metriche.

• Guadagni di Performance: FFR migliora la worst-group accuracy rispetto ai metodi allo stato dell'arte fino al 20% attraverso i dataset valutati. Ad esempio, sul dataset UTK-Face con un rapporto di bias del 95%, FFR supera USB e ASB di oltre il 10%.
• Robustezza: A differenza dei metodi precedenti la cui performance degrada significativamente all'aumentare della severità del bias (particolarmente su CelebA-HQ e UTK-Face), FFR mantiene una performance stabile attraverso tutti i rapporti di bias.
• Apprendimento delle Caratteristiche: L'analisi qualitativa tramite mappe di salienza RISE mostra che i modelli addestrati con FFR si concentrano su caratteristiche semantiche rilevanti (ad es. il muso del cane) piuttosto che su caratteristiche di sfondo spurie o artefatti generativi (ad es. dita extra nelle immagini sintetiche). Al contrario, i modelli ASB e USB spesso si affidano a questi artefatti.
• Analisi degli Embedding: Le proiezioni t-SNE rivelano che FFR proietta gli embedding dei dati reali e sintetici in un unico cluster compatto, indicando che il modello apprende caratteristiche core condivise. Al contrario, ASB e USB proiettano i dati reali e sintetici in cluster separati, confermando che essi si affidano a caratteristiche specifiche della fonte.

Significatività e Limitazioni
Il documento sostiene che FFR risolva efficacemente il problema del bias introdotto dalle differenze distribuzionali tra dati reali e sintetici, un problema trascurato dalle precedenti strategie di aumento sintetico. Decoupling (disaccoppiando) l'addestramento di queste due fonti di dati, FFR permette ai dati sintetici di servire come fonte di rappresentazioni non distorte che migliorano la performance sui dati reali.

Gli autori riconoscono limitazioni riguardanti la qualità dei modelli generativi utilizzati. Se il modello generativo stesso è distorto o non segue fedelmente i prompt (ad es. fatica con la composizionalità), la distribuzione di pre-addestramento può rimanere sbilanciata, il che danneggia significativamente le performance di FFR (come mostrato negli studi di ablazione). Inoltre, il metodo dipende dalla capacità del modello generativo di produrre un dataset sintetico bilanciato; se il modello non riesce a generare accuratamente i sottogruppi specifici, i benefici del primo stadio sono diminuiti. Gli autori suggeriscono che il lavoro futuro focalizzato sull'addestramento di modelli generativi più equi e accurati possa ulteriormente alleviare questi problemi.