Sintesi Tecnica: Miglioramento della Distillazione della Conoscenza sotto Covariate Shift Sconosciuto attraverso l'Aumento dei Dati Guidato dalla Confidenza

1. Definizione del Problema

Il documento affronta i limiti della Distillazione della Conoscenza (Knowledge Distillation - KD) quando applicata a scenari con covariate shift sconosciuto. Sebbene i modelli di fondazione dimostrino forti capacità zero-shot e robustezza distributiva, il dispiegamento in ambienti con risorse limitate richiede spesso il trasferimento della conoscenza a reti student meno estese. La KD standard si affida alla "conoscenza oscura" (soft labels) da un insegnante (teacher) per migliorare la generalizzazione dello studente (student). Tuttavia, quando i dati di addestramento ($P_{train}$) non coprono sufficientemente la distribuzione di test ($P_{test}$), lo studente spesso fallisce nell'apprendere il vero confine decisionale.

Inveve, lo studente sfrutta caratteristiche spurie (ad esempio, il colore dei capelli o l'età nella classificazione del genere) che sono correlate all'etichetta nel set di addestramento ma non sono causalmente correlate. Ciò porta all'apprendimento di scorciatoie (shortcut learning), dove il modello ottiene buone prestazioni sui dati di addestramento ma fallisce su gruppi di test che erano assenti o sottorappresentati durante l'addestramento (ad esempio, donne bionde anziane o uomini non biondi giovani). I metodi di aumento dei dati basati sulla diffusione esistenti spesso non riescono a colpire questi bias specifici perché non sfruttano esplicitamente la discrepanza tra un insegnante robusto e uno studente distorto (biased).

2. Metodologia: ConfiG

Gli autori propongono ConfiG (Confidence-Guided), un nuovo framework di aumento dei dati progettato per mitigare il covariate shift generando campioni sintetici che sfidano specificamente la dipendenza dello studente dalle caratteristiche spurie.

Meccanismo Core

ConfiG utilizza un modello di diffusione (basato su Stable Diffusion) guidato dal disaccordo tra un modello insegnante robusto ($t$) e un modello studente distorto ($f$). L'obiettivo è generare immagini in cui:

1. L'insegnante mantiene un'alta confidenza nella classe corretta (preservando le caratteristiche causali).
2. Lo studente ha una bassa confidenza nella classe corretta (indicando la dipendenza da caratteristiche spurie).

Implementazione Tecnica

Il metodo opera in due fasi principali:

1. Mixing Inter-Classe (Warm-Starting):
   Per evitare minimi locali e garantire la generazione di campioni impegnativi, ConfiG esegue prima un mixing inter-classe. Utilizzando l'editing prompt-to-prompt, l'immagine originale viene modificata verso una classe target casuale (diversa dalla classe originale). Questo fornisce un'inizializzazione latente semanticamente distinta dall'originale, facilitando l'esplorazione di nuove combinazioni di caratteristiche.

2. Ottimizzazione Latente:
   Il cuore di ConfiG consiste nell'ottimizzare il codice latente ($z_0$), il null-text ($\emptyset$) e il segnale di condizionamento ($C$) per massimizzare il disaccordo tra l'insegnante e lo studente. L'ottimizzazione minimizza la seguente funzione di perdita:
   $$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$$
   Dove:

   • $f$ e $t$ sono i modelli studente e insegnante.
   • $y$ è la confidenza della classe target.
   • $\gamma$ è una trasformazione non lineare (impostata empiricamente a 2) per gestire i casi in cui lo studente è inizialmente molto sicuro.
   • $\mathcal{M}_{\epsilon_\theta}$ è il modello di predizione del rumore, e $\mathcal{D}$ è il decoder.

   Questo processo genera immagini in cui lo studente viene "ingannato" dalle caratteristiche spurie (ad esempio, un volto maschile con capelli biondi classificato come femmina) mentre l'insegnante identifica correttamente la classe vera.

3. Pipeline di Addestramento:

   • Uno studente ausiliario viene prima distillato sui limitati e distorti dati di addestramento reali. Questo studente coglie naturalmente le correlazioni spurie.
   • ConfiG usa questo studente ausiliario per generare aumenti sintetici.
   • Uno studente robusto viene quindi addestrato su un mix di dati reali e sugli aumenti generati da ConfiG (con una probabilità di sostituzione $\alpha = 0.5$).

3. Contributi Chiave

1. Identificazione del Problema: Gli autori dimostrano che, sebbene la KD da un insegnante robusto migliori le prestazioni generali, essa rimane insufficiente sotto un covariate shift sconosciuto, portando a scarse prestazioni sui gruppi non visti nel set di test.
2. Framework ConfiG: Introducono un metodo di aumento tramite diffusione guidato dalla confidenza che mira esplicitamente al covariate shift massimizzando il disaccordo tra insegnante e studente, senza richiedere la conoscenza esplicita del bias o delle etichette di gruppo.
3. Validazione Empirica e Teorica: Il documento fornisce una motivazione teorica mostrando come gli aumenti che mettono alla prova lo studente ma sono facili per l'insegnante possano ridurre l'errore di generalizzazione ($\Omega$). Empiricamente, ConfiG supera i baseline basati sulla diffusione allo stato dell'arte in diversi dataset.

4. Risultati Sperimentali

Gli autori hanno valutato ConfiG su quattro dataset: CelebA-HQ, SpuCo Birds, BAR (Biased Activity Recognition) e un sottoinsieme di ImageNet (Spurious ImageNet).

• Dataset di Group Shift (CelebA-HQ, SpuCo Birds, BAR):

  • ConfiG ha costantemente ottenuto la migliore o la seconda migliore Accuratezza Media del Campione (SMA) e la migliore Accuratezza Media di Gruppo (GMA) e Accuratezza del Peggior Gruppo (WGA) rispetto a sei baseline (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
  • Su CelebA-HQ, ConfiG ha migliorato l'Accuratezza del Peggior Gruppo di oltre il 34% rispetto all'addestramento con soli dati reali, riducendo significativamente il divario con l'insegnante.
  • Su SpuCo Birds e BAR, ConfiG ha ridotto il divario di performance rispetto all'insegnante rispettivamente del 23% e del 37%, superando tutti i baseline nelle prestazioni del gruppo peggiore.

• ImageNet-100 (Caratteristiche Spurie):

  • ConfiG ha raggiunto la più alta accuratezza di validazione e il Punteggio Spurio (SpuScore) più elevato, indicando una migliore robustezza contro le caratteristiche spurie per classe.
  • Sono stati osservati miglioramenti sia per le architetture student ViT-T che ViT-S.

• Studi di Ablazione:

  • Componenti: Combinare il mixing inter-classe e l'ottimizzazione latente ha prodotto i risultati migliori; l'uso di un solo componente era meno efficace.
  • Aumenti più forti: Con l'unione di aumenti non sintetici più forti (es. AutoAugment, MixUp), le prestazioni sono ulteriormente migliorate.
  • Forza dell'Insegnante: ConfiG è rimasto efficace anche con modelli insegnanti più deboli (es. ResNet50 o varianti più piccole di CLIP), sebbene la performance assoluta sia diminuita.
  • Mitigazione del Bias Model-Centric: Gli aumenti di ConfiG hanno migliorato significativamente le prestazioni dei metodi di mitigazione del bias model-centric (LfF, uLA, ERM) quando combinati con essi.

5. Significato e Rivendicazioni

Il documento sostiene che ConfiG offra una soluzione data-centric al problema della copertura limitata dei dati di addestramento e del covariate shift sconosciuto. Sfruttando la discrepanza tra un insegnante robusto e uno studente distorto, il metodo genera dati sintetici mirati che costringono lo studente a "disimparare" le correlazioni spurie e ad approssimare più accuratamente il confine decisionale dell'insegnante.

Gli autori sottolineano che il loro approccio non richiede annotazioni di gruppo esplicite o la conoscenza dei bias specifici, rendendolo applicabile a scenari reali in cui tali informazioni non sono disponibili. Sebbene il metodo mostri prestazioni superiori nella robustezza di gruppo e nella gestione delle caratteristiche spurie, gli autori segnalano alcuni limiti:

• Il metodo è attualmente progettato per l'aumento globale delle immagini in compiti di classificazione e potrebbe richiedere adattamenti per compiti che richiedono la consapevolezza della posizione, come l'object detection.
• Si basa su modelli insegnanti e modelli di diffusione pre-addestrati, il che comporta costi computazionali, sebbene gli autori dimostrino la compatibilità con modelli di diffusione a singolo step più veloci (Hyper-SD).
• L'analisi teorica assume certe condizioni (ad esempio, l'accuratezza dell'insegnante) che sono approssimativamente soddisfatte nella pratica, ma difficili da caratterizzare puramente dai set di aumento discreti.

In conclusione, ConfiG rappresenta un passo avanti verso una distillazione della conoscenza più robusta in ambienti con scarsità di dati e bias, colmando efficacemente il divario tra le capacità dei grandi modelli di fondazione e le reti student più piccole e distribuibili.