Fair Dataset Distillation via Cross-Group Barycenter Alignment

1. Enunciato del Problema

La Distillazione dei Dataset (DD) mira a comprimere un grande dataset reale in un piccolo dataset sintetico preservando le prestazioni predittive dei modelli addestrati sui dati originali. Tuttavia, quando implementata in applicazioni ad alto rischio (ad esempio, sanità, finanza), i metodi DD standard spesso non riescono a mantenere l'equità di gruppo.

Il paper identifica due questioni critiche:

1. Amplificazione del Bias: I processi di distillazione tendono ad amplificare i bias esistenti nei dati originali. I modelli addestrati su dati distillati spesso subiscono significativi cali di prestazioni per i sottogruppi minoritari, portando a grandi disparità di equità (misurate dalla Differenza di Odds Equilibrati, EOD).
2. Falsa Causa Radice: Il lavoro precedente ha spesso attribuito queste disparità esclusivamente allo sbilanciamento di gruppo (disparità nelle dimensioni del campione). Gli autori dimostrano che il problema è più complesso: nasce dall'interazione tra lo sbilanciamento di gruppo e la separazione rappresentazionale (dove diversi gruppi demografici esibiscono pattern predittivi distinti nello spazio delle caratteristiche).
   • La DD standard allinea i dati sintetici a un unico target aggregato (pesato in base ai conteggi dei campioni).
   • Se i gruppi sono sbilanciati, il target è dominato dalla maggioranza.
   • Se i gruppi hanno rappresentazioni diverse, un singolo target non può minimizzare simultaneamente la distanza verso tutti i sottogruppi, costringendo i dati sintetici a "scegliere" una parte, degradando così le prestazioni per gli altri.

2. Metodologia: COBRA

Gli autori propongono COBRA (Cross-grOup BaRycenter Alignment), un framework che modifica l'obiettivo di distillazione per essere agnostico rispetto allo sbilanciamento di gruppo.

Concetto Chiave: Baricentro Agnostico al Gruppo

Invece di ottimizzare il dataset sintetico per corrispondere a una media ponderata di tutti i campioni reali (che favorisce la maggioranza), COBRA calcola un baricentro delle rappresentazioni specifiche per sottogruppo.

• Input: Per ogni classe $y$, il metodo identifica le statistiche (ad esempio, gradienti, embedding o traiettorie di addestramento) per ogni sottogruppo demografico $a$.
• Calcolo del Target: Calcola un baricentro $m^*_y$ che minimizza la distanza totale verso tutte le statistiche dei sottogruppi con pesi uniformi ($w_a = 1/|A|$), indipendentemente dalla dimensione del sottogruppo ($\pi_{a|y}$).
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  Dove $\Phi$ rappresenta le statistiche del sottogruppo condizionato alla classe e $d$ è una misura di discrepanza (ad esempio, distanza euclidea al quadrato).
• Obiettivo di Distillazione: Il dataset sintetico è ottimizzato per corrispondere a questo target baricentrico $m^*_y$ piuttosto che alla miscela ponderata standard.

Garanzia Teorica

Il paper deriva un limite superiore sul residuo nel caso peggiore (la distanza tra la vera rappresentazione di un sottogruppo e il target di distillazione).

• Teorema 4.1: In condizioni specifiche, COBRA garantisce che il residuo massimo tra tutti i sottogruppi sia inferiore o uguale a quello del target standard (ponderato).
• Minimizzando il residuo nel caso peggiore, COBRA assicura che nessun singolo sottogruppo venga "spinto" in modo sproporzionato lontano dalla rappresentazione sintetica, riducendo così i pattern di errore specifici per sottogruppo e migliorando l'Equità degli Odds.

3. Contributi Chiave

1. Analisi Teorica del Bias: Gli autori caratterizzano formalmente l'amplificazione del bias nella DD come risultato dell'interazione tra sbilanciamento di gruppo e separazione rappresentazionale. Dimostrano che correggere solo lo sbilanciamento è insufficiente se le rappresentazioni sottostanti differiscono.
2. Framework COBRA: Introduzione di una strategia principiale e agnostica al modello che sostituisce il target di distillazione standard con un baricentro agnostico al gruppo. Questo metodo è compatibile con le tecniche di distillazione esistenti (Corrispondenza dei Gradienti, Corrispondenza delle Distribuzioni, Allineamento delle Caratteristiche, Corrispondenza delle Traiettorie).
3. Validazione Empirica Completa: Esperimenti estesi su dataset diversificati (correlazioni spurie sintetiche e dataset reali distorti come UTKFace e BFFHQ) e backbones di distillazione (DC, DM, CAFE, IDC, MTT).

4. Risultati Sperimentali

Il paper valuta COBRA rispetto alla DD Vanilla e a una baseline attenta all'equità (FairDD) utilizzando la Differenza di Odds Equilibrati (EOD) e l'Accuratezza.

• Miglioramenti nell'Equità: COBRA ottiene costantemente l'EOD più basso su tutti i benchmark.
  • Esempio: Su C-MNIST (Sfondo) con Corrispondenza delle Distribuzioni (DM) a IPC=50, la DD Vanilla aveva un EOD di 100.0, mentre COBRA lo ha ridotto a 7.46, aumentando simultaneamente l'accuratezza dal 48.8% al 96.8%.
  • Su BFFHQ (dataset reale di volti), COBRA ha ridotto l'EOD da 63.47 a 7.87 con un miglioramento dell'accuratezza.
• Robustezza allo Sbilanciamento e alla Separazione:
  • All'aumentare dello sbilanciamento di gruppo (SKEW), l'EOD della DD Vanilla aumenta monotonicamente. COBRA rimane stabile.
  • All'aumentare della separazione rappresentazionale (GAP), la DD Vanilla subisce un calo brusco nell'equità. COBRA mitiga efficacemente questo effetto.
• Generalizzazione:
  • Cross-Architettura: I dataset distillati generati da COBRA mantengono equità e accuratezza quando si addestrano architetture diverse (AlexNet, VGG, ResNet) non utilizzate durante la distillazione.
  • Regime a Basso IPC: COBRA rimane efficace anche con pochissime immagini per classe (IPC=1, 3, 5), un regime in cui la DD standard solitamente fallisce nel preservare le informazioni minoritarie.
• Studi di Ablazione:
  • Robustezza al Rumore: COBRA rimane efficace anche quando le etichette di gruppo sono rumorose (fino al 50% di corruzione) o parzialmente mancanti (utilizzando pseudo-etichette).
  • Corrispondenza delle Traiettorie: Il metodo si estende con successo alla distillazione basata su traiettorie (MTT), dimostrando la sua applicabilità oltre la corrispondenza di rappresentazioni statiche.

5. Significato e Impatto

• Cambio di Paradigma: Il paper sposta il focus dell'equità nella distillazione dei dataset dal "ridimensionamento delle perdite" (post-hoc o durante l'ottimizzazione) alla "ridefinizione della rappresentazione target". Sostiene che l'equità deve essere integrata nell'obiettivo di aggregazione stesso.
• Applicabilità Pratica: COBRA è una sostituzione diretta per il calcolo del target nelle pipeline DD esistenti. Non richiede modifiche alla procedura di addestramento a valle o ai meccanismi fondamentali dell'algoritmo di distillazione, ma solo alla definizione dei dati sintetici "ideali".
• Affrontare il Bias Reale: Dimostrando il successo su dataset reali (UTKFace, BFFHQ) con bias complessi e non sintetici, il lavoro fornisce una soluzione praticabile per il deployment di modelli compressi in domini sensibili senza sacrificare l'equità.
• Insight Teorico: La derivazione del limite superiore sull'amplificazione del bias offre una nuova lente teorica per comprendere perché le tecniche standard di compressione falliscono negli scenari di apprendimento equo.

In conclusione, COBRA dimostra che allineando i dati sintetici a un baricentro condiviso e bilanciato per gruppo, è possibile raggiungere simultaneamente alta accuratezza predittiva e robusta equità di gruppo, disaccoppiando efficacemente il compromesso spesso osservato nella distillazione dei dataset.