Fair Dataset Distillation via Cross-Group Barycenter Alignment

1. Probleemstelling

Dataset Distillation (DD) heeft als doel een groot real dataset te comprimeren tot een klein synthetisch dataset, terwijl de voorspellende prestaties van modellen die op de originele data zijn getraind, behouden blijven. Echter, wanneer ingezet in hoog-risico toepassingen (bijvoorbeeld gezondheidszorg, financiën), falen standaard DD-methoden vaak om groepsfairness te handhaven.

Het paper identificeert twee kritieke problemen:

1. Biasversterking: Distillatieprocessen hebben de neiging om bestaande biases in de originele data te versterken. Modellen die op gedistilleerde data zijn getraind, lijden vaak onder significante prestatiedalingen voor minderheidsgroepen, wat leidt tot grote fairness-gaten (gemeten door Equalized Odds Difference, EOD).
2. Misvatting over de Oorzaak: Eerder werk schreef deze gaten vaak uitsluitend toe aan groepsonevenwichtigheid (verschillen in steekproefgrootte). De auteurs tonen aan dat het probleem complexer is: het ontstaat uit de interactie tussen groepsonevenwichtigheid en representatieve scheiding (waarbij verschillende demografische groepen onderscheidende voorspellende patronen vertonen in de kenmerkenruimte).
   • Standaard DD aligneert synthetische data met een enkel geaggregeerd doel (gewogen op basis van steekproefaantallen).
   • Als groepen onevenwichtig zijn, wordt het doel gedomineerd door de meerderheid.
   • Als groepen verschillende representaties hebben, kan het enkele doel niet gelijktijdig de afstand tot alle subgroepen minimaliseren, waardoor het synthetische dataset gedwongen wordt om "een kant te kiezen", wat de prestaties voor anderen verslechtert.

2. Methodologie: COBRA

De auteurs stellen COBRA (Cross-grOup BaRycenter Alignment) voor, een raamwerk dat het distillatie-objektief aanpast om onafhankelijk te zijn van groepsonevenwichtigheid.

Kernconcept: Groepsongevoelige Barycentrum

In plaats van het synthetische dataset te optimaliseren om te matchen met een gewogen gemiddelde van alle real samples (wat de meerderheid bevoordeelt), berekent COBRA een barycentrum van de groepspecifieke representaties.

• Input: Voor elke klasse $y$ identificeert de methode de statistieken (bijvoorbeeld gradients, embeddings of trainingstrajecten) voor elke demografische subgroep $a$.
• Doelberekening: Het berekent een barycentrum $m^*_y$ dat de totale afstand tot alle subgroepstatistieken minimaliseert met uniforme gewichten ($w_a = 1/|A|$), ongeacht de grootte van de subgroep ($\pi_{a|y}$).
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  Waar $\Phi$ de klasse-voorwaardelijke subgroepstatistieken vertegenwoordigt en $d$ een afwijkingsmaat is (bijvoorbeeld kwadratische Euclidische afstand).
• Distillatie-objektief: Het synthetische dataset wordt geoptimaliseerd om dit barycentrische doel $m^*_y$ te matchen in plaats van de standaard gewogen mengsel.

Theoretische Garantie

Het paper leidt een bovengrens af voor de worst-case residual (de afstand tussen de ware representatie van een subgroep en het distillatiedoel).

• Stelling 4.1: Onder specifieke voorwaarden garandeert COBRA dat de maximale residual over alle subgroepen kleiner dan of gelijk is aan die van het standaard (gewogen) doel.
• Door de worst-case residual te minimaliseren, zorgt COBRA ervoor dat geen enkele subgroep disproportioneel "weggeduwd" wordt van de synthetische representatie, waardoor groepspecifieke foutpatronen worden verminderd en de Equalized Odds verbetert.

3. Belangrijkste Bijdragen

1. Theoretische Analyse van Bias: De auteurs karakteriseren biasversterking in DD formeel als een resultaat van de interactie tussen groepsonevenwichtigheid en representatieve scheiding. Ze bewijzen dat het corrigeren van onevenwichtigheid alleen onvoldoende is als de onderliggende representaties verschillen.
2. COBRA-raamwerk: Introductie van een principiële, modelonafhankelijke strategie die het standaard distillatiedoel vervangt door een groepsongevoelig barycentrum. Deze methode is compatibel met bestaande distillatietechnieken (Gradient Matching, Distribution Matching, Feature Alignment, Trajectory Matching).
3. Uitgebreide Empirische Validatie: Uitgebreide experimenten over diverse datasets (synthetische spurious correlaties en real-world biased datasets zoals UTKFace en BFFHQ) en distillatie-ruggengraten (DC, DM, CAFE, IDC, MTT).

4. Experimentele Resultaten

Het paper evalueert COBRA tegen Standaard DD en een Fairness-bewuste baseline (FairDD) met behulp van Equalized Odds Difference (EOD) en Accuracy.

• Fairness-winsten: COBRA bereikt consequent de laagste EOD over alle benchmarks.
  • Voorbeeld: Op C-MNIST (Background) met Distribution Matching (DM) bij IPC=50 had Standaard DD een EOD van 100,0, terwijl COBRA deze reduceerde tot 7,46, terwijl tegelijkertijd de accuracy steeg van 48,8% naar 96,8%.
  • Op BFFHQ (real-world gezicht dataset) reduceerde COBRA de EOD van 63,47 naar 7,87 met verbeterde accuracy.
• Robuustheid tegen Onevenwichtigheid en Scheiding:
  • Naarmate groepsonevenwichtigheid (SKEW) toeneemt, stijgt de EOD van Standaard DD monotoon. COBRA blijft stabiel.
  • Naarmate representatieve scheiding (GAP) toeneemt, lijdt Standaard DD onder een scherpe daling in fairness. COBRA mitigeert dit effect effectief.
• Generalisatie:
  • Cross-Architectuur: Gedistilleerde datasets gegenereerd door COBRA behouden fairness en accuracy bij het trainen van verschillende architecturen (AlexNet, VGG, ResNet) die niet tijdens de distillatie zijn gebruikt.
  • Laag-IPC Regime: COBRA blijft effectief zelfs met zeer weinig afbeeldingen per klasse (IPC=1, 3, 5), een regime waar standaard DD meestal faalt om minderheidsinformatie te behouden.
• Ablatie-studies:
  • Ruis-robustheid: COBRA blijft effectief zelfs wanneer groeplabels ruis bevatten (tot 50% corruptie) of gedeeltelijk ontbreken (met behulp van pseudo-labeling).
  • Traject Matching: De methode slaagt erin om zich uit te breiden naar trajectgebaseerde distillatie (MTT), wat de toepasbaarheid bewijst buiten statische representatiematching.

5. Betekenis en Impact

• Paradigmaverschuiving: Het paper verlegt de focus van fairness in dataset distillatie van "loss herweging" (post-hoc of tijdens optimalisatie) naar "herdefiniëren van de doelrepresentatie". Het stelt dat fairness moet worden ingebouwd in het aggregatie-objektief zelf.
• Praktische Toepasbaarheid: COBRA is een drop-in vervanging voor de doelberekening in bestaande DD-pipelines. Het vereist geen wijziging van de downstream trainingsprocedure of de kernmechanismen van het distillatie-algoritme, alleen de definitie van de "ideale" synthetische data.
• Aanpak van Real-world Bias: Door succes te tonen op real-world datasets (UTKFace, BFFHQ) met complexe, niet-synthetische biases, biedt het werk een levensvatbare oplossing voor het inzetten van gecomprimeerde modellen in gevoelige domeinen zonder gelijkheid op te offeren.
• Theoretisch Inzicht: De afleiding van de bovengrens voor biasversterking biedt een nieuwe theoretische lens om te begrijpen waarom standaard compressietechnieken falen in eerlijke leerscenario's.

Concluderend toont COBRA aan dat door synthetische data te aligneren met een gedeeld, groepsgebalanceerd barycentrum, men gelijktijdig hoge voorspellende accuracy en robuuste groepsfairness kan bereiken, waardoor de trade-off die vaak wordt waargenomen in dataset distillatie effectief wordt ontkoppeld.