Technische Samenvatting: Verbeteren van Knowledge Distillation onder Onbekende Covariabele Shift door Vertrouwensgestuurde Dataaugmentatie

1. Probleemstelling

Het artikel behandelt de beperkingen van Knowledge Distillation (KD) wanneer deze wordt toegepast in scenario's met een onbekende covariabele shift. Hoewel foundation-modellen sterke zero-shot capaciteiten en distributionele robuustheid vertonen, vereist het inzetten van deze modellen in omgevingen met beperkte middelen vaak het overdragen van kennis naar kleinere student-netwerken. Standaard KD vertrouwt op "dark knowledge" (soft labels) van een teacher om de generalisatie van de student te verbeteren. Echter, wanneer de trainingsdata ($P_{train}$) de testdistributie ($P_{test}$) niet voldoende dekt, faalt de student er vaak in de ware beslissingsgrens te leren.

In plaats daarvan exploiteert de student spuriale kenmerken (bijv. haarkleur of leeftijd bij geslachtsklassificatie) die gecorreleerd zijn met het label in de trainingsset, maar niet causaal gerelateerd zijn. Dit leidt tot shortcut learning, waarbij het model goed presteert op trainingsdata, maar faalt op testgroepen die tijdens de training afwezig of ondervertegenwoordigd waren (bijv. oude blonde vrouwen of jonge niet-blonde mannen). Bestaande diffusie-gebaseerde dataaugmentatiemethoden falen vaak in het gericht aanpakken van deze specifieke biases omdat ze het verschil tussen een robuuste teacher en een bevooroordeelde student niet expliciet benutten.

2. Methodologie: ConfiG

De auteurs stellen ConfiG (Confidence-Guided) voor, een nieuw dataaugmentatie-framework dat is ontworpen om covariabele shift te mitigeren door synthetische samples te genereren die specifiek de afhankelijkheid van de student van spuriale kenmerken uitdagen.

Kernmechanisme

ConfiG maakt gebruik van een diffusiemodel (gebaseerd op Stable Diffusion) dat wordt gestuurd door de discrepantie tussen een robuust teachermodel ($t$) en een bevooroordeeld studentmodel ($f$). Het doel is om afbeeldingen te genereren waar:

1. De teacher een hoge vertrouwensscore behoudt in de juiste klasse (behoud van causale kenmerken).
2. De student een lage vertrouwensscore heeft in de juiste klasse (indicatie van afhankelijkheid van spuriale kenmerken).

Technische Implementatie

De methode werkt in twee hoofdfasen:

1. Inter-Class Mixing (Warm-Starting):
   Om lokale minima te vermijden en de generatie van uitdagende samples te waarborgen, voert ConfiG eerst inter-class mixing uit. Met behulp van prompt-to-prompt editing wordt de originele afbeelding bewerkt naar een willekeurige doelklasse (verschillend van de originele klasse). Dit biedt een latente initialisatie die semantisch verschillend is van de originele afbeelding, wat de exploratie van nieuwe kenmerkcombinaties vergemakkelijkt.

2. Latente Optimalisatie:
   De kern van ConfiG omvat het optimaliseren van de latente code ($z_0$), de null-text ($\emptyset$) en het conditioneringssignaal ($C$) om de discrepantie tussen de teacher en de student te maximaliseren. De optimalisatie minimaliseert de volgende verliesfunctie:
   $$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$$
   Waar:

   • $f$ en $t$ de student- en teachermodellen zijn.
   • $y$ de vertrouwensscore van de doelklasse is.
   • $\gamma$ een niet-lineaire transformatie is (empirisch ingesteld op 2) om gevallen te behandelen waarin de student aanvankelijk zeer zeker is.
   • $\mathcal{M}_{\epsilon_\theta}$ het ruisvoorspellingsmodel is, en $\mathcal{D}$ de decoder.

   Dit proces genereert afbeeldingen waarbij de student wordt "misleid" door spuriale kenmerken (bijv. een mannelijk gezicht met blond haar dat als vrouw wordt geclassificeerd) terwijl de teacher de ware klasse correct identificeert.

3. Trainingspipeline:

   • Een auxiliary student wordt eerst gedestilleerd op de beperkte, bevooroordeelde echte trainingsdata. Deze student neemt van nature de spuriale correlaties over.
   • ConfiG gebruikt deze auxiliary student om synthetische augmentaties te genereren.
   • Een robuste student wordt vervolgens getraind op een mix van echte data en de gegenereerde ConfiG-augmentaties (met een vervangingskans van $\alpha = 0.5$).

3. Belangrijkste Bijdragen

1. Probleemidentificatie: De auteurs tonen aan dat hoewel KD van een robuuste teacher de algehele prestaties verbetert, dit onvoldoende blijft onder onbekende covariabele shift, wat leidt tot slechte prestaties op ongeziene groepen in de testset.
2. ConfiG-framework: Ze introduceren een vertrouwensgestuurde diffusie-augmentatiemethode die covariabele shift expliciet aanpakt door de discrepantie tussen teacher en student te maximaliseren, zonder dat daarvoor expliciete kennis van de bias of groepslabels nodig is.
3. Empirische en Theoretische Validatie: Het artikel biedt een theoretische motivatie die aantoont dat augmentaties die uitdagend zijn voor de student maar eenvoudig voor de teacher, de generalisatiefout ($\Omega$) kunnen verminderen. Empirisch gezien presteert ConfiG beter dan state-of-the-art diffusie-gebaseerde baselines.

4. Experimentele Resultaten

De auteurs evalueerden ConfiG op vier datasets: CelebA-HQ, SpuCo Birds, BAR (Biased Activity Recognition), en een subset van ImageNet (Spurious ImageNet).

• Groepshift-datasets (CelebA-HQ, SpuCo Birds, BAR):

  • ConfiG behaalde consistent de beste of op één na beste Sample Mean Accuracy (SMA) en de beste Group Mean Accuracy (GMA) en Worst Group Accuracy (WGA) vergeleken met zes baselines (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
  • Op CelebA-HQ verbeterde ConfiG de Worst Group Accuracy met meer dan 34% vergeleken met training met enkel echte data, waardoor de kloof met de teacher aanzienlijk werd verkleind.
  • Op SpuCo Birds en BAR verkleinde ConfiG de prestatiekloof met de teacher respectievelijk met 23% en 37%, waarbij het alle baselines overtrof in worst-group prestaties.

• ImageNet-100 (Spuriale Kenmerken):

  • ConfiG behaalde de hoogste validatie-accuratesse en Spurious Score (SpuScore), wat wijst op een verbeterde robuustheid tegen klasse-specifieke spuriale kenmerken.
  • Verbeteringen werden waargenomen voor zowel ViT-T als ViT-S student-architecturen.

• Ablatiestudies:

  • Componenten: Het combineren van inter-class mixing en latente optimalisatie leverde de beste resultaten op; het gebruik van slechts één component was minder effectief.
  • Sterkere Augmentaties: ConfiG in combinatie met sterkere niet-synthetische augmentaties (bijv. AutoAugment, MixUp) verbeterde de prestaties verder.
  • Teacher-sterkte: ConfiG bleef effectief, zelfs bij het gebruik van zwakkere teachermodellen (bijv. ResNet50 of kleinere CLIP-varianten), hoewel de absolute prestaties afnamen.
  • Model-centrische Bias-mitigatie: ConfiG-augmentaties verbeterden de prestaties van model-centrische bias-mitigatiemethoden (LfF, uLA, ERM) aanzienlijk wanneer deze gecombineerd werden.

5. Betekenis en Claims

Het artikel beweert dat ConfiG een data-centrale oplossing biedt voor het probleem van beperkte dekking van trainingsdata en onbekende covariabele shift. Door de discrepantie tussen een robuuste teacher en een bevooroordeelde student te benutten, genereert de methode gerichte synthetische data die de student dwingen om spuriale correlaties te ontleren en de beslissingsgrens van de teacher nauwkeuriger te benaderen.

De auteurs benadrukken dat hun aanpak geen expliciete groepsannotaties of kennis van de specifieke biases vereist, wat het toepasbaar maakt in real-world scenario's waar dergelijke informatie niet beschikbaar is. Hoewel de methode superieure prestaties laat zien in groep-robuustheid en het afhandelen van spuriale kenmerken, merken de auteurs de volgende beperkingen op:

• De methode is momenteel ontworpen voor globale beeldaugmentatie bij classificatietaken en kan aanpassing vereisen voor locatie-bewuste taken zoals objectdetectie.
• Het vertrouwt op pre-trained teacher-modellen en diffusiemodellen, wat computationele kosten met zich meebrengt, hoewel de auteurs de compatibiliteit met snellere single-step diffusiemodellen (Hyper-SD) aantonen.
• De theoretische analyse gaat uit van bepaalde condities (bijv. teacher-accuratesse) die in de praktijk redelijk worden benaderd, maar moeilijk puur vanuit discrete augmentatiesets te karakteriseren zijn.

Concluderend vertegenwoordigt ConfiG een stap richting robuustere knowledge distillation in data-arme en bevooroordeelde omgevingen, waarbij het effectief de kloof overbrugt tussen de capaciteiten van grote foundation-modellen en kleinere, inzetbare student-netwerken.