When Generative Augmentation Hurts: A Benchmark Study of GAN and Diffusion Models for Bias Correction in AI Classification Systems

Deze studie toont aan dat generatieve augmentatie met FastGAN bij zeer beperkte datasets de classifier-bias juist verergert door mode collapse, terwijl Stable Diffusion met LoRA de bias effectief verlaagt en de beste prestaties levert.

De kern

Het Grote Probleem: De "Kleine Klasse" in de Klas

Stel je voor dat je een school hebt waar je kinderen leert om verschillende honden- en kattenrassen te herkennen. Maar er is een probleem: in de klas zitten 100 kinderen met de naam "Duitse Herder", maar slechts 20 kinderen met de naam "Bengalese Kater" en nog minder voor andere zeldzame rassen.

Als je deze school een toets geeft, zullen de kinderen de Duitse Herders perfect herkennen, maar ze zullen de Bengalese Katers waarschijnlijk verwarren met een gewone kat. De "school" (het computerprogramma) is bevooroordeeld omdat ze te weinig voorbeelden hebben gezien van de zeldzame rassen.

De Oplossing: De "Kopieermachine"

Om dit op te lossen, denken de onderzoekers: "Laten we een kopieermachine gebruiken om meer foto's van die zeldzame rassen te maken, zodat de school genoeg voorbeelden heeft."

In de wereld van kunstmatige intelligentie zijn er twee soorten kopieermachines:

1. De Oude Machine (FastGAN): Een techniek die al een tijdje bestaat.
2. De Nieuwe Machine (Stable Diffusion): Een moderne, slimme techniek die pas recent populair is geworden.

De onderzoekers wilden weten: Welke machine maakt de beste kopieën om de klas te helpen?

Wat Vonden Ze? (De Verbluffende Resultaten)

Het onderzoek leverde een verrassend en belangrijk resultaat op:

1. De Oude Machine (FastGAN) deed het juist slechter!
Toen de onderzoekers de oude machine gebruikten om foto's te maken van de rassen met maar 20 voorbeelden, gebeurde er iets raars. De machine werd niet creatief; ze werd "beangstigend saai".

• De Analogie: Stel je voor dat je een kind vraagt om te tekenen van een Bengalese Kater, maar je geeft hem maar één foto. Het kind gaat niet proberen de kat op verschillende manieren te tekenen. In plaats daarvan tekent hij 500 keer exact dezelfde tekening, maar dan een beetje wazig.
• Het Gevolg: De school kreeg 500 foto's die allemaal op elkaar leken, maar niet op de echte katten. Hierdoor leerde de school dat "alle Bengalese katten er zo uitzien" (wat niet waar is). Dit maakte de bevooroordeeldheid erger in plaats van beter. De machine "stolde" in één patroon (in vakjargon: mode collapse).

2. De Nieuwe Machine (Stable Diffusion) was de winnaar.
De nieuwe machine deed het juist heel goed.

• De Analogie: Deze machine kreeg dezelfde één foto, maar ze kon zich voorstellen hoe die kat eruit zou zien als hij in de zon lag, in de schaduw zat, of een beetje draaide. Ze maakte 500 unieke, realistische foto's die echt leken op de echte dieren.
• Het Gevolg: De school leerde de echte kenmerken van het ras en werd veel beter in het herkennen van de zeldzame katten. De bevooroordeeldheid nam af met 13%.

3. De "Mix" werkte niet.
Ze probeerden ook om de slechte foto's van de oude machine te mengen met de goede foto's van de nieuwe machine. Dat werkte niet goed. Het was alsof je een glas water mengt met een glas modderig water; het resultaat is nog steeds modderig. De slechte foto's verpestten de goede.

De Gouden Regel: Hoeveel foto's heb je nodig?

Het onderzoek ontdekte een belangrijke grens:

• Als je minder dan 20 tot 50 foto's van een ras hebt, is het gevaarlijk om de oude kopieermachine (FastGAN) te gebruiken. Je maakt het probleem dan erger.
• De nieuwe machine (Stable Diffusion) werkt wel goed, zelfs met zo weinig foto's.

Waarom is dit belangrijk?

Vroeger dachten mensen: "Als we niet genoeg data hebben, maken we er gewoon meer met een computer." Dit onderzoek zegt: "Pas op! Niet elke computer maakt goede kopieën."

Als je een computerprogramma traint om bijvoorbeeld ziektes te herkennen in medische foto's, en je hebt maar heel weinig foto's van een zeldzame ziekte, dan kun je de oude methode niet zomaar gebruiken. Je riskeert dat het programma de ziekte verkeerd leert kennen. Je moet de nieuwste, slimme technologie gebruiken om echte, gevarieerde voorbeelden te maken.

Samenvatting in één zin

Het gebruik van oude technologie om meer voorbeelden te maken van zeldzame dingen kan je computerprogramma juist dommer maken, terwijl de nieuwste technologie het juist slimmer maakt, zelfs als je maar heel weinig startmateriaal hebt.

Technische samenvatting

Probleemstelling

In toegepast machine learning vertegenwoordigt trainingsdata vaak niet de werkelijke verdeling van categorieën die een model moet hanteren. Dit leidt tot class imbalance (ongewenste verdeling van klassen), waarbij modellen de meerderheidsklassen bevoordelen en slecht presteren op minderheidsklassen. Dit is een acuut probleem in domeinen zoals medische diagnose, gezichtsherkenning en fijnmazige classificatie (bijv. diersoorten).

De standaardoplossing is data-augmentatie. Waar het verzamelen van extra echte data onpraktisch of duur is, wordt gebruikgemaakt van generatieve modellen om synthetische voorbeelden te genereren voor ondervertegenwoordigde klassen. Hoewel Generative Adversarial Networks (GAN's) lang de standaard waren, hebben diffusion-modellen (zoals Stable Diffusion) deze op het gebied van perceptuele kwaliteit ingehaald. De centrale vraag die dit artikel beantwoordt, is: Welke familie van modellen is effectiever voor augmentatie om bias te corrigeren, en verandert dit antwoord afhankelijk van de hoeveelheid beschikbare data?

Methodologie

De auteurs hebben een gecontroleerde benchmark ontworpen rondom de classificatie van dierenrassen met behulp van het Oxford-IIIT Pet Dataset.

• Dataset en Imbalancering: Uit 37 katten- en hondenrassen werden acht rassen geselecteerd om een realistische onbalans na te bootsen:
  • Zware minderheid: 3 rassen (Abyssinische, Bengaalse, Birmaanse) gereduceerd tot 20 trainingsafbeeldingen.
  • Matige minderheid: 5 rassen (Bombay, Brits Korthaar, Egyptische Mau, Maine Coon, Perzisch) gereduceerd tot 50 afbeeldingen.
  • De overige 29 rassen behielden ongeveer 155 afbeeldingen (ongeveer 8x meer dan de zware minderheid).
• Classificator: Een ResNet-50, voorgeïmplementeerd op ImageNet-1K, werd fine-tuned voor 50 epochs.
• Experimentele Condities: Vijf scenario's werden vergeleken, elk met 500 synthetische afbeeldingen per minderheidsras:
  1. Baseline: Alleen echte data, geen augmentatie.
  2. Traditionele Augmentatie: Klassieke transformaties (flip, rotatie, kleurjitter, blur).
  3. FastGAN: 500 gegenereerde afbeeldingen per ras (specifiek ontworpen voor low-data settings).
  4. Stable Diffusion 1.5 + LoRA: 500 gegenereerde afbeeldingen per ras, gefine-tuned met Low-Rank Adaptation.
  5. Hybride: Een mix van 250 FastGAN- en 250 Stable Diffusion-afbeeldingen.
• Hardware: Alle experimenten draaiden op consumentenhardware (GPU met 6-8 GB VRAM), zonder cloud-compute.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Schade: Het artikel levert het eerste bewijs dat GAN-gebaseerde augmentatie (FastGAN) bij zeer kleine datasets niet alleen faalt om te helpen, maar actief de classifier-bias verergert.
2. Directe Vergelijking: Een head-to-head vergelijking tussen FastGAN en Stable Diffusion met LoRA specifiek voor bias-correctie in fijnmazige classificatie.
3. Identificatie van een Grenswaarde: De data wijzen op een drempelwaarde tussen 20 en 50 afbeeldingen per klasse. Onder deze drempel wordt GAN-augmentatie schadelijk.
4. Reproduceerbaarheid: Het volledige framework is reproduceerbaar op standaard hardware, wat de toegankelijkheid voor onderzoekers verhoogt.

Resultaten

De resultaten tonen een duidelijk onderscheid tussen de methoden:

• Stable Diffusion + LoRA: Bereikte de beste prestaties met een macro F1-score van 0,9125 en een reductie van de bias-gap met 13,1% ten opzichte van de baseline. De gegenereerde afbeeldingen dekten de echte data-distributie goed af.
• FastGAN: Presteerde slechter dan de baseline. Het verhoogde de bias-gap met 20,7% (statistisch significant, Cohen's d = +5,03, p = 0,013). De nauwkeurigheid voor de zware minderheidsrassen daalde aanzienlijk (bijv. Birmaanse katten van 47,5% naar 30,0%).
• Traditionele Augmentatie: Verergerde de bias ook licht (met 15,7%), hoewel minder dan FastGAN.
• Hybride Conditie: Leverde slechts een marginale verbetering, wat suggereert dat het mengen van lage-kwaliteit GAN-afbeeldingen met hoge-kwaliteit diffusion-afbeeldingen het voordeel verdund.

Analyse van de Oorzaak (Mode Collapse):
Via t-SNE analyse van feature embeddings werd aangetoond dat FastGAN bij zeer kleine datasets (N=20) last heeft van mode collapse. In plaats van de volledige verdeling van het ras te dekken, genereert het strakke, geïsoleerde clusters van visueel vergelijkbare afbeeldingen die buiten de echte data-distributie liggen. Het toevoegen van deze "out-of-distribution" data vergiftigt het trainingssignaal voor de minderheidsklasse. Stable Diffusion met LoRA vertoonde dit probleem niet en dekte de ruimte breder af.

FID Scores (Fréchet Inception Distance):
Stable Diffusion had aanzienlijk lagere (betere) FID-scores (gemiddeld 95,9) vergeleken met FastGAN (gemiddeld 234,0), wat aangeeft dat de gegenereerde afbeeldingen van Stable Diffusion realistischer zijn en dichter bij de echte data liggen.

Betekenis en Conclusie

De studie concludeert dat generatieve augmentatie geen "one-size-fits-all" oplossing is.

• Gevaar voor GAN's: Bij zeer beperkte data (onder de 20-50 afbeeldingen) kunnen GAN's de prestaties van een AI-systeem aanzienlijk verslechteren door mode collapse, wat leidt tot een versterkte bias in plaats van correctie.
• Superioriteit van Diffusion: Stable Diffusion met LoRA is superieur in dit scenario, zelfs op beperkte hardware, en kan bias effectief verminderen.
• Praktische Implicatie: Praktici moeten voorzichtig zijn bij het gebruik van GAN's voor data-augmentatie in low-data settings. De drempel van 20-50 afbeeldingen is een cruciale richtlijn: daarbeneden is het risico op schadelijke augmentatie groot.

Dit onderzoek verlegt de grenzen van het begrip van generatieve augmentatie en waarschuwt voor de valkuilen van het blind vertrouwen op oudere generatieve modellen in onbalans-situaties.