From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition

Technische Samenvatting: From Fake to Real (FFR)

Probleemstelling
Visuele herkenningsmodellen zijn gevoelig voor het aanleren van schijnverbanden (spurious correlations) wanneer trainingssets bevooroordeeld zijn, waarbij een specifieke conditie $B$ (bijv. "Binnen") oververtegenwoordigd is binnen een specifieke klasse $Y$ (bijv. "Grote Honden"). Hoewel synthetische data gegenereerd door grootschalige generatieve modellen (bijv. diffusiemodellen) een veelbelovende weg biedt om dit te mitigeren door ondervertegenwoordigde subgroepen aan te vullen, introduceren bestaande benaderingen een nieuwe bron van bias.

Eerdere methoden, zoals Additive Synthetic Balancing (ASB) en Uniform Synthetic Balancing (USB), mengen reële en synthetische data tijdens de training. De auteurs stellen dat dit een veranderlijke variabele (confounding variable) $G$ creëert (Data Bron: Reëel vs. Synthetisch). O কারণ synthetische en reële data vaak distributionele verschillen vertonen (bijv. generatieve artefacten), kunnen modellen die getraind zijn op gemengde data leren om $Y$ te voorspellen op basis van het paar $(B, G)$ in plaats van de ware semantische kenmerken. Bijvoorbeeld, een model kan leren dat "Synthetische Vrouwen" glimlachen terwijl "Reële Vrouwen" dat niet doen, simpelweg omdat het synthetische generatieproces die correlatie heeft gecreëerd. Het paper levert een theoretisch bewijs (Theorem 1) dat in standaard settings met schijnverbanden, elke augmentatie van een bevooroordeelde dataset met synthetische data onvermijdelijk resulteert in een bias naar het paar $(B, G)$.

Methodologie: From Fake to Real (FFR)
Om de bias naar de databron $(B, G)$ aan te pakken, stellen de auteurs From Fake to Real (FFR) voor, een tweefasen trainingspipeline die het leren van synthetische en reële datadistributies scheidt.

1. Fase 1: Pretraining op Gebalanceerde Synthetische Data
   Het model wordt exclusief voorgetraind op een gebalanceerde synthetische dataset ($D_{syn}$) waar de doelvariabele $Y$ statistisch onafhankelijk is van de biasgroep $B$ ($P_{D_{syn}}(Y|B) = P_{D_{syn}}(Y)$). Dit wordt bereikt door een gelijk aantal synthetische afbeeldingen voor elke bias-subgroep te samplen met behulp van een generatief model (bijv. Stable Diffusion). Het doel is om robuuste, onbevooroordeelde representaties te leren over alle subgroepen zonder blootstelling aan de statistische verschillen tussen reële en synthetische data.

2. Fase 2: Fine-tuning op Reële Data
   Het model dat in Fase 1 is geïnitialiseerd, wordt gefinetuned op de bevooroordeelde reële dataset ($D$). Om te voorkomen dat het model de bias in de reële data opnieuw aanleert, maakt deze fase gebruik van standaard Empirical Risk Minimization (ERM) of veelvoorkomende loss-gebaseerde bias-mitigatiemethoden (bijv. GroupDRO, Resampling, Deep Feature Reweighting). Cruciaal is dat, omdat het model is voorgetraind op gebalanceerde data, het begint met een representatie die minder vatbaar is voor de schijnverbanden in de reële data.

Door de databronnen te scheiden in afzonderlijke trainingsfasen, voorkomt FFR dat het model ooit de gezamenlijke distributie van $(B, G)$ observeert, waardoor het leren van schijn-signalen gerelateerd aan de vraag of een afbeelding reëel of synthetisch is, wordt vermeden.

Belangrijkste Bijdragen

• Nieuwe Pipeline: Introductie van FFR, een eenvoudige, tweefasen trainingsframework die synthetische data gebruikt voor bias-mitigatie zonder de het model bloot te stellen aan het distributionele gat tussen reële en synthetische data.
• Theoretische Analyse: Een formeel bewijs dat het mengen van reële en synthetische data in een enkele trainingsfase onvermijdelijk een bias introduceert naar de databron $(B, G)$, waardoor eerdere gemengde trainingsbenaderingen suboptimaal zijn.
• Uitgebreide Evaluatie: Systematische analyse over drie datasets (CelebA-HQ, UTK-Face, SpuCo Animals) en vijf bias-ratio's (variërend van 90% tot 99,9%), met in totaal meer dan 5.000 experimenten.
• Integratie: Demonstratie dat FFR compatibel is met en de prestaties verbetert van bestaande synthetische-data-vrije bias-mitigatiemethoden (bijv. GroupDRO, DFR).

Experimentele Resultaten
De auteurs evalueren FFR tegenover baselines inclusief geen synthetische data, USB en ASB, waarbij Worst Accuracy (WA) en Balanced Accuracy (BA) als metrieken worden gebruikt.

• Prestatiewinst: FFR verbetert de worst-group accuracy ten opzichte van state-of-the-art methoden met wel 20% over de geëvalueerde datasets. Bijvoorbeeld, op de UTK-Face dataset met een 95% bias-ratio, presteert FFR meer dan 10% beter dan USB en ASB.
• Robuustheid: In tegen tegenstelling tot eerdere methoden waarvan de prestaties significant verslechteren naarmate de ernst van de bias toeneemt (met name op CelebA-HQ en UTK-Face), behoudt FFR een stabiele prestatie over alle bias-ratio's.
• Feature Learning: Kwalitatieve analyse met behulp van RISE saliency maps laat zien dat modellen getraind met FFR zich focussen op relevante semantische kenmerken (bijv. het gezicht van de hond) in plaats van op schijn achtergrondkenmerken of generatieve artefacten (bijv. extra tenen in synthetische afbeeldingen). In contrast hiermee vertrouwen ASB- en USB-modellen vaak op deze artefacten.
• Embedding Analyse: t-SNE projecties onthullen dat FFR de embeddings van reële en synthetische data projecteert in één enkele, compacte cluster, wat aangeeft dat het model gedeelde kernkenmerken leert. Daarentegen projecteren ASB en USB de reële en synthetische data in aparte clusters, wat bevestigt dat ze vertrouwen op bron-specifieke kenmerken.

Betekenis en Beperkingen
Het paper claimt dat FFR effectief het probleem oplost van de bias geïntroduceerd door de distributionele verschillen tussen reële en synthetische data, een probleem dat door eerdere synthetische augmentatiestrategieën werd over het hoofd gezien. Door de training van deze twee databronnen te ontkoppelen, stelt FFR synthetische data in staat om te dienen als een bron van onbevooroordeelde representaties die de prestaties op reële data verbeteren.

De auteurs erkennen beperkingen met betrekking tot de kwaliteit van de gebruikte generatieve modellen. Als het generatieve model zelf bevooroordeeld is of niet trouw aan de prompts voldoet (bijv. moeite heeft met compositie), kan de pretraining-distributie alsnog ongebalanceerd blijven, wat de prestaties van FFR aanzienlijk schaadt (zoals getoond in de ablation studies). Daarnaast is de methode afhankelijk van het vermogen van het generatieve model om een gebalanceerde synthetische dataset te produceren; als het model niet in staat is om specifieke subgroepen accuraat te genereren, worden de voordelen van de eerste fase verminderd. De auteurs suggereren dat toekomstig werk gericht op het trainen van eerlijkere en accuratere generatieve modellen deze problemen verder zal verlichten.