Technische Samenvatting: Post-generatie Curatie van Synthetische Afbeeldingen via Homogene-Heterogene Splitsing

1. Probleemstelling

Recente generatieve modellen (GM's) bieden een schaalbare oplossing voor dataschaarste door hoogwaardige synthetische afbeeldingen te produceren. Het simpelweg vergroten van het volume aan synthetische data garandeert echter geen verbeterde downstream-prestaties vanwege drie primaire uitdagingen:

1. Ruis: Synthetische datasets bevatten vaak kwalitatief minder goede of foutief gelabelde monsters.
2. Bias: Generatoren hebben de neiging om canonieke modi van een klasse te oververtegenwoordigen, terwijl ze intra-klasse variatie ondervertegenwoordigen, wat leidt tot inherente biases in downstream-modellen.
3. Efficiëntie: Het opschalen van data om deze problemen te mitigeren, brengt aanzienlijke computationele overhead en langere trainingstijden met zich mee.

Bestaande benaderingen om de bruikbaarheid van synthetische data te verbeteren, maken doorgaans gebruik van interventies aan de generatorzijde, zoals het fine-tunen van generatoren of het gebruik van lichtgewicht strategieën zoals prompt engineering en guidance tijdens de inferentie. Deze methoden zijn vaak generatorspecifiek, vereisen aanzienlijke domeinkennis of brengen substantiële computationele kosten met zich mee voor hertraining.

Dit artikel behandelt een complementaire vraag: Gegeven een vaste pool van gegenereerde afbeeldingen, kan de downstream-bruikbaarheid worden verbeterd door puur een informatieve subset te selecteren? De auteurs stellen dat effectieve selectie de structurele bias van moderne generatoren moet tegengaan door een balans te vinden tussen semantische getrouwheid (fidelity) en representationele diversiteit.

2. Methodologie

Het voorgestelde framework is een generator-agnostische, post-generatie curatie-pipeline die geen hertraining van het generatieve model vereist. Het bestaat uit twee hoofdfasen:

A. Homogene-Heterogene (HO-HE) Splitsing van Real Data

In plaats van de werkelijke referentiedataset als een monolithische distributie te behandelen, verdeelt de methode elke echte klasse in twee afzonderlijke subsets op basis van een gerichte 1-nearest-neighbor (1-NN) graaf in de feature-ruimte:

• Homogene (HO) Set: Bevat "canonieke" monsters die dienen als lokale vertegenwoordigers voor andere monsters in de klasse. Formeel is $I_{HO}$ de verzameling knopen met een positieve in-degree in de 1-NN graaf. Deze monsters vertonen een hoge intra-klasse gelijkenis en vertegenwoordigen de kernsemantiek.
• Heterogene (HE) Set: Bevat monsters met een in-degree van nul in de 1-NN graaf. Deze vertegenwoordigen niet-redundante variaties en minder typische instanties die niet nodig zijn als dichtstbijzijnde buren voor andere voorbeelden.

Kerninzicht: Generatoren hebben de neiging om meer monsters te produceren die lijken op de HO-set, terwijl ze de HE-set verwaarlozen. Bovs de HE-set begrijpen discriminatoren vaak moeilijker, wat aangeeft dat deze meer uitdagende, diverse variaties bevatten.

B. Partitie-geconditioneerde Fidelity-Diversiteit Scoring

Zodra de echte data is gesplitst, worden synthetische afbeeldingen gescoord en geselecteerd op basis van een dual-criterium mechanisme dat zowel de HO als de HE partities afzonderlijk raadpleegt:

1. Fidelity Score ($S^p_{fid}$): Meet de semantische uitlijning tussen een synthetisch monster en de echte partitie $p$ (waarbij $p \in \{HO, HE\}$) met behulp van cosine similarity tussen feature-vectoren.
2. Diversity Score ($S^p_{div}$): Moedigt afwijking van canonieke patronen aan.
   • Voor de HO-partitie is het referentie-anker de klasse-centroid.
   • Voor de HE-partitie is het anker de dichtstbijzijnde overeenkomstige feature in de HO-set.
   • De diversiteitsscore wordt berekend als de negatieve cosine similarity tussen de vector van de echte instantie naar zijn anker en de vector van de echte instantie naar het synthetische monster. Dit beloont synthetische monsters die afwijken van de dominante canonieke richting.

Totale Score: De uiteindelijke selectiescore is een gewogen som:
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
Waarbij $\alpha$ een hyperparameter is die de afweging tussen diversiteit en fidelity controleert. De methode selecteert de top-$k$ monsters uit elke partitie om de uiteindelijke gecureerde pool te vormen.

3. Belangrijkste Bijdragen

1. HO-HE Partitionering: Een nearest-neighbor-cover partitie van echte data met een minimaliteitsgarantie (Proposition 1), die een expliciete definitie biedt van canonieke versus niet-redundante monsters zonder globale as-aannames te vereisen (in tegen tegenstelling tot k-means).
2. Geprincipeerde Selectiestrategie: Een post-generatie framework dat fidelity en diversiteit gezamenlijk kwantificeert en balanceert. Het is generator-agnostisch, vereist alleen synthetische data en vermijdt kostbare hertraining of fine-tuning van generatoren.
3. Omvattende Validatie: Uitgebreide experimenten over classificatie- en segmentatiebenchmarks (CIFAR-10, ImageNet, SVHN, Tiny-ImageNet) en meerdere architecturen (ResNet, ViT, EfficientNet) en generatoren (EDM, EDM2, StyleGAN).

4. Experimentele Resultaten

De methode werd geëvalueerd onder twee instellingen: algemene selectie uit een vaste pool en "plug-in" selectie na generator-zijde interventies.

• In-Domain Prestaties: De methode presteerde consequent beter dan state-of-the-art baselines (inclusief Random Selection, CLIP-Align, RealScore en SBSim).
  • Op SVHN haalde de methode de real-data baselines in met ~100k synthetische monsters, terwijl baselines >200k nodig hadden.
  • Op CIFAR-10 bereikte het 95% nauwkeurigheid met 300k monsters, terwijl baselines ~500k nodig hadden.
  • Op ImageNet-1K behaalde het de beste Top-1 nauwkeurigheid in zowel training-from-scratch als fine-tuning settings met behulp van ViT-B/16 en ResNet-50.
• Out-of-Distribution (OOD) Robuustheid: Modellen getraind op gecureerde data vertoonden superieure robuustheid over diverse OOD-benchmarks (bijv. ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse) vergeleken met modellen getraind op ongecureerde of willekeurig geselecteerde synthetische data.
• Plug-in Effectiviteit: Wanneer toegepast als een post-processing stap na taakspecifieke generator-interventies (bijv. inference-time interventie of fine-tuned JoDiffusion), leverde de curatie-methode extra winst op.
  • Voor classificatie op ImageNet-100 behaalde het een vergelijkbare of betere nauwkeurigheid met 40–50% minder synthetische monsters vergeleken met de interventie-only baseline.
  • Voor segmentatie op VOCaug verbeterde het de mIoU ten opzichte van de fine-tuned generator baseline.
• Trade-off Analyse: De optimale $\alpha$ (diversiteitsgewicht) verschuift op basis van generatorkwaliteit en datavolume. Naarmate de generator-fidelity toeneemt (bijv. EDM2) en de trainingsbudgetten groeien, verschuift de optimale strategie naar het prioriteren van diversiteit ($\alpha \to 1$), omdat canonieke high-fidelity monsters een afnemende meeropbrengst bieden.

5. Betekenis en Claims

Het artikel stelt dat post-generatie selectie geen vervanging is voor betere generatoren, maar een complementair mechanisme om de bruikbaarheid van synthetische data te verbeteren.

• Aanpak van Generator Bias: De studie benadrukt dat moderne generatoren een structurele bias hebben naar canonieke modi (HO). De voorgestelde HO-HE splitsing pakt dit expliciet aan door ervoor te zorgen dat de gecureerde dataset niet-redundante variaties (HE) bevat die generatoren van nature onderproduceren.
• Efficiëntie: De methode biedt een praktisch, schaalbaar alternatief voor generatie-tijd interventies. De computationele overhead van het curatieproces (feature extractie en scoring) is verwaarloosbaar vergeleken met de besparingen in downstream trainingstijd en de hoeveelheid data die nodig is om een equivalente prestatie te bereiken.
• Generaliseerbaarheid: Het framework is effectief over verschillende generatieve modellen, feature extractors (SigLIP, DINOv3, ViT) en downstream taken (classificatie, segmentatie), wat suggereert dat het balanceren van fidelity en diversiteit een fundamenteel principe is voor het effectief benutten van synthetische data.