Technische Samenvatting: GenSyn10

Probleemstelling

De snelle vooruitgang van generatieve AI heeft de ontwikkeling van betrouwbare detectiemechanismen ingehaald. Een centrale uitdaging in de detectie van door AI gegenereerde afbeeldingen is het out-of-distribution (OOD) generator shift-probleem: detectoren die getraind zijn op specifieke generatoren (bijv. Stable Diffusion v1.4) falen vaak bij de output van ongeziene, architecturaal verschillende generatoren. Bestaande benchmarks, zoals CIFAKE, leunen op verouderde single-generator datasets of missen gestandaardiseerde generatieprotocollen, wat een gecontroleerde evaluatie van cross-generator generalisatie verhindert. Bovendien bevatten huidige benchmarks vaak geen afbeeldingen van de nieuwste generatie open-source modellen, waardoor er een gat ontstaat in het begrip van hoe detectoren presteren tegenover moderne architecturale paradigma's zoals Rectified Flow Transformers, Mixture-of-Experts (MoE) en Multimodal Diffusion Transformers.

Methodologie

Dataset Constructie: GenSyn10

De auteurs introduceren GenSyn10, een synthetische afbeeldingendataset die is afgestemd op de CIFAR-10 structuur (10 klassen, 32×32 resolutie, 60.000 afbeeldingen in totaal).

• Generatoren: Afbeeldingen worden gegenereerd met behulp van drie state-of-the-art, open-source modellen die verschillende architecturale families vertegenwoordigen:
  1. FLUX.2-dev: Maakt gebruik van een Rectified Flow Transformer.
  2. HunyuanImage-3.0: Gebruikt een autoregressieve Mixture-of-Experts (MoE) architectuur.
  3. Qwen-Image-2512: Combineert een Multimodal Diffusion Transformer (MMDiT) met een bevroren Qwen2.5-VL vision-language model.
• Prompt Engineering: Een combinatorische, op templates gebaseerde prompt-engine genereert meer dan 100.000 unieke prompt-combinaties per klasse. Prompts zijn gestructureerd over zes slots (Instance, Scene, View, Lighting, Action, Opener) en bevatten "Clean" en "Hard" moeilijkheidsgraden (waarbij occlusies, bewegingsonscherpte, etc. worden geïntroduceerd).
• Standaardisatie: Alle afbeeldingen worden gegenereerd op een resolutie van 512×512 en gedownsampled naar 32×32 met behulp van Lanczos-resampling om consistentie te waarborgen.
• OOD Protocol: Om generalisatie te evalueren, wordt Stable Diffusion 3.5 Large gebruikt als een held-out generator. Deze wordt uitgesloten van de trainingsset maar wordt gebruikt om een aparte testset te genereren voor OOD-evaluatie, waardoor wordt gewaarborgd dat prestatieverlies toe te schrijven is aan architecturale verschuivingen in plaats van variaties in prompts of resolutie.

Benchmark Protocol

Het artikel evalueert 17 classificatie-architecturen over zeven modelfamilies (inclusief VGG, ResNet, DenseNet, EfficientNet, ViT, Swin en ConvNeXt) via een vierfasen evaluatieprotocol:

1. Baseline (S1): Evaluatie van op CIFAR-10 geïnitialiseerde modellen op de CIFAR-10 testset.
2. Zero-Shot Transfer (S2): Evaluatie van dezelfde modellen op de GenSyn10 testset zonder fine-tuning.
3. Retention (S3): Fine-tuning op GenSyn10 gevolgd door evaluatie op de CIFAR-10 testset om catastrofaal vergeten te meten.
4. Adaptation (S4): Fine-tuning op GenSyn10 gevolgd door evaluatie op de GenSyn10 testset.

Daarnaast wordt een binaire real-vs-synthetic classificatie-taak uitgevoerd. Modellen worden getraind om echte CIFAR-10 afbeeldingen van GenSyn10 synthetische afbeeldingen te onderscheiden (In-Distribution) en worden vervolgens getest op synthetische afbeeldingen van de held-out Stable Diffusion 3.5 Large (Out-of-Distribution).

Belangrijkste Bijdragen

1. Multi-Generator Benchmark: GenSyn10 is de eerste CIFAR-10-equivalent dataset die afbeeldingen bevat van FLUX.2-dev, HunyuanImage-3.0 en Qwen-Image-2512, waarmee verschillende generatieve families worden gedekt die afwezig waren in eerdere benchmarks.
2. Combinatorische Prompt Grammatica: Een gestandaardiseerd, op templates gebaseerd systeem dat zorgt voor diverse, reproduceerbare generatie met controleerbare moeilijkheidsgraad, waardoor prompt-inhoudelijke confounds worden geëlimineerd.
3. Uitgebreide Classifier Benchmark: Een systematische evaluatie van 17 architecturen onder een vierfasen protocol, wat prestatie-baselines vaststelt voor huidige generatie synthetische afbeeldingen.
4. Systematische OOD Diagnose: Een gecontroleerde experimentele opzet met behulp van een held-out generator om de kwetsbaarheid van detectoren voor ongeziene architecturen te kwantificeren, waarbij wordt aangetoond dat architecturale inductieve bias een primaire determinant is voor OOD-resilience.

Resultaten

Zero-Shot en Fine-Tuning Prestaties

• Zero-Shot Transfer: CIFAR-10-getrainde modellen vertoonden een hoge semantische overdraagbaarheid naar GenSyn10. Het beste model (Swin-Base) behaalde een zero-shot nauwkeurigheid van 96,86%, terwijl het zwakste model (MNASNet-1.0) nog steeds 74,32% bereikte.
• Fine-Tuning Adaptation: Na fine-tuning op GenSyn10 overtrof bijna alle modellen de 98,5% nauwkeurigheid, waarbij ConvNeXt-Base 99,88% behaalde.
• Retention: Transformer-gebaseerde modellen (ViT, Swin) vertoonden een superieure retentie van de oorspronkelijke CIFAR-10 kennis (bijv. ViT-Base/16 behield 95,12% nauwkeurigheid) vergeleken met klassieke CNN's, die aanzienlijk vergeten leden (bijv. ResNet-50 daalde naar 52,02%).

Binaire Real-vs-Synthetic Classificatie

• In-Distribution (ID): Modellen bereikten bijna verzadigde prestaties op de GenSyn10 testset, waarbij Swin-Base een nauwkeurigheid van 99,94% bereikte.
• Out-of-Distribution (OOD): Wanneer getest op de held-out Stable Diffusion 3.5 Large, ervoeren alle modellen nauwkeurigheidsdalingen variërend van 3,80 tot 18,15 procentpunten.
  • ViT-Base/16 vertoonde de sterkste OOD-robuustheid, met de kleinste daling (−3,80%) en de hoogste OOD-nauwkeurigheid (96,08%).
  • ConvNeXtV2-Base leed het grootste verlies (−18,15%).
• Analyse: De prestatiedegradatie werd primair gedreven door een daling in synthetic recall (het foutief classificeren van ongeziene synthetische afbeeldingen als echt), terwijl de specificiteit hoog bleef. Hoge AUC-scores (nabij 1,0) bleven behouden, zelfs met de daling in nauwkeurigheid, wat suggereert dat hoewel de drempelwaarde-prestaties verslechteren, de modellen nog steeds in staat zijn om samples te rangschikken als echt versus synthetisch.

Betekenis en Claims

Het artikel positioneert GenSyn10 als een gecontroleerde benchmark om het "OOD generator shift"-probleem aan te pakken, dat wordt geïdentificeerd als een centrale open uitdaging in het veld. De auteurs beweren dat:

• Architecturale Bias Er Toe Doet: De resultaten suggereren dat architecturale inductieve bias (specifiek globale self-attention in transformers) een belangrijkere factor is voor OOD-resilience dan modelcapaciteit alleen.
• Generalisatiegrenzen: Hoge prestaties op bekende generatoren garanderen geen robuustheid tegen ongeziene architecturen, wat wijst op een hardnekkige kwetsbaarheid in huidige detectiemethoden.
• Standaardisatie: Door een gestandaardiseerde, multi-generator dataset te bieden met een held-out evaluatieprotocol, maakt GenSyn10 principieel onderzoek mogelijk naar domeinadaptatie en cross-generator generalisatie, waarmee verder wordt gegaan dan single-generator benchmarks die mogelijk overfitten op specifieke artefact-signatures.

De auteurs merken beperkingen op, waaronder de uitsluiting van bepaalde paradigma's (bijv. GANs, consistency models) en de afhankelijkheid van handmatige inspectie voor generatiefouten, maar benadrukken de uitbreidbaarheid van de dataset voor toekomstige updates naarmate generatieve modellen evolueren.