Sintesi Tecnica: GenSyn10

Problematica

Il rapido progresso dell'IA generativa ha superato lo sviluppo di meccanismi di rilevamento affidabili. Una sfida centrale nel rilevamento di immagini generate dall'IA è il probleamo dello spostamento del generatore fuori distribuzione (OOD - out-of-distribution): i rilevatori addestrati su generatori specifici (ad es. Stable Diffusion v1.4) spesso falliscono nel generalizzare verso output provenienti da generatori non visti e architettonicamente distinti. I benchmark esistenti, come CIFAKE, si affidano a dataset di singoli generatori ormai obsoleti o mancano di protocolli di generazione standardizzati, impedendo una valutazione controllata della generalizzazione cross-generatore. Inoltre, gli attuali benchmark spesso non includono immagini provenienti dall'ultima generazione di modelli open-source, lasciando un vuoto nella comprensione di come i rilevatori si comportino contro i moderni paradigmi architettonici come i Rectified Flow Transformer, i Mixture-of-Experts (MoE) e i Multimodal Diffusion Transformer.

Metodologia

Costruzione del Dataset: GenSyn10

Gli autori introducono GenSyn10, un dataset di immagini sintetiche allineato con la struttura di CIFAR-10 (10 classi, risoluzione 32×32, 60.000 immagini totali).

• Generatori: Le immagini sono generate utilizzando tre modelli open-source allo stato dell'arte che rappresentano distinte famiglie architettoniche:
  1. FLUX.2-dev: Utilizza un Rectified Flow Transformer.
  2. HunyuanImage-3.0: Impiega un'architettura autoregressiva Mixture-of-Experts (MoE).
  3. Qwen-Image-2512: Combina un Multimodal Diffusion Transformer (MMDiT) con un modello vision-language Qwen2.5-VL congelato.
• Prompt Engineering: Un motore di prompt combinatorio basato su template genera oltre 100.000 combinazioni uniche di prompt per classe. I prompt sono strutturati su sei slot (Istanza, Scena, Vista, Illuminazione, Azione, Apertura) e includono livelli di difficoltà "Clean" (Pulito) e "Hard" (Difficile) (introducendo occlusioni, sfocatura da movimento, ecc.).
• Standardizzazione: Tutte le immagini sono generate a una risoluzione di 512×512 e ridimensionate a 32×32 tramite campionamento Lanczos per garantire la coerenza.
• Protocollo OOD: Per valutare la generalizzazione, Stable Diffusion 3.5 Large viene utilizzato come generatore tenuto fuori (held-out). Esso è escluso dal set di addestramento ma viene utilizzato per generare un set di test separato per la valutazione OOD, garantendo che i cali di performance siano attribuibili a spostamenti architettonici piuttosto che a variazioni di prompt o risoluzione.

Protocollo di Benchmark

Il documento valuta 17 architetture di classificazione attraverso sette famiglie di modelli (inclusi VGG, ResNet, DenseNet, EfficientNet, ViT, Swin e ConvNeXt) utilizzando un protocollo di valutazione in quattro fasi:

1. Baseline (S1): Valutazione dei modelli inizializzati su CIFAR-10 sul set di test CIFAR-10.
2. Trasferimento Zero-Shot (S2): Valutazione degli stessi modelli sul test set GenSyn10 senza fine-tuning.
3. Ritenzione (S3): Fine-tuning su GenSyn10 seguito dalla valutazione sul set di test CIFAR-10 per misurare l'oblio catastrofico.
4. Adattamento (S4): Fine-tuning su GenSyn10 seguito dalla valutazione sul set di test GenSyn10.

Inoltre, viene eseguito un compito di classificazione binaria reale-contro-sintetico. I modelli vengono addestrati per distinguere le immagini reali di CIFAR-10 dalle immagini sintetiche di GenSyn10 (In-Distribution) e vengono poi testati su immagini sintetiche di Stable Diffusion 3.5 Large (Out-of-Distribution).

Contributi Chiave

1. Benchmark Multi-Generatore: GenSyn10 è il primo dataset equivalente a CIFAR-10 che include immagini da FLUX.2-dev, HunyuanImage-3.0 e Qwen-Image-2512, coprendo distinte famiglie generative assenti dai benchmark precedenti.
2. Grammatica Combinatoria dei Prompt: Un sistema standardizzato basato su template che garantisce una generazione diversificata e riproducibile con difficoltà controllabile, eliminando i confondimenti tra prompt e contenuto.
3. Benchmark Completo dei Classificatori: Una valutazione sistematica di 17 architetture sotto un protocollo a quattro fasi, stabilendo baseline di performance per le immagini sintetiche dell'attuale generazione.
4. Diagnosi Sistematica OOD: Un setup sperimentale controllato che utilizza un generatore tenuto fuori per quantificare la vulnerabilità dei rilevatori rispetto ad architetture non viste, dimostrando che il bias induttivo architettonico è un determinante primario della resilienza OOD.

Risultati

Performance Zero-Shot e di Fine-Tuning

• Trasferimento Zero-Shot: I modelli addestrati su CIFAR-10 hanno dimostrato un'alta trasferibilità semantica a GenSyn10. Il miglior modello (Swin-Base) ha raggiunto un'accuratezza zero-shot del 96,86%, mentre il più debole (MNASNet-1.0) ha comunque raggiunto il 74,32%.
• Adattamento tramite Fine-Tuning: Dopo il fine-tuning su GenSyn10, quasi tutti i modelli hanno superato il 98,5% di accuratezza, con ConvNeXt-Base che ha raggiunto il 99,88%.
• Ritenzione: I modelli basati su Transformer (ViT, Swin) hanno mostrato una superiore ritenzione della conoscenza originale di CIFAR-10 (ad es. ViT-Base/16 ha mantenuto il 95,12% di accuratezza) rispetto ai classici CNN, che hanno subito un significativo oblio (ad es. ResNet-50 è sceso al 52,02%).

Classificazione Binaria Reale-contro-Sintetico

• In-Distribution (ID): I modelli hanno raggiunto una performance quasi saturata sul test set GenSyn10, con Swin-Base che ha raggiunto il 99,94% di accuratezza.
• Out-of-Distribution (OOD): Quando testati su Stable Diffusion 3.5 Large (tenuto fuori), tutti i modelli hanno subito cali di accuratezza compresi tra 3,80 e 18,15 punti percentuali.
  • ViT-Base/16 ha dimostrato la maggiore robustezza OOD, con il minor calo di accuratezza (−3,80%) e la più alta accuratezza OOD (96,08%).
  • ConvNeXtV2-Base ha subito il calo maggiore (−18,15%).
• Analisi: La degradazione delle performance è stata guidata principalmente da un calo della recall sintetica (classificazione errata di immagini sintetiche non viste come reali), mentre la specificità è rimasta elevata. Alti punteggi AUC (vicini a 1,0) persistono anche con i cali di accuratezza, suggerendo che, sebbene le performance basate su soglia degradino, i modelli mantengono una certa capacità di classificare i campioni come sintetici o reali.

Significato e Rivendicazioni

Il documento posiziona GenSyn10 come un benchmark controllato per affrontare il problema dello "spostamento del generatore OOD", identificato come una sfida aperta centrale nel campo. Gli autori affermano che:

• Il Bias Architetturale Conta: I risultati suggeriscono che il bias induttivo architettonico (specificamente l'auto-attenzione globale dei transformer) è un fattore più significativo per la resilienza OOD rispetto alla sola capacità del modello.
• Limiti della Generalizzazione: L'alta performance su generatori noti non garantisce la robustezza contro architetture non viste, evidenziando una persistente vulnerabilità nei metodi di rilevamento attuali.
• Standardizzazione: Fornendo un dataset multi-generatore standardizzato con un protocollo di valutazione tenuto fuori, GenSyn10 consente una ricerca rigorosa sul dominio di adattamento e sulla generalizzazione cross-generatore, andando oltre i benchmark a singolo generatore che potrebbero fare overfitting su specifiche firme di artefatti.

Gli autori segnalano limitazioni, tra cui l'esclusione di certi paradigmi (ad es. GAN, modelli di coerenza) e il ricorso all'ispezione manuale per gli errori di generazione, ma sottolineano l'estensibilità del dataset per futuri aggiornamenti man mano che i modelli generativi evolvono.