Riassunto Tecnico: Curatela Post-Generazione di Immagini Sintetiche tramite Scissione Omogenea-Eterogenea

1. Definizione del Problema

I recenti modelli generativi (GM) offrono una soluzione scalabile alla scarsità di dati producendo immagini sintetiche di alta qualità. Tuttavia, il semplice aumento del volume di dati sintetici non garantisce un miglioramento delle prestazioni a valle a causa di tre sfide primarie:

1. Rumore: I dataset sintetici contengono spesso campioni a bassa fedeltà o erroneamente etichettati.
   2.Bias: I generatori tendono a sovrarappresentare i modi canonici di una classe pur sottorappresentando la variazione intra-classe, portando a bias intrinseci nei modelli a valle.
2. Efficienza: Scalare i dati per mitigare questi problemi comporta un overhead computazionale significativo e tempi di addestramento più lunghi.

Gli approcci esistenti per migliorare l'utilità dei dati sintetici implicano tipicamente interventi lato generatore, come il fine-tuning dei generatori o l'uso di strategie leggere come il prompt engineering o la guida durante l'inferenza. Questi metodi sono spesso specifici per il generatore, richiedono una significativa competenza nel dominio o comportano costi computazionali sostanziali per il riaddestramento.

Questo articolo affronta una domanda complementare: Dato un pool fisso di immagini generate, l'utilità a valle può essere migliorata puramente selezionando un sottoinsieme informativo? Gli autori sostengono che una selezione efficace debba contrastare il bias strutturale dei moderni generatori bilanciando la fedeltà semantica con la diversità rappresentativa.

2. Metodologia

Il framework proposto è una pipeline di curatela post-generazione agnostica rispetto al generatore che non richiede il riaddestramento del modello generativo. Consiste in due fasi principali:

A. Scissione Omogenea-Eterogenea (HO-HE) dei Dati Reali

Invece di trattare il dataset di riferimento reale come una distribuzione monolitica, il metodo partiziona ogni classe reale in due sottoinsiemi distinti basandosi su un grafo 1-vicino più prossimo (1-NN) diretto nello spazio delle caratteristiche:

• Set Omogeneo (HO): Contiene campioni "canonici" che fungono da rappresentanti locali per altri campioni della classe. Formalmente, $I_{HO}$ è l'insieme dei nodi con in-grado positivo nel grafo 1-NN. Questi campioni esibiscono un'alta similarità intra-classe e rappresentano la semantica centrale.
• Set Eterogeneo (HE): Contiene campioni con in-grado zero nel grafo 1-NN. Questi rappresentano variazioni non ridondanti e istanze meno tipiche che non sono necessarie come vicini più prossimi per altri esempi.

Intuizione Chiave: I generatori tendono a produrre in eccesso campioni simili al set HO, trascurando il set HE. Inoltre, i discriminatori spesso faticano maggiormente con i campoli HE, indicando che essi contengono variazioni più difficili e diverse.

B. Punteggio di Fedeltà-Diversità Condizionato alla Partizione

Una volta diviso il dato reale, le immagini sintetiche vengono valutate e selezionate sulla base di un meccanismo a doppio criterio che fa riferimento separatamente alle partizioni HO e HE:

1. Punteggio di Fedeltà ($S^p_{fid}$): Misura l'allineamento semantico tra un campione sintetico e la partizione reale $p$ (dove $p \in \{HO, HE\}$) utilizzando la similarità del coseno tra i vettori di caratteristiche.
2. Punteggio di Diversità ($S^p_{div}$): Incoraggia la deviazione dai pattern canonici.
   • Per la partizione HO, l'ancora di riferimento è il centroide della classe.
   • Per la partizione HE, l'ancora è il vicino corrispondente più prossimo nel set HO.
   • Il punteggio di diversità è calcolato come la similarità del coseno negativa tra il vettore dal campione reale al suo ancora e il vettore dal campione reale al campione sintetico. Questo premia i campioni sintetici che divergono dalla direzione canonica dominante.

Punteggio Totale: Il punteggio di selezione finale è una somma pesata:
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
Dove $\alpha$ è un iperparametro che controlla il compromesso tra diversità e fedeltà. Il metodo seleziona i top-$k$ campioni da ciascuna partizione per formare il pool curato finale.

3. Contributi Chiave

1. Partizionamento HO-HE: Una partizione di copertura del vicino più prossimo dei dati reali con una garanzia di minimalità (Proposizione 1), fornendo una definizione esplicita di campioni canonici rispetto a quelli non ridondanti senza richiedere assunzioni di assi globali (a differenza di k-means).
2. Strategia di Selezione Principata: Un framework post-generazione che quantifica e bilancia congiuntamente fedeltà e diversità. È agnostico rispetto al generatore, richiedendo solo un pool di dati sintetici ed evitando costosi riaddestramenti o fine-tuning dei generatori.
3. Validazione Esaustiva: Esperimenti estesi attraverso benchmark di classificazione e segmentazione (CIFAR-10, ImageNet, SVHN, Tiny-ImageNet) e molteplici architetture (ResNet, ViT, EfficientNet) e generatori (EDM, EDM2, StyleGAN).

4. Risultati Sperimentali

Il metodo è stato valutato in due configurazioni: selezione generale da un pool fisso e selezione "plug-in" dopo interventi lato generatore.

• Performance In-Domain: Il metodo ha superato costantemente i baseline allo stato dell'arte (inclusi Random Selection, CLIP-Align, RealScore e SBSim).
  • Su SVHN, il metodo ha eguagliato i baseline dei dati reali con ~100k campioni sintetici, mentre i baseline richiedevano >200k.
  • Su CIFAR-10, ha raggiunto il 95% di accuratezza con 300k campioni, mentre i baseline richiedevano ~500k.
  • Su ImageNet-1K, ha ottenuto la migliore accuratezza Top-1 in entrambi gli scenari di addestramento da zero (from-scratch) e fine-tuning utilizzando ViT-B/16 e ResNet-50.
• Robustezza Out-of-Distribution (OOD): I modelli addestrati su dati curati hanno mostrato una robustezza superiore in vari benchmark OOD (es. ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse) rispetto ai modelli addestrati su dati sintetici non curati o selezionati casualmente.
• Efficacia Plug-in: Quando applicato come passaggio di post-processing dopo interventi specifici del generatore (es. intervento durante l'inferenza o JoDiffusion fine-tuned), il metodo di curatela ha fornito guadagni aggiuntivi.
  • Per la classificazione su ImageNet-100, ha ottenuto un'accuratezza comparabile o migliore con il 40–50% in meno di campioni sintetici rispetto al baseline di solo intervento.
  • Per la segmentazione su VOCaug, ha migliorato l'mIoU rispetto al baseline del generatore fine-tuned.
• Analisi del Compromesso: L' $\alpha$ ottimale (peso della diversità) cambia in base alla qualità del generatore e al volume dei dati. Man mano che la fedeltà del generatore aumenta (es. EDM2) e i budget di addestramento crescono, la strategia ottimale si sposta verso la priorità della diversità ($\alpha \to 1$), poiché i campioni canonici ad alta fedeltà forniscono rendimenti decrescenti.

5. Significato e Rivendicazioni

L'articolo sostiene che la selezione post-generazione non è un sostituto di migliori generatori, ma un meccanismo complementare per migliorare l'utilità dei dati sintetici.

• Affrontare il Bias del Generatore: Lo studio evidenzia come i moderni generatori abbiano un bias strutturale verso i modi canonici (HO). Il proposto partizionamento HO-HE affronta esplicitamente questo problema assicurando che il dataset curato includa variazioni non ridondanti (HE) che i generatori naturalmente sottoproducono.
• Efficienza: Il metodo offre un'alternativa pratica e scalabile agli interventi durante la generazione. L'overhead computazionale del processo di curatela (estrazione delle caratteristiche e scoring) è trascurabile rispetto ai risparmi nel tempo di addestramento downstream e nel volume di dati richiesto per raggiungere prestazioni equivalenti.
• Generalizzabilità: Il framework è efficace attraverso diversi modelli generativi, estrattori di caratteristiche (SigLIP, DINOv3, ViT) e compiti downstream (classificazione, segmentazione), suggerendo che bilanciare fedeltà e diversità sia un principio fondamentale per sfruttare efficacemente i dati sintetici.