Résumé Technique : Curation Post-Génération d'Images Synthétiques via le Fractionnement Homogène-Hétérogène

1. Énoncé du Problème

Les modèles génératifs (MG) récents offrent une solution évolutive à la rareté des données en produisant des images synthétiques de haute qualité. Cependant, l'augmentation du volume de données synthétiques ne garantit pas l'amélioration des performances en aval en raison de trois défis principaux :

1. Le Bruit : Les ensembles de données synthétiques contiennent souvent des échantillons de faible fidélité ou mal étiquetés.
2. Le Biais : Les générateurs ont tendance à sur-représenter les modes canoniques d'une classe tout en sous-représentant la variation intra-classe, ce qui entraîne des biais inhérents dans les modèles en aval.
3. L'Efficacité : L'augmentation de l'échelle des données pour atténuer ces problèmes entraîne un surcoût computationnel important et des temps d'entraînement plus longs.

Les approches existantes pour améliorer l'utilité des données synthétiques impliquent généralement des interventions du côté du générateur, telles que l'ajustement fin (fine-tuning) des générateurs ou l'utilisation de stratégies légères comme l'ingénierie de prompts ou le guidage au moment de l'inférence. Ces méthodes sont souvent spécifiques à un générateur, nécessitent une expertise métier significative ou engendrent des coûts de calcul substantiels pour le réentraînement.

Cet article traite d'une question complémentaire : Étant donné un pool fixe d'images générées, l'utilité en aval peut-elle être améliorée uniquement par la sélection d'un sous-ensemble informatif ? Les auteurs soutiennent qu'une sélection efficace doit contrer le biais structurel des générateurs modernes en équilibrant la fidélité sémantique et la diversité de représentation.

2. Méthodologie

Le cadre proposé est un pipeline de curation post-génération agnostique au générateur qui ne nécessite pas le réentraînement du modèle génératif. Il se compose de deux étapes principales :

A. Fractionnement Homogène-Hétérogène (HO-HE) des Données Réelles

Au lieu de traiter l'ensemble de données de référence réel comme une distribution monolithique, la méthode partitionne chaque classe réelle en deux sous-ensembles distincts basés sur un graphe de 1-plus proche voisin (1-NN) dirigé dans l'espace des caractéristiques :

• Ensemble Homogène (HO) : Contient des échantillons « canoniques » qui servent de représentants locaux pour les autres échantillons de la classe. Formellement, $I_{HO}$ est l'ensemble des nœuds ayant un degré entrant positif dans le graphe 1-NN. Ces échantillons présentent une forte similitude intra-classe et représentent la sémantique centrale.
• Ensemble Hétérogène (HE) : Contient des échantillons avec un degré entrant nul dans le graphe 1-NN. Ils représentent des variations non redondantes et des instances moins typiques qui ne sont pas nécessaires comme plus proches voisins d'autres exemples.

Insight Clé : Les générateurs ont tendance à sur-produire des échantillons ressemblant à l'ensemble HO tout en négligeant l'ensemble HE. De plus, les discriminateurs éprouvent souvent plus de difficultés avec les échantillons HE, indiquant qu'ils contiennent des variations plus complexes et plus diverses.

B. Notation de Fidélité-Diversité Conditionnée par Partition

Une fois les données réelles divisées, les images synthétiques sont notées et sélectionnées selon un mécanisme à double critère qui fait référence séparément aux partitions HO et HE :

1. Score de Fidélité ($S^p_{fid}$) : Mesure l'alignement sémantique entre un échantillon synthétique et la partition réelle $p$ (où $p \in \{HO, HE\}$) en utilisant la similitude cosinus entre les vecteurs de caractéristiques.
2. Score de Diversité ($S^p_{div}$) : Encourage l'écart par rapport aux motifs canoniques.
   • Pour la partition HO, l'ancre de référence est le centroïde de la classe.
   • Pour la partition HE, l'ancre est le plus proche voisin correspondant dans l'ensemble HO.
   • Le score de diversité est calculé comme la similitude cosinus négative entre le vecteur allant de l'instance réelle à son ancre et le vecteur allant de l'instance réelle à l'échantillon synthétique. Cela récompense les échantillons synthétiques qui divergent de la direction canonique dominante.

Score Total : La note finale de sélection est une somme pondérée :
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
Où $\alpha$ est un hyperparamètre contrôlant le compromis entre diversité et fidélité. La méthode sélectionne les top-$k$ échantillons de chaque partition pour former le pool final curaté.

3. Contributions Clés

1. Partitionnement HO-HE : Un partitionnement par couverture de plus proche voisin des données réelles avec une garantie de minimalité (Proposition 1), fournissant une définition explicite des échantillons canoniques versus non redondants sans nécessiter d'hypothèses d'axes globaux (contrairement au k-means).
2. Stratégie de Sélection Fondée sur des Principes : Un cadre post-génération qui quantifie et équilibre conjointement la fidélité et la diversité. Il est agnostique au générateur, ne nécessitant qu'un pool de données synthétiques et évitant un réentraînement ou un ajustement fin coûteux des générateurs.
3. Validation Complète : Expérimentations approfondies sur des benchmarks de classification et de segmentation (CIFAR-10, ImageNet, SVHN, Tiny-ImageNet) et sur de multiples architectures (ResNet, ViT, EfficientNet) et générateurs (EDM, EDM2, StyleGAN).

4. Résultats Expérimentaux

La méthode a été évaluée sous deux configurations : la sélection générale à partir d'un pool fixe et la sélection « plug-in » après des interventions du côté du générateur.

• Performance en Domaine (In-Domain) : La méthode a systématiquement surpassé les lignes de base de l'état de l'art (incluant la Sélection Aléatoire, CLIP-Align, RealScore et SBSim).
  • Sur SVHN, la méthode a égalé les bases de données réelles avec ~100k échantillons synthétiques, alors que les bases de comparaison en nécessitaient >200k.
  • Sur CIFAR-10, elle a atteint 95 % de précision avec 300k échantillons, tandis que les bases de comparaison en nécessitaient environ 500k.
  • Sur ImageNet-1K, elle a obtenu la meilleure précision Top-1 dans les contextes d'entraînement à partir de zéro et de fine-tuning en utilisant ViT-B/16 et ResNet-50.
• Robustesse Hors-Distribution (OOD) : Les modèles entraînés sur des données curées ont montré une robustesse supérieure sur divers benchmarks OOD (ex: ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse) par rapport aux modèles entraînés sur des données synthétiques non curées ou sélectionnées aléatoirement.
• Efficacité du "Plug-in" : Appliquée comme étape de post-traitement après des interventions spécifiques au générateur (ex: intervention au moment de l'inférence ou JoDiffusion ajusté), la méthode de curation a apporté des gains additionnels.
  • Pour la classification sur ImageNet-100, elle a atteint une précision comparable ou meilleure avec 40 à 50 % d'échantillons synthétiques en moins par rapport à la ligne de base d'intervention seule.
  • Pour la segmentation sur VOCaug, elle a amélioré l'mIoU par rapport à la ligne de base du générateur ajusté.
• Analyse des Compromis : L' $\alpha$ optimal (poids de la diversité) varie selon la qualité du générateur et le volume de données. À mesure que la fidélité du générateur augmente (ex: EDM2) et que les budgets d'entraînement croissent, la stratégie optimale tend vers la priorité à la diversité ($\alpha \to 1$), car les échantillons canoniques de haute fidélité offrent des rendements décroissants.

5. Signification et Revendications

L'article pose que la sélection post-génération n'est pas un substitut à de meilleurs générateurs mais un mécanisme complémentaire pour améliorer l'utilité des données synthétiques.

• Réponse au Biais du Générateur : L'étude souligne que les générateurs modernes possèdent un biais structurel vers les modes canoniques (HO). Le fractionnement HO-HE proposé traite explicitement cela en garantissant que l'ensemble de données curé inclut des variations non redondantes (HE) que les générateurs produisent naturellement en sous-quantité.
• Efficacité : La méthode offre une alternative pratique et évolutive aux interventions au moment de la génération. Le surcoût computationnel du processus de curation (extraction de caractéristiques et notation) est négligeable par rapport aux économies réalisées sur le temps d'entraînement en aval et sur le volume de données requis pour atteindre une performance équivalente.
• Généralisabilité : Le cadre est efficace à travers différents modèles génératifs, extracteurs de caractéristiques (SigLIP, DINOv3, ViT) et tâches en aval (classification, segmentation), suggérant que l'équilibre entre fidélité et diversité est un principe fondamental pour exploiter efficacement les données synthétiques.