💻 computer science

Geometry-Aware Dataset Condensation for Diffusion Model Training

Cet article propose la Condensation de Jeu de Données Sensible à la Géométrie (GADC), une méthode qui reformule la sélection de sous-ensembles réels en un problème d'alignement de distribution sensible à la géométrie utilisant le transport optimal partiel unilatéral et la régularisation sémantique afin de construire des jeux de données compacts qui préservent la structure géométrique et la fidélité distributionnelle requises pour un entraînement efficace des modèles de diffusion.

Auteurs originaux : Xiao Cui, Yulei Qin, Mo Zhu, Wengang Zhou, Hongsheng Li, Houqiang Li

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiao Cui, Yulei Qin, Mo Zhu, Wengang Zhou, Hongsheng Li, Houqiang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un grand chef (un Modèle de Diffusion) à cuisiner le repas parfait. Traditionnellement, vous lui donneriez une immense bibliothèque de millions de recettes et d'ingrédients (le Jeu de Données Complet). Bien que cela fonctionne, cela prend une éternité pour tout lire, coûte une fortune en stockage et nécessite une cuisine gigantesque pour tout traiter.

La Condensation de Jeu de Données est l'idée de créer une petite « fiche de révision » parfaite de seulement quelques dizaines de recettes qui enseigneront au chef tout ce qu'il doit savoir, sans l'encombrement inutile.

Cependant, les tentatives précédentes pour créer ces fiches de révision présentaient deux problèmes majeurs :

Fiches Synthétiques : Certains ont essayé d'inventer de nouvelles recettes à partir de zéro. Le résultat ? Les recettes semblaient bizarres et avaient un goût artificiel, ce qui laissait le chef perplexe.
Mauvaise Sélection : D'autres ont simplement essayé de choisir les « meilleures » recettes existantes. Mais ils les choisissaient sur la base d'un score unique et simple (comme « la difficulté de la recette »). Cela passait à côté de l'essentiel, omettant des variations importantes et créant un menu biaisé.

Cet article propose une nouvelle façon de construire cette fiche de révision, appelée Condensation de Jeu de Données Géométriquement Sensible. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'erreur « Unidimensionnelle »

Imaginez que le jeu de données complet soit une ville géante et complexe avec des quartiers, des parcs et des gratte-ciels (la Distribution des Données).

L'ancienne méthode (D2C) : Cette méthode essayait de choisir les meilleures maisons en les classant sur une seule ligne droite basée sur la « difficulté ». C'est comme essayer de choisir les meilleures maisons dans une ville en 3D en ne regardant que leur hauteur. Vous pourriez choisir un gratte-ciel haut mais vide, et manquer une petite chaumière essentielle et chaleureuse. Vous perdez la forme de la ville.
L'Objectif : Nous devons choisir un petit groupe de maisons qui représente parfaitement la forme entière de la ville, en préservant l'intégrité des parcs, des rues et des quartiers.

2. La Solution : « Transport Partiel Unilatéral »

Les auteurs utilisent un outil mathématique appelé Transport Optimal, qui est comme une entreprise de logistique essayant de déplacer du fret d'un entrepôt (le Jeu de Données Complet) vers un nouvel entrepôt plus petit (le Sous-ensemble Condensé).

L'ancienne méthode (Transport Équilibré) : Les anciennes règles disaient : « Vous devez déplacer chaque grain de sable de l'entrepôt géant vers le petit, en faisant correspondre parfaitement le poids. »
- La faille : Comme le petit entrepôt est minuscule, cela force l'entreprise de logistique à traîner du sable lourd et inutile depuis les lisières de la ville (zones de faible densité) juste pour remplir le quota de poids. Cela déforme la carte.
La nouvelle méthode (Transport Partiel Unilatéral) : Les auteurs disent : « Nous n'avons besoin de déplacer que le fret important. Nous n'avons pas besoin de déplacer le sable des zones périphériques vides et peu denses. »
- Le bénéfice : Cela permet au petit entrepôt de se concentrer entièrement sur le « cœur » de la ville — les rues animées et les quartiers populaires. Cela garantit que le petit sous-ensemble capture la véritable géométrie (la forme et la structure) des données originales sans être tiré vers le bas par le bruit.

3. Le Filet de Sécurité : « Régularisation Statistique »

Déplacer le fret ne suffit pas ; nous devons nous assurer que le nouvel entrepôt ressemble toujours à la ville d'origine. Les auteurs ajoutent deux « filets de sécurité » :

Vérification Moyenne-Variance : Ils s'assurent que la « hauteur » moyenne et la « dispersion » des bâtiments dans le petit entrepôt correspondent à la grande ville. Si la grande ville possède un mélange de bâtiments hauts et bas, le petit entrepôt doit présenter ce même mélange.
Vérification de Confiance : Ils s'assurent que les maisons sélectionnées sont clairement reconnaissables. Si une maison ressemble à un amas flou qui pourrait être une grange ou un garage, ils la rejettent. Cela garantit que le « chef » n'est pas confus par des exemples ambigus.

4. La Stratégie : « Construction Gloutonne + Affinement par Échange »

Comment choisir ces maisons spécifiques ? On ne peut pas tester toutes les combinaisons possibles (il y en a trop !). Ils utilisent donc une stratégie en deux étapes :

Construction Gloutonne : On commence avec un terrain vide et on ajoute une maison à la fois, en choisissant toujours celle qui améliore le plus la carte à l'instant présent. C'est comme construire un puzzle pièce par pièce.
L'Échange : Une fois le puzzle construit, on cherche les erreurs. « Hé, cette maison dans le coin ne fonctionne pas ; échangeons-la avec celle qui est à l'extérieur. » Ils continuent d'échanger jusqu'à ce que la carte soit aussi parfaite que possible.

Les Résultats

Lorsqu'ils ont testé cette méthode sur ImageNet (une base de données massive de 1,4 million d'images) pour entraîner des générateurs d'images par IA :

Meilleure Qualité : L'IA a généré des images beaucoup plus nettes et diverses (scores « FID » plus bas) par rapport aux méthodes précédentes.
Efficacité : Ils ont pu entraîner l'IA en utilisant seulement 0,8 % des données originales (10 000 images au lieu de 1,4 million) et obtenir de meilleurs résultats qu'en utilisant des segments aléatoires des données complètes.
Vitesse : Le processus de sélection de ces 10 000 images était beaucoup plus rapide que les méthodes précédentes.

En résumé :
Cet article nous enseigne que pour entraîner une IA puissante sur un petit jeu de données, il ne faut pas simplement choisir les exemples les plus « difficiles » ou les plus « faciles ». Au lieu de cela, il faut sélectionner mathématiquement un petit groupe d'images qui préserve parfaitement la forme, la structure et la diversité du vaste jeu de données original, en ignorant les bords vides et bruyants. C'est comme organiser une exposition de musée qui capture l'âme de toute une collection d'histoire de l'art dans une seule pièce.

Résumé Technique : Condensation de Jeu de Données Sensible à la Géométrie pour l'Entraînement de Modèles de Diffusion

1. Énoncé du Problème

La condensation de jeu de données vise à construire des ensembles de données compacts à partir de données réelles, par synthèse ou sélection, afin de réduire les coûts de stockage et de calcul associés à l'entraînement de modèles d'apprentissage profond. Bien que les méthodes de condensation existantes aient montré un certain succès dans les tâches discriminatives (ex. : classification), elles sont mal adaptées à l'entraînement des modèles de diffusion.

Limites de la Synthèse : Les méthodes qui génèrent des données synthétiques via l'optimisation continue de pixels produisent souvent des échantillons de faible fidélité. Les modèles de diffusion sont extrêmement sensibles au bruit et aux distorsions structurelles, ce qui rend ces échantillons synthétiques inaptes à une modélisation authentique.
Limites de la Sélection : Les méthodes existantes de sélection de sous-ensembles réels reposent généralement sur des critères fixes ou des classements heuristiques (par exemple, D2C classe les images selon une difficulté de diffusion sur un axe unidimensionnel). Ces approches ne parviennent pas à préserver la géométrie distributionnelle complexe requise par les objectifs de vraisemblance de la diffusion. Elles manquent souvent d'un objectif d'optimisation principled aligné sur l'entraînement de diffusion, menant à des sous-ensembles mal alignés avec la distribution complète des données et échouant à capturer la structure de variété nécessaire.

Le défi central est de sélectionner un sous-ensemble réel compact qui préserve la structure géométrique et la fidélité distributionnelle du jeu de données complet, spécifiquement optimisé pour les objectifs d'entraînement basés sur la vraisemblance des modèles de diffusion.

2. Méthodologie

Les auteurs proposent la Condensation de Jeu de Données Sensible à la Géométrie (GADC - Geometry-Aware Dataset Condensation), qui reformule la sélection de sous-ensembles réels comme un problème d'alignement de distribution sensible à la géométrie. Le cadre se compose de trois composantes principales :

A. Transport Optimal Partiel Unilatéral (POT - One-Sided Partial Optimal Transport)
Pour traiter le décalage de capacité entre un petit sous-ensemble et le jeu de données complet, les auteurs emploient le transport optimal partiel unilatéral.

Concept : Contrairement au TO (Transport Optimal) équilibré qui impose un alignement de masse totale, le POT unilatéral permet à la masse source (le sous-ensemble sélectionné) d'être entièrement transportée tout en relaxant la masse cible (le jeu de données complet) sous une contrainte de capacité.
Mécanisme : Cela permet de laisser des masses non appariées dans les régions périphériques de faible densité, concentrant le transport sur les régions dominantes, géométriquement stables et à haute densité de la variété de données.
Implémentation : Le problème est résolu efficacement via une reformulation de « source fictive » (dummy-source) et une régularisation entropique, optimisée par des itérations de Sinkhorn. Cela permet une allocation de masse flexible où le sous-ensemble se concentre sur les régions représentatives tout en maintenant la couverture nécessaire.

B. Régularisation Statistique et Sémantique
Pour compléter l'alignement géométrique et assurer la fidélité distributionnelle, deux termes de régularisation légers sont introduits :

Régularisation Moyenne-Variance ( $L_{sta}$ ) : Aligne les statistiques du premier et du second ordre (moyenne et variance) des représentations de caractéristiques entre le sous-ensemble sélectionné et le jeu de données complet pour préserver la fidélité distributionnelle globale.
Régularisation de Confiance ( $L_{conf}$ ) : Assure la cohérence sémantique en pénalisant la sélection d'échantillons ayant de faibles probabilités de classe prédites. Cela empêche l'inclusion d'ancres géométriques peu fiables qui pourraient compromettre l'alignement.

C. Stratégie d'Optimisation Discrète en Deux Étapes
Puisque la sélection d'un sous-ensemble de taille fixe est un problème combinatoire, les auteurs proposent un solveur efficace en deux étapes :

Étape I (Sélection Gloutonne Guidée par la Géométrie) : Un processus de construction incrémentielle qui sélectionne des échantillons pour minimiser l'objectif composite (perte POT + régularisations), établissant une large couverture de la variété.
Étape II (Raffinement par Échanges) : Une phase de raffinement qui effectue des échanges par paires entre les échantillons sélectionnés et non sélectionnés pour corriger les choix précoces et myopes, optimisant davantage l'alignement géométrique global et la cohérence.

3. Contributions Clés

Reformulation du Problème : L'article reformule la condensation de jeu de données pour les modèles de diffusion comme un problème d'alignement de distribution sensible à la géométrie, s'éloignant du classement heuristique ou de la sélection basée sur des scalaires. Il introduit un objectif de POT unilatéral avec une régularisation statistique pour sélectionner des sous-ensembles réels représentatifs.
Cadre d'Optimisation : Il propose un cadre d'optimisation discrète en deux étapes (construction gloutonne suivie d'un raffinement par échanges) qui résout efficacement le problème d'alignement, évitant les limites de l'échantillonnage basé sur des critères fixes ou des classements.
Performance Empirique : Des expériences approfondies démontrent que la méthode atteint une fidélité et une couverture distributionnelle supérieures aux approches précédentes à travers diverses variantes de diffusion (DiT, SiT), tailles de sous-ensembles, résolutions d'images et cycles d'entraînement.

4. Résultats Expérimentaux

La méthode a été évaluée sur ImageNet-1K avec les architectures DiT-L/2 et SiT-L/2 avec des budgets de données allant de 0,8 % (10K images) à 8 % (100K images).

Métriques de Performance : La méthode proposée a systématiquement obtenu la distance de Fréchet Inception (FID) la plus faible et les scores Inception (IS), Précision et Rappel les plus élevés par rapport aux bases de référence incluant Random Sampling, K-Center, Herding, CCS, DQ et D2C.
- Exemple : Sur ImageNet 256×256 avec un budget de 10K données, la méthode a atteint un FID de 3,43, surpassant D2C (4,20) et Random (35,86).
- Exemple : À une résolution de 512×512 avec un budget de 10K, la méthode a atteint un FID de 6,17, nettement meilleur que D2C (14,8).
Robustesse : Les améliorations ont persisté à travers différentes variantes de diffusion (DiT et SiT), différents protocoles d'évaluation (10K vs 50K échantillons générés) et des itérations d'entraînement étendues (jusqu'à 300K).
Efficacité : Le processus de sélection est informatiquement efficace. Sur un seul GPU, la méthode a pris 5,5 heures pour sélectionner un sous-ensemble de 10K d'ImageNet, contre 41,9 heures pour D2C et 30,4 heures pour DQ.

Études d'Ablation :

Le retrait de la perte POT ( $L_{OT}$ ) a dégradé le FID et réduit la précision/le rappel, confirmant la nécessité de l'alignement géométrique.
Le remplacement du POT unilatéral par le TO équilibré a dégradé les performances, validant l'avantage de permettre des masses non appariées dans les régions périphériques.
Le retrait de la régularisation statistique ( $L_{sta}$ ) ou de confiance ( $L_{conf}$ ) a entraîné respectivement une dégradation du FID ou de l'IS, soulignant l'importance des statistiques globales et de la clarté sémantique.

5. Signification et Revendications

L'article affirme qu'en traitant la condensation de jeu de données comme un problème d'alignement de distribution sensible à la géométrie, il comble avec succès le fossé entre la sélection de données et les exigences spécifiques de l'entraînement des modèles de diffusion.

Efficacité des Données : La méthode permet une modélisation générative de haute qualité sur des jeux de données condensés, réduisant considérablement les coûts de stockage et de calcul associés à l'entraînement des modèles de diffusion.
Fidélité : Contrairement aux méthodes de génération synthétique, l'approche conserve la structure de haute fidélité des échantillons réels tout en garantissant que le sous-ensemble s'aligne avec la géométrie de la distribution complète des données.
Praticité : La stratégie d'optimisation en deux étapes proposée est évolutive et efficace sur le plan computationnel, ce qui en fait une solution pratique pour les environnements à ressources limitées.

Les auteurs concluent que leur méthode fournit un substrat de données fiable pour l'entraînement génératif de type diffusion, offrant une voie complémentaire et centrée sur les données pour améliorer l'efficacité parallèlement aux optimisations du côté du modèle.