💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

Cet article propose un nouveau cadre de distillation de données qui exploite des modèles de diffusion pré-entraînés pour sélectionner des patchs d'images distinctifs basés sur la perte de bruit prédite et le regroupement intra-classe, permettant un processus simplifié en une seule étape qui surpasse les méthodes existantes basées sur la génération sur des ensembles de données à grande échelle.

Auteurs originaux : Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un chef essayant d'apprendre à un nouvel apprenti comment cuisiner un banquet massif et complexe (comme un jeu de données ImageNet complet avec des milliers de plats). Habituellement, vous devriez montrer à l'apprenti chaque plat, chaque ingrédient et chaque étape. Cela prend un temps infini, nécessite une cuisine immense (mémoire) et brûle beaucoup de gaz (puissance de calcul).

La Distillation de Données (Dataset Distillation) est l'idée de créer un « aide-mémoire » ou un « mini-menu » si parfait que l'apprenti peut apprendre tout le banquet en étudiant simplement ces quelques exemples.

Le problème des anciens « aide-mémoires »

Par le passé, les scientifiques ont tenté de créer ces mini-menus de deux manières :

Optimisation Pixel par Pixel : Essayer de modifier mathématiquement chaque pixel de quelques images pour qu'elles soient parfaites. C'est comme essayer de sculpter un chef-d'œuvre à la main dans de l'argile ; c'est incroyablement lent et cela ne fonctionne que pour des plats petits et simples (comme CIFAR-10). Lorsque vous essayez sur un banquet énorme (ImageNet), la cuisine explose sous la complexité.
Génération par IA : Utiliser une IA puissante (un Modèle de Diffusion) pour inventer de nouvelles images à partir de rien qui ressemblent aux vrais plats. Le problème ici est que l'IA a été entraînée sur un menu différent (Internet) du vôtre. Elle pourrait inventer un « Golden Retriever » qui ressemble à un nuage duveteux ou un « Requin » qui ressemble à un poisson avec des ailes. Cela crée un décalage de distribution (distribution shift) — la nourriture artificielle n'a pas tout à fait le même goût que la vraie.

La nouvelle solution : « Sélection pilotée par la Diffusion »

Les auteurs de ce papier proposent une nouvelle méthode ingénieuse pour créer l'aide-mémoire. Au lieu de demander à l'IA de créer de la nouvelle nourriture, ils lui demandent d'agir comme un critique pour trouver les meilleures parties de la vraie nourriture déjà présente dans la cuisine.

Voici comment leur méthode fonctionne, en utilisant une analoge simple :

Étape 1 : Le « Test de Dégustation à l'Aveugle » (Étape I)

Imaginez que vous avez une photo géante d'un vrai Golden Retriever. Vous voulez savoir : « Quelle partie de cette photo est la plus typique d'un Golden Retriever ? »

Vous prenez une IA pré-entraînée (Stable Diffusion) et vous lui demandez de deviner le bruit (le grain/statique) nécessaire pour transformer un écran vide en un « Golden Retriever ».
Ensuite, vous lui demandez de deviner le bruit nécessaire pour transformer un écran vide en juste « un chien » (sans la race spécifique).
La Magie : En comparant ces deux devinettes, l'IA met en évidence les pixels spécifiques qui font que le chien ressemble spécifiquement à un Golden Retriever. C'est comme si l'IA pointait un pointeur laser sur les oreilles tombantes et la fourrure dorée du chien, en disant : « C'est la partie importante ! »
Ils découpent ces morceaux (patches) « pointés par le laser » à partir des images réelles. Ils ne créent pas de nouvelles images ; ils découpent simplement les meilleurs morceaux des images réelles.

Étape 2 : La « Fête de Groupement » (Étape II)

Vous avez maintenant des milliers de ces « meilleurs morceaux ». Certains sont des oreilles, d'autres des queues, d'autres des nez.

Si vous les jetez simplement dans un sac, c'est le chaos.
Ainsi, les auteurs utilisent une technique de regroupement (clustering) (comme trier des chaussettes par couleur et par motif) pour regrouper les morceaux similaires.
Ils choisissent la « chaussette » la plus représentative de chaque groupe pour s'assurer que le mini-menu final possède une bonne variété (diversité) tout en capturant l'essence de chaque classe.

Pourquoi est-ce un changement de donne (Game-Changer) ?

Le papier revendique trois victoires principales :

Plus de « Nourriture Factice » : Parce qu'ils découpent des morceaux à partir d'images réelles plutôt que de générer des images factices, la distribution des données correspond parfaitement à l'original. Il n'y a pas d'« hallucination » ou d'artefacts bizarres.
Processus en une seule étape : Les anciennes méthodes devaient souvent relancer tout le processus à chaque fois que vous vouliez changer le nombre d'images ou les types de classes. Cette nouvelle méthode est comme un bouton « un clic ». Vous l'exécutez une fois, et vous obtenez un jeu de données qui fonctionne pour de nombreux réglages différents.
Vitesse et Échelle : Cela fonctionne sur des jeux de données massifs (comme ImageNet-1K) et des modèles complexes (comme ResNet-101) là où les méthodes précédentes échouaient ou prenaient trop de temps.

Le Résultat

Dans leurs expériences, cette méthode de « découpage et collage », guidée par la capacité de l'IA à reconnaître les caractéristiques, a systématiquement battu les méthodes de l'état de l'art. Elle a produit des jeux de données plus petits qui entraînent les modèles aussi bien (voire mieux) que les originaux massifs, sans le coût de calcul lourd de l'optimisation de pixels ou de la génération d'images à partir de zéro.

En bref : Au lieu de demander à une IA de peindre un nouveau tableau d'un chien, cette méthode lui demande de pointer les parties les plus « chien » d'une vraie photo, de les découper et de les organiser en un guide d'étude compact et parfait.

Résumé technique : Vers une distillation de données cohérente et efficace via la sélection pilotée par la diffusion

Problématique

La distillation de données vise à synthétiser un ensemble de données compact qui permet d'entraîner des modèles profonds pour atteindre des performances comparables à celles du jeu de données original complet, réduisant ainsi les coûts de mémoire et de calcul. Cependant, les méthodes d'optimisation existantes (par exemple, l'appariement de gradients) font face à un espace d'optimisation au niveau des pixels extrêmement vaste, ce qui limite leur faisabilité aux jeux de données de petite échelle comme CIFAR-10/100. Les approches récentes exploitant les modèles de diffusion pré-entraînés pour générer directement des images synthétiques souffrent de limitations significatives :

Décalages de distribution : Les méthodes qui affinent (fine-tuning) les modèles de diffusion (soit le modèle lui-même, soit les prototypes d'images dans l'espace latent) peinent souvent à gérer l'écart de distribution entre les données de pré-entraînement (ex. : LAION, ImageNet-1K) et le jeu de données cible, entraînant des sorties non pertinentes pour la classe ou bruitées.
Inefficacité et rigidité : Les méthodes actuelles basées sur la diffusion nécessitent souvent un affinement du modèle pour des jeux de données spécifiques ou de multiples étapes de distillation pour gérer des combinaisons de classes variables ou des ratios de compression changeants (paramètres IPC), ce qui entrave la scalabilité pratique.

Méthodologie

Les auteurs proposent DDDS (Diffusion-Driven Dataset Selection), un cadre qui s'écarte des approches génératives en utilisant des modèles de diffusion pré-entraînés pour la sélection de patchs plutôt que pour la génération d'images. La méthode fonctionne selon un processus en une seule étape sans affiner le modèle de diffusion ni entraîner un classificateur de substitution.

Étape I : Sélection optimale de caractéristiques pertinentes à la classe

Au lieu de générer de nouvelles images, la méthode identifie les régions les plus informatives au sein des images réelles originales.

Prédiction de bruit différentiel : Pour chaque image d'entrée $z$ et un label de classe cible $c$ , le modèle Stable Diffusion (SD) pré-entraîné prédit des cartes de bruit sous deux conditions : avec le prompt textuel de la classe $c$ (ex. : « Une image de golden retriever ») et sans le label (guidage sans classificateur, $\phi$ ).
Score de représentativité : La différence entre ces deux prédictions de bruit, $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ , quantifie l'information pertinente à la classe. Une perte différentielle plus élevée indique que la région est cruciale pour distinguer la classe.
Extraction de patchs : La carte de bruit est suréchantillonnée à la résolution originale de l'image. L'image est divisée en patchs, et un score $R(p|c)$ est calculé pour chaque patch en sommant les valeurs de bruit différentiel. Les patchs ayant les scores les plus élevés sont sélectionnés comme candidats.

Étape II : Agrégation des éléments visuels

Pour atténuer le caractère aléatoire et assurer la diversité parmi les patchs sélectionnés, une stratégie de sélection basée sur le clustering est appliquée.

Extraction de caractéristiques : Les patchs sélectionnés sont traités pour extraire des représentations DIFT (Diffusion Feature). Cela implique d'ajouter du bruit à un instant $t$ spécifique du latent du patch et de le faire passer par l'U-Net avec un conditionnement textuel pour obtenir les activations des couches intermédiaires.
Clustering et classement : Un clustering K-means est effectué sur les caractéristiques DIFT. La sélection suit une règle de double classement :
1. Intra-cluster : Les patchs sont classés par leur distance au centroïde du cluster (favorisant les échantillons centraux et représentatifs).
2. Inter-cluster : Les clusters sont classés par le score de représentativité médian ( $R(p|c)$ ) de leurs membres.
Sélection finale : Les clusters les mieux classés (ex. : les 10 premiers) sont prioritaires pour garantir à la fois la représentativité et la diversité. Si le nombre d'images par classe (IPC) est faible, plusieurs patchs sont concaténés pour former une seule image synthétique.

Contributions clés

Paradigme orthogonal : L'article introduit un cadre de distillation de données qui exploite les modèles de diffusion pré-entraînés pour la localisation (sélection) plutôt que pour la génération. Cette approche traite directement les écarts de distribution entre le prior de diffusion et le jeu de données cible.
Processus efficace en une étape : La méthode élimine le besoin d'affinement de modèle, d'entraînement de modèle de substitution ou de distillation répétitive à travers différents réglages (combinaisons de classes ou IPC). Elle atteint un processus de distillation complet, sans restriction et en un seul passage.
Performance de pointe (SOTA) : Des expériences approfondies démontrent que la méthode proposée surpasse systématiquement les méthodes existantes sans entraînement et basées sur l'optimisation sur divers jeux de données (CIFAR, sous-ensembles d'ImageNet, ImageNet-1K) et diverses architectures de modèles (ResNet, ViT, EfficientNet).

Résultats expérimentaux

Jeux de données haute résolution : Sur ImageNet-1K et ses sous-ensembles (ImageNette, ImageWoof, ImageNet-100), DDDS affiche des améliorations significatives par rapport aux bases de référence comme SRe2L, RDED, Minimax et D4M. Par exemple, sur ImageNette avec IPC=100, il atteint une précision de 92,0 % contre 91,0 % pour la méthode la plus proche (MGD3).
Jeux de données basse résolution : Sur CIFAR-10/100 et TinyImageNet, la méthode égale ou dépasse les performances des méthodes d'appariement d'information (ex. : DSA, IDM) et d'autres approches basées sur la diffusion.
Généralisation inter-architectures : Les jeux de données distillés sont robustes à travers diverses architectures enseignant-étudiant, incluant les CNN et les Vision Transformers (ViT).
Efficacité : Le processus en une étape se traduit par un coût temporel constant, quel que soit le nombre de combinaisons de classes ou les réglages IPC, offrant une accélération substantielle (ex. : accélération de 4x en utilisant un sous-ensemble de 300 images réelles pour l'extraction de patchs) par rapport aux méthodes nécessitant une distillation répétée.

Signification et affirmations

Les auteurs affirment que ce travail apporte une nouvelle perspective sur l'utilisation des modèles de diffusion pour la distillation de données. En passant de la génération à la sélection, la méthode restaure efficacement la distribution originale des données sans les biais introduits par les priors génératifs. Le cadre est présenté comme une solution aux défis de scalabilité et de cohérence de la distillation de données à grande échelle, offrant une alternative pratique, sans entraînement et hautement efficace aux techniques de pointe actuelles. Le code source est mis à disposition pour faciliter la recherche ultérieure.