Résumé Technique : DIVER - Plonger Plus Profondément dans les Données Distillées via une Récupération Sémantique Explicative

1. Énoncé du Problème

La Distillation de Jeux de Données (DD) vise à compresser de grands jeux de données riches sémantiquement en jeux de données proxy compacts et illisibles par l'homme, afin de faciliter un apprentissage efficace et la protection de la vie privée. Cependant, les cadres classiques de DD emploient généralement un paradigme d'optimisation bi-niveau en une seule étape. Dans ce processus, l'optimisation se produit directement dans l'espace des pixels, utilisant souvent une architecture de prior spécifique (par exemple, un ConvNet) pour des stratégies d'appariement (appariement de gradients, de distributions ou de trajectoires).

Cette approche entraîne deux problèmes critiques :

1. Surapprentissage aux Modèles Spécifiques à l'Architecture : Les images distillées ont tendance à apprendre des motifs haute fréquence et du bruit spécifiques, adaptés à l'architecture de prior utilisée lors de la distillation, plutôt que de capturer des sémantiques de haut niveau généralisables.
2. Échec de la Généralisation Trans-Architecture : Par conséquent, ces images distillées présentent des caractéristiques abstraites, bruyantes et irréalistes qui suppriment l'expression des sémantiques visuelles. Cela se traduit par une dégradation significative des performances lorsque le jeu de données distillé est évalué sur des architectures hétérogènes (par exemple, Transformers, MobileNets) différentes de l'architecture de prior.

Les tentatives existantes pour y remédier, telles que les méthodes de prior génératif (utilisant des GAN) ou l'appariement à double temps, soit restent contraintes par des mécanismes de boucle interne coûteux, soit échouent à produire des images réalistes, soit représentent une rupture complète avec le cadre classique de DD, jetant ainsi le potentiel des jeux de données distillés existants.

2. Méthodologie : Le Cadre DIVER

Les auteurs proposent DIVER (Plonger Plus Profondément dans les Données Distillées via une Récupération Sémantique Explicative), un nouveau cadre de distillation en deux étapes. Contrairement aux approches traditionnelles qui s'arrêtent après la génération d'un jeu de données distillé, DIVER traite la sortie de la DD classique comme une entrée intermédiaire pour une deuxième étape de raffinement.

Étape I : Distillation Classique de Jeux de Données

Cette étape est identique à la DD standard. Elle extrait un jeu de données distillé compact ($D^*$) du jeu de données original ($O$) en utilisant des techniques existantes (par exemple, MTT, DM, SRe2L). Les auteurs notent que si un jeu de données distillé existe déjà, l'Étape I peut être ignorée.

Étape II : Plonger dans les Données Distillées (DDD)

L'innovation centrale réside dans l'Étape II, intitulée Plonger dans les Données Distillées (DDD). Cette étape emploie un modèle de diffusion pré-entraîné et figé (spécifiquement un Diffusion Transformer, DiT) et un VAE pour affiner $D^*$ en un Jeu de Données Synthétique ($S$), sans nécessiter l'accès au jeu de données original ni un entraînement supplémentaire. Le processus implique trois stratégies de récupération sémantique :

1. Héritage Sémantique (SI) :

   • Mécanisme : L'image distillée $x_0$ est encodée en un code latent $z_0$ à l'aide d'un encodeur VAE pré-entraîné.
   • Objectif : Le VAE agit comme un filtre, projetant l'image dans un espace latent profond. Ce processus filtre intrinsèquement le « bruit » spécifique à l'architecture (motifs haute fréquence surajustés au ConvNet de prior) tout en conservant les représentations sémantiques de haut niveau.
   • Initialisation : Au lieu de démarrer le processus de diffusion inverse avec un bruit gaussien aléatoire, le processus est initialisé avec une version bruitée de l'héritage latent ($z_{tf}$), créée en ajoutant $t_f$ étapes de bruit direct à $z_0$. Cela garantit que la trajectoire d'échantillonnage reste proche de la structure sémantique originale.

2. Guidage Sémantique (SG) :

   • Mécanisme : Une fonction de guidage $G_t = ( \hat{z}_t - z_0 )^2 / 2\sigma_t$ est introduite durant le processus inverse.
   • Objectif : Empêcher que les informations sémantiques héritées du jeu de données distillé ne se dégradent ou ne dérivent trop loin durant le processus génératif. Il oriente l'échantillonnage pour produire des sorties réalistes qui restent fidèles aux sémantiques distillées originales.

3. Fusion Sémantique (SF) :

   • Mécanisme : Les auteurs exploitent l'observation que l'échantillonnage par diffusion se déroule en phases distinctes : Phase Chaotique (CP), Phase Sémantique (SP) et Phase de Raffinement (RP). La Fusion Sémantique intègre les étiquettes conditionnelles (informations de classe) avec les latents hérités et guidés exclusivement durant la Phase Sémantique (SP).
   • Objectif : Un guidage sur toute la phase peut entraîner une ambiguïté sémantique et des artefacts. En fusionnant l'information de catégorie uniquement durant la SP critique, la méthode assure l'injection de sémantiques claires et spécifiques à la catégorie, sans compromettre l'intégrité structurelle ni provoquer de surajustement au guidage par étiquette.

L'ensemble du processus de l'Étape II est sans entraînement et sans données brutes, reposant uniquement sur les modèles génératifs pré-entraînés et le jeu de données distillé.

3. Contributions Clés

• Cadre en Deux Étapes : L'article découple le problème de distillation de jeux de données en DD (extraction) et DDD (raffinement), proposant un nouveau paradigme pour améliorer la généralisation trans-architecture.
• Définition de la Tâche DDD : Les auteurs introduisent formellement « Plonger dans les Données Distillées », la première étude à distiller des connaissances d'un jeu de données distillé existant vers un jeu de données synthétique sans accéder aux données originales.
• Stratégies de Récupération Sémantique : L'intégration de l'Héritage Sémantique, du Guidage Sémantique et de la Fusion Sémantique dans un modèle de diffusion guidé pré-entraîné. Ces stratégies récupèrent des sémantiques expressives supprimées par des motifs spécifiques à l'architecture, sans nécessiter d'entraînement supplémentaire du modèle.
• Efficacité : La méthode agit comme un plugin pour la DD traditionnelle, réalisant des gains de performance significatifs avec une surcharge computationnelle minimale (comparable à l'inférence brute de DiT) et une faible utilisation de la mémoire GPU (4 Go).

4. Résultats Expérimentaux

Des expériences extensives ont été menées sur ImageNet-1K et ses sous-ensembles (par exemple, ImageNette, ImageFruit) avec des résolutions de 128×128 et 256×256.

• Généralisation Trans-Architecture : DIVER améliore systématiquement les performances de diverses méthodes classiques de DD (DM, MTT, EDF, NCFM, SRe2L, G-VBSM) lorsqu'elles sont évaluées sur des architectures invisibles (ResNet, ShuffleNet, MobileNet, EfficientNet, ViT).
  • Par exemple, sur les sous-ensembles ImageNet avec IPC=1, DIVER a amélioré les performances de MTT d'environ 15 % à environ 22 % en moyenne sur toutes les architectures.
  • Sur ImageNet-1K (IPC=10), DIVER a porté MTT de 21,3 % à 24,5 % sur ResNet-18 et de 28,4 % à 31,2 % sur ResNet-50.
• Comparaison avec les Priors Génératifs : DIVER surpasse GLaD (une méthode de prior génératif) en termes de généralisation tout en étant plus efficace, car il ne nécessite ni le calcul de gradients ni le stockage des gradients du générateur.
• Études d'Ablation :
  • Impact des Modules : L'Héritage Sémantique et le Guidage Sémantique fournissent individuellement des gains significatifs. Leur combinaison produit les meilleurs résultats, bien qu'avec un effet de saturation.
  • Facteur de Guidage : Un facteur de guidage optimal ($\gamma=0,1$) est crucial ; trop faible conduit à un guidage insuffisant, tandis que trop élevé provoque une dépendance excessive au latent hérité, diminuant la conditionnement par étiquette.
  • Étapes Directes : Un nombre intermédiaire d'étapes directes ($t_f=25$) équilibre l'alignement gaussien et la préservation des caractéristiques.
  • Robustesse : La méthode démontre des améliorations constantes sur différents backbones de diffusion (DiT, SiT, Stable Diffusion V1.5), bien que les gains soient les plus prononcés avec DiT et SiT en raison de l'alignement architectural.
• Compromis sur l'Architecture de Prior : L'article reconnaît un déclin mesurable des performances lorsque le jeu de données synthétique est évalué sur la même architecture de prior (ConvNet) utilisée pour la distillation initiale. Cependant, cela est présenté comme un compromis acceptable pour les gains substantiels en généralisation trans-architecture.

5. Signification et Revendications

L'article affirme que DIVER traite efficacement le « dilemme de la généralisation trans-architecture » inhérent à la distillation classique de jeux de données. En traitant le jeu de données distillé non pas comme un produit final mais comme une source d'informations sémantiques supprimées, DIVER exploite les puissantes capacités de synthèse des modèles de diffusion pré-entraînés pour « plonger plus profondément » et récupérer des sémantiques expressives.

La signification de ce travail réside dans :

1. Avancement Méthodologique : Il comble le fossé entre la DD classique et les modèles génératifs, montrant que les jeux de données distillés classiques conservent des informations sémantiques précieuses qui peuvent être débloquées via un raffinement en deuxième étape.
2. Efficacité Pratique : L'approche ne nécessite ni l'accès au grand jeu de données original ni un entraînement supplémentaire, la rendant hautement adaptée aux scénarios sensibles à la vie privée et aux environnements à ressources limitées (par exemple, l'informatique de périphérie).
3. Généralisation : Elle fournit une solution robuste pour déployer des jeux de données distillés sur diverses architectures de réseaux neuronaux, une exigence critique pour les applications réelles où l'hétérogénéité des modèles est courante.

Les auteurs concluent que DIVER sert d'amélioration efficace, plug-and-play, pour la DD traditionnelle, améliorant considérablement la généralisation avec une surcharge de stockage et de calcul minimale.