💻 computer science

Condensing Large-Scale Datasets Directly with Minimal Information Loss

Le papier présente CIM, un nouveau cadre piloté par les métriques qui élimine le paradigme de double compression induisant une perte d'information des méthodes de distillation de jeux de données existantes afin d'atteindre des performances de pointe sur des jeux de données à grande échelle comme ImageNet-1K avec un surcoût de calcul minimal.

Auteurs originaux : Xinyi Shang, Peng Sun, Bei Shi, Zixuan Wang, Tao Lin

Publié 2026-07-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinyi Shang, Peng Sun, Bei Shi, Zixuan Wang, Tao Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque immense contenant des millions de livres (un énorme ensemble de données comme ImageNet). Vous voulez enseigner tout ce qu'il y a dans cette bibliothèque à un étudiant (un modèle d'IA), mais vous n'avez ni le temps, ni l'espace, ni l'argent pour le laisser lire chaque livre.

L'ancienne méthode : Le problème du « Résumer, Réécrire et Deviner »

Les méthodes précédentes tentaient de résoudre cela en utilisant un processus en trois étapes que les auteurs appellent « Squeeze, Recover, and Relabel » (Compresser, Récupérer et Étiqueter).

Squeeze (Compresser) : Ils essayaient de condenser toute la connaissance de millions de livres dans un seul et minuscule résumé compressé (un modèle pré-entraîné).
Recover (Récupérer) : Ensuite, ils essayaient de prendre ce résumé compressé et de le « déplier » à nouveau pour en faire quelques nouvelles images synthétiques.
Relabel (Réétiqueter) : Enfin, ils demandaient à l'ordinateur qui avait effectué le dépliage de regarder ces nouvelles images et de deviner quels étiquettes (noms) elles devraient porter.

La découverte du papier : L'effet de la « Photo Floue »

Les auteurs de ce papier, CIM, ont découvert une faille majeure dans cette ancienne méthode. Ils ont réalisé que les étapes « Squeeze » et « Recover » agissent comme une très mauvaise photocopieuse.

La fuite d'information : Lorsque vous compressez des données dans un modèle puis que vous essayez de les extraire à nouveau sous forme d'image, vous perdez beaucoup de détails. C'est comme essayer de recréer une peinture haute définition simplement en la décrivant à quelqu'un qui doit la peindre de mémoire. Le résultat est un désordre flou et déformé.
L'étiqueteur défaillant : Parce que les nouvelles images sont si déformées (elles ne ressemblent plus aux originales), l'ordinateur utilisé pour « Réétiqueter » est confus. C'est comme demander à un bibliothécaire qui ne connaît que les livres originaux d'étiqueter une photocopie floue. Le bibliothécaire se trompe, donnant de mauvaises étiquettes. Cela ruine le processus d'apprentissage.

La nouvelle solution : CIM (L'approche du « Copier-Coller Direct »)

Au lieu de froisser les données pour ensuite essayer de les déplier, les auteurs proposent une nouvelle méthode appelée CIM.

Considérez CIM comme un intelligent créateur de collages.

Choisir les meilleures pages : Au lieu d'essayer de résumer toute la bibliothèque, CIM choisit d'abord un petit ensemble parfait de pages issues des livres originaux qui représentent l'information la plus importante.
Alignement direct : Au lieu d'essayer de « récupérer » une image à partir d'un modèle, CIM compare directement les pages originales avec le nouveau collage synthétique. Il demande : « Est-ce que ce nouveau collage ressemble et ressemble exactement aux pages originales ? »
Combler les lacunes : Il ajuste constamment le collage jusqu'à ce que l'« écart d'information » soit nul. Il s'assure que la texture (le grain du papier) et le sens (l'histoire) sont parfaitement préservés.

Pourquoi cela importe

Parce que CIM saute l'étape désagréable du « dépliage », il ne perd pas d'information.

C'est plus rapide : Les auteurs affirment qu'ils peuvent condenser l'ensemble du jeu de données ImageNet-1K (une collection massive de 1,2 million d'images) en un petit ensemble d'images synthétiques en seulement 80 minutes sur une seule puce informatique puissante.
C'est plus intelligent : Les images synthétiques résultantes sont d'une telle qualité que lorsque l'IA étudiante apprend à partir d'elles, elle est plus performante que les étudiants entraînés sur des images créées par les méthodes précédentes.
C'est flexible : La méthode fonctionne bien même lorsque l'IA étudiante possède une « structure cérébrale » (architecture) différente de celle qui a créé les images.

En bref

Le papier soutient que tenter de compresser puis de décompresser des données pour créer des images d'entraînement revient à essayer de faire un gâteau parfait en le transformant d'abord en liquide, en le congelant, puis en le faisant fondre à nouveau — on perd la saveur. CIM évite de fondre et de congeler ; il prend simplement les meilleurs ingrédients du gâteau original et les dispose directement dans un nouveau, petit gâteau parfait qui a exactement le même goût.

Résumé Technique : Condensation de Grands Jeux de Données Directement avec une Perte d'Information Minimale (CIM)

1. Énoncé du Problème

La distillation de jeux de données (DD) vise à compresser de vastes ensembles d'entraînement en de petits ensembles synthétiques tout en préservant la performance de généralisation. Les approches récentes de l'état de l'art (SOTA) pour les jeux de données à grande échelle (par exemple, ImageNet-1K) reposent sur des pipelines d'extraction d'informations (par exemple, SRe2L), qui emploient un processus déconnecté en trois étapes : Squeeze (encodage des données dans un modèle pré-entraîné), Recover (inversion des paramètres du modèle vers l'espace image), et Relabel (réassignation des étiquettes en utilisant le modèle pré-entraîné).

Les auteurs identient deux goulots d'étranglement critiques dans ces méthodes basées sur l'extraction :

Surcharge de Calcul Prohibitive : L'étape « Recover » nécessite une optimisation itérative complexe pour inverser les paramètres du modèle, ce qui entraîne des coûts élevés en temps et en mémoire.
Mauvaise Généralisation Inter-Architectures : Les images distillées présentent souvent des textures ou des sémantiques irréalistes, adaptées à des réseaux spécifiques.
La Cause Racine : Les auteurs soutiennent que le processus de double-compression implicite (Données $\to$ Modèle $\to$ Images) induit intrinsèquement une perte d'information sévère. Cette perte crée un décalage de distribution entre les données originales et synthétiques. Par conséquent, la stratégie de Relabel largement adoptée devient peu fiable ; le modèle pré-entraîné, entraîné sur la distribution originale, agit comme un « étiqueteur peu fiable » pour les échantillons synthétiques décalés, produisant des étiquettes sous-optimales et compromettant la performance.

2. Méthodologie : Le Cadre CIM

Pour remédier à ces problèmes, les auteurs proposent CIM (Condensing Information with Minimal loss), un nouveau cadre piloté par des métriques qui abandonne le paradigme défectueux de la double compression. Au lieu de compresser les données dans un modèle puis de les récupérer, CIM minimise directement l'écart d'information entre les jeux de données originaux et distillés.

Concepts Clés

Écart d'Information Effectif : Les auteurs définissent l'information effective d'un échantillon comme la distribution des caractéristiques extraites par un groupe d'observateurs (par exemple, un modèle pré-entraîné sous diverses transformations). Ils formulent l'Écart d'Information Pairé Effectif ( $I_G$ ) entre un échantillon original $x_i$ et un échantillon distillé $\tilde{x}_j$ en utilisant la divergence de Kullback-Leibler (KL).
Borne Théorique : Puisque l'estimation directe de la KL est intraçable, les auteurs dérivent un théorème bornant l'écart d'information par l'espérance de la distance euclidienne au carré entre les vecteurs de caractéristiques extraits par le groupe d'observateurs.
Objectif d'Optimisation : Le processus de distillation minimise la distance de caractéristique attendue entre un ensemble de $N$ images originales et une seule image distillée $\tilde{x}_j$ , augmentée via des recadrages aléatoires et des transformations :
$\mathcal{L} = \mathbb{E}_{(\xi_k \sim \mathcal{G})} \left\| \zeta_k \circ \phi_{\theta_T}(x_i) - \zeta_k \circ \phi_{\theta_T}(\tilde{x}_j^{(i)}) \right\|^2$
où $\phi_{\theta_T}$ est le modèle observateur pré-entraîné et $\zeta_k$ représente les transformations.

Composantes Techniques Clés

Alignement Direct : CIM aligne explicitement les distributions de données des ensembles originaux et distillés, garantissant une rétention d'information de haute fidélité sans l'étape intermédiaire de « Recovery ».
Équilibre Sémantique et de Texture : Pour éviter la perte de détails de texture (un problème courant lors de l'alignement de caractéristiques sémantiques profondes), CIM utilise des caractéristiques de modèles intermédiaires plutôt que les logits finaux pour l'objectif d'alignement.
Amélioration du Relabeling : Contrairement au étiquetage standard en une seule étape, CIM emploie une stratégie d'étiquetage souple sensible aux transformations. Il génère des étiquettes souples basées sur plusieurs vues transformées des images distillées, fournissant une injection de connaissances plus diversifiée et robuste.
Sélection de Sous-ensembles : CIM adopte un mécanisme de sélection de sous-ensemble (par défaut RDED) pour identifier les échantillons clés du jeu de données original qui sont les plus précisément ré-étiquetés par le modèle pré-entraîné, garantissant que le jeu de données distillé commence avec des données représentatives de haute qualité.

3. Principales Contributions

Insight Théorique : L'article révèle rigoureusement que le processus de double compression dans les méthodes d'extraction existantes provoque une perte d'information et des décalages de distribution sévères, ce qui mine fondamentalement l'efficacité de la stratégie Relabel.
Nouveau Cadre (CIM) : Une approche pilotée par des métriques qui quantifie et minimise explicitement l'écart d'information entre les jeux de données originaux et distillés, éliminant le besoin de processus de récupération coûteux en calcul.
Performance de l'État de l'Art : Des expériences approfondies démontrent que CIM établit de nouveaux records (SOTA) à travers diverses échelles et architectures.
- ImageNet-1K (IPC=10) : Atteint une précision Top-1 de 48,7 % sur ResNet-18 en seulement 80 minutes sur un seul GPU RTX-4090.
- Améliorations : Surpasse les méthodes SOTA précédentes comme NRR-DD (+2,6 %) et DELT (+2,9 %).
- Généralisation : Démontre une supériorité de généralisation inter-architectures, maintenant une haute performance à travers divers backbones (ResNet, ViT, MobileNet, etc.).
Efficacité : En évitant l'étape de récupération itérative, CIM réduit considérablement la surcharge de calcul et l'utilisation de la mémoire par rapport aux bases d'optimisation, tout en maintenant ou en dépassant leurs performances.

4. Résultats Expérimentaux

Jeux de Données à Petite Échelle : CIM surpasse les bases (SRe2L, G-VBSM, RDED, etc.) sur CIFAR-10 et CIFAR-100 à travers les réglages IPC (1, 10, 50) et diverses architectures (ConvNet, ResNet-18, ResNet-50).
Jeux de Données à Grande Échelle : Sur Tiny-ImageNet et ImageNet-1K, CIM atteint la précision la plus élevée. Notamment, sur ImageNet-1K avec IPC=10, il atteint 48,7 % de précision, un bond significatif par rapport aux 46,1 % de DELT et 45,8 % de NRR-DD.
Généralisation Inter-Architecture : Lorsqu'il est distillé sur ResNet-18 et testé sur des architectures non vues (ex: EfficientNet-B0, ViT-T/16), CIM surpasse systématiquement les autres méthodes, validant sa capacité à préserver les informations sémantiques et texturales.
Apprentissage Continu : Dans un cadre d'apprentissage incrémental de classe en 5 étapes, CIM améliore significativement SRe2L, démontant l'utilité de ses données synthétiques de haute fidélité pour prévenir l'oubli catastrophique.
Études d'Ablation : Les auteurs vérifient que :
- L'alignement des caractéristiques intermédiaires (couches moyennes) offre le meilleur équilibre entre sémantique et texture.
- Compresser 4 images originales ( $N=4$ ) en une seule image distillée offre le compromis optimal.
- Le cadre est robuste au nombre d'itérations de compression ( $M$ ) et aux stratégies de sélection de sous-ensembles.

5. Signification et Revendications

L'article affirme que CIM représente un changement de paradigme dans la distillation de jeux de données. En s'éloignant de l'heuristique « Squeeze-Recover », qui dégrade intrinsèquement l'information, CIM s'attaque directement à la cause racine des goulots d'étranglement de performance : la perte d'information et le décalage de distribution.

Les auteurs soulignent que leur approche :

Restaure la Fiabilité : En assurant la proximité distributionnelle, elle permet à la stratégie Relabel de fonctionner comme prévu, transformant à nouveau le modèle pré-entraîné en un étiqueteur fiable.
Scalabilité : Elle permet la distillation de jeux de données massifs (ImageNet-1K) avec une vitesse (80 minutes) et une efficacité sans précédent sur un seul GPU.
Généralisabilité : Elle produit des jeux de données synthétiques qui sont robustes à travers différentes architectures de réseaux, résolvant une limitation majeure des méthodes d'extraction précédentes.

Le travail conclut que minimiser directement l'écart d'information est la clé pour débloquer une distillation de jeux de données de haute fidélité, efficace et généralisable pour les applications à grande échelle.