Understanding Dataset Distillation via Spectral Filtering

1. Problématique

La distillation de jeux de données (Dataset Distillation - DD) vise à condenser de vastes ensembles de données réels en de petits ensembles synthétiques, tout en préservant la capacité des modèles à apprendre efficacement. Bien que diverses méthodes existent (appariement de gradients, de trajectoires, de statistiques, etc.), leurs connexions sous-jacentes restent mal comprises.
Les défis principaux identifiés sont :

• Le manque d'un cadre unifié expliquant la relation entre les différentes fonctions objectif.
• La limitation des méthodes actuelles à apprendre uniquement une seule composante fréquentielle (soit basse, soit haute) en raison de l'utilisation de fonctions de filtrage fixes, ce qui empêche de capturer à la fois la cohérence globale et la diversité des textures fines.

2. Méthodologie : UniDD et CFM

Les auteurs proposent deux contributions méthodologiques majeures :

A. UniDD : Un cadre de filtrage spectral

Les auteurs introduisent UniDD, un cadre théorique qui unifie les objectifs de DD existants en les interprétant comme des fonctions de filtrage spectral appliquées aux matrices de corrélation des données.

• Matrices clés :
  • FFC (Feature-Feature Correlation) : $X^\top X$, capturant les corrélations entre les canaux de caractéristiques.
  • FLC (Feature-Label Correlation) : $X^\top Y$, capturant l'alignement entre les caractéristiques et les étiquettes.
• Principe : Chaque méthode de DD est vue comme l'application d'une fonction de filtre $f(\cdot)$ sur les valeurs propres (spectre) de la matrice FFC pour extraire des informations fréquentielles spécifiques de la matrice FLC.
• Classification des méthodes existantes :
  • Appariement Basse Fréquence (LFM) : Méthodes comme DM et DC. Elles agissent comme des filtres passe-bas, capturant les couleurs globales et les formes grossières, mais produisent des images synthétiques floues avec une faible diversité.
  • Appariement Haute Fréquence (HFM) : Méthodes comme MTT et FrePo. Elles agissent comme des filtres passe-haut, favorisant les textures fines et la diversité, mais peuvent manquer de cohérence globale.

B. CFM : Curriculum Frequency Matching

Pour surmonter la limitation des filtres fixes, les auteurs proposent CFM, une méthode qui ajuste dynamiquement le paramètre du filtre au cours de l'entraînement.

• Fonction de filtre : $f(\lambda) = (\lambda + \beta)^{-1}$.
• Stratégie de curriculum : Le paramètre $\beta$ est ajusté progressivement via un programme (scheduler) au fil des batches d'entraînement.
  • Au début ( $\beta$ élevé) : Le filtre privilégie les basses fréquences pour assurer la cohérence et la stabilité des statistiques globales.
  • À la fin ( $\beta$ faible) : Le filtre laisse passer davantage de hautes fréquences pour enrichir la diversité et les textures fines.
• Fonction de perte : CFM combine une perte d'appariement de filtre ($L_{filter}$) et une perte d'appariement de signal ($L_{signal}$), en plus de la perte de classification standard.

3. Contributions Clés

1. Unification Théorique (UniDD) : Démonstration que les méthodes de DD variées peuvent être unifiées sous un seul cadre de filtrage spectral, reliant les objectifs d'optimisation aux propriétés fréquentielles des données.
2. Analyse des Rôles des Filtres : Identification claire que les filtres passe-bas capturent les structures globales (couleurs, formes) tandis que les filtres passe-haut capturent les détails locaux (textures, diversité).
3. Nouvelle Méthode (CFM) : Proposition d'une méthode dynamique qui apprend simultanément les informations de basse et haute fréquence, évitant ainsi les compromis des approches statiques.
4. Validation Empirique : Résultats supérieurs sur des jeux de données allant de petite échelle (CIFAR-10/100) à grande échelle (ImageNet-1K).

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10/100, Tiny-ImageNet et ImageNet-1K avec diverses architectures (ResNet-18, ResNet-101, etc.).

• Performance sur CIFAR-10/100 : CFM surpasse systématiquement les méthodes de pointe (DM, DC, MTT, FrePo, SRe2L, etc.). Par exemple, sur CIFAR-10 avec 50 images par classe (IPC) et ResNet-18, CFM atteint 82.3% contre 71.7% pour MTT.
• Performance sur ImageNet-1K : CFM démontre une supériorité marquée, surpassant les méthodes basées sur l'entraînement comme RDED et DWA, particulièrement à des budgets mémoire plus élevés (IPC=50 et 100).
• Généralisation Cross-Architecture : Les ensembles de données synthétiques générés par CFM généralisent mieux à des architectures non vues lors de la distillation (ResNet-50, DenseNet-121, ConvNeXt, etc.), indiquant une meilleure capture du savoir fondamental plutôt que du surapprentissage à une architecture spécifique.
• Efficacité : Bien que CFM ait un léger surcoût temporel par rapport à SRe2L, il reste plus efficace en temps et en mémoire que G-VBSM.

5. Signification et Impact

Ce travail est significatif car il transforme la compréhension de la distillation de données d'une approche heuristique à une approche fondée sur la théorie du signal.

• Interprétabilité : Il offre une explication claire de pourquoi certaines méthodes échouent (manque de diversité ou manque de cohérence) en les reliant à leur comportement fréquentiel.
• Direction Future : La proposition de CFM ouvre la voie à des méthodes de distillation adaptatives qui peuvent ajuster dynamiquement le contenu fréquentiel des données synthétiques.
• Potentiel d'extension : Le cadre UniDD suggère des applications potentielles pour la distillation de données non supervisées et multi-modales, au-delà de la simple classification d'images.

En résumé, ce papier établit que l'essence de la distillation de données réside dans l'appariement de caractéristiques spécifiques à certaines fréquences, et propose une solution dynamique (CFM) pour capturer l'ensemble du spectre d'information nécessaire à un apprentissage robuste.