Learnability-Guided Diffusion for Dataset Distillation

1. Problématique et Contexte

L'entraînement de modèles d'apprentissage profond sur des jeux de données massifs (comme ImageNet) est coûteux en temps et en ressources de calcul. La distillation de données (Dataset Distillation) vise à résoudre ce problème en synthétisant un petit ensemble de données synthétiques ($D_S$) qui permet d'entraîner un modèle avec une performance équivalente à celle obtenue sur l'ensemble de données original complet ($D_T$).

Cependant, les méthodes récentes basées sur les modèles de diffusion souffrent d'un problème fondamental : la redondance des signaux d'apprentissage.

• Les approches actuelles optimisent soit la diversité visuelle, soit la correspondance des trajectoires d'entraînement moyennes.
• Cela conduit à la génération d'échantillons qui contiennent des informations superposées. Les auteurs montrent empiriquement que des sous-ensembles disjoints de données distillées capturent 80 à 90 % de signaux d'apprentissage redondants.
• En conséquence, les données synthétiques ne parviennent pas à couvrir les différentes phases d'apprentissage (du début au raffinement), car tous les échantillons tendent à fournir le même type d'information (gradients moyens) plutôt que des connaissances complémentaires.

2. Méthodologie : LGD (Learnability-Guided Diffusion)

Les auteurs proposent un cadre de distillation incrémental et piloté par l'apprenabilité, nommé LGD. Au lieu de générer tout le jeu de données d'un coup, la méthode construit l'ensemble synthétique par étapes successives, en adaptant la génération à l'état actuel du modèle en cours d'entraînement.

A. Formulation Incrémentale

Le jeu de données distillé $D_S$ est partitionné en $K$ incréments disjoints $\{I_1, I_2, ..., I_K\}$.

1. Initialisation : On commence avec un petit jeu de données initial (ex: 10 images par classe).
2. Entraînement : Un modèle $\theta_{i-1}$ est entraîné sur l'accumulation des incréments précédents.
3. Synthèse : Un nouvel incrément $I_i$ est généré pour maximiser le gain d'apprentissage marginal pour le modèle $\theta_{i-1}$, tout en restant valide sémantiquement.

B. Score d'Apprenabilité (Learnability Score)

Pour guider la génération, les auteurs définissent un score d'apprenabilité $S(x, y)$ pour un échantillon candidat $(x, y)$ :
$$S(x, y) = \mathcal{L}(\theta_{i-1}, x, y) - \omega \cdot \mathcal{L}(\theta^*, x, y)$$
Où :

• $\mathcal{L}(\theta_{i-1}, x, y)$ est la perte du modèle actuel (celui qui apprend). Une perte élevée indique que l'échantillon est difficile pour le modèle actuel.
• $\mathcal{L}(\theta^*, x, y)$ est la perte d'un modèle de référence $\theta^*$ (entraîné sur l'ensemble complet des données originales). Une perte faible pour le modèle de référence garantit que l'échantillon est sémantiquement correct et "apprenable".
• $\omega$ est un poids de régularisation.

L'objectif est de générer des échantillons qui sont difficiles pour le modèle actuel (donc informatifs) mais faciles pour le modèle de référence (donc valides), évitant ainsi les échantillons hors distribution ou trop simples.

C. Guidage par Diffusion (Diffusion Guidance)

Cette métrique d'apprenabilité est intégrée directement dans le processus de débruitage du modèle de diffusion. Le bruit prédit $\epsilon_\phi$ est ajusté par le gradient du score d'apprenabilité :
$$\tilde{\epsilon}_\phi = \epsilon_\phi + \lambda \cdot \rho_t \cdot \nabla_{x_t} S(x_t, y)$$
Cela oriente la trajectoire de génération vers des régions de l'espace des données qui comblent les lacunes actuelles du modèle.

D. Sélection et Diversité

• Sur-génération et Sélection : Pour chaque position dans l'incrément, le modèle génère $\kappa$ candidats. Seul celui avec le score d'apprenabilité le plus élevé est conservé.
• Guidage de Déviation : Pour éviter la redondance au sein d'un même incrément, une force de répulsion est appliquée pour éloigner les nouveaux échantillons de ceux déjà générés dans le tampon mémoire de la classe.

3. Contributions Clés

1. Cadre incrémental piloté par l'apprenabilité : Une nouvelle formulation qui construit les données synthétiques étape par étape, conditionnant chaque étape à l'état d'apprentissage du modèle pour générer des signaux complémentaires plutôt que redondants.
2. LGD (Learnability-Guided Diffusion) : Un algorithme de synthèse qui équilibre l'utilité pour le modèle actuel et la validité par rapport au modèle de référence, créant automatiquement un "curriculum" adaptatif.
3. Analyse de la redondance : Démonstration empirique que les méthodes existantes souffrent d'une redondance massive (80-90 %), et proposition d'une méthode pour quantifier et réduire cette redondance de 39,1 %.
4. Performances SOTA : Atteinte de résultats state-of-the-art sur des benchmarks complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNette, ImageWoof et ImageNet-1K avec différentes architectures (ConvNet, ResNet).

• Performance Globale :
  • ImageNet-1K (50 IPC) : 60,1 % (comparable au SOTA MGD3 à 60,2 %, mais nettement supérieur à DiT de base à 52,9 %).
  • ImageNette (100 IPC) : 87,2 %.
  • ImageWoof (100 IPC) : 72,9 %.
• Réduction de la Redondance :
  • L'analyse par validation croisée entre incréments montre que les modèles entraînés sur un incrément de LGD obtiennent une précision beaucoup plus faible sur les incréments suivants (57,65 % en moyenne) comparé à DiT (94,7 %), prouvant que les incréments apportent de nouvelles informations.
• Dynamique d'Entraînement :
  • La méthode produit des "pics de perte" (loss spikes) plus importants lors de l'ajout de nouveaux incréments, indiquant que les données ajoutées sont plus difficiles et complémentaires.
  • Les gains marginaux de précision sont soutenus tout au long de l'ajout des incréments, contrairement aux méthodes baselines qui montrent des rendements décroissants.
• Qualité des Échantillons :
  • Les échantillons générés couvrent une distribution de difficulté plus large (du facile au difficile) tout en restant dans la distribution originale (in-distribution), évitant la dérive sémantique.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la distillation de données :

• Du statique au dynamique : Il passe d'une optimisation statique de l'ensemble des données à une approche dynamique qui s'adapte à la courbe d'apprentissage du modèle.
• Efficacité des données : En éliminant la redondance, LGD permet d'extraire le maximum d'information d'un petit nombre d'images synthétiques, rendant l'entraînement sur de grands modèles plus accessible.
• Curriculum Learning Automatique : La méthode implémente implicitement un apprentissage par curriculum, où le modèle apprend d'abord des concepts de base (faciles) avant de se confronter à des détails complexes, optimisant ainsi la convergence.

En résumé, LGD démontre que la clé d'une distillation de données efficace réside non pas dans la simple diversité visuelle, mais dans la complémentarité informationnelle par rapport à l'état de connaissance actuel du modèle.