Résumé Technique : Distillation de Trajectoire Robuste

Énoncé du Problème

La distillation de jeux de données (Dataset Distillation - DD) vise à condenser de grands jeux de données en sous-ensembles synthétiques compacts et riches en informations pour permettre un entraînement et une réutilisation efficaces des modèles. Cependant, les cadres existants de DD supposent implicitement une supervision propre. Dans les scénarios réels caractérisés par des étiquettes bruitées (dues à des erreurs de crowdsourcing, des biais humains ou une ambiguïté sémantique), les méthodes de DD standard risquent de condenser des associations corrompues aux côtés des signaux utiles, ce qui entraîne une dégradation de la robustesse et de la généralisation.

Les techniques actuelles d'apprentissage avec étiquettes bruitées (ex. : sélection d'échantillons, pondération de perte, correction d'étiquettes) souffrent souvent de trois limitations lorsqu'elles sont appliquées à la DD :

1. Couplage Serré : Elles couplent étroitement l'estimation du bruit à l'optimisation du modèle, créant une boucle de rétroaction auto-référencée qui amplifie le biais de confirmation.
2. Dépendance aux Ancres Propres : Beaucoup nécessitent des sous-ensembles de validation propres ou un raffinement itératif lourd, ce qui limite la scalabilité.
3. Contraintes de Capacité : Les jeux de données distillés, généralement paramétrés comme des tenseurs d'images de taille fixe, restreignent la capacité de représentation, provoquant une compression d'information prématurée avant que le bruit et les signaux propres ne puissent être désengagés.

Le défi central est d'améliorer à la fois la qualité (fidélité des données synthétiques) et la capacité (quantité de supervision de haute qualité absorbée) des données distillées sous une supervision bruitée sans nécessiter de réétiquetage ou de sous-ensembles propres.

Méthodologie

Les auteurs proposent la Distillation de Trajectoire Robuste, un cadre qui supprime conjointement le bruit et préserve les connaissances transférables grâce à deux modules complémentaires intégrés dans un pipeline de DD par correspondance de trajectoire. Le cadre opère via un schéma d'optimisation bilatérale où un modèle étudiant entraîné sur le jeu de données synthétique $S$ est optimisé pour correspondre à la dynamique d'apprentissage d'un modèle enseignant entraîné sur le jeu de données réel bruité $D_{real}$.

1. Repondération de Guidage Sélectif (Selective Guidance Reweighting - SGR)

Le SGR affine la trajectoire de l'enseignant en assignant des poids spécifiques aux échantillons basés sur des estimations de fiabilité, garantissant que l'enseignant fournit des signaux de guidage plus propres. Il emploie un estimateur hybride combinant :

• Consistance Dynamique ($W_{knn}$) : Basée sur les K plus proches voisins (KNN) dans l'espace des caractéristiques. Elle mesure l'accord entre l'étiquette observée d'un échantillon et les étiquettes prédites de ses voisins en utilisant la divergence de Jensen-Shannon.
• Prior Statique ($W_{ssft}$) : Dérivé du "Second-Split Forgetting Time" (SSFT). Il quantifie la difficulté d'un échantillon en enregistrant le premier epoch où un échantillon est correctement classé ($t_{learn}$) et le premier epoch où il est ultérieurement mal classé ($t_{forget}$). Les échantillons appris tardivement et oubliés tôt reçoivent des poids plus faibles.

Ces scores sont fusionnés via une interpolation convexe dépendante du temps ($W_t$) qui passe des priors statiques à la consistance dynamique à mesure que l'entraînement progresse. Cette repondération progressive priorise la supervision propre le long de la trajectoire de l'enseignant.

2. Cibles Auxiliaires Inspirées par l'Enseignant (Teacher-Inspired Auxiliary Targets - TIAT)

Alors que le SGR améliore la qualité du signal de l'enseignant, le TIAT traite l'absorption de ces signaux par l'étudiant. Il injecte une régularisation auxiliaire pour garantir que le jeu de données distillé reste aligné avec la supervision propre dans l'espace de représentation.

• Agrégation de Confiance Probabiliste : Le cadre agrège les poids de fiabilité à travers plusieurs trajectoires d'enseignants pour estimer la confiance globale d'un échantillon.
• Sélection Sensible à l'Incertitude : Un sous-ensemble fiable d'échantillons ($D_{sub}$) est sélectionné sur la base d'une haute fiabilité statique et d'une faible variance des scores de confiance à travers les trajectoires.
• Perte Auxiliaire : Le modèle enseignant est affiné sur $D_{sub}$ pour produire un checkpoint "plus propre" ($\theta^{ft}$). Une perte auxiliaire est calculée pour aligner la trajectoire de l'étudiant avec ce checkpoint raffiné, en plus de la perte standard de correspondance de trajectoire.

L'objectif total combine la perte standard d'alignement de trajectoire ($\mathcal{L}_{match}$) et la perte auxiliaire ($\mathcal{L}_{aux}$), équilibrées par un coefficient $\beta$.

Contributions Clés

1. Repondération Hybride Progressive : L'introduction d'un mécanisme qui intègre une repondération d'échantillon dynamique (basée sur KNN) et statique (basée sur le temps d'oubli). Cela fusionne des signaux de trajectoire d'enseignant complémentaires pour supprimer robustement le bruit d'étiquette sans réétiquetage.
2. Régularisation de Guidage Auxiliaire : Un nouveau module (TIAT) qui impose la cohérence avec les trajectoires propres pendant la distillation. En utilisant une sélection sensible à l'incertitude et des cibles auxiliaires dérivées des dynamiques intermédiaires de l'enseignant, il amplifie l'influence des signaux propres et atténue l'amplification des erreurs.
3. Conception Préservant les Étiquettes et Légère : Le cadre ne nécessite ni réétiquetage ni programmes de réentraînement coûteux, ce qui le rend pratique pour les jeux de données bruités réels à grande échelle.
4. Validation Empirique : Des expériences approfondies démontrent des améliorations constantes par rapport aux bases de comparaison de l'état de l'art (ex. : DATM, DANCE) sous des régimes de bruit symétrique, asymétrique et sur des jeux de données bruités réels (CIFAR-N).

Résultats Expérimentaux

La méthode a été évaluée sur CIFAR-10, CIFAR-100, CIFAR-N et Tiny-ImageNet sous des régimes de bruit symétrique (20%, 40%) et asymétrique.

• Gains de Performance : La méthode proposée surpasse systématiquement les bases solides. Par exemple, sur CIFAR-10 avec un bruit symétrique de 40% et 1000 IPC, elle a atteint 81,4% de précision contre 76,7% pour DATM. Sous un bruit asymétrique de 40%, elle a atteint 75,0% (contre 71,4% pour DATM).
• Bruit Réel : Sur CIFAR-N (bruit annoté par l'humain), la méthode a montré une résilience supérieure, particulièrement lorsque le taux de bruit augmentait (ex. : cas "Worst" avec ~40% de bruit), maintenant une marge d'amélioration de plus de 3% par rapport à la meilleure base à des IPC élevés.
• Études d'Ablation :
  • L'ajout du SGR à la base a fourni des gains stables à travers tous les types de bruit, avec des améliorations significatives dans les scénarios de bruit sévère (ex. : +4,7% à 10 IPC avec 40% de bruit).
  • L'ajout du TIAT a encore boosté la performance, particulièrement dans les régimes de bruit élevé, confirmant le bénéfice de la supervision auxiliaire filtrée par l'incertitude.
  • Échantillonnage Diversifié : L'entraînement de multiples trajectoires d'enseignants avec des coefficients d'équilibre statique-dynamique ($\alpha_{max}$) variables s'est avéré plus robuste que les stratégies d'échantillonnage fixes.
• Efficacité : La méthode introduit une augmentation négligeable de la mémoire GPU de pointe. La surcharge de calcul est modérée (ex. : ~1,5x le temps d'exécution sur CIFAR-10 avec 500 IPC), principalement due à l'estimation de la fiabilité et à la construction des cibles auxiliaires.

Signification

Cet article positionne ce travail comme une solution au problème sous-exploré de la distillation de jeux de données sous supervision bruitée. En découplant l'estimation du bruit de la boucle d'optimisation via la repondération de trajectoire et la régularisation auxiliaire, le cadre offre une approche robuste et "plug-and-play" pour générer des jeux de données synthétiques de haute qualité à partir de données imparfaites. Les auteurs affirment que cela ouvre la voie à de futures recherches sur la distillation de jeux de données résiliente au bruit, permettant un réentraînement efficace des modèles et le partage de données même lorsqu'une supervision propre est indisponible.