🤖 machine learning

Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

L'article propose IF-Beta, un cadre de distillation de connaissances efficace qui exploite les fonctions d'influence et une politique d'échantillonnage apprenable basée sur une distribution Beta pour optimiser l'élagage des données, permettant ainsi à des modèles étudiants entraînés sur des volumes de données et de calcul considérablement réduits de surpasser ceux distillés sur des jeux de données complets.

Auteurs originaux : Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Wu, Yiqi Wang, Xichen Ye, Wenjing Yan, Xiaoqiang Li, Cheng Jin, Xiangyu Yue, Weizhong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un étudiant avec un « régime »

Imaginez que vous êtes un maître chef (le Enseignant) essayant d'apprendre à un apprenti (l'Étudiant) comment cuisiner un plat parfait. Habituellement, pour enseigner à l'apprenti, vous le faites pratiquer sur chaque recette de votre immense livre de cuisine. Cela prend un temps infini, consomme énormement de carburant (puissance de calcul) et est épuisant.

La Distillation de Connaissance (KD) est le processus par lequel le maître chef guide l'apprenti. L'objectif est de rendre l'apprenti si bon qu'il puisse cuisiner presque aussi bien que le maître, mais beaucoup plus rapidement et avec moins d'équipement.

Cependant, l'article souligne un problème : même si l'apprenti final est petit et efficace, le processus d'entraînement reste énorme car l'apprenti doit lire l'intégralité du livre de cuisine. Les auteurs se demandent : « Et si nous pouvions simplement donner à l'apprenti un "régime" de recettes soigneusement sélectionnées ? Pourrait-il apprendre tout aussi bien, mais plus vite et avec moins d'efforts ? »

C'est l'idée centrale de Distill on a Diet.

Le problème des méthodes actuelles

Avant cet article, les gens essayaient de choisir les « meilleures » recettes pour l'apprenti en utilisant deux méthodes principales, toutes deux présentant des défauts :

La méthode du « Ré-entraînement » : Pour savoir quelles recettes sont difficiles ou faciles, il faut d'abord regarder l'apprenti cuisiner tout le livre. Cela va à l'encontre de l'objectif de gagner du temps ! C'est comme embaucher un détective pour surveiller l'apprenti pendant un mois juste pour déterminer quelles recettes lui montrer.
La méthode de la « Règle de base » : Certains utilisent simplement des règles simples, comme « Choisir les recettes de difficulté moyenne ». Mais cela est rigide. Parfois, les recettes du « milieu » ne sont pas les meilleures ; parfois, vous avez besoin d'un mélange de recettes très faciles et très difficiles. C'est comme un régime strict qui ne s'adapte pas à ce dont votre corps a réellement besoin.

La solution : IF-Beta

Les auteurs proposent un nouveau système appelé IF-Beta. Il combine deux idées intelligentes pour choisir le « régime » de données parfait sans avoir besoin de ré-entraîner le modèle au préalable.

1. La « Fonction d'Influence » (La boule de cristal)

Imaginez que vous avez une boule de cristal qui peut vous dire : « Si nous retirions cette recette spécifique du livre de cuisine, est-ce que la cuisine de l'apprenti deviendrait pire ou meilleure ? »

Dans l'article, c'est ce qu'on appelle la Fonction d'Influence (IF).

L'ancienne méthode : Cette boule de cristal était généralement cassée ou trop coûteuse à utiliser.
La nouvelle méthode : Les auteurs ont trouvé un moyen de faire fonctionner cette boule de cristal de manière efficace. Ils utilisent une technique appelée Flat Validation Minima (FVM). Voyez cela comme un moyen d'« affûter » l'intuition du maître. En rendant le paysage de connaissances du maître plus « plat » et plus stable, la boule de cristal peut prédire avec précision quelles données sont réellement importantes sans avoir besoin de voir l'apprenti lutter avec elles au préalable.

2. La « Politique Beta » (Le chef flexible)

Une fois que vous savez quelles recettes sont importantes (via la boule de cristal), comment les choisir ?

L'ancienne méthode : Utiliser une règle rigide. « Prenez les 10 % les plus difficiles » ou « Prenez tout ce qui se situe entre le score 5 et 7 ». C'est comme un régime qui dit « Mangez exactement 3 pommes et 2 bananes », peu importe votre faim.
La nouvelle méthode : Les auteurs utilisent une Politique Beta. Imaginez un filet flexible et extensible qui peut changer de forme. Au lieu d'une règle rigide, ce filet apprend la forme parfaite pour capturer les meilleures données. Il peut s'étirer pour capturer principalement des exemples difficiles, ou principalement des exemples faciles, ou un mélange parfait, selon ce qui fonctionne le mieux pour l'enseignant et l'étudiant spécifiques. C'est un régime « apprenable » qui s'adapte à la situation.

Comment cela fonctionne (La danse « Bilevel »)

Le système fonctionne comme une danse en deux étapes pour trouver le régime parfait :

La Boucle Interne (La pratique) : Le système simule rapidement l'apprentissage de l'apprenti sur un petit régime temporaire de données. Pour que cela soit ultra-rapide, il ne ré-entraîne pas un cerveau entier ; il entraîne simplement une « tête linéaire » simple (comme une note mentale rapide) sur la connaissance figée de l'enseignant.
La Boucle Externe (Le coach) : Le système vérifie si l'apprenti a bien réussi avec ce régime temporaire. Si le régime était bon, le « Coach » (la Politique Beta) ajuste la forme du filet pour capturer de meilleures données la prochaine fois. Si le régime était mauvais, le Coach reforme le filet.

Cela se produit très rapidement, permettant au système de trouver le sous-ensemble de données optimal sans le coût lourd d'un entraînement complet.

Les résultats : Moins de nourriture, une meilleure cuisine

L'article a testé cela sur des ensembles de données d'images célèbres (comme CIFAR et ImageNet). Les résultats ont été surprenants :

Meilleur que les données complètes : Dans de nombreux cas, l'apprenti entraîné sur seulement 50 % à 70 % des données (en utilisant le régime IF-Beta) a en réalité obtenu de meilleurs résultats que l'apprenti entraîné sur 100 % des données.
Plus rapide et moins cher : Comme ils ont utilisé moins de données, l'entraînement a pris nettement moins de temps et de puissance de calcul.
Battre la concurrence : IF-Beta a battu toutes les autres méthodes, y compris celles qui nécessitaient un ré-entraînement coûteux ou des règles rigides.

Ce qu'il faut retenir

L'article soutient que la qualité des données importe plus que la quantité. Tout comme un être humain peut apprendre une compétence plus rapidement avec quelques mentors et exemples de haute qualité plutôt qu'en lisant tous les livres de la bibliothèque, un modèle d'apprentissage automatique peut mieux apprendre si nous sélectionnons soigneusement son « régime » de données d'entraînement.

Les auteurs appellent cela « Distill on a Diet » car ils nourrissent le modèle étudiant avec une portion plus petite, plus nutritive et soigneusement sélectionnée de données, lui permettant de grandir plus fort et plus vite que s'il était forcé de consommer l'ensemble du jeu de données.

Résumé Technique : Distiller au Régime (Distill on a Diet) : Élagage de Données Apprenable pour une Distillation de Connaissance Efficace

Énoncé du Problème

La distillation de connaissance (KD - Knowledge Distillation) est une technique standard pour compresser de grands modèles enseignants en modèles étudiants compacts pour une inférence efficace. Cependant, le processus d'entraînement lui-même reste coûteux en termes de calcul, car les étudiants sont généralement distillés sur l'ensemble du jeu de données sous la direction d'un grand enseignant. Bien que l'élagage de données (la sélection d'un sous-ensemble d'échantillons d'entraînement) offre une voie prometteuse pour réduire ce coût, les méthodes existantes font face à deux obstacles critiques dans le contexte de la KD :

Compromis Efficacité-Efficacité dans l'Estimation des Scores : Les métriques de haute fidélité comme EL2N, Forgetting ou AUM reposent sur la dynamique d'entraînement (par exemple, les prédictions par époque) qui ne sont pas disponibles lorsqu'un seul enseignant pré-entraîné est fourni. Le calcul de ces scores nécessite un ré-entraînement coûteux de l'enseignant, ce qui annule les gains d'efficacité de l'élagage. Inversement, des métriques plus simples comme la perte de l'entropie croisée (CE - Cross-Entropy) sont peu coûteuses en calcul mais peu fiables, car les réseaux sur-paramétrés peuvent faire du surapprentissage sur des échantillons difficiles ou mal étiquetés, résultant en de faibles valeurs de perte qui ne reflètent pas la véritable difficulté de l'échantillon.
Échantillonnage Rigide et Sous-optimal : Les stratégies d'élagage existantes reposent souvent sur des heuristiques fixes (par exemple, la sélection top-k, l'échantillonnage stratifié avec des seuils fixes, ou des fenêtres glissantes). Ces règles rigides ne parviennent pas à s'adapter aux distributions de données spécifiques et aux dynamiques enseignant-étudiant de différents contextes de KD, menant à des sous-ensembles sous-optimaux.

Méthodologie : IF-Beta

Les auteurs proposent IF-Beta, un cadre qui unifie les fonctions d'influence (IF - Influence Functions) avec une politique d'échantillonnage probabiliste apprenable pour répondre aux défis susmentionnés.

1. L'Influence Function comme Estimateur Post-Hoc

Pour éviter le ré-entraînement, l'article exploite les fonctions d'influence pour estimer l'importance des échantillons directement à partir d'un enseignant pré-entraîné.

Minima de Validation Plats (FVM - Flat Validation Minima) : Pour stabiliser l'estimation de l'IF dans les réseaux profonds, les auteurs affinent l'enseignant pré-entraîné sur l'ensemble de validation en utilisant la minimisation de la netteté (SAM - Sharpness-Aware Minimization). Cela impose une platitude locale dans le paysage de perte, améliorant considérablement la fiabilité des estimations d'influence par rapport aux méthodes IF standards.
Calcul des Scores : L'influence d'un échantillon d'entraînement $z_{tr}$ sur l'ensemble de validation est approximée en utilisant le gradient de la perte par rapport aux paramètres de l'enseignant affiné et l'inverse de la Hessienne (approximée via une matrice d'information de Fisher diagonale pour l'efficacité). Cela produit un score où des valeurs plus basses indiquent des échantillons plus difficiles/informatifs.

2. Politique Beta Apprenable

Au lieu d'une sélection par heuristique fixe, IF-Beta introduit une Politique Beta paramétrée par une distribution Beta.

Échantillonnage Adaptatif : Étant donné les scores d'influence normalisés mappés sur $[0, 1]$ , la probabilité de sélection pour chaque échantillon est modélisée par une distribution Beta $Beta(\alpha(\phi), \beta(\phi))$ . Les paramètres $\alpha$ et $\beta$ sont contrôlés par des paramètres apprenables $\phi$ , permettant à la politique d'adapter sa forme (par exemple, se concentrer sur les échantillons difficiles, les échantillons faciles, ou une fenêtre spécifique) au contexte de la tâche de KD spécifique.
Optimisation Bilatérale (Bilevel Optimization) : L'optimisation des paramètres de la politique $\phi$ $ϕ$ est formulée comme un problème bilatéral :
- Boucle Interne : Entraîne un modèle étudiant (spécifiquement, un classificateur linéaire sur les caractéristiques figées de l'enseignant) sur le sous-ensemble échantillonné par la politique actuelle, en minimisant la perte de KD.
- Boucle Externe : Met à jour $\phi$ pour maximiser la performance de validation de l'étudiant entraîné sur le sous-ensemble échantillonné.
Proxy Efficace : Pour rendre l'optimisation bilatérale traitable, la boucle interne ne ré-entraîne pas un réseau de neurones complet. Au lieu de cela, elle optimise un classificateur linéaire léger attaché aux caractéristiques figées de l'enseignant. Cette formulation de "proxy-étudiant" capture la dynamique de la KD avec un coût de calcul négligeable.

Contributions Clés

L'IF pour la KD : L'article démontre que les fonctions d'influence, lorsqu'elles sont stabilisées via des minima de validation plats, servent d'estimateur de score post-hoc efficace et rapide pour la KD, éliminant le besoin de ré-entraînement coûteux de l'enseignant requis par les métriques basées sur les trajectoires.
Politique Beta Apprenable : Les auteurs introduisent une distribution Beta paramétrée pour l'élagage de données, ce qui permet de surmonter la rigidité des règles heuristiques fixes (comme le top-k ou les fenêtres fixes) en apprenant une distribution d'échantillonnage adaptative via une optimisation bilatérale.
Optimisation Bilatérale Efficace : En formulant la boucle interne comme un classificateur linéaire sur des caractéristiques figées, le cadre permet une optimisation efficace de la politique d'élagage sans le coût prohibitif du ré-entraînement complet de l'étudiant durant la phase de recherche.

Résultats Expérimentaux

Des expériences approfondies sur CIFAR-10, CIFAR-100 et ImageNet avec diverses architectures enseignant-étudiant (ResNet, WideResNet, ViT) montrent :

Performance Supérieure : IF-Beta surpasse systématiquement les bases de référence (y compris les méthodes sans ré-entraînement comme Medium-Difficulty et les méthodes avec ré-entraînement comme DUAL) sur une large gamme de ratios d'élagage.
Surpasser la Distillation sur Données Complètes : Remarquablement, IF-Beta permet à des étudiants entraînés sur nettement moins de données et de calcul de surpasser la performance des étudiants distillés sur l'ensemble des données. Par exemple, sur CIFAR-10, la rétention de seulement 70 % des données a atteint une précision de 95,69 % contre 95,50 % pour la distillation sur données complètes.
Efficacité de Calcul : Même en tenant compte du coût du processus d'élagage, IF-Beta atteint la performance de la distillation sur données complètes en beaucoup moins de temps (par exemple, 0,806x le coût sur CIFAR-10).
Généralisation : La méthode se généralise à l'apprentissage supervisé standard non-KD et à divers objectifs de KD (Relational, FitNets, Attention Transfer), démontant que la qualité du sous-ensemble de données est un facteur critique indépendant de l'algorithme de distillation spécifique.

Signification et Revendications

L'article soutient que la qualité des données d'entraînement est souvent plus critique que les détails spécifiques de l'algorithme de distillation. En identifiant et en sélectionnant les échantillons les plus informatifs de manière efficace, IF-Beta positionne la curation de données comme un levier principled et pratique pour améliorer l'efficacité et l'efficacité des pipelines d'entraînement modernes. Ce travail suggère que "distiller au régime" — utiliser un sous-ensemble soigneusement élagué plutôt que l'ensemble des données — peut produire une meilleure généralisation et des coûts de calcul plus bas, remettant en question l'hypothèse selon laquelle plus de données équivaut toujours à une meilleure distillation.