Improving Diversity in Black-box Few-shot Knowledge Distillation

1. Énoncé du problème

Le papier aborde le défi de la Distillation de Connaissances en Few-Shot en Boîte Noire (KD).

• Contexte : La KD standard transfère des connaissances d'un grand modèle « enseignant » vers un modèle « étudiant » plus petit. Cependant, la KD traditionnelle nécessite un grand ensemble de données d'entraînement et un accès complet aux paramètres internes de l'enseignant (boîte blanche).
• Contraintes : Dans des scénarios réels (par exemple, distiller des modèles propriétaires comme FaceNet de Google ou ChatGPT), le développeur de l'étudiant dispose souvent de :
  1. Accès en boîte noire : Seules les probabilités de prédiction finales de l'enseignant sont disponibles ; les gradients internes, les logits ou les paramètres sont cachés.
  2. Données en few-shot : Seul un très petit nombre d'images étiquetées ($N$) est disponible pour entraîner l'étudiant, insuffisant pour représenter la véritable variété des données.
• Limites des solutions existantes : Les méthodes actuelles de KD en few-shot reposent souvent sur des enseignants en boîte blanche ou utilisent une simple augmentation de données (comme MixUp) qui produit des images synthétiques manquant de diversité ou de réalisme sémantique. D'autres méthodes utilisant des Autoencodeurs Variationnels (CVAE) souffrent d'artefacts de flou et échouent à promouvoir explicitement la diversité.

2. Méthodologie : DivBFKD

Les auteurs proposent DivBFKD (Diverse Black-box Few-Shot Knowledge Distillation), un cadre en deux phases conçu pour générer des images synthétiques diversifiées imitant la distribution d'entraînement originale de l'enseignant sans accéder à ses internals.

Phase 1 : Génération (WGAN avec sélection à haute confiance)

L'innovation centrale réside dans l'entraînement d'un Réseau Antagoniste Génératif de Wasserstein (WGAN) pour générer des images synthétiques diversifiées et de haute qualité.

• Images à haute confiance : Au lieu d'utiliser toutes les images générées, la méthode filtre les images synthétiques en fonction de la confiance de l'enseignant. Une image $\tilde{x}$ est considérée « à haute confiance » si la probabilité prédite maximale de l'enseignant $c_{\tilde{x}}$ dépasse un seuil $\tau$.
• Seuils adaptatifs ($\tau$) : Un seuil fixe est inefficace car les enseignants présentent des biais spécifiques aux classes (par exemple, prédire « pantalon » avec plus de confiance que « chemise »). Les auteurs proposent des seuils adaptatifs calculés par classe en utilisant la $q$-quantile (par exemple, $q=0.1$) des scores de confiance issus des images réelles en few-shot. Cela garantit que le seuil est relatif au comportement de l'enseignant pour chaque classe spécifique.
• Entraînement antagoniste en temps réel :
  • Le générateur WGAN ($G$) crée des images synthétiques.
  • Le discriminateur ($D$) est entraîné pour distinguer les images réelles (de l'ensemble few-shot $D$) des images synthétiques à haute confiance (sélectionnées de l'itération précédente).
  • Boucle de rétroaction : En traitant les images synthétiques à haute confiance comme « réelles » pour le discriminateur, le générateur est incité à produire des images plus diversifiées que l'enseignant classe avec confiance. Cela crée une boucle de rétroaction positive élargissant la diversité de l'ensemble généré.

Phase 2 : Distillation

• Construction de l'ensemble de données : Un ensemble de données de distillation ($D_{KD}$) est construit en combinant les images réelles few-shot originales ($N$) et un budget d'images synthétiques ($M$) générées par le WGAN entraîné.
• Équilibrage des classes : Pour éviter les biais, les images synthétiques sont générées avec un équilibrage des classes via un échantillonnage par rejet.
• Entraînement : Le réseau étudiant est entraîné sur $D_{KD}$ en utilisant la perte standard d'Entropie Croisée contre les prédictions de l'enseignant (étiquettes douces).

3. Contributions clés

1. Nouveau schéma d'entraînement pour WGAN : Introduit un mécanisme pour injecter des images à haute confiance dans la boucle d'apprentissage antagoniste en temps réel. Cela utilise efficacement l'enseignant comme superviseur pour guider le générateur vers la distribution d'entraînement inconnue de l'enseignant.
2. Seuils adaptatifs : Propose une méthode spécifique aux classes et agnostique des données pour définir la « haute confiance » en utilisant des seuils basés sur les quantiles, atténuant les biais de l'enseignant et empêchant la sélection d'images anormales.
3. KD en Few-Shot en Boîte Noire Diversifiée (DivBFKD) : Un cadre complet qui répond au manque de diversité dans les données synthétiques, un goulot d'étranglement critique dans la KD en few-shot.
4. Performances de l'état de l'art : Démontre des améliorations significatives par rapport aux méthodes existantes de KD en few-shot sur divers ensembles de données et architectures.

4. Résultats expérimentaux

La méthode a été évaluée sur sept ensembles de données (MNIST, FMNIST, SVHN, CIFAR10, CIFAR100, Tiny-ImageNet, Imagenette) avec diverses architectures (LeNet, AlexNet, ResNet, VGG).

• Gains de performance :
  • Ensembles de données simples : DivBFKD a surpassé la deuxième meilleure méthode en boîte noire (FS-BBT) d'environ 2 % sur FMNIST et CIFAR10. Elle a amélioré la KD standard de 17 % sur CIFAR10.
  • Ensembles de données complexes : Sur CIFAR100, DivBFKD a atteint une précision de 59,91 %, dépassant FS-BBT (56,28 %) d'environ 3,6 %. Sur Imagenette (haute résolution), elle a atteint 86,48 %, réduisant considérablement l'écart avec la borne supérieure « Student-Full ».
  • Architecture croisée : La méthode est restée robuste même lorsque l'enseignant et l'étudiant avaient des architectures différentes (par exemple, enseignant ResNet vers étudiant VGG), améliorant la précision de 14 à 22 % par rapport à la KD standard.
• Métriques de diversité et de qualité :
  • Couverture : Les images synthétiques ont couvert 42 % des voisinages d'images d'entraînement de l'enseignant, contre seulement 18 % pour les images few-shot et 29 % pour les sorties WGAN standard.
  • FID/IS : A obtenu la meilleure Distance Fréchet Inception (13,96) et le meilleur Score Inception (4,42) parmi les bases de référence, indiquant une haute diversité et qualité.
• Études d'ablation : Ont confirmé que les Seuils Adaptatifs (AT) et l'Équilibrage des Classes (CB) sont des composants essentiels, AT apportant le gain le plus significatif en diversité.
• Comparaison avec la KD sans données : DivBFKD a considérablement surpassé les méthodes de KD sans données (zero-shot), prouvant qu'une petite quantité de données réelles (2 000 images) combinée à des données synthétiques diversifiées est supérieure à l'absence totale de données réelles.

5. Importance

Ce papier apporte une contribution significative au domaine de la compression de modèles et de l'IA préservant la vie privée :

• Applicabilité pratique : Il résout un problème réel critique où les organisations ne peuvent pas partager de grands ensembles de données ou les poids des modèles en raison de préoccupations liées à la vie privée ou à la propriété intellectuelle.
• Focus sur la diversité : Il déplace l'accent de la simple génération de n'importe quelles données synthétiques vers la génération de données diversifiées et alignées sur l'enseignant, ce qui est la clé d'une distillation efficace dans des environnements à données rares.
• Efficacité : La méthode proposée ajoute une surcharge computationnelle négligeable (seuillage simple et sélection en temps réel) tout en délivrant des résultats de l'état de l'art.
• Généralisabilité : L'approche est agnostique à l'architecture et fonctionne aussi bien sur des tâches de classification d'images simples que complexes, en faisant un outil polyvalent pour déployer des modèles légers dans des environnements contraints.