Résumé Technique : DiverseDistill

Problématique

La distillation de connaissances des grands modèles de fondation vers des modèles spécialisés et compacts se heurte à des obstacles importants dus aux écarts substantiels de capacité, d'architecture et de modalité d'entrée. La distillation directe échoue souvent à combler l'écart de performance ; par exemple, des expériences montrent que distiller d'un modèle de langage de 76 millions de paramètres vers un modèle de recommandation de 2 millions de paramètres ne récupère que moins de 40 % de l'écart de performance.

De plus, l'introduction de simples experts spécifiques au domaine pour former un « comité d'enseignants diversifiés » (combinant des modèles de fondation et des modèles de domaine) ne produit pas automatiquement d'améliorations. Les méthodes de distillation multi-enseignants standards, qui reposent généralement sur la moyenne des étiquettes douces (soft labels) ou des logits, échouent lorsque les enseignants sont hétérogènes. Combiner naïvement un modèle de fondation (par exemple, un LLM) avec un expert de domaine (par exemple, un moteur de recommandation basé sur l'encodage/embedding) peut dégrader la performance de l'étudiant en dessous de celle de la distillation à enseignant unique. Cela se produit car les mécanismes de fusion standard ne peuvent pas résoudre les espaces de sortie incompatibles (par exemple, les logits du vocabulaire versus les scores de classement) ni aligner les représentations internes disparates sans co-entraînement ou modifications architecturales.

Méthodologie : DiverseDistill

Les auteurs proposent DiverseDistill, un cadre de distillation interactif conçu pour transférer les connaissances d'un comité diversifié d'enseignants strictement gelés vers un modèle étudiant. Le cadre fonctionne sans mettre à jour les paramètres des enseignants, sans modifier leurs architectures, et sans co-entraîner les enseignants avec l'étudiant.

Composantes Clés

Le cadre introduit un Module de Distillation apprenable composé de deux composantes principales :

1. Augmenteur de Questions ($F_Q$) :

   • Prend la représentation de l'étudiant ($x$) et génère des questions spécifiques à chaque enseignant ($q_i$) pour chaque enseignant $T_i$.
   • Utilise des plongements (embeddings) d'enseignants apprenables pour conditionner la génération, garantissant que la requête est formulée dans le « langage » du domaine spécifique de l'enseignant.
   • Projette ces questions dans la dimension d'entrée native de chaque enseignant.
   • Calcule simultanément des poids d'importance dynamiques par enseignant ($w_i$) par échantillon, permettant au système d'ignorer les enseignants à faible pertinence pendant l'entraînement afin de réduire le coût computationnel.

2. Augmenteur de Réponses ($F_A$) :

   • Reçoit les états cachés ($p_i$) de la dernière couche de chaque enseignant après qu'ils ont traité les questions injectées.
   • Projette ces réponses hétérogènes dans l'espace de représentation cachée de l'étudiant, produisant des « réponses » alignées ($a_i$) qui servent de cibles douces (soft targets).

Processus d'Entraînement

L'objectif d'entraînement minimise une fonction de perte totale comprenant trois termes :

• Perte de Tâche ($L_{task}$) : Perte standard entre la prédiction de l'étudiant et la vérité terrain (ground truth).
• Perte de Distillation ($L_{distill}$) : Mesure la divergence entre les états cachés de l'étudiant et les réponses alignées des enseignants, pondérée par les scores d'importance ($w_i$).
• Régularisateur de Tâche ($L_{reg}$) : Un mécanisme critique pour empêcher le Module de Distillation de converger vers des solutions triviales. Il force les questions et réponses générées à être pertinentes pour la tâche en les passant à travers des têtes de prédiction et en les comparant aux étiquettes de vérité terrain.

Routage de Gradient : L'étudiant ($S$) est mis à jour via $L_{task}$ et $L_{distill}$. Le Module de Distillation ($F_Q, F_A$) est mis à jour uniquement via $L_{reg}$. Les enseignants restent gelés tout au long du processus.

Inférence

Après l'entraînement, le Module de Distillation et tous les enseignants sont écartés. Le modèle étudiant déployé est identique en taille et en latence à un modèle entraîné sans distillation, n'entraînant aucun surcoût d'inférence supplémentaire.

Principales Contributions

1. Identification du Passif de la Diversité : L'article démontre que si les comités d'enseignants diversifiés sont théoriquement bénéfiques, les méthodes multi-enseignants standards échouent à les exploiter lorsque les enseignants diffèrent significativement en architecture et en modalité, ce qui nuit souvent aux performances.
2. Cadre Interactif Question-Réponse : DiverseDistill introduit un mécanisme pour extraire et aligner sélectivement les connaissances en générant des requêtes conditionnées par l'enseignant et en projetant les réponses dans un espace commun à l'étudiant.
3. Compatibilité avec des Enseignants Strictement Gelés : Le cadre fonctionne sans co-entraînement, sans propagation de gradient dans les enseignants, ni chirurgie architecturale, ce qui le rend applicable aux modèles de fondation pré-déployés et aux scénarios d'accès via API uniquement.
4. Efficacité Dynamique : Un mécanisme d'importance appris filtre les enseignants à faible pertinence par échantillon, réduissant les passages avant (forward passes) de l'entraînement d'environ 30 % sans perte de qualité.

Résultats Expérimentaux

Le cadre a été évalué sur des tâches de recommandation (MovieLens) et de vision (CIFAR-10/100, ImageNet) avec des comités hétérogènes (par exemple, LLM + MLP, CLIP + ViT).

• Récupération de l'Écart : DiverseDistill a systématiquement surpassé toutes les lignes de base à enseignant unique et multi-enseignants. Il a récupéré 73 à 114 % de l'écart de performance enseignant-étudiant.
• Surpasser les Enseignants : Dans la tâche de recommandation MovieLens (compression 38×), l'étudiant distillé a atteint un taux de récupération de l'écart (GRR) de 114,2 %, ce qui signifie qu'il a surpassé la performance du meilleur enseignant individuel.
• Échec des Lignes de Base : Les méthodes multi-enseignants standards (par exemple, la simple moyenne) ont souvent entraîné un GRR négatif (par exemple, -15,0 % sur CIFAR-10), confirmant que la diversité naïve est préjudiciable sans alignement approprié.
• Compression : La méthode a atteint jusqu'à 38× de compression de modèle dans les tâches de recommandation et 3,6× dans les tâches de vision tout en maintenant ou en dépassant la performance des enseignants.

Signification et Revendications

L'article soutient que l'extraction interactive de connaissances spécifique à l'enseignant est essentielle pour une distillation multi-sources efficace, particulièrement lorsqu'il s'agit de faire le pont entre les modèles de fondation et les applications spécialisées. En traitant les enseignants comme un comité diversifié et en utilisant une interface apprenable pour traduire leur expertise, DiverseDistill surmonte les écarts de capacité et de modalité qui rendent la distillation standard inefficace.

Les auteurs affirment que cette approche permet le déploiement de modèles hautement compressés qui conservent les capacités de généralisation des modèles de fondation massifs et l'efficacité des experts de domaine, le tout sans le coût d'inférence habituellement associé à la distillation. Ce travail souligne que la diversité, lorsqu'elle est correctement gérée, passe d'un passif à un atout majeur pour la compression de modèles et la performance.