Résumé Technique : Un Enseignant Puissant n'est-il Pas Nécessaire ? Sur la Distillation dans le Préentraînement des LLM

Énoncé du Problème

La distillation de connaissances (KD) dans le préentraînement des grands modèles de langage (LLM) a longtemps fonctionné sur l'hypothèse qu'une relation « du fort vers le faible » était nécessaire : un modèle enseignant doit être significativement plus capable (via une architecture plus grande ou plus de jetons d'entraînement) que l'étudiant pour générer des gains de performance. Cet article remet en question la complétude de cette hypothèse. Il examine si des enseignants plus faibles peuvent améliorer des étudiants plus forts et si le renforcement continu d'un enseignant (via l'augmentation des paramètres ou des jetons) améliore de manière monotone la performance de l'étudiant. Les auteurs soutiennent que la vision prédominante néglige le rôle critique de la compatibilité entre l'enseignant et l'étudiant ainsi que la nature spécifique des connaissances transférées.

Méthodologie

Les auteurs mènent une étude empirique systématique faisant varier les configurations des enseignants et des étudiants selon plusieurs dimensions :

• Architectures : Quatre tailles de modèles basées sur la famille Llama3 (0,7B, 1,7B, 3,8B et 8,0B paramètres).
• Budgets d'entraînement : Les enseignants sont préentraînés sur des budgets de jetons allant de 10B à 300B. Les étudiants sont systématiquement entraînés sur 50B de jetons.
• Relations : Cette configuration crée des relations enseignant-étudiant diversifiées :
  • Du fort vers le faible : L'enseignant est plus grand ou plus entraîné que l'étudiant.
  • Niveau égal : L'enseignant et l'étudiant partagent l'architecture et le budget de jetons (ne différant que par la graine aléatoire).
  • Du faible vers le fort : L'enseignant est plus petit ou moins entraîné que l'étudiant.
• Objectif d'entraînement : L'étudiant est entraîné en utilisant une fonction de perte mixte combinant le modèle de langage autorégressif standard (LM) et la distillation de connaissances (KD) :
  $$\mathcal{L} = (1 - \alpha)\mathcal{L}_{lm} + \alpha\mathcal{L}_{kd}$$
  Les auteurs recherchent systématiquement le coefficient de mélange de perte optimal $\alpha \in \{0.2, 0.4, 0.5, 0.6, 0.8, 1.0\}$ pour chaque configuration.
• Évaluation : La performance est mesurée selon trois dimensions :
  1. Perplexité intra-domaine : Adéquation à la distribution d'entraînement (FineWeb-Edu).
  2. Perplexité hors-domaine (OOD) : Généralisation à travers 11 corpus diversifiés (par exemple, mathématiques, code, juridique, biomédical).
  3. Précision en aval : Performance sur 15 benchmarks couvrant le raisonnement, le sens commun et les connaissances factuelles.

Résultats Clés

1. La distillation du faible vers le fort et de niveau égal est efficace

Contrairement au dogme du fort vers le faible, l'étude constate que des enseignants plus faibles que l'étudiant (architecture plus petite ou moins de jetons d'entraînement) peuvent toujours améliorer la performance de l'étudiant, à condition que le coefficient de mélange de perte $\alpha$ soit correctement ajusté (généralement un $\alpha$ plus faible).

• Même un enseignant de 0,7B entraîné sur 30B de jetons a amélioré la précision en aval d'un étudiant de 1,7B de 1,3 %.
• La distillation de niveau égal (architecture et budget de jetons identiques, graine différente) produit systématiquement des gains positifs sur toutes les métriques, suggérant que la distillation transfère des connaissances au-delà de ce que l'architecture et le volume de données seuls capturent.

2. Des enseignants plus forts ne produisent pas toujours de meilleurs étudiants

La relation entre la force de l'enseignant et la performance de l'étudiant est non monotone.

• Saturation et inversion : À des budgets de jetons élevés, des enseignants plus grands peuvent sous-performer par rapport à des enseignants plus petits. Par exemple, avec 300B de jetons, un enseignant de 1,7B a produit une amélioration de précision en aval de +4,3 %, tandis qu'un enseignant de 8,0B n'a produit que +2,8 %.
• Sur-entraînement : Pour les grands enseignants (par exemple 8,0B), augmenter les jetons d'entraînement au-delà d'un certain point (par exemple de 30B à 300B) dégrade les gains de distillation. Le $\alpha$ optimal pour ces enseignants sur-entraînés diminue également, indiquant que l'étudiant doit moins compter sur le signal de l'enseignant pour éviter la dégradation des performances.
• Compatibilité : Les résultats suggèrent que la « compatibilité » (correspondance entre la capacité de l'étudiant et le régime d'entraînement) est plus critique que l'échelle absolue de l'enseignant.

3. La généralisation s'améliore plus facilement que l'ajustement intra-domaine

Le préentraînement par distillation montre un motif distinct selon les types d'évaluation :

• Généralisation : La perplexité OOD et la précision en aval présentent des gains plus importants et plus cohérents que la perplexité intra-domaine. Certaines configurations qui dégradent la performance intra-domaine améliorent néanmoins les métriques OOD et en aval.
• Mécanisme : Cela suggère que la distillation transfère principalement des connaissances utiles pour la généralisation plutôt que de simplement ajuster la distribution d'entraînement.
• Analyse de la difficulté des jetons : Les études mécanistiques révèlent que la distillation bénéficie significativement davantage aux « jetons difficiles » (haute entropie) qu'aux jetons faciles. Cela réfute l'hypothèse selon laquelle la KD agit simplement comme un régularisateur uniforme (comme le lissage des étiquettes) ; au contraire, elle agit comme un transfert ciblé de connaissances là où le modèle de base est le plus incertain.

4. Le rôle du mélange de perte ($\alpha$)

Le $\alpha$ optimal dépend fortement de la force de l'enseignant :

• Enseignants faibles : Nécessitent un $\alpha$ plus faible (par exemple 0,2–0,4) pour équilibrer le signal peu fiable de l'enseignant avec la supervision par vérité terrain. La distillation pure ($\alpha=1.0$) avec des enseignants faibles provoque une dégradation significative des performances.
• Enseignants forts : Favorisent un $\alpha$ plus élevé (jusqu'à 1,0), bien que même les enseignants forts montrent des rendements décroissants s'ils sont sur-entraînés.
• Non-monotonie : Pour les très grands enseignants entraînés sur des budgets de jetons massifs, le $\alpha$ optimal peut diminuer, soutenant davantage la découverte selon laquelle « plus fort » n'est pas toujours « mieux ».

Importance et Revendications

L'article prétend remettre en question la croyance commune selon laquelle le préentraînement des LLM par distillation nécessite strictement un enseignant puissant. Son importance réside dans :

1. Redéfinition de la sélection de l'enseignant : Il démontre que dans des scénarios où des modèles de pointe sont entraînés sur des modèles de génération précédente (qui peuvent être plus petits ou moins entraînés), la distillation reste une stratégie viable et bénéfique.
2. Implications en matière d'efficacité : Il suggère que l'investissement dans des enseignants de plus en plus grands ou plus entraînés peut produire des rendements décroissants, voire négatifs, encourageant plutôt un focus sur la compatibilité enseignant-étudiant et les stratégies de mélange de pertes.
3. Focus sur la généralisation : Il met en évidence que la distillation est particulièrement efficace pour améliorer la généralisation (tâches OOD et en aval) plutôt que simplement l'ajustement intra-domaine, offrant une nouvelle perspective sur l'utilité de la KD dans le préentraînement.

Les auteurs concluent que le cadre « du fort vers le faible » est incomplet et que la distillation efficace dépend de la compatibilité entre l'enseignant et l'étudiant, du mélange approprié des pertes et des objectifs de généralisation spécifiques du processus d'entraînement.