Résumé Technique : MIXSD - Auto-distillation Contextuelle Mixte pour l'Injection de Connaissances

Énoncé du Problème

Le Fine-Tuning Supervisé (SFT) est l'approche standard pour injecter de nouvelles connaissances dans les Grands Modèles de Langage (LLM). Cependant, ce processus induit fréquemment un oubli catastrophique, où le modèle se dégrade dans ses capacités pré-entraînées telles que le raisonnement, le suivi d'instructions et la performance dans des domaines généraux.

Les auteurs soutiennent que cet oubli découle d'un décalage de distribution entre les cibles de supervision et la distribution autorégressive native du modèle. Dans les pipelines standards, les séquences cibles sont rédigées par des humains ou des systèmes externes, contenant souvent des formulations, des mises en forme ou des structures de raisonnement qui se situent dans les queues de faible probabilité de la distribution du modèle de base. Forcer le modèle à imiter token par token ces séquences de tokens de faible probabilité induit des mises à jour de paramètres selon des directions sensibles, perturbant ainsi les comportements précédemment appris.

Méthodologie : MIXSD

Pour remédier à cela, l'article propose MIXSD (Auto-distillation Contextuelle Mixte), une méthode simple, sans enseignant externe, pour une injection de connaissances alignée sur la distribution. Au lieu d'entraîner sur des cibles fixes rédigées par des tiers, MIXSD construit la supervision dynamiquement en utilisant le modèle de base lui-même.

Mécanisme Central

À chaque étape de décodage $t$, étant donné un préfixe autorégressif partagé, MIXSD échantillonne le token de supervision à partir d'un mélange de deux distributions conditionnelles définies par le modèle de base $p_{\theta^*}$ :

1. Conditionnelle Expert : $p_{\theta^*}(\cdot \mid x^+_i, y_{mix, <t})$, où l'entrée $x^+_i$ inclut le fait injecté (vérité terrain) dans le contexte. Cela génère des tokens exprimant le fait correct sous la forme de surface du modèle.
2. Conditionnelle Naïve : $p_{\theta^*}(\cdot \mid x_i, y_{mix, <t})$, où l'entrée $x_i$ ne contient que l'invite originale sans la connaissance injectée. Cela reflète l'a priori original du modèle.

La cible de supervision $y^{mix}_{i,t}$ est échantillonnée comme suit :
$$y^{mix}_{i,t} = \begin{cases} \tilde{y}^+_{i,t} & \text{avec la probabilité } 1 - \lambda \\ \tilde{y}^-_{i,t} & \text{avec la probabilité } \lambda \end{cases}$$
où $\lambda \in [0, 1]$ est un taux de mélange. Le modèle est ensuite mis à jour en utilisant la perte standard de Négatif Log-Vraisemblance (NLL) sur ces cibles mixtes.

Choix de Conception Clés

• Pas d'Enseignant Externe : Contrairement à la distillation de connaissances traditionnelle, MIXSD ne nécessite pas un modèle enseignant plus puissant, évitant ainsi le coût computationnel de la génération de multiples déroulements par requête (comme observé dans les bases de référence de l'Auto-distillation On-Policy).
• Alignement de Distribution : En mélangeant des tokens naïfs, les cibles de supervision restent substantiellement plus proches de la distribution native du modèle de base, réduisant le NLL des cibles d'entraînement sous le modèle de base.
• Hyperparamètre $\lambda$ : Contrôle le compromis. Un $\lambda$ plus faible met l'accent sur le signal expert (mémorisation), tandis qu'un $\lambda$ plus élevé ancre le modèle dans son a priori (rétention).

Configuration Expérimentale

Les auteurs ont évalué MIXSD sur plusieurs échelles de modèles (Qwen3-1.7B, 4B et 8B) et deux corpus synthétiques conçus pour isoler des types de connaissances spécifiques :

• KGFACT : Un corpus de connaissances factuelles dérivé d'un graphe de monde simulé avec des entités nouvelles pour tester le rappel et la récupération factuels.
• KGFUNC : Un ensemble de données pour l'acquisition de fonctions arithmétiques, nécessitant que le modèle infère des règles à partir d'opérations au niveau des chiffres.
• Benchmarks : L'évaluation comprenait des benchmarks généraux retenus (AIME, MATH, GSM8K, HumanEval, MMLU) pour mesurer l'oubli, ainsi que la précision d'entraînement en domaine.

Résultats Clés

1. Compromis Mémorisation-Rétention Amélioré : Sur tous les ensembles de données et toutes les échelles de modèles, MIXSD a constamment surpassé les bases de référence SFT standard et Auto-distillation On-Policy (OPSD).
   • Le SFT standard a atteint une précision d'entraînement quasi parfaite mais n'a retenu que 1% des capacités retenues du modèle de base.
   • MIXSD (avec $\lambda=0.3$ ou $0.5$) a maintenu une précision d'entraînement quasi parfaite tout en conservant jusqu'à 100% de la capacité retenue du modèle de base (par exemple, sur Qwen3-4B, MIXSD a retenu ~77% des capacités générales contre ~43% pour le SFT).
2. Alignement de Distribution : Les cibles de supervision MIXSD ont présenté un NLL par token significativement plus faible sous le modèle de base par rapport aux cibles SFT. Les tokens à NLL élevé (indiquant une faible probabilité sous le modèle de base) constituaient 27–42% des cibles SFT mais seulement 4–8% pour MIXSD à $\lambda=0.3$.
3. Analyse des Modes d'Erreur : Le SFT a provoqué des changements qualitatifs dans le comportement de génération, entraînant des « fuites » (génération d'entités fictives sans rapport avec l'invite) et un « effondrement » (réponses courtes de style modèle sans raisonnement). MIXSD a largement préservé le profil d'erreur original du modèle de base, la majorité des erreurs étant de véritables tentatives de raisonnement plutôt que des défaillances pathologiques.
4. Direction de Mise à Jour des Paramètres : L'article introduit une métrique de déplacement de paramètres pondéré par Fisher. Les résultats montrent que la direction des mises à jour de paramètres (alignement avec les directions Fisher sensibles) corrèle fortement avec l'oubli ($r \approx 0.56-0.82$), tandis que l'ampleur des mises à jour ne le fait pas ($r \approx 0.02-0.34$). MIXSD réduit l'alignement avec ces directions sensibles par rapport au SFT.

Signification et Revendications

L'article revendique que l'alignement de la supervision avec la distribution de génération native du modèle est un principe simple et efficace pour l'injection de connaissances qui atténue l'oubli catastrophique.

• Insight Théorique : Le travail suggère que l'oubli catastrophique est moins dû à l'ampleur des changements de paramètres qu'aux mises à jour selon des directions sensibles induites par une supervision en décalage de distribution.
• Utilité Pratique : MIXSD offre un remplacement « plug-and-play » pour les cibles SFT standard qui ne nécessite ni enseignant externe ni surcharge computationnelle supplémentaire significative (seul un coût de prétraitement unique pour générer des déroulements mixtes).
• Généralisabilité : Les bénéfices ont été observés à travers différentes familles de modèles (Qwen et Llama) et configurations, y compris l'édition de connaissances (écrasement de faits existants) et l'acquisition de nouvelles fonctions arithmétiques.

Les auteurs concluent que si le SFT force les modèles à imiter des trajectoires externes de faible probabilité, MIXSD préserve le signal d'apprentissage factuel tout en maintenant la trajectoire de supervision dans les régions de haute probabilité du modèle, stabilisant ainsi les capacités pré-entraînées.