Résumé technique : Le fossé de convergence dans les modèles de langage ajustés aux instructions

1. Énoncé du problème

Les diagnostics actuels de comparaison de modèles réduisent souvent les comparaisons entre les points de contrôle préentraînés (PT) et ceux ajustés aux instructions (IT) à des scores de sortie finale (par exemple, la précision ou la perplexité). Cette approche obscurcit quand un modèle se fixe sur une prédiction lors du passage avant. L'article postule que les points de contrôle d'exécution d'instructions publiés ne se contentent pas de se terminer sur des distributions différentes ; ils suivent des trajectoires de stabilisation différentes, potentiellement en se fixant sur leurs prédictions finales de prochain jeton plus tard dans la pile du réseau que leurs homologues préentraînés. Le problème central est l'absence d'un diagnostic mesurant le moment de la stabilisation de la prédiction plutôt que simplement le résultat final.

2. Méthodologie

2.1 La métrique du fossé de convergence

Les auteurs introduisent le fossé de convergence, un diagnostic par couche défini comme la divergence de Kullback-Leibler (KL) entre la distribution du prochain jeton décodée à la couche $l$ ($p_l$) et la distribution finale du prochain jeton du modèle ($p_L$) :
$$\text{Fossé de Convergence}_l = \text{KL}(p_l || p_L)$$
Cette métrique quantifie à quel point une couche spécifique est éloignée de la prédiction finale du modèle. Un fossé plus grand aux couches tardives indique que le modèle continue de changer significativement d'avis alors qu'il traverse la pile.

2.2 Configuration expérimentale

• Modèles : Six paires de points de contrôle PT/IT ont été analysées : Gemma 3 4B, Llama 3.1 8B, Qwen 3 4B, Mistral 7B, OLMo 2 7B et DeepSeek-V2-Lite.
• Historiques : Toutes les comparaisons ont utilisé des historiques de jetons appariés. Les courbes de découverte ont agrégé les lectures de couche par jeton sur des centaines de milliers d'étapes de jetons.
• Contrôles :
  • Appariement des points terminaux : Les étapes de jetons PT et IT ont été appariées en fonction de la confiance finale, de l'entropie et des marges top-1/top-2 pour garantir que le fossé n'est pas un artefact de confiances finales différentes.
  • Vérifications sans point terminal : Comparaisons des distributions de sortie de couche native identique sous des historiques forcés par l'enseignant identiques, évitant toute référence au point terminal final.
  • Rejeu à historique fixe : Les modèles bruts et ajustés ont rejoué des modèles de chat natifs pour contrôler les effets de sérialisation induits par les modèles.

2.3 Interventions (Greffe/Échange de MLP à préfixe apparié)

Pour identifier le locus architectural de ce phénomène, les auteurs ont réalisé des interventions causales symétriques :

• Greffes : Remplacement de fenêtres spécifiques de MLP (Tôt, Milieu, Tard) dans un hôte PT par les poids IT correspondants.
• Échanges : Remplacement de fenêtres spécifiques de MLP dans un hôte IT par les poids PT correspondants.
• Fenêtres : Définies comme environ 40 % de la profondeur du modèle, centrées sur les régions tôt, milieu et tard (par exemple, pour Llama 3.1 8B, la région tardive correspond aux couches 19–31).
• Contrôles aléatoires : Des perturbations aléatoires de projection résiduelle appariées ont été appliquées aux couches tardives pour tester si toute grande perturbation, plutôt que la mise à jour IT spécifique, causait l'effet.

3. Résultats clés

3.1 Les modèles ajustés aux instructions se stabilisent plus tard

Dans les six familles de modèles, les points de contrôle ajustés aux instructions présentent un fossé de convergence tardif plus grand. Les courbes IT restent plus élevées (plus éloignées de la distribution finale) plus profondément dans la pile par rapport aux modèles PT.

• Appariement des points terminaux : Le fossé persiste même en contrôlant la confiance et l'entropie des points terminaux (Brut : +0,425 nats ; Ajusté : +0,762 nats).
• Sans point terminal : Le mouvement adjacent de couche à couche (divergence JS) et les taux futurs de basculement top-1 sont plus élevés dans les modèles IT, confirmant qu'ils changent leurs prédictions plus tard dans le passage avant.
• Effets de modèle : Bien que le rejou brut/sans modèle atténue la signature, l'effet reste positif et significatif sous le rejou à historique fixe des modèles de chat natifs.

3.2 Les MLP tardifs sont le principal point de levier

Les expériences d'intervention ont identifié les fenêtres de MLP tardives comme le point de levier bidirectionnel le plus fort sur le délai de stabilisation :

• Hôte PT + Greffe IT tardive : Augmente le fossé KL tardif de +0,34 nats (contre -0,03 pour la région tôt, -0,05 pour le milieu).
• Hôte IT + Échange PT tardif : Réduit le délai IT de -0,51 nats (contre -0,10 pour la région tôt, -0,23 pour le milieu).
• Contrôles aléatoires : Les perturbations tardives aléatoires appariées n'ont pas reproduit l'effet (+0,003 nats contre +0,327 nats pour les vraies greffes), écartant les explications basées simplement sur la magnitude.

3.3 Étude de cas comportementale (Gemma)

Une étude de cas pré-sélectionnée sur Gemma 3 4B a testé l'impact en aval de l'échange PT tardif :

• Préférence : Le jugement aveugle par paires a préféré l'IT natif à l'échange PT tardif dans 94,7 % des invites de registre d'assistant.
• Scores : Le score du registre d'assistant est passé de 4,733 (natif) à 3,929 (échange tardif), tandis que les échanges tôt ont eu un impact négligeable.
• Robustesse : Les vérifications programmatiques (MMLU, raisonnement) n'ont pas montré un effondrement total, suggérant que l'effet est spécifique à la dynamique de suivi d'instructions plutôt qu'à une dégradation générale des capacités.

4. Contributions et importance

L'article apporte trois contributions principales, présentées comme un changement dans la manière d'analyser l'après-entraînement :

1. Une cible de dynamique de prédiction : Le fossé de convergence fournit un objet mesurable pour « quand un modèle se fixe », dépassant les comparaisons statiques de points terminaux pour analyser la trajectoire vers la prédiction.
2. Contrôles rigoureux : En utilisant des lectures appariées aux points terminaux et des vérifications sans point terminal sur un même historique, l'article démontre que la stabilisation retardée est une signature robuste de l'ajustement aux instructions, et non un artefact des niveaux de confiance ou du formatage des modèles.
3. Localisation causale : Les interventions à préfixe apparié isolent les fenêtres de MLP tardives comme le plus grand point de levier bidirectionnel testé sur la stabilisation retardée. Cela identifie une région architecturale spécifique où les dynamiques de « suivi d'instructions » sont les plus malléables.

5. Portée et limites (Voix des auteurs)

Les auteurs énoncent explicitement la portée et les limites de leurs affirmations :

• Pas un mécanisme complet : L'article ne prétend pas expliquer le mécanisme complet du suivi d'instructions ni fournir une direction de pilotage universelle.
• Pas un prédicteur de référence : L'étude de cas Gemma est un « pont orienté comportement » pour la famille la plus claire, et non une affirmation selon laquelle le fossé de convergence prédit les performances de référence sur toutes les tâches ou familles.
• Pas de fonctionnalités nommées : Le travail identifie une signature robuste par couche et le meilleur point de levier MLP, mais ne reconstruit pas le circuit complet ni n'identifie des fonctionnalités éparses nommées (par exemple, via des SAE ou des crosscoders).
• Dépendance aux modèles : L'effet est modulé par les modèles de chat ; l'article traite l'invite sans modèle comme une sérialisation hors distribution qui atténue, mais n'efface pas, la signature.
• Avertissement MoE : DeepSeek-V2-Lite a été inclus dans les courbes de découverte mais exclu des moyennes causales car le routage MoE complique l'interprétation des échanges de fenêtres de MLP denses.

Conclusion : L'article conclut que les points de contrôle ajustés aux instructions publiés ont tendance à se fixer plus tard dans le passage avant, et que le calcul des MLP tardifs est le point de levier bidirectionnel le plus fort testé sur ce délai sous des historiques appariés. Cela redéfinit l'après-entraînement comme un changement dans la trajectoire vers une prédiction, et non seulement dans le point terminal.