🤖 machine learning

Instruction Tuning Changes How Upstream State Conditions Late Readout: A Cross-Patching Diagnostic

Ce papier démontre, grâce à un diagnostic de recollage croisé à première divergence, que les modèles ajustés par instruction reposent sur une interaction synergique entre leurs propres états amont post-entraînés et les empilements de couches tardives pour générer un comportement, plutôt que d'avoir des couches tardives fonctionnant de manière indépendante ou portable à travers différentes histoires d'entraînement.

Auteurs originaux : Yifan Zhou

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Qui conduit la voiture ?

Imaginez un Grand Modèle de Langage (LLM) comme une longue chaîne de montage dans une usine.

Les Couches Précoces (Amont) : Ce sont les ouvriers au début de la chaîne. Ils lisent les matières premières (votre invite) et commencent à façonner l'idée.
Les Couches Tardives (Aval) : Ce sont les ouvriers tout au bout de la chaîne. Ils prennent l'idée façonnée et décident exactement quoi marquer sur le produit final (le mot suivant).

Pendant longtemps, les chercheurs ont remarqué que lorsque les modèles sont « Ajustés aux Instructions » (enseignés à être des assistants utiles), les changements semblent se produire principalement à la fin de la chaîne (les couches tardives). Il semblait que l'usine avait simplement ajouté une nouvelle « machine de polissage » à la fin pour rendre la sortie plus belle.

Ce papier demande : Le changement est-il seulement à la fin ? Ou les ouvriers au début de la chaîne ont-ils aussi changé la façon dont ils préparent les matériaux afin que les ouvriers de la fin puissent faire leur travail ?

L'Expérience : L'Échange de « Greffe Croisée »

Pour le découvrir, les chercheurs ont inventé une astuce ingénieuse appelée « Greffe Croisée de la Première Divergence ».

Imaginez que vous avez deux versions de la même usine :

Usine A (Base) : Le modèle brut, original.
Usine B (IT) : Le modèle ajusté aux instructions, l'assistant utile.

Ils font fonctionner les deux usines avec exactement les mêmes instructions jusqu'au tout premier moment où ils ne sont pas d'accord sur le mot suivant. Disons que l'Usine A veut dire « radio », mais que l'Usine B veut dire « numérique ».

À ce moment précis, les chercheurs effectuent un échange style Frankenstein :

Ils prennent les ouvriers précoces de l'Usine A et les associent aux ouvriers tardifs de l'Usine B.
Ils prennent également les ouvriers précoces de l'Usine B et les associent aux ouvriers tardifs de l'Usine A.

Ils se demandent ensuite : L'équipe tardive « Utile » (Usine B) sait-elle toujours dire « numérique » si elle reçoit des matériaux préparés par l'équipe précoce « Brute » (Usine A) ?

La Découverte Principale : Le « Poignée de Main » Manque

Les résultats ont été surprenants.

L'Équipe Tardive a besoin de sa propre Équipe Précoce : Lorsque les ouvriers tardifs « Utiles » (Usine B) recevaient des matériaux des ouvriers précoces « Bruts » (Usine A), ils pouvaient encore dire « numérique », mais ils étaient faibles à ce sujet. C'était comme un chef essayant de cuisiner un repas gastronomique avec des légumes crus et non épluchés. Ils pouvaient le faire, mais le résultat n'était pas grandiose.
La Pleine Puissance : Lorsque les ouvriers tardifs « Utiles » recevaient des matériaux de leurs propres ouvriers précoces « Utiles », ils étaient très forts pour dire « numérique ». Le résultat était puissant et confiant.

L'Analogie : Imaginez le modèle « Utile » comme un duo de danse.

Les Couches Tardives sont le danseur principal (celui qui sort réellement sur la scène).
Les Couches Précoces sont le partenaire qui prépare le portage.
Le papier a révélé que le danseur principal peut danser seul, mais qu'il exécute ses meilleurs mouvements, les plus impressionnants, uniquement lorsque son partenaire spécifique prépare le portage. Si vous remplacez le danseur principal par un nouveau partenaire qui ne connaît pas la routine, la danse paraît maladroite.

Conclusion : L'ajustement aux instructions n'est pas seulement l'ajout d'une nouvelle « machine de polissage » à la fin. Il modifie l'ensemble de la chaîne de montage, enseignant aux ouvriers précoces à préparer les matériaux d'une manière spécifique dont les ouvriers tardifs dépendent pour fonctionner correctement.

Le Test de la « Recette » : Toutes les Mises à Niveau ne sont pas Pareilles

Les chercheurs ont testé cela sur différents types de « mises à niveau » pour voir si cette règle s'appliquait à tout le monde.

Modèles Suivant les Instructions (La mise à niveau « Assistant ») : Ces modèles (comme Llama 3.1 Instruct) ont montré un fort effet de « poignée de main ». Leurs couches tardives avaient besoin de leurs propres couches précoces pour bien fonctionner.
Modèles Mathématiques (OpenMath2) : Ce modèle était entraîné spécifiquement pour les mathématiques. Lorsqu'ils l'ont testé, la « poignée de main » était faible. Les couches tardives mathématiques fonctionnaient presque aussi bien avec les couches précoces « Brutes » qu'avec leurs propres couches.
- Pourquoi ? Le papier suggère que les mathématiques sont une compétence spécifique. Le modèle « Brut » savait déjà faire les mathématiques ; la mise à niveau a simplement rendu l'étape finale (les couches tardives) meilleure pour lire la réponse. Il n'avait pas besoin de réentraîner toute l'usine.
Modèles Code/Bio : Les modèles entraînés sur le code ou la biologie n'ont pas non plus montré le fort effet de « poignée de main » observé chez les assistants généraux.

La Leçon : Si vous voulez qu'un modèle soit un « assistant utile » général, vous devez réentraîner toute l'usine (les couches précoces et tardives travaillant ensemble). Si vous voulez simplement qu'il soit bon dans un sujet spécifique (comme les mathématiques), vous n'avez peut-être besoin que de retoucher la fin de la chaîne.

Ce Que Cela Signifie pour les Chercheurs (La « Prise de Conscience Opérationnelle »)

Le papier lance un avertissement aux autres scientifiques :
Si vous trouvez une différence entre deux modèles et dites : « Ah, la différence est dans la dernière couche ! », vous allez trop vite.

Vous devez vérifier : Cette dernière couche fonctionne-t-elle toujours si vous lui donnez les couches précoces de l'autre modèle ?

Si la réponse est Non, alors la différence n'est pas seulement dans la dernière couche ; tout le système a changé.
Si la réponse est Oui, alors la dernière couche fait vraiment le gros du travail toute seule.

Résumé en Une Phrase

L'ajustement aux instructions n'ajoute pas seulement une nouvelle finition au modèle ; il recâble toute l'usine afin que le début et la fin du processus apprennent à travailler ensemble comme une équipe spécifique, un changement qui n'est pas nécessaire pour les modèles entraînés sur des sujets étroits et spécifiques comme les mathématiques.

Résumé technique : Le réglage par instruction modifie la façon dont l'état amont conditionne la lecture tardive

Énoncé du problème

Des recherches récentes en interprétabilité mécaniste ont localisé les comportements post-entraînement (par exemple, le refus, la persona, le suivi d'instructions) vers des directions, des caractéristiques et des couches spécifiques, souvent aux stades intermédiaires à tardifs de la pile de transformateurs. Cependant, un vide critique subsiste dans la compréhension de la coopération entre le calcul amont et la pile tardive. Plus précisément, il est incertain si les différences post-entraînement proviennent principalement de modifications des caractéristiques tardives elles-mêmes ou de modifications des états résiduels amont qui activent ces caractéristiques. La question centrale est : Le réglage par instruction modifie-t-il simplement la couche de lecture tardive, ou altère-t-il fondamentalement l'état amont nécessaire pour rendre ces caractéristiques tardives efficaces ?

Méthodologie : Croisement de patchage à première divergence

Pour y répondre, les auteurs introduisent le croisement de patchage à première divergence, un diagnostic qui décompose l'effet du réglage par instruction (IT) en composantes dépendantes de l'amont et directes de la pile tardive.

1. Site d'intervention

Pour un prompt donné, la méthode identifie la première position de token généré où un modèle de base préentraîné (PT) et son homologue réglé par instruction (IT) ne s'accordent pas sur le token suivant top-1. Soient ces tokens $t_{PT}$ et $t_{IT}$ .

2. Le facteur à quatre cellules

À ce point de divergence, les auteurs construisent quatre passes avant hybrides en appariant l'état résiduel amont ( $U$ ) d'un modèle avec la pile tardive ( $L$ ) de l'autre. La pile tardive est définie comme les ~40 % finaux des couches (commençant approximativement à 60 % de la profondeur).
Les quatre configurations sont :

$Y(U_{PT}, L_{PT})$ : Amont de base + Pile tardive de base (Contrôle)
$Y(U_{PT}, L_{IT})$ : Amont de base + Pile tardive IT
$Y(U_{IT}, L_{PT})$ : Amont IT + Pile tardive de base
$Y(U_{IT}, L_{IT})$ : Amont IT + Pile tardive IT (Contrôle)

Le score $Y$ est défini comme la marge de logit : $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$ .

3. Décomposition

La métrique centrale est l'effet d'interaction, calculé comme suit :
$\text{Interaction} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$
Cela mesure à quel point la pile tardive IT aide davantage lorsqu'elle lit son propre état amont (IT) par rapport à l'état amont de base (PT).

Effet direct de la pile tardive : La contribution de la pile tardive IT lorsqu'appariée à l'amont PT ( $Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$ ).
Effet dépendant de l'amont : Le gain supplémentaire lorsque la pile tardive IT lit l'état amont IT.

4. Validation et contrôles

L'étude emploie des contrôles rigoureux pour s'assurer que les états hybrides ne sont pas des artefacts :

Intégrité de l'état hybride : L'interpolation entre les états PT et IT est fluide ; des permutations aléatoires signées échouent à reproduire l'effet.
Biais de sélection : Les désaccords locaux aléatoires (non à la première divergence) montrent une interaction réduite mais de même signe, tandis que le score pré-divergence est proche de zéro, confirmant que la première divergence concentre l'effet.
Historique natif : L'effet persiste lors de l'utilisation d'histoires de génération IT ou PT natives plutôt que d'un préfixe partagé.

Résultats clés

1. Couplage amont-tardif

Sur cinq familles de modèles denses (4B–32B : Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B), les résultats montrent un fort couplage amont-tardif :

Effet direct : La pile tardive IT ajoute +0,76 de logit en faveur du token IT lorsqu'appariée à l'état amont PT.
Effet dépendant de l'amont : La pile tardive IT ajoute +2,44 de logit lorsqu'appariée à l'état amont IT.
Interaction : Le terme d'interaction est de +1,68 de logit, positif dans les cinq familles.
Interprétation : La pile tardive a un effet direct réel, mais la majorité du changement de comportement observé dans le checkpoint IT ne se manifeste que lorsque la pile tardive lit son propre état amont post-entraînement.

2. Séparation des recettes d'entraînement

Le diagnostic distingue entre différentes recettes post-entraînement :

Descendants du suivi d'instructions : Montrent une forte dépendance amont (grande interaction). Leurs effets tardifs nécessitent leur propre état amont spécifique.
OpenMath2 (Domaine mathématique) : Malgré le partage de la base Llama 3.1, l'effet tardif du domaine mathématique d'OpenMath2 est largement portable. Il montre un effet important même en lisant l'état amont de base (interaction $\approx -0,15$ ).
Pré-entraînement de continuation contrôlé (CPT) : Les adaptateurs CPT pour le code et la biomédecine qui améliorent avec succès le NLL de domaine ne reproduisent pas le motif d'interaction de prompt d'instruction sur le support principal (interactions proches de zéro). Cela suggère que la dépendance amont est spécifique à l'alignement de suivi d'instructions, et non à l'adaptation de domaine générique.

3. Preuves mécanistiques

Caractéristiques de couche finale éparses : Les crosscoders sur les couches MLP finales identifient des caractéristiques éparses qui médiatisent partiellement l'interaction. L'ablation des 200 caractéristiques causales supérieures réduit l'interaction de 26 à 48 % dans les familles à filtrage de qualité.
Pilotage amont : Le patchage du calcul amont IT dans l'hybride faible récupère +1,71 de logit, avec une partie médiatisée par ces caractéristiques de couche finale. Cela soutient un mécanisme de « passation » où l'état amont pilote l'activation des caractéristiques de la couche finale.
État structuré : Les projections PCA des décalages d'état à la frontière descendant moins base ferment une portion significative de la marge manquante, indiquant que l'état amont manquant a une forme structurée et de faible rang.

4. Conséquences en aval

Score de token forcé : Forcer le token divergent préféré par IT améliore le succès de réponse exacte uniquement sur le suffixe pour les prompts de raisonnement sur le contenu de +0,157.
Continuation contrainte : L'interaction persiste sur de courtes horizons (jusqu'à $N=8$ tokens), les queues natives cohérentes portant plus d'interaction que les queues mélangées.

Importance et affirmations

L'article prétend fournir une décomposition locale et causale de la façon dont le réglage par instruction altère le comportement du modèle, allant au-delà de la simple localisation des caractéristiques pour comprendre leur activation conditionnelle.

Réfutation des piles tardives autonomes : Les résultats défavorisent la vision selon laquelle les couches tardives sont autonomes. Un grand effet tardif mesuré dans un checkpoint IT n'implique pas que le calcul est indépendant ; il dépend souvent de l'état amont spécifique généré par la recette d'entraînement IT.
Mécanismes spécifiques à la recette : La signature de « dépendance amont » est une propriété spécifique de l'alignement de suivi d'instructions, la distinguant du fine-tuning spécifique à un domaine (comme OpenMath2) ou du pré-entraînement de continuation générique.
Diagnostic opérationnel : Les auteurs proposent que toute étude localisant des différences vers des couches tardives devrait tester si ces effets survivent sous l'état amont de l'autre checkpoint. Si l'effet disparaît ou rétrécit significativement, la pile tardive n'est pas autonome.
Limites de portée : Les auteurs déclarent explicitement qu'il s'agit de tests locaux de lecture de token suivant à la première divergence. Ils ne prétendent pas estimer le comportement moyen en déploiement ni fournir une reconstruction complète du circuit de suivi d'instructions. Les résultats sont limités aux familles de transformateurs denses et à des supports de prompt spécifiques.

En résumé, l'article soutient que le réglage par instruction remodèle la coopération entre le calcul amont et la lecture tardive, où la capacité de la pile tardive à produire des sorties de suivi d'instructions est fortement conditionnée par les états résiduels spécifiques produits par les couches antérieures du modèle réglé.