💻 computer science

Testing History Dependence Between In-Context and In-Weights Learning

Cette étude démontre que si l'ordre de l'entraînement (approcher un mélange équilibré à partir de différentes directions) crée une différence transitoire et mesurable dans la force des mécanismes d'apprentissage en contexte par rapport à l'apprentissage dans les poids, il n'en résulte pas d'hystérésis persistante ni d'organisations de circuits causaux fondamentalement différentes dans les petits transformeurs.

Auteurs originaux : Zuo Yuchen

Publié 2026-08-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zuo Yuchen

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à raconter des blagues. Vous pouvez l'enseigner de deux manières. Premièrement, vous pouvez lui montrer quelques exemples juste avant qu'il ne parle, comme une fiche de référence posée sur la table. Le robot lit la fiche de référence et déduit la chute en fonction de ce qu'il voit à cet instant précis. C'est ce qu'on appelle l'Apprentissage en Contexte (In-Context Learning). C'est comme si le robot improvisait sur le vif. Deuxièmement, vous pouvez vous entraîner avec le robot pendant des heures jusqu'à ce qu'il mémorise les blagues si bien qu'il n'ait plus besoin de la fiche de référence. Les blagues sont désormais ancrées dans son cerveau. C'est l'Apprentissage par les Poids (In-Weights Learning).

Pendant longtemps, les scientifiques se sont demandé : si vous donnez au robot exactement le même mélange de fiches de référence et de pratique, résout-il toujours le problème de la même manière ? Ou est-ce que la méthode importe ? A-t-il commencé par mémoriser pour ensuite apprendre à lire la fiche de référence ? Ou a-t-il commencé par lire la fiche de référence pour ensuite mémoriser les blagues ? Cette question porte sur la dépendance à l'historique. Dans le monde de la physique, cela ressemble à l'hystérésis — comme un aimant qui se souvient du sens dans lequel il a été tiré, même après avoir cessé de tirer. Si le cerveau d'un robot possède une hystérésis, son état actuel ne dépend pas seulement de ce qu'il voit maintenant ; il dépend aussi du chemin qu'il a parcouru pour en arriver là. Cela importe car, si les modèles d'IA sont comme cela, nous ne pourrons peut-être pas prédire leur comportement en regardant simplement leurs données actuelles ; nous aurons besoin de connaître tout leur historique d'entraînement.

Ce document prend un petit robot contrôlé (un minuscule modèle d'IA) et le soumet à un test spécifique pour voir s'il possède ce genre de « mémoire du chemin ». Les chercheurs ont mis en place un jeu où le robot doit deviner un code secret. Parfois, le code dépend d'un indice donné dans la phrase actuelle (la fiche de référence), et parfois il dépend d'une règle que le robot a apprise il y a longtemps (la mémoire ancrée). Ils ont entraîné deux copies identiques du robot pour atteindre exactement le même point du jeu, mais elles y sont arrivées par des routes différentes. Une copie a commencé par se concentrer sur les règles ancrées, puis a progressivement basculé vers les fiches de référence. L'autre a commencé par les fiches de référence, puis a progressivement basculé vers les règles ancrées.

Les chercheurs ont découvert que lorsque les deux robots arrivaient exactement au même endroit, ils n'agissaient pas exactement de la même manière. Celui qui venait du côté « ancré » était légèrement plus susceptible d'utiliser la fiche de référence que celui qui venait du côté « fiche de référence ». C'était comme si le robot qui avait commencé par les règles était encore un peu « coincé » dans cet état d'esprit, même s'il regardait maintenant les mêmes indices que l'autre robot. Cette différence était réelle et mesurable : l'écart de comportement était d'environ 0,098 points sur une échelle spécifique, et cela s'est produit dans les cinq différentes expériences d'entraînement.

Cependant, cette mémoire du chemin était très éphémère. Les chercheurs ont laissé les robots continuer leur entraînement à ce même point pendant un moment supplémentaire. Après seulement 25 étapes, la différence a commencé à s'inverser, puis à disparaître. Au bout de 100 étapes, les deux robots agissaient de manière presque identique. Le « fantôme » du chemin emprunté s'était dissipé.

Pour comprendre pourquoi cela s'est produit, les scientifiques ont regardé à l'intérieur du cerveau du robot. Ils ont découvert que les deux robots utilisaient exactement les mêmes parties internes pour résoudre le problème. Ils n'avaient pas changé de « circuit » ou de nouvelle façon de penser. Au lieu de cela, le robot venant du côté « ancré » avait simplement augmenté légèrement le volume de la partie de son cerveau qui lit la fiche de référence. C'était un boost de volume temporaire, pas un changement permanent du câblage.

Ainsi, l'article suggère que, bien que les modèles d'IA puissent brièvement se souvenir du chemin qu'ils ont parcouru, il ne s'agit pas d'une boucle d'« hystérésis » permanente où ils restent bloqués dans des états différents pour toujours. C'est plutôt un décalage momentané, un dépassement rapide qui se stabilise à mesure que le modèle continue d'apprendre. L'étude montre que pour comprendre véritablement le comportement d'une IA, il faut regarder son histoire immédiate, mais qu'il n'est pas nécessaire de craindre qu'elle reste bloquée dans un état étrange indéfiniment simplement à cause de la manière dont elle a été entraînée. Le modèle finit par rattraper son retard et oublie le chemin, se concentrant uniquement sur la destination.

Résumé technique : Étude de la dépendance à l'historique entre l'apprentissage en contexte et l'apprentissage par les poids

Problématique

L'apprentissage en contexte (ICL) et l'apprentissage par les poids (IWL) permettent aux transformeurs de résoudre des tâches de prédiction en utilisant soit des associations basées sur les prompts, soit des associations paramétrées stables. Bien que des travaux antérieurs aient établi que l'ICL peut émerger puis décliner au profit de l'IWL durant l'entraînement, il reste incertain si la distribution actuelle des données détermine de manière unique le mécanisme du modèle. Plus précisément, on ignore si l'état d'un modèle à un mélange fixe d'ICL et d'IWL est unique, ou si le modèle conserve une « mémoire » de la trajectoire d'entraînement (dépendance à l'historique) qui influence son comportement et l'organisation de ses circuits causaux. Cette étude examine si un modèle arrivant à un mélange identique d'ICL/IWL en provenance de directions opposées (schémas de mélange croissants vs décroissants) présente des comportements ou des sensibilités causales différents, un phénomène analogue à l'hystérésis dans les systèmes dynamiques.

Méthodologie

L'auteur a conçu une étude causale contrôlée et contrebalancée utilisant un petit transformeur de type décodeur seul (2 couches, 4 têtes, 72k paramètres) sur une tâche de rappel associatif ambiguë.

Conception de la tâche : La tâche consiste à prédire une valeur pour une clé de requête. Deux règles concurrentes existent : une règle contextuelle (basée sur les paires clé-valeur du prompt actuel) et une règle fixe (une permutation globale apprise dans les poids). Un paramètre de mélange $p_{ICL}$ contrôle la probabilité que la cible d'entraînement suive la règle contextuelle. Crucialement, la distribution d'entrée reste fixe tandis que $p_{ICL}$ varie, garantissant que les changements de comportement sont pilotés par la distribution des cibles et non par les statistiques d'entrée.
Schémas d'entraînement contrebalancés :
- Un modèle « ancre » est entraîné jusqu'à convergence à un mélange cible $p_0$ .
- Le modèle et l'état de l'optimiseur sont clonés.
- Deux branches traversent des schémas de mélange triangulaires avec un nombre identique de mises à jour, des ensembles de multisets d'exemples d'entraînement identiques et une exposition cumulative identique, mais dans des ordres opposés :
  - Depuis le bas : $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (approche la cible depuis le côté favorisant l'IWL).
  - Depuis le haut : $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (approche la cible depuis le côté favorisant l'ICL).
- Ce design isole l'effet de l'ordre et de la direction d'approche finale tout en égalisant l'âge de l'entraînement, l'état de l'optimiseur et l'exposition aux données.
Métriques d'évaluation :
- Comportementale : La marge de logit entre les réponses contextuelles et fixes lors des essais de conflit.
- Interventions causales :
  - Patching d'activation (Activation Patching) : Remplacement des états internes entre les exécutions propres et corrompues pour tracer le flux d'information.
  - Remplacement de la moyenne (Mean Replacement) : Remplacement des sorties des têtes d'attention par leurs moyennes spécifiques au checkpoint pour mesurer la contribution de l'information spécifique à l'exemple.
- Contrôle de relaxation : Évaluation des modèles après 0, 25 et 100 mises à jour supplémentaires au mélange cible fixe pour distinguer un retard transitoire d'une hystérésis persistante.

Contributions clés

Design de schéma contrebalancé : Une configuration expérimentale novatrice qui compare des directions d'arrivée opposées à un mélange, un nombre de mises à jour, un âge d'optimiseur et une exposition de composantes cumulées identiques.
Tâche identifiable par le comportement : Une tâche où les réponses contextuelles et basées sur les poids entrent directement en conflit, permettant de mesurer la préférence de stratégie comme une marge de logit continue plutôt que comme une précision agrégée.
Tests comportementaux et causaux couplés : Intégration du patching du flux résiduel et des remplacements de moyennes des têtes/MLP à travers des graines d'entraînement indépendantes pour localiser la source de la dépendance à l'historique.
Contrôle de relaxation : Un protocole pour séparer les effets historiques persistants des modèles qui sont simplement lents à suivre un changement de mélange de données.

Résultats

Dépendance immédiate à l'historique : Au mélange équilibré ( $p_0 = 0.5$ ), les modèles arrivant par le bas (côté favorisant l'IWL) ont montré une marge de logit contextuel moins le fixe plus élevée ( $+0.0976$ ) par rapport à ceux arrivant par le haut. Cette différence était cohérente sur les cinq graines indépendantes (toutes positives), produisant la plus petite valeur de $p$ exacte bilatérale de changement de signe atteignable de 0,0625. L'auteur décrit ce signe et cet intervalle communs plutôt que de faire une affirmation de significativité binaire.
Nature transitoire : L'écart comportemental s'est légèrement inversé après 25 mises à jour communes et a disparu (proche de zéro) après 100 mises à jour. Cela indique que l'effet est un dépassement (overshoot) transitoire plutôt qu'une branche stable ou une hystérésis quasi-statique.
Mécanisme causal :
- Le remplacement de toutes les sorties de tête d'attention en position de requête par les moyennes spécifiques au checkpoint a atténué de 86,8 % l'écart comportemental immédiat.
- Malgré la différence comportementale, l'identité de la tête d'attention dominante et la topologie des routes de patching d'activation étaient presque identiques (corrélations > 0,999) entre les deux historiques.
- Les résultats suggèrent que l'ordre d'entraînement module le gain d'une route contextuelle partagée plutôt que de sélectionner un circuit alternatif distinct.

Signification et affirmations

L'article conclut que, bien que les petits transformeurs présentent une dépendance au chemin à taux fini à un mélange ICL/IWL donné, ils ne présentent pas d'hystérésis quasi-statique.

Affirmation modeste sur l'hystérésis : L'auteur déclare explicitement que l'effet observé est une « mémoire transitoire de l'ordre d'entraînement » qui se relaxe rapidement. Il soutient que les effets d'ordre de curriculum ne doivent pas être automatiquement étiquetés comme de l'hystérésis sans démontrer un écart de branche persistant sous des balayages lents.
Interprétabilité développementale : L'étude souligne qu'un instantané d'un modèle (paramètres et mélange de données actuel) peut ne pas prédire de manière unique son calcul immédiat ; des modèles très proches peuvent conserver des informations à court terme sur leur historique d'entraînement.
Identité du circuit vs Engagement du circuit : Une découverte clé est la distinction entre la topologie du circuit et la force d'engagement du circuit. Le même circuit causal (la route contextuelle via des têtes d'attention spécifiques) était utilisé dans les deux historiques, mais la force d'engagement de ce circuit était modulée par la trajectoire d'entraînement.
Rigueur méthodologique : Le papier souligne que sans mesurer la relaxation (la phase de « maintien »), les différences transitoires pourraient être interprétées à tort comme des branches de circuits persistantes. Le design en boucle appariée offre une méthode compacte pour contrôler l'âge et l'exposition tout en testant la dépendance à l'historique.

L'auteur note des limites concernant la validité externe (petits modèles synthétiques) et l'incapacité à séparer pleinement la mémoire de l'optimiseur de la mémoire des paramètres, mettant en garde contre une généralisation de ces conclusions aux modèles de langage de pointe sans tests supplémentaires sur les taux, les optimiseurs et les tâches naturalistes.