💬 NLP

Shortcut Before Circuit: Document Statistics Time In-Context Conflict Resolution

Cet article démontre que lorsque les indices de récence et de rareté sont parfaitement corrélés dans les données d'entraînement, les réseaux de neurones apprennent des stratégies indiscernables pour résoudre les conflits en contexte, révélant que l'attribution mécaniste est fondamentalement indisponible tant qu'un seuil de redondance spécifique n'est pas franchi, point auquel le modèle échappe aux raccourcis positionnels et où le mécanisme sous-jacent devient identifiable.

Auteurs originaux : Yijun Liao, Fanwei Liang

Publié 2026-08-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yijun Liao, Fanwei Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans l'étude de l'intelligence artificielle, les chercheurs s'intéressent de plus en plus à la manière dont les machines apprennent à résoudre des problèmes, non pas seulement en mémorisant des réponses, mais en découvrant les règles sous-jacentes qui régissent une tâche. Imaginez un étudiant qui apprend à résoudre des problèmes mathématiques en reconnaissant un motif dans les nombres plutôt qu'en se rappelant une formule spécifique. Dans le monde des grands modèles de langage, ces motifs sont souvent appelés « indices ». Lorsqu'un ordinateur lit un texte long, il doit décider quelle information il doit croire si le texte contient des faits contradictoires. Par exemple, si un document indique qu'un personnage est grand dans le premier paragraphe et petit dans le dernier, le modèle doit choisir s'il doit se fier à l'énoncé le plus récent ou peut-être à la fréquence de répétition d'un détail spécifique. Dans le monde désordonné et naturel de l'écriture humaine, ces indices concordent généralement ; le fait le plus récent est souvent aussi celui qui est mentionné le plus souvent. Cette concordance rend presque impossible pour les scientifiques de déterminer quelle règle la machine utilise réellement, car la machine obtient la bonne réponse de toute façon.

Une équipe de chercheurs s'est donné pour mission de résoudre ce casse-tête en créant un environnement contrôlé où les règles du jeu étaient parfaitement claires, bien que deux stratégies différentes pour le résoudre soient mathématiquement identiques. Ils ont construit un langage synthétique où l'information la plus récente était toujours la plus rare, et où l'information la plus répétée était toujours la plus ancienne. Dans cette configuration, un modèle pouvait résoudre la tâche en cherchant le fait le plus récent, ou en cherant le fait qui n'apparaissait qu'une seule fois, et les deux stratégies mèneraient à la bonne réponse. Comme les données d'entraînement n'ont jamais forcé le modèle à choisir entre ces deux voies, les chercheurs voulaient voir quelle voie la machine empruntait réellement. Ils ont entraîné un grand réseau de neurones artificiels sur ce langage, puis ont réalisé une expérience délicate : ils ont pris un document terminé et l'ont subtilement modifié, changeant le nombre de fois qu'un fait spécifique apparaissait sans changer le sens du texte ni la réponse correcte. En observant comment la confiance du modèle variait en réponse à ce changement infime, ils pouvaient voir s'il suivait la règle du « plus récent » ou la règle du « plus rare ».

Les résultats ont révélé une vérité surprenante sur la manière dont ces machines apprennent. Lorsque les chercheurs ont examiné la performance finale des modèles, ils ont constaté que chacun d'entre eux avait maîtrisé la tâche avec une précision quasi parfaite. Cependant, lorsqu'ils ont examiné la logique interne des modèles, ils ont découvert que la règle spécifique utilisée par chaque modèle n'était pas déterminée par les données elles-mêmes. Au lieu de cela, le choix de la règle était déterminé par la trajectoire spécifique du processus d'optimisation au cours de chaque session d'entraînement. À travers des dizaines de sessions d'entraînement, certains modèles ont appris à donner la priorité à l'information la plus récente, tandis que d'autres ont appris à donner la priorité à l'information la plus rare. Crucialement, les chercheurs ont découvert que les données fournies ne contenaient aucun signal qui aurait pu pousser le modèle vers une règle plutôt qu'une autre. La fonction objectif, qui est le but mathématique que le modèle tente d'atteindre, était parfaitement indifférente entre les deux stratégies. Parce que les données d'entraînement traitaient les deux règles comme étant également valables, le modèle s'est simplement installé sur l'une d'elles en fonction de l'endroit où sa trajectoire d'optimisation spécifique s'est arrêtée le long d'une direction que l'objectif ne contraignait pas, plutôt que de choisir une règle au hasard.

Cette découverte remet en question une hypothèse commune dans la recherche en intelligence artificielle : celle selon laquelle nous pouvons observer le comportement d'un modèle et affirmer avec certitude qu'il a appris une règle spécifique parce que les données l'exigeaient. L'étude montre que lorsque deux règles mènent au même résultat sur chaque exemple d'entraînement, le choix entre les deux par le modèle n'est pas une réflexion de la structure des données, mais plutôt une réflexion de la trajectoire d'optimisation spécifique de cette session. Les chercheurs l'ont démontré en montant que si l'on réentraînait exactement le même modèle avec les mêmes données mais une graine aléatoire différente, il pourrait choisir la règle opposée, même si sa performance finale restait identique. Cela signifie que pour certains types de problèmes, le « mécanisme » à l'intérieur du modèle — le circuit spécifique qu'il utilise pour accomplir la tâche — n'est pas une propriété fixe des données, mais un résultat variable du processus d'entraînement.

L'étude a également mis au jour une phase distincte dans la manière dont ces modèles apprennent. Avant de découvrir la règle correcte, ils s'appuient souvent sur un raccourci simple. Dans cette tâche spécifique, les modèles ont d'abord appris à ignorer totalement le contenu du texte et à deviner la réponse en se basant sur sa position. Ils ont découvert que la réponse correcte apparaissait toujours à une distance spécifique de la fin de la phrase. Ce raccourci positionnel était très efficace et permettait aux modèles d'atteindre rapidement un niveau de précision modéré. Cependant, ce raccourci avait une limite stricte ; il ne pouvait fonctionner que si la distance jusqu'à la réponse était constante. À mesure que les modèles continuaient leur entraînement, ils finissaient par abandonner ce raccourci et apprenaient à lire et à comprendre réellement le texte, une transition qui se produisait à des moments différents selon la complexité de la tâche. Les chercheurs ont constaté que le moment de cette transition était prévisible et cohérent, mais que la règle spécifique adoptée par le modèle après la transition ne l'était pas.

En fin de compte, ce travail fournit un nouveau critère pour comprendre quand nous pouvons véritablement savoir ce qu'une machine a appris. Il suggère que nous ne pouvons attribuer avec certitude une règle de raisonnement spécifique à un modèle que lorsque les données forcent un choix entre des alternatives. Lorsque les données permettent plusieurs solutions également bonnes, la logique interne du modèle devient une question de l'endroit où sa session d'entraînement spécifique s'est arrêtée le long d'une direction non contrainte, plutôt qu'une nécessité dictée par les données. Cela ne signifie pas que les modèles sont défectueux ou que leurs réponses sont fausses ; cela signifie que le « pourquoi » derrière leurs réponses est souvent caché dans les spécificités de leur trajectoire d'entraînement, et non dans la structure de l'information qui leur a été donnée. Pour les scientifiques qui tentent d'interpréter ces systèmes, cela sert de rappel qu'un succès du modèle ne garantit pas un processus interne unique ou prévisible. Le chemin que prend la machine pour atteindre la solution est tout aussi important que la solution elle-même, et parfois, ce chemin est déterminé par la dynamique spécifique de son entraînement.

Résumé technique : Le raccourci avant le circuit : Statistiques de documents

Énoncé du problème

L'article traite d'une limitation fondamentale de l'interprétabilité mécaniste : l'incapacité à distinguer quel indice spécifique un modèle de langage utilise pour résoudre des informations conflictuelles lorsque ces indices sont parfaitement corrélés dans les données d'entraînement. Dans les documents naturels, la valeur la plus récente pour un fait est souvent aussi la valeur la plus rare (apparaissant le moins de fois). Par conséquent, la haute précision d'un modèle sur de telles tâches ne révèle rien sur le fait qu'il repose sur la récence (prendre la dernière valeur énoncée) ou sur la rareté (prendre la valeur apparaissant le moins de fois). Cet « aliasing » (effet d'interférence) empêche l'analyse observationnelle d'attribuer un mécanisme spécifique à une statistique de données particulière, car la fonction d'objectif est indifférente entre les deux règles.

Méthodologie

Les auteurs construisent un langage synthétique et un régime d'entraînement conçus pour rendre cet aliasing exact et testable.

Langage synthétique : Les documents consistent en des séquences d'énoncés (entité, attribut, valeur) suivis d'une requête. La vérité de terrain est la valeur la plus récente assignée au slot interrogé.
Règles en alias : La distribution d'entraînement est conçue de telle sorte que pour chaque document, la valeur la plus récente est également la valeur unique (apparaissant exactement une fois), tandis que les valeurs supplantées sont répétées $R_{old}$ fois. Ainsi, les règles « prendre la valeur la plus récente » (Récence) et « prendre la valeur la plus rare » (Rareté) sont mathématiquement identiques sur l'ensemble d'entraînement.
Intervention causale (Inversion de multiplicité) : Pour séparer ces règles, les auteurs appliquent une modification minimale aux documents de test. Ils inversent la multiplicité des valeurs concurrentes : la bonne réponse (originalement présente une seule fois) est réécrite pour apparaître $R_{old}$ $R_{o l d}$ fois, et la valeur supplantée (originalement présente $R_{old}$ $R_{o l d}$ fois) est réduite à une seule occurrence.
- La Récence reste inchangée (le dernier énoncé n'est pas touché).
- La Rareté bascule (la bonne réponse est désormais la valeur fréquente).
- Le résultat (readout) est le changement signé du log-odds ( $\Delta$ ) pour la valeur cible sous cette modification.
Grille expérimentale : Les auteurs entraînent des transformers de 26M de paramètres sur une grille de deux axes :
- Redondance ( $R_{old}$ ) : Le nombre de fois qu'une valeur supplantée est répétée (3, 5, 8, 12, 16).
- Distance ( $\Delta D$ ) : Le nombre d'énoncés entre la mise à jour finale et la requête.
Métriques d'évaluation :
- Fraction de signe : La fraction des documents où $\Delta$ possède le signe attendu pour la règle de la rareté.
- Formation de circuit : Filtrée par un « diagnostic de copie » (précision sur les tokens de valeur en contexte) pour s'assurer que le modèle a acquis un mécanisme de récupération avant d'analyser l'attribution de la règle.
- Variance inter-seeds : Comparaison des résultats sur trois graines aléatoires (seeds) pour distinguer les propriétés déterminées par les données des artefacts d'optimisation.

Résultats clés

1. Saturation comportementale et non-identifiabilité

Les 75 exécutions (25 cellules $\times$ 3 seeds) atteignent une précision en distribution $\ge 0,999$ . L'évaluation comportementale seule ne peut pas distinguer les modèles implémentant la Récence de ceux implémentant la Rareté, car les deux obtiennent des scores parfaits.

2. L'identité du mécanisme est sous-déterminée

Sous intervention, la règle spécifique qu'implémente un modèle n'est pas déterminée par les statistiques du corpus.

Haute variance : La fraction de signe varie énormement selon les seeds pour une même cellule. Dans 13 des 25 cellules, la fraction de signe diffère de plus de 0,3 entre les seeds ; l'étendue maximale est de 0,879 (ex: 0,098, 0,477, 0,977 pour $R_{old}=3, \Delta D=8$ ).
Indifférence : Cette variance augmente avec la mesure dans laquelle l'optimisation est « libérée » de la contrainte. Puisque l'objectif est indifférent entre les deux règles, la règle spécifique choisie est un tirage aléatoire de la trajectoire d'optimisation, et non une propriété des statistiques de données.
Conclusion : Un mécanisme ne peut être attribué à une statistique de corpus lorsque l'objectif est indifférent entre les alternatives.

3. Le timing est déterminé

Bien que quelle règle est choisie soit indéterminé, le moment où le mécanisme de récupération apparaît est strictement déterminé par les statistiques du corpus.

Temps d'échappement : L'étape à laquelle le modèle échappe à un « raccourci positionnel » (copier un décalage de token fixe) et acquiert un circuit de récupération est monotone en redondance ( $R_{old}$ ).
Plafond à forme fermée : Avant d'acquérir la récupération, les modèles saturent un raccourci positionnel avec un plafond de $1/|\text{supp}(\Delta D)|$ . Le temps pour échapper à ce plateau est ordonné par $R_{old}$ , une redondance plus élevée menant à un échappement plus précoce.
Réplication : Ce signal de timing se réplique à travers les seeds et est robuste aux changements de budget et de calendrier d'entraînement, contrairement à l'attribution de la règle.

4. Le phénomène du « Raccourci avant le Circuit »

Dans 32 des 75 exécutions, appliquer le probe avant la formation du circuit de récupération produit un $\Delta$ fortement négatif (indiquant une règle de type « fréquence » où la multiplicité booste la mauvaise valeur). Il s'agit d'un artefact du raccourci positionnel, et non d'un véritable choix de règle. L'article démontre que filtrer par la formation du circuit est nécessaire mais non suffisant pour garantir une attribution de règle stable. Plus précisément, dans l'exécution de la seed 1 pour $R_{old}=3, \Delta D=3$ , le diagnostic de copie atteint 1,000 (indiquant la formation du circuit) à l'étape 5000, pourtant le readout reste de type fréquence pendant 7000 étapes supplémentaires (avec des fractions de signe de 0,23, 0,36 et 0,34 aux étapes 6000, 8000 et 10000) avant de passer à 0,86 à l'étape 12000. Ce renversement se produit après que le circuit s'est formé, malgré l'absence de changement dans la précision de la tâche et l'absence de pic de dérivée de perte près de l'étape 12000, indiquant que le passage est une dérive plutôt qu'un événement de réorganisation.

Signification et affirmations

L'article ne prétend pas avoir cartographié les circuits spécifiques pour tous les modèles ou avoir résolu le problème général de l'interprétabilité. Il propose plutôt un critère pour savoir quand l'attribution mécaniste est possible :

Condition d'attribution : Un mécanisme peut être attribué à une statistique de corpus uniquement lorsque l'objectif n'est pas indifférent entre les règles concurrentes. Lorsque les règles sont coextensives (en alias) sur la distribution d'entraînement, la règle spécifique choisie est une propriété de la course d'optimisation, et non des données.
Constructions en alias : Les auteurs plaident pour l'utilisation de constructions en alias afin de rendre l'indétermination visible. Dans les données naturelles, les indices concordent souvent, menant à des attributions confiantes mais potentiellement spécieuses. La construction synthétique rend l'indifférence exacte, révélant que le « gagnant » est souvent un résultat aléatoire de la trajectoire d'entraînement.
Ce qui survit : L'article conclut que si l'identité de la règle n'est pas déterminée par les données, le timing de l'émergence du mécanisme l'est. Le corpus fixe quand un mécanisme apparaît, pas lequel.
Changement méthodologique : Les auteurs préconisent de rapporter la variance des seeds par cellule et de filtrer par la formation du circuit plutôt que par la précision de la tâche. Ils avertissent que les mesures sur une seule seed dans des contextes d'alias produisent des chiffres confiants qui ne survivent pas à la réplication, tandis que les métriques de timing (comme les étapes d'échappement) restent stables.

En résumé, l'article établit qu'en présence de règles coextensives, l'attribution mécaniste aux statistiques de données est fondamentalement indisponible pour l'identité de la règle spécifique, mais reste disponible pour le timing de la formation du mécanisme.