Résumé technique : Croyance ou circuits ? Preuves causales de l'apprentissage de graphes en contexte

1. Énoncé du problème

L'article aborde un débat fondamental en interprétabilité mécaniste concernant la manière dont les grands modèles de langage (LLM) réalisent l'apprentissage en contexte (ICL). Plus précisément, il examine si les LLM infèrent des relations structurelles latentes (un mécanisme de « croyance » analogue à l'inférence bayésienne sur des modèles du monde) ou s'ils se contentent de copier des transitions locales récentes via des circuits d'induction (un mécanisme de « circuits »).

Alors que des travaux récents (Park et al., 2025) suggèrent que les LLM maintiennent des modèles du monde probabilistes implicites sur les structures de graphes, des contre-arguments (Arditi, 2026 ; Ransome, 2026) postulent que les comportements observés peuvent être entièrement expliqués par des têtes d'induction locales accumulant des statistiques de transition sans inférence de structure globale. Les auteurs visent à trianguler ce débat en utilisant une tâche jouet contrôlée impliquant des marches aléatoires sur des structures de graphes concurrentes.

2. Méthodologie

L'étude emploie une approche multifacette combinant la modélisation comportementale, l'analyse des représentations et des interventions causales sur le modèle Llama-3.1-8B.

2.1. Conception de la tâche

Les auteurs utilisent une tâche de marche aléatoire sur graphe où le modèle prédit le nœud suivant dans une séquence générée par un graphe inconnu. Deux hypothèses concurrentes sont testées :

• $H_{grid}$ : Un graphe en grille $4\times4$ (16 nœuds, 24 arêtes, degré variable).
• $H_{ring}$ : Un graphe en anneau de 16 nœuds (16 arêtes, degré uniforme).

Pour créer une véritable compétition, les auteurs entrelacent des marches aléatoires issues des deux graphes à des ratios de mélange contrôlés ($\rho$), où $\rho$ représente la probabilité qu'un segment soit tiré de l'anneau.

2.2. Modélisation comportementale (Expérience 1)

Les auteurs ajustent un modèle de dynamique de croyance aux courbes de précision observées. Contrairement aux approches antérieures utilisant des priors log-plateaux, ils introduisent un prior pondéré par la complexité :
$$b_k = b_0 - \lambda \cdot C(H_k)$$
Où $C(H_k)$ est la complexité de la longueur de description minimale (MDL) de l'hypothèse de graphe (basée sur l'encodage de la liste des arêtes).

• Hypothèse : Si le modèle effectue une inférence structurelle, il devrait nécessiter plus de preuves pour s'engager envers le graphe plus complexe ($H_{grid}$), résultant en $\hat{\lambda} > 0$.
• Contraste : Des circuits d'induction purs devraient accumuler les statistiques de transition uniformément, indépendamment de la topologie globale, prédisant $\hat{\lambda} \approx 0$.

2.3. Analyse des représentations (Expérience 2)

Les auteurs analysent les activations du flux résiduel (spécifiquement la couche 26) en utilisant l'analyse en composantes principales (ACP).

• Métrique : Ils mesurent l'énergie de Dirichlet normalisée par le degré ($E_{norm}$) pour quantifier dans quelle mesure la géométrie de basse dimension des représentations des tokens-nœuds s'aligne avec la structure d'adjacence réelle du graphe.
• Objectif : Déterminer si les deux topologies de graphes sont simultanément récupérables dans des sous-espaces orthogonaux à des ratios de mélange intermédiaires, une signature incompatible avec une représentation unique mélangée issue d'une copie locale.

2.4. Interventions causales (Expérience 3)

Pour établir la causalité entre les représentations internes et les prédictions, les auteurs réalisent deux interventions :

1. Patchage d'activation : Remplacement des activations du flux résiduel provenant d'un prompt « corrompu » (mixte) par celles d'un prompt « propre » (graphe unique) à des couches spécifiques. Ils mesurent la récupération de la préférence pour le graphe propre en utilisant un score de contraste de logit.
2. Pilotage d'activation : Ajout d'un « vecteur de différence de graphe » appris (dérivé des contextes propre vs anneau) au flux résiduel pour dévier les prédictions vers une famille de graphes spécifique.

3. Résultats clés

3.1. Preuves comportementales

• Sensibilité à la complexité : Le modèle ajusté montre $\hat{\lambda} > 0$ et $\hat{b}_{grid} < \hat{b}_{ring}$. Le modèle nécessite un contexte disproportionnellement plus long pour s'engager envers la topologie de grille plus dense par rapport à l'anneau.
• Transition de phase : Le point d'inflexion pour la grille se déplace de manière monotone vers le bas à mesure que les preuves de l'anneau augmentent.
• Sélection de modèle : Une paramétrisation par graphe (permettant des dynamiques distinctes pour chaque graphe) surpasse significativement une ablation de biais de mélange (qui n'ajuste que le prior) sur les métriques AIC et BIC. Cela suggère que le modèle traite les preuves structurelles différemment pour chaque topologie, et non pas seulement via un prior statique.

3.2. Preuves représentatives

• Sous-espaces orthogonaux : À des ratios de mélange intermédiaires ($\rho = 0,5$), l'ACP révèle que les deux topologies de grille et d'anneau sont simultanément encodées dans des sous-espaces principaux orthogonaux.
• Implication : Un mécanisme d'induction purement local produirait une représentation unique mélangée des statistiques de co-occurrence. L'existence de deux structures globales séparables contredit l'hypothèse de « copie uniquement ».
• Alignement géométrique : À mesure que la longueur du contexte dépasse le point d'inflexion, la géométrie interne reflète progressivement la topologie réelle, $E_{norm}$ passant de 0,785 à 0,828.

3.3. Preuves causales

• Transfert de patch : Le patchage des couches tardives (autour des couches 26–30) transfère presque entièrement la préférence pour le graphe propre au prompt corrompu. Crucialement, cet effet s'étend aux arêtes non vues (voisins jamais observés dans le contexte corrompu), indiquant que le modèle ne se contente pas de rejouer des transitions observées mais utilise une représentation structurelle.
• Pilotage : Le pilotage linéaire utilisant le vecteur de différence de graphe déplace avec succès les prédictions dans la direction souhaitée. Cet effet est robuste face à des vecteurs aléatoires appariés par norme et à des contrôles avec étiquettes mélangées, confirmant que la directionnalité est spécifique au signal de la famille de graphes.

4. Contributions

1. Prior pondéré par la complexité : Remplacement des priors plats par une mesure de complexité inspirée de la MDL, récupérant une signature quantitative de biais structurel sensible à la topologie ($\hat{\lambda} > 0$).
2. Compétition entrelacée : Démonstration que l'accumulation de preuves biaisée par la topologie résiste à la prédiction des circuits d'induction d'un comportement symétrique dans un régime d'hypothèses mixtes.
3. Encodage simultané : Fourniture de preuves ACP que des topologies de graphes globales distinctes sont récupérables simultanément dans des sous-espaces orthogonaux, un motif difficile à concilier avec la copie de transitions locales.
4. Lien causal : Établissement, via le patchage et le pilotage, que ces structures représentatives contrôlent causalement les prédictions du token suivant, y compris pour des transitions non vues.

5. Signification et conclusion

L'article conclut que la dichotomie entre « croyance » (inférence de structure globale) et « circuits » (induction locale) est probablement une fausse dichotomie. Les preuves soutiennent un compte rendu à double mécanisme :

• Les mémoires de type induction restent importantes, comme en témoignent les effets retardés sur les arêtes non vues et la récupération incomplète sous pilotage.
• Les représentations de structure latente opèrent en parallèle, intégrant les preuves avant la prédiction finale.

Les auteurs affirment que l'architecture de cette coexistence — où l'inférence de structure véritable et les circuits d'induction opèrent simultanément — constitue le défi principal pour l'interprétabilité mécaniste à l'avenir. Ils ne prétendent pas que les LLM possèdent un raisonnement complet de type humain, mais plutôt qu'ils maintiennent des modèles du monde probabilistes implicites et manipulables parallèlement à des mécanismes de correspondance de motifs locaux.