🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

Ce papier examine où et comment les modèles de langage forment des représentations internes de contraintes futures lors de la planification, révélant que si l'information de rime future est décodable de manière linéaire à travers plusieurs familles et échelles de modèles, seul Gemma-3-27B repose causalement sur un mécanisme spécifique de transfert dans les couches tardives pour exploiter cette information, tandis que les autres modèles se conditionnent sur le mot de rime lui-même malgré l'affichage de signaux de sonde robustes.

Auteurs originaux : Nicole Ma, Nick Rui

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nicole Ma, Nick Rui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien exécuter un tour. Vous le voyez sortir un lapin d'un chapeau, mais vous ne savez pas comment il l'a fait. Avait-il caché le lapin dans sa manche tout au long du spectacle ? Ou l'a-t-il magiquement conjuré au moment où il a plongé la main dans le chapeau ?

Ce papier est comparable à une paire de lunettes aux rayons X pour les modèles d'IA. Les chercheurs voulaient savoir : Quand une IA écrit un poème, prépare-t-elle secrètement la fin avant même d'avoir écrit la ligne suivante ?

Voici l'histoire de leur découverte, décomposée en parties simples.

Le Test : Le Défi de la Rime

Pour tester cela, les chercheurs ont donné aux modèles d'IA une tâche simple : compléter un distique rimé.

L'invite : « Elle ressentit une soudaine terreur, »
L'objectif : L'IA doit écrire une deuxième ligne se terminant par un mot qui rime avec « terreur » (comme « peur » ou « cœur »).

La question était : L'IA possède-t-elle une note interne secrète disant « Je dois rimer avec « terreur » » avant de commencer à taper la deuxième ligne ? Ou résout-elle cela mot par mot au fur et à mesure ?

Les Deux Outils : L'« Espion » et le « Voyageur Temporel »

Les chercheurs ont utilisé deux méthodes différentes pour regarder à l'intérieur du cerveau de l'IA (ses « états cachés »).

L'Espion (Sondage Linéaire) :
Imaginez un espion qui peut jeter un coup d'œil aux notes de l'IA et demander : « Hé, sais-tu quel mot vient ensuite ? »
- Ce qu'ils ont découvert : Dans presque tous les modèles d'IA testés (Qwen, Llama et Gemma), l'espion a trouvé la réponse ! Au moment exact où l'IA terminait la première ligne (le caractère de nouvelle ligne), les notes internes de l'IA contenaient bien l'information sur la rime.
- Le hic : Le fait que l'espion trouve la note ne signifie pas que l'IA l'utilise réellement. Cela peut être comme avoir une carte dans sa poche mais l'ignorer et simplement marcher au hasard.
Le Voyageur Temporel (Patching d'Activation) :
C'est le vrai test. Imaginez que vous êtes l'IA. Vous êtes sur le point d'écrire la deuxième ligne. Les chercheurs « voyagent dans le temps » et remplacent votre état cérébral actuel par l'état cérébral d'une autre IA qui essayait de rimer avec un mot différent (par exemple, essayer de rimer avec « peur » au lieu de « terreur »).
- La question : Si vous remplacez l'état cérébral, l'IA commence-t-elle soudainement à écrire des mots qui riment avec « peur » ?
- Si oui : L'IA planifiait réellement et utilisait cette information.
- Si non : L'IA faisait semblant d'avoir un plan, ou elle l'a résolu plus tard.

La Grande Surprise : Un Seul Modèle Planifiait Vraiment

C'est ici que l'histoire devient intéressante. Les résultats étaient très différents selon les modèles :

Les « Faux Planificateurs » (Qwen et Llama) :
Ces modèles étaient excellents au test de l'« Espion ». Ils avaient l'information sur la rime stockée dans leur cerveau à la fin de la première ligne. Mais lorsque les chercheurs ont tenté le test du « Voyageur Temporel », rien ne s'est produit. Remplacer l'état cérébral n'a pas changé la sortie.
- Analogie : C'est comme un chef qui a une carte de recette sur le comptoir (l'information est là) mais l'ignore et cuisine uniquement à l'odorat et à l'instinct. Ils n'ont pas réellement utilisé le plan pour guider leur cuisine ; ils se sont contentés de regarder le dernier mot qu'ils avaient écrit (« terreur ») pour trouver le suivant.
Le « Vrai Planificateur » (Gemma-3-27B) :
Ce modèle spécifique était différent.
- Couches précoces : Au début de la deuxième ligne, il se fiait au dernier mot (« terreur »).
- Le Transfert : Vers la couche 30 (une profondeur spécifique dans le cerveau de l'IA), quelque chose de magique s'est produit. La « tâche de planification » a basculé du dernier mot vers la nouvelle ligne (l'espace vide après la première ligne).
- Le Résultat : Lorsque les chercheurs ont remplacé l'état cérébral à la nouvelle ligne, l'IA a immédiatement commencé à essayer de rimer avec le nouveau mot.
- Analogie : Ce modèle est comme un chef d'orchestre. Au début du morceau, il regarde la partition (le dernier mot). Mais à mi-parcours, il pose la partition et commence à diriger l'orchestre en se basant sur une carte mentale qu'il a construite pendant la pause (la nouvelle ligne). Il a réellement utilisé le plan pour guider la musique.

L'Enquête « Qui l'a fait ? »

Pour le modèle Gemma, les chercheurs voulaient savoir exactement quelles parties du cerveau effectuaient cette planification. Ils ont réduit le champ à une petite équipe très spécifique : cinq têtes d'attention (pensez à celles-ci comme à cinq neurones spécifiques ou « ouvriers » dans le cerveau de l'IA).

Quand ils ont perturbé uniquement ces cinq ouvriers, l'IA a perdu sa capacité à planifier. Quand ils les ont laissés tranquilles, l'IA planifiait parfaitement. Ce n'était pas un processus désordonné et général ; c'était une opération précise et chirurgicale réalisée par une petite équipe.

La Conclusion Principale

Le papier conclut que le simple fait qu'une IA ait des informations ne signifie pas qu'elle planifie.

De nombreux modèles peuvent stocker l'idée d'une future rime (ils ont la carte).
Mais un seul modèle (Gemma-3-27B) utilise réellement cette carte stockée pour guider ses actions futures (il suit la carte).
Pour les autres, ils réagissent simplement au passé immédiat, sans planifier pour le futur, même si l'information future est techniquement assise dans leur cerveau.

C'est important car cela montre que l'« intelligence » ou la « planification » ne consiste pas seulement à avoir des données ; il s'agit de la manière dont ces données sont activement utilisées pour façonner ce qui va se passer ensuite. Et, de manière surprenante, cette capacité à « planifier » n'est pas une caractéristique générale de toutes les grandes IA ; c'est une particularité spécifique que seuls certains modèles ont développée.

Résumé technique : Où est le plan ? Localisation de la planification latente dans les modèles de langage par des interventions mécanistiques légères

Énoncé du problème
Les modèles de langage autoregressifs génèrent du texte token par token, mais produisent fréquemment des sorties nécessitant une cohérence structurelle à long terme, telles que des couplets rimés. Cela soulève une question fondamentale concernant la planification latente : les modèles forment-ils des représentations internes des sorties futures qui entraînent causalement la génération, même lorsque ces processus sont invisibles pour l'évaluation comportementale externe ? Alors que des travaux antérieurs ont établi que des informations compatibles avec la planification existent dans certains modèles, il reste unclear où exactement ces informations résident durant le passage avant et si elles se déplacent (un phénomène que les auteurs nomment formation du site de planification). De plus, distinguer entre les informations qui sont simplement encodées (passives) et celles qui sont utilisées causalement (actives) est crucial pour une compréhension mécanistique précise et une évaluation de la sécurité.

Méthodologie
Les auteurs emploient un cas de test clair : la complétion de couplets rimés. Étant donnée une première ligne se terminant par un mot rime $r_1$ , le modèle doit générer une deuxième ligne se terminant par un mot rime $r_2$ . L'étude utilise deux méthodes d'intervention mécanistique légères sur trois familles de modèles open-source (Qwen3, Gemma-3, Llama-3) à diverses échelles (jusqu'à 70 milliards de paramètres) :

Sondage linéaire (Preuve d'encodage) : Des classifieurs linéaires sont entraînés pour prédire le token de rime futur $r_2$ à partir des états cachés $h_{\ell,i}$ à diverses couches $\ell$ et positions $i$ . Cela détermine si des informations compatibles avec la planification sont décodables à des emplacements spécifiques (par exemple, le dernier token de mot par rapport au token de nouvelle ligne).
Patchage d'activation (Preuve causale) : L'état caché à une position et une couche spécifiques d'une exécution « corrompue » (ciblant une famille de rimes différente) est substitué dans une exécution « propre ». Si cette intervention redirige la génération vers la rime corrompue, l'emplacement est identifié comme un site de planification causalement actif.

L'étude compare spécifiquement le dernier token de mot (position $i \approx -1$ ou $-2$) au token de nouvelle ligne (position $i = 0$ ) pour suivre la migration de l'influence causale.

Résultats clés

Dissociation de l'encodage et de la causalité :
- Sondage : Dans les trois familles de modèles, les sondes linéaires décodent avec succès les informations de rime future au niveau du token de nouvelle ligne. La force de ce signal augmente généralement avec l'échelle du modèle, suggérant que les représentations compatibles avec la planification sont une propriété émergente des modèles plus grands.
- Patchage d'activation : Malgré des signaux de sonde forts, seul Gemma-3-27B présente un site de planification causalement actif au niveau de la nouvelle ligne. Dans ce modèle, le moteur causal de la génération migre du dernier token de mot vers le token de nouvelle ligne autour de la couche 30.
- Autres modèles : Qwen3 (jusqu'à 32B) et Llama-3 (jusqu'à 70B) conditionnent sur le dernier token de mot tout au long de la génération. Malgré l'encodage des informations de rime au niveau de la nouvelle ligne (comme le montrent les sondes), le patchage de la nouvelle ligne dans ces modèles a un effet causal quasi nul sur la sortie.
Localisation du transfert (Gemma-3-27B) :
- Le « transfert » de l'influence causale du dernier mot vers la nouvelle ligne est médié par un ensemble épars de cinq têtes d'attention dans les couches 28 et 30.
- En utilisant le patchage de chemin en deux étapes, les auteurs démontrent que le patchage de ces cinq têtes spécifiques simultanément récupère environ 90 % de la capacité de routage des rimes normalement atteinte en écrasant l'intégralité du flux résiduel au niveau de la nouvelle ligne.
- Le mécanisme est spécifique à l'attention ; le patchage des MLP correspondants n'a aucun effet.

Contributions clés

Définition de la formation du site de planification : L'article formalise la distinction entre les représentations compatibles avec la planification (détectables par sondage) et les sites de planification causalement actifs (établis par intervention), soulignant que les premières ne garantissent pas les secondes.
Cadre mécanistique évolutif : Les auteurs proposent un cadre utilisant le sondage linéaire et le patchage d'activation qui ne nécessite aucun entraînement de transcodeur et beaucoup moins de données que les approches par vecteurs de direction, le rendant applicable aux grandes architectures open-source.
Découverte empirique de la divergence : L'étude révèle que différentes architectures de modèles (même dans la même plage d'échelle) résolvent les contraintes structurelles via des mécanismes fondamentalement différents : certains reposent sur une condition statique de « dernier mot », tandis que d'autres (comme Gemma-3-27B) mettent en œuvre un « transfert » dynamique vers la nouvelle ligne.
Identification de circuits épars : Le travail localise avec succès un comportement de planification complexe dans Gemma-3-27B vers un ensemble spécifique et restreint de têtes d'attention, démontrant que de tels phénomènes émergents peuvent être structurés plutôt que diffus.

Signification et affirmations
L'article soutient que le signal de sonde seul est une preuve insuffisante de l'existence d'un site de planification. Les évaluations comportementales standard ou le sondage simple peuvent systématiquement sous-estimer ou mal caractériser les capacités de planification d'un modèle s'ils échouent à distinguer l'encodage passif de l'utilisation causale active.

Les auteurs affirment que la formation du site de planification est un phénomène émergent distinct lié à une échelle et une architecture de modèle spécifiques, plutôt qu'une conséquence universelle de représentations compatibles avec la planification fortes. L'identification d'un circuit causal éparse (les cinq têtes d'attention) suggère que la planification latente peut être un processus computationnel hautement structuré.

L'étude conclut avec des limitations modestes : les résultats sont actuellement restreints à trois familles de modèles et à une seule tâche structurée (la rime). Les auteurs notent qu'il reste une question ouverte de savoir si ce mécanisme de « transfert » est un primitif de planification général ou spécifique aux contraintes phonologiques, et si l'absence de ce transfert dans les modèles Qwen et Llama est due à des différences architecturales ou aux données d'entraînement.