💻 computer science

When Does a Readout Reflect Computation? Dose-Response Interventions in Continuous Thought Models

Cet article démontre que dans les modèles de pensée continus, l'interprétabilité basée sur la lecture (readout) échoue souvent à refléter le calcul sous-jacent car les états latents nécessaires pour changer la réponse du modèle sont significativement plus grands que ceux nécessaires pour altérer la projection de lecture, nécessitant des courbes dose-réponse plutôt que des interventions de magnitude unique pour une analyse causale précise.

Auteurs originaux : ChaeWoo Son

Publié 2026-08-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : ChaeWoo Son

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot super intelligent réfléchit. Habituellement, quand nous parlons à ces robots, ils s'expriment avec des mots, donc nous pouvons lire leurs « pensées » au fur et à mesure qu'elles se produisent. Mais il existe un nouveau type de robot qui réfléchit dans un langage secret et invisible — un nuage continu et tourbillonnant de nombres appelé « espace latent ». Il effectue tout son calcul et son raisonnement à l'intérieur de ce nuage de nombres sans jamais dire un mot avant d'être prêt à donner la réponse finale. C'est comme un chef cuisinier préparant un repas complexe dans une cuisine scellée ; vous ne voyez pas le hachage ou le mélange, vous ne voyez que le plat final.

Pour jeter un coup d'œil à l'intérieur de cette cuisine secrète, les scientifiques utilisent un outil spécial appelé « lecture » (readout). Imaginez cela comme une fenêtre magique qui projette le nuage de nombres invisible du robot sur un mur de mots de vocabulaire. Si le robot pense à « Paris », la fenêtre pourrait afficher le mot « Paris » de manière éclatante. Pendant longtemps, les chercheurs ont supposé que si la fenêtre affichait un mot, c'est que le robot était définitivement en train de penser ce mot. Ils croyaient que la fenêtre était un miroir parfait du cerveau du robot. Mais et si la fenêtre était un peu tricheuse ? Et si elle affichait un mot simplement parce que vous avez tapoté légèrement la vitre, même si le robot n'a pas réellement changé d'avis ? C'est la grande question que cet article pose : la fenêtre montre-t-elle vraiment ce que le robot calcule, ou est-elle simplement en train de réagir au tapotement ?

Les chercheurs, dirigés par ChaeWoo Son, ont décidé de tester cela en jouant à un jeu de « tir à la corde » avec le cerveau du robot. Ils ont utilisé un type spécifique de robot appelé « Coconut » (Chain of Continuous Thought), qui raisonne dans cet espace de nombres secret. Pour que le test soit équitable, ils ont d'abord entraîné le robot pour que sa « fenêtre » (un outil appelé J-lens) montre de manière fiable un mot spécifique, comme un pont entre deux faits. Ensuite, ils ont commencé à piquer le cerveau du robot avec de légères poussées contrôlées. Ils n'ont pas simplement poussé au hasard ; ils ont mesuré exactement la force de la poussée (la « dose ») et ont observé deux choses : est-ce que le mot de la fenêtre a changé, et est-ce que la réponse finale du robot a changé ?

Les résultats ont été une immense surprise. Ils ont découvert que la fenêtre et le véritable cerveau du robot ont des « seuils de sensibilité » très différents. Imaginez que la fenêtre est comme un capteur de mouvement très sensible qui bipe si vous passez devant lui, tandis que le cerveau du robot est comme un coffre-fort lourd qui ne s'ouvre que si vous appuyez sur le bouton avec beaucoup de force. Les chercheurs ont découvert que lorsqu'ils avaient poussé le robot juste assez pour faire basculer le mot de la fenêtre (une toute petite poussée d'environ 0,13 à 0,16 unité de force), le cerveau du robot n'avait pas bougé du tout. Le robot conservait sa réponse originale. En fait, sur un type de tâche, le cerveau du robot avait besoin d'une poussée plus de deux fois plus forte (2,03 fois plus forte) pour réellement changer d'avis.

Plus étrange encore, ils ont découvert un « tunnel secret » dans le cerveau du robot. Ils ont trouvé une direction de poussée que la fenêtre ne pouvait absolument pas voir. Même si la fenêtre restait figée sur l'ancien mot, le cerveau du robot avait complètement changé sa réponse pour une nouvelle dans 96 à 97 % des cas ! C'était comme si le robot se murmurait un nouveau secret à lui-même pendant que la fenêtre continuait de crier l'ancien. Lorsqu'ils ont essayé de pousser dans une direction aléatoire avec la même force, rien ne s'est passé, prouvant qu'il ne s'agait pas seulement de la force de la poussée, mais de l'endroit où ils poussaient.

L'article admet également une erreur amusante qu'ils ont commise. Au début, ils ont essayé de tester si le robot utilisait ses pensées de « pont » en poussant juste assez pour faire changer la fenêtre. Ils ont arrêté de pousser dès que la fenêtre a basculé, pensant qu'ils en avaient fait assez. Mais comme la fenêtre est si sensible, ils se sont arrêtés beaucoup trop tôt — bien avant que le cerveau du robot n'ait même commencé à changer. Ils ont obtenu un résultat disant que « rien ne s'est passé », mais c'était une fausse alerte car ils n'avaient pas poussé assez fort.

La conclusion principale est un avertissement pour quiconque tente de lire l'esprit d'un robot : vous ne pouvez pas simplement regarder la fenêtre et supposer que vous savez ce que le robot pense. La fenêtre peut changer d'avis bien avant le robot, ou elle peut ne pas changer du tout même quand le robot fait quelque chose d'énorme. Pour vraiment comprendre le robot, vous devez mesurer la force de votre poussée et observer comment le robot réagit à chaque étape, et non pas seulement à un seul moment précis. La fenêtre est un outil utile, mais ce n'est pas un miroir parfait du calcul qui se déroule à l'intérieur.

Résumé Technique : Quand un readout reflète-t-il le calcul ? Interventions dose-réponse dans les modèles de pensée continue

1. Énoncé du problème

Les modèles de type « Chain of Continuous Thought » (Coconut) effectuent leur raisonnement dans un espace latent continu en réinjectant le dernier état caché comme l'embedding d'entrée suivant, plutôt que de décoder des étapes intermédiaires en jetons (tokens) de langage naturel. Bien que cela offre une grande expressivité, cela crée un « problème de monitorabilité » : le calcul intermédiaire ne peut pas être observé directement.

Les pratiques actuelles d'interprétabilité reposent sur des readouts — des projections des états cachés dans l'espace du vocabulaire (par exemple, via un Logit Lens ou un Tuned Lens). L'inférence standard est la suivante : si le readout change, le calcul sous-jacent a changé. Cependant, cette inférence a historiquement été testée à une seule magnitude d'intervention. L'article postule que si le readout et le calcul possèdent des sensibilités différentes à une même direction d'intervention, un test à magnitude unique ne peut révéler la divergence, ce qui pourrait conduire à des conclusions erronées sur le raisonnement interne du modèle.

2. Méthodologie

Pour mesurer la sensibilité du readout par rapport à celle du calcul en fonction de la magnitude de l'intervention, l'auteur a construit un banc d'essai contrôlé et un protocole dose-réponse.

2.1 Construction du banc d'essai contrôlé

Supervision par J-Lens : L'auteur a entraîné un modèle Coconut de 2 milliards de paramètres sur des tâches de rappel factuel à deux sauts. Ils ont ajouté un terme de supervision J-lens à la fonction de perte pour forcer la pensée continue (l'état latent) à s'aligner sur un jeton spécifique (l'entité « pont »), tout en laissant la perte de la réponse finale inchangée.
Validation : Cette supervision a permis d'atteindre une probabilité de masse de >0,95 sur le jeton de l'entité pont dans le readout, tout en maintenant une précision de 100 % sur la réponse. Cela garantit que le readout est « contrôlé » (pointant vers un jeton connu) sans dégrader la capacité de calcul du modèle.
Auto-étiquetage : L'auteur a démontré que le modèle pouvait générer ses propres étiquettes de pont via le readout J-lens, éliminant ainsi le besoin d'annotations humaines supplémentaires pour le signal de supervision.

2.2 Protocole d'intervention dose-réponse

L'innovation centrale est un protocole qui découple la magnitude de l'intervention de sa direction :

Magnitude relative fixe ( $\alpha$ ) : Les interventions sont appliquées avec une magnitude relative fixe $\alpha = \|\delta\|/\|h\|$ , recalculée à chaque étape latente pour tenir compte de la divergence de l'état.
Décomposition orthogonale : Le delta causal ( $d = h_{donneur} - h_{recepteur}$ $d = h_{d o nn e u r} - h_{r ece pt e u r}$ ) est décomposé en deux composantes orthogonales :
- $d_{\parallel}$ : la composante parallèle au gradient de la lentille (la direction que la lentille détecte).
- $d_{\perp}$ : la composante orthogonale au gradient de la lentille (la direction dont la lentille est « aveugle »).
Contrôle aléatoire apparié : Une direction aléatoire est générée de manière orthogonale au gradient de la lentille et appariée en norme à $d_{\perp}$ . Cela contrôle la magnitude et l'invisibilité de la lentille, isolant ainsi l'effet de la direction.
Balayage de dose (Dose Sweep) : L'auteur a balayé $\alpha$ à travers une grille (de 0,10 à 0,60) pour générer des courbes dose-réponse pour le readout (changement de jeton) et le calcul (changement de réponse).

3. Résultats clés

3.1 Dissociation des seuils (Direction visible par la lentille)

Le long de la direction que la lentille détecte ( $d_{\parallel}$ ), le readout et le calcul présentent des seuils d'activation significativement différents :

Sensibilité du readout : Le readout bascule vers le jeton donneur à des magnitudes relatives de 0,125–0,158.
Sensibilité du calcul : La réponse ne change pas à ces magnitudes.
- Sur la relation lmk (landmark $\to$ pays $\to$ capitale), le seuil de la réponse est 2,03 fois plus élevé (0,253) que le seuil du readout.
- Sur la relation typeA (capitale $\to$ pays $\to$ continent), la réponse n'atteint jamais un basculement majoritaire avant que le modèle ne se brise (produit un jeton non lié) à des magnitudes élevées.
Implication : Une intervention de norme minimale qui s'arrête dès que le readout bascule (la procédure standard) s'arrête à environ la moitié du seuil causal (ou en dessous), échouant à détecter le lien causal.

3.2 Le canal « invisible »

Le long de la direction que la lentille ne détecte pas ( $d_{\perp}$ ) :

Calcul : Les interventions parviennent à transplanter la réponse dans 96–97 % des essais (seuils $\approx$ 0,45–0,48).
Readout : Le readout ne change jamais (0/900 essais) et reste ancré sur le jeton receveur.
Contrôle : Le contrôle aléatoire apparié n'a produit aucun changement, ni dans le readout ni dans la réponse, confirmant que l'effet est dû à la direction spécifique de $d_{\perp}$ et non simplement à la magnitude.

3.3 Le piège du « faux nul » (False Null Trap)

L'auteur rapporte une expérience initiale pré-enregistrée qui est tombée dans ce pièage :

Ils ont effectué une intervention jusqu'à ce que le readout bascule (magnitude d'arrêt $\approx$ 0,119).
Résultat : 0/90 basculements de réponse. Ils en avaient conclu initialement que le pont n'était pas utilisé dans le calcul.
Correction : La courbe dose-réponse a révélé que le seuil de la réponse était de 0,253. Le test initial avait échoué car il s'était arrêté trop tôt, mesurant en dessous du seuil causal.

3.4 Robustesse

L'écart de seuil persiste (1,74 $\times$ ) même sans supervision J-lens, indiquant que la dissociation n'est pas un artefact du signal d'entraînement, mais une propriété structurelle du modèle.
L'écart n'est pas expliqué par le fait que le modèle « se brise » à des magnitudes élevées ; la dissociation se produit dans la fenêtre de fonctionnement stable.

4. Contributions

Protocole Dose-Réponse : Une méthode pour séparer la sensibilité du readout de la sensibilité du calcul en utilisant une magnitude fixe, une décomposition orthogonale et des contrôles aléatoires appariés.
Dissociation Quantifiée : Preuve que le readout et le calcul possèdent des seuils différents le long d'une même direction, et que le calcul peut être transplanté le long de directions que le readout ne détecte pas.
Diagnostic des interventions de norme minimale : Démonstration que les interventions standard ciblant le readout produisent systématiquement des faux négatifs (faux nuls) car elles s'arrêtent avant que le calcul ne change.
Banc d'essai contrôlé : Une méthode pour aligner les readouts sur des jetons spécifiques sans perte de précision, permettant une mesure causale précise.

5. Signification et affirmations

L'article soutient que la sensibilité du readout est une propriété du readout, et non du calcul. Le fait qu'un readout change n'implique pas que le calcul a changé, et l'absence de changement de readout n'implique pas non plus un changement de calcul.

Avertissement méthodologique : Les affirmations d'interprétabilité basées sur des interventions à magnitude unique sont insuffisantes. Un résultat nul (pas de changement de réponse) ne permet pas de distinguer si « la direction n'est pas causale » ou si « nous n'avons pas poussé assez fort ».
Prescription : Les affirmations causales basées sur le readout doivent être rapportées sous forme de courbes dose-réponse incluant :
1. La magnitude à laquelle le readout répond.
2. La magnitude à laquelle la sortie répond.
3. Un contrôle aléatoire apparié sur la magnitude et les invariants.
Portée : L'auteur reste modeste quant à la généralisation, notant que les mesures ont été prises sur un seul modèle, une seule couche et des relations synthétiques. Il ne prétend pas avoir cartographié l'intégralité de l'espace latent, mais a exposé une limitation structurelle dans la façon dont les readouts sont actuellement interprétés.

L'article conclut que les travaux demandant « ce qui peut être lu à partir d'un readout » doivent également demander « à quelle magnitude ce qui est lu correspond au calcul ».