💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Cet article démontre que si les sondes linéaires sur les états cachés des LLM parviennent à une grande précision pour distinguer les tâches de raisonnement déductif, inductif et abductif, cette séparation est entièrement dictée par des biais de format de tâche plutôt que par des représentations computationnelles distinctes des modes de raisonnement eux-mêmes.

Auteurs originaux : Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La grande question : Les cerveaux de l'IA ont-ils différents « modes » ?

Imaginez que vous essayez de comprendre comment un chef cuisine. Vous remarquez que lorsqu'il prépare une salade, il porte un tablier vert, et lorsqu'il grille un steak, il porte un tablier rouge. Vous pourriez deviner : « Ah ! Le tablier vert signifie qu'il utilise une "stratégie salade", et le tablier rouge signifie qu'il utilise une "stratégie steak" ».

C'est exactement ce que les chercheurs font avec les modèles de langage étendus (LLM). Ils observent les « états cachés » de l'IA (son activité cérébrale interne) et utilisent un test simple appelé sonde linéaire pour voir si l'IA bascule entre différents « modes de raisonnement » (comme le déductif, l'inductif et l'abductif), tout comme un chef change de tablier.

Pendant longtemps, les données semblaient parfaites. Le « tablier vert » (tâches déductives) et le « tablier rouge » (tâches inductives) se trouvaient dans des parties complètement différentes du cerveau de l'IA. Les chercheurs ont pensé : « Génial ! L'IA a construit des circuits internes distincts pour différents types de pensée ».

Cette étude dit : « Attendez une minute. Vous ne voyez pas la pensée ; vous voyez l'uniforme. »

L'enquête : Que se passe-t-il réellement ?

Les chercheurs ont examiné de plus près l'IA (plus précisément un modèle appelé Qwen3-14B) en utilisant trois types différents d'énigmes logiques :

Déductif : Énigmes de logique (comme une démonstration mathématique).
Inductif : Questions scientifiques (trouver des modèles).
Abductif : Résolution de mystères (deviner la meilleure explication).

Ils ont découvert que l'activité cérébrale de l'IA semblait effectivement très différente pour chaque type. Mais ils soupçonnaient un piège.

La confusion de l'« uniforme »

Pensez-y de cette façon :

Les énigmes déductives provenaient d'un site web où chaque question possède 4 réponses possibles et une longue histoire.
Les énigmes inductives provenaient d'un autre site où chaque question possède également 4 réponses possibles mais utilise un vocabulaire scientifique.
Les énigmes abductives provenaient d'un troisième site où chaque question n'a que 2 réponses possibles et est très courte.

Les chercheurs ont réalisé que l'IA ne changeait pas nécessairement son style de pensée. Au lieu de cela, elle réagissait simplement au format de la question. C'est comme si le chef portait le tablier vert non pas parce qu'il fait une salade, mais parce que la cuisine où l'on fait la salade est peinte en vert.

Les trois tests (Le travail de détective)

Pour prouver leur théorie, les chercheurs ont mené trois tests spécifiques :

1. Le test du « dépouillement de l'uniforme » (Analyse résiduelle)
Ils ont pris l'activité cérébrale de l'IA et ont mathématiquement « effacé » les détails du format (comme le nombre de réponses, la longueur du texte et le site web d'origine de la question).

Résultat : Une fois le « uniforme » retiré (le format), le « tablier vert » et le « tablier rouge » ont disparu. L'activité cérébrale pour les trois tâches se ressemblait exactement. La séparation parfaite avait disparu, retombant au niveau du hasard.
Analogie : Si vous retirez les tabliers verts et rouges, le chef semble exactement le même, qu'il prépare une salade ou un steak.

2. La vérification du comportement (Accord Trace-Mode)
Ils ont examiné les mots réels écrits par l'IA pendant la résolution des problèmes. L'IA agissait-elle réellement différemment en résolvant une énigme logique par rapport à un mystère ?

Résultat : Non. L'IA a résolu les trois types de problèmes correctement (86 % de précision), mais sa façon de détailler la solution était presque identique pour tous. Elle n'a pas changé de stratégie ; elle a utilisé une seule « super-stratégie » pour tout.
Analogie : Le chef utilise exactement les mêmes compétences de découpe et le même mouvement de couteau, qu'il coupe une tomate ou une carotte. Il n'utilise pas une « technique tomate » par opposition à une « technique carotte ».

3. Le test de la « poussée » (Pilotage causal)
Les chercheurs ont essayé de « pousser » le cerveau de l'IA dans une direction spécifique pour la forcer à agir comme si elle était en « Mode Déductif » ou en « Mode Inductif ». Ils ont comparé cela à une poussée dans une direction aléatoire.

Résultat : Pousser l'IA dans la direction « Déductive » n'a pas mieux fonctionné qu'une poussée aléatoire. La géométrie du cerveau ne contrôlait pas réellement le style de pensée.
Analogie : Essayer de forcer le chef à changer de tablier en le poussant ne changeait pas ce qu'il cuisinait. Le tablier était une simple coïncidence, pas la cause du style de cuisine.

La conclusion

L'article conclut qu'une grande précision dans ces tests ne prouve pas que l'IA possède différents circuits de raisonnement internes.

Lorsque les chercheurs utilisent des jeux de données différents pour différents types de raisonnement (ce qui est la norme), l'IA apprend à reconnaître le format du jeu de données (l'« uniforme ») plutôt que la logique de la tâche. La « géométrie distincte » que les chercheurs voient dans le cerveau de l'IA n'est qu'un reflet du format de la question, et non le reflet d'un mode de pensée spécial.

À retenir :
Ce n'est pas parce que le cerveau d'une IA semble différent pour différentes tâches qu'elle pense différemment. Elle pourrait simplement porter un uniforme différent. Pour comprendre véritablement comment une IA raisonne, nous devons retirer le format et voir si la pensée change réellement. Dans ce cas, l'IA semble utiliser une stratégie unique et puissante pour résoudre tous les types de problèmes logiques, plutôt que de basculer entre des modes spécialisés.

Les blocs sont supprimés). Le pipeline se compose de cinq étapes :

Sondage linéaire par couche (Layer-wise Linear Probing) : Un sondage de régression logistique est entraîné à chaque couche pour prédire le mode de raisonnement à partir des états cachés. La géométrie du manifold (dimension intrinsèque, courbure, contamination de l'enveloppe convexe) est analysée à la couche la plus performante.
Décomposition du biais de format (Format Confound Decomposition) : Un pipeline d'analyse résiduelle en quatre étapes est introduit :
- Prédiction de la source : Sondage de l'identité de la source du jeu de données pour vérifier l'équivalence avec la prédiction du mode.
- Sondage du nombre d'options : Test pour déterminer si le nombre scalaire d'options (2 vs 4) sépare à lui seul les modes.
- Comparaison contrôlée par le format : Restriction de l'analyse aux tâches à 4 choix uniquement (LogiQA + ARC).
- Analyse résiduelle : Utilisation de la régression Ridge pour prédire les états cachés à partir d'un vecteur de caractéristiques de format (source en one-hot, nombre d'options, longueur de la réponse) et suppression de cette information linéaire. Le sondage est ensuite réévalué sur les résidus.
Accord Trace-Mode : Les traces de raisonnement générées par le modèle sont plongées dans un espace vectoriel (embeddings) et comparées à des descriptions ancres conçues à la main pour chaque mode. Les taux d'accord sont mesurés pour déterminer si le comportement observable du modèle s'adapte au type de tâche.
Pilotage causal avec contrôles aléatoires (Causal Steering with Random Controls) : Le pilotage par activation est appliqué en utilisant des vecteurs dérivés des différences de centroïdes entre les modes. Crucialement, cela est comparé à des contrôles de directions aléatoires ( $N=20$ ) de magnitude égale pour tester si la structure géométrique possède un lien causal fonctionnel avec le raisonnement ou si toute perturbation de cette magnitude produit des effets similaires.

Contributions Clés

Décomposition du biais de format : L'article introduit un pipeline d'analyse résiduelle démontrant que lorsque les caractéristiques de format (identité de la source, nombre d'options, longueur de la réponse) sont régressées, la précision du sondage s'effondre vers le niveau du hasard.
Analyse de l'accord Trace-Mode : Les auteurs montrent que bien que le modèle atteigne une précision globale élevée (86 %), ses traces de raisonnement ne présentent qu'un accord de 42,5 % avec les modes prévus (contre 33,3 % pour le hasard), suggérant une absence d'adaptation de la stratégie.
Contrôles causaux avec bases aléatoires : L'étude implémente des contrôles de direction aléatoire pour les expériences de pilotage (steering), une méthode souvent absente des travaux antérieurs, afin d'établir que les décalages géométriques observés ne sont pas liés causalement au raisonnement.
Recommandations méthodologiques : L'article propose que la déconfusion de format et les contrôles de direction aléatoire deviennent des pratiques standards dans l'interprétabilité basée sur le sondage (probing).

Résultats

1. Séparation parfaite apparente

À la couche 32 (80 % de la profondeur du réseau), les sondages linéaires atteignent une précision de validation croisée de 100 % pour distinguer les trois modes de raisonnement. La géométrie du manifold à cette couche montre des clusters distincts avec des dimensions intrinsèques variables (20,6 pour le déductif, 28,5 pour l'inductif, 33,6 pour l'abductif) et une contamination minimale de l'enveloppe convexe ( $\le 1,5 \%$ ).

2. La séparation est entièrement dictée par le format

L'analyse résiduelle renverse la découverte initiale :

Équivalence de la source : Un sondage prédisant la source du jeu de données atteint 100 % de précision, identique à la prédiction du mode.
Nombre d'options : Un sondage utilisant uniquement le nombre d'options atteint 33,3 % de précision (le prior pour la classe à 2 choix), confirmant que les caractéristiques structurelles sont exploitables.
Effondrement des résidus : Après suppression de l'information linéaire de format, la précision du sondage pour le mode de raisonnement et la source du jeu de données tombe à $\approx 33,5 \%$ , ce qui est indiscernable du hasard. La « géométrie du mode de raisonnement » est entièrement un artefact du format de la tâche.

3. Stratégie de raisonnement uniforme

Le modèle atteint 86 % de précision sur tous les types de tâches mais présente seulement 42,5 % d'accord trace-mode. Cela indique que le modèle ne modifie pas substantiellement sa stratégie de raisonnement lors du passage entre les tâches déductives, inductives et abductives ; il emploie probablement un mécanisme polyvalent.

4. Aucun lien fonctionnel dans la géométrie

Les expériences de pilotage causal révèlent que le pilotage le long de la direction de la différence de centroïde ne produit pas de résultats significativement différents par rapport aux perturbations aléatoires de même magnitude. La p-valeur empirique est de 0,286, et l'injection de conflit provoque un effondrement de la cohérence pour les paires ciblées comme pour les paires aléatoires. Cela confirme que la séparation géométrique n'a aucun rôle causal fonctionnel dans la sélection des modes de raisonnement.

Signification et Revendications

L'article soutient qu'une haute précision de sondage linéaire n'est pas une preuve suffisante de structure computationnelle interne lorsque les étiquettes de raisonnement sont confondues avec les sources de données. Les « représentations distinctes » observées dans la littérature précédente sont probablement des artefacts de la conception d'évaluation multi-sources standard plutôt que la preuve de circuits de raisonnement spécialisés.

Les auteurs affirment que le modèle raisonne bien pour les trois types, mais semble le faire en utilisant une stratégie largement uniforme plutôt que des modes de calcul distincts. Par conséquent, l'article appelle à un changement dans les pratiques d'interprétabilité mécaniste :

Les chercheurs doivent rapporter la précision de prédiction de la source parallèlement à la précision de prédiction du mode.
L'analyse résiduelle pour supprimer les caractéristiques de format devrait devenir un contrôle standard.
Les expériences de pilotage (steering) doivent inclure des contrôles de direction aléatoire pour vérifier la directionnalité.
Les futurs benchmarks devraient imposer des formats de surface identiques à travers les types de raisonnement pour isoler les véritables différences de raisonnement.

L'étude conclut que bien que les LLM possèdent des capacités de raisonnement, l'hypothèse selon laquelle ils utilisent des géométries internes distinctes pour différents modes de raisonnement n'est pas soutenue lorsque les biais de format sont correctement contrôlés.