💬 NLP

Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy

Cette étude démontre que les grands modèles de langage encodent les niveaux de complexité cognitive définis par la taxonomie de Bloom dans un sous-espace linéairement séparable de leurs représentations internes, atteignant une grande précision de classification et suggérant que la difficulté cognitive est résolue tôt lors de la passe avant.

Auteurs originaux : Bianca Raimondi, Maurizio Gabbrielli

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bianca Raimondi, Maurizio Gabbrielli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un robot super intelligent réfléchit. Pendant longtemps, les scientifiques ont traité ces robots, appelés modèles de langage étendus (LLM), comme des boîtes noires magiques. Vous tapez une question et une réponse parfaite en ressort, mais personne ne sait comment le robot y est parvenu. C'est comme regarder un chef cuisiner un repas gastronomique sans jamais voir la cuisine ni les ingrédients. Récemment, un domaine appelé « interprétabilité mécaniste » a commencé à jeter un coup d'œil dans la cuisine, tentant de cartographier les circuits cérébraux du robot. Une grande question qu'ils posent est la suivante : le robot comprend-il réellement la difficulté d'une tâche, ou ne fait-il que deviner en fonction des mots qu'il voit ? Pour répondre à cela, les chercheurs utilisent un outil pédagogique célèbre appelé la « Taxonomie de Bloom ». Considérez cela comme une échelle de compétences de réflexion. Le premier échelon est la mémoire simple (réciter un fait) et le sommet est la créativité de haut niveau (concevoir quelque chose de nouveau). Si un robot est vraiment intelligent, ses signaux cérébraux internes devraient changer à mesure que vous grimpez sur cette échelle, tout comme le cerveau humain le fait lorsqu'il passe de la mémorisation d'une date à la résolution d'un mystère complexe.

Ce document examine le cerveau du robot à la loupe pour voir s'il organise ses pensées selon cette échelle de difficulté. Les chercheurs, Bianca Raimondi et Maurizio Gabbrielli, ne se sont pas contentés de poser des questions au robot ; ils ont observé les signaux électriques (activations) à l'intérieur du cerveau du robot pendant qu'il réfléchissait. Ils ont testé quatre cerveaux de robots populaires différents (Llama, Qwen, Gemma et DeepSeek) en utilisant 1 128 questions allant de tâches simples de type « définissez ceci » à des défis complexes de type « concevez un nouveau système ». Ils voulaient savoir : pouvons-nous tracer une simple ligne droite à travers les données du cerveau du robot pour dire s'il est en train d'effectuer une tâche de mémoire simple ou une tâche créative complexe ?

La réponse est un oui retentissant, et cela se produit étonnamment vite. L'équipe a découvert qu'aussitôt que le robot commence à traiter une phrase (dans les premières couches de son cerveau), il sait déjà quelle est la difficulté de la tâche. Ils appellent ce moment le « début de la séparabilité cognitive ». C'est comme si le robot possédait un interrupteur spécial de « difficulté » qui s'active presque immédiatement. Dès la 5e couche (sur 30 à 36 couches dans ces modèles), les signaux cérébraux du robot pour le « Rappel » sont si clairement différents de la « Création » qu'un simple outil mathématique peut les distinguer avec environ 90 % de précision. C'est comme si le robot triait ses pensées en piles distinctes et ordonnées selon la difficulté de la tâche, et il fait cela avant même de commencer à écrire la réponse.

Plus cool encore, le robot fait des erreurs de manière très humaine. Lorsqu'il est confus, il mélange généralement des étapes qui sont adjacentes sur l'échelle. Par exemple, il peut confondre l'« Analyse » avec l'« Évaluation », mais il ne confond presque jamais le « Rappel » avec la « Création ». Cela suggère que le robot ne fait pas que mémoriser des étiquettes aléatoires ; il a construit une carte mentale où les niveaux de difficulté sont disposés sur une ligne lisse et ordonnée, exactement comme l'intention de la théorie éducative.

Pour s'assurer que le robot ne trichait pas en regardant des indices simples (comme remarquer que « concevoir » signifie généralement « difficile » et « lister » signifie « facile »), les chercheurs ont effectué des tests de contrôle. Ils ont essayé de deviner la difficulté en utilisant uniquement les mots sur la page, sans regarder le cerveau du robot. Ces méthodes simples de comptage de mots ont échoué lamentablement, obtenant seulement environ 73 % de précision et faisant des erreurs aléatoires et éparpillées. Cela prouve que le robot fait réellement quelque chose de plus profond que la simple lecture de l'invite ; il construit une représentation interne complexe de la difficulté de la tâche.

Enfin, l'équipe a tenté de « diriger » le cerveau du robot. Ils ont trouvé une direction spécifique dans les signaux cérébraux du robot qui pointe vers une « difficulté plus élevée ». Lorsqu'ils ont poussé le cerveau du robot dans cette direction, les réponses du robot ont réellement changé. Si on poussait une question simple vers la direction « créative », le robot commençait à donner des réponses plus complexes et analytiques. Cependant, si on poussait trop fort ou trop tard dans le processus, le robot commençait à bégayer et à répéter des mots, montant ainsi que cette « direction de difficulté » est une partie réelle et fonctionnelle de la façon dont le robot réfléchit, et non un simple motif passif.

En bref, ce document suggère que ces modèles d'IA possèdent un sens mesurable de la complexité cognitive. Ils ne se contentent pas de traiter des mots ; ils organisent leurs pensées internes selon une échelle de difficulté, triant les faits simples des idées complexes de manière structurée et linéaire, ce qui reflète l'apprentissage humain. Cette découverte nous offre une nouvelle façon de jeter un coup d'œil à l'intérieur de la boîte noire et de comprendre que, du moins à certains égards, ces modèles organisent leurs « pensées » de manière très similaire à la nôtre.

Résumé Technique : Interprétabilité Mécaniste de la Complexité Cognitive dans les LLM via le Sondage Linéaire utilisant la Taxonomie de Bloom

Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement et de génération complexes, pourtant leurs mécanismes internes demeurent une « boîte noire ». Les cadres d'évaluation actuels reposent fortement sur des mesures de performance de surface (par exemple, l'exactitude de la réponse), lesquelles échouent à distinguer la mémorisation par cœur du véritable raisonnement multi-étapes. Ce document aborde la nécessité d'évaluer la profondeur cognitive des LLM en investiguant si leurs représentations neurales internes encodent une structure hiérarchique de complexité cognitive, s'alignant spécifiquement sur la Taxonomie de Bloom (Se souvenir, Comprendre, Appliquer, Analyser, Évaluer, Créer). Les questions de recherche centrales portent sur la question de savoir si ces niveaux cognitifs sont linéairement séparables au sein des flux résiduels des modèles, à quelle profondeur ils émergent, et si ces représentations sont causalement actives durant la génération.

Méthodologie

L'étude emploie une approche d'interprétabilité mécaniste utilisant le sondage linéaire (linear probing) sur les activations du flux résiduel de quatre modèles open-weight de pointe : Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it, et DeepSeek-R1-Distill-Llama-8B.

Construction du Jeu de Données : Un jeu de données équilibré de 1 128 questions en langage naturel a été organisé, avec 188 questions par niveau de la Taxonomie de Bloom (0–5). Les sources incluent des requêtes de cours de science informatique et le jeu de données EduQG. Le jeu de données a été sous-échantillonné pour assurer l'équilibre des classes et empêcher les priors statistiques d'influencer la précision du sondage.
Extraction d'Activations : Pour chaque modèle, les auteurs ont effectué une passe avant (forward pass) sans fine-tuning, extrayant le vecteur d'état caché ( $x_l$ ) à la position du dernier jeton pour chaque couche $l$ dans le flux résiduel.
Sondage Linéaire : Un classificateur de régression logistique a été entraîné à chaque couche pour prédire le niveau de Bloom ( $y \in \{0, \dots, 5\}$ ) à partir des vecteurs d'activation extraits. L'utilisation d'un sonde linéaire garantit que la réussite de la classification reflète une information qui est linéairement décodable à partir des représentations, plutôt que de s'appuyer sur la capacité expressive de classificateurs non linéaires.
Expériences de Contrôle : Pour écarter la possibilité que la précision du sondage soit uniquement dictée par des indices lexicaux de surface (par exemple, des verbes spécifiques comme « définir » vs « concevoir »), les auteurs ont comparé leurs résultats contre :
- Analyse de Longueur : Vérification de l'absence de différences de longueur significatives entre les niveaux.
- Baselines Superficielles : Entraînement de la régression logistique sur des vecteurs TF-IDF et des plongements de phrases (sentence embeddings) du texte brut.
Validation Causale (Pilotage d'Activation) : Pour tester si ces représentations sont causalement actives, les auteurs ont défini des vecteurs de pilotage (steering vectors) comme étant la différence entre la moyenne des activations du niveau cognitif le plus élevé (Créer) et des niveaux inférieurs. Ces vecteurs ont été injectés dans le flux résiduel à différentes couches avec des intensités variables ( $\alpha$ ) pour observer les changements dans le niveau cognitif prédit par le modèle et la nature qualitative des sorties générées.

Résultats Clés

1. Séparabilité Linéaire et Début de Séparabilité Cognitive (CSO)

Les sondes linéaires ont atteint une précision élevée (approchant la performance plafond) sur tous les modèles, indiquant que la complexité cognitive est encodée dans un sous-espace linéairement accessible du flux résiduel.

Profondeur d'Émergence : La profondeur cognitive n'est pas linéairement séparable au niveau de l'entrée ou de l'embedding. Au lieu de cela, un Début de Séparabilité Cognitive (CSO) se produit de manière constante autour de la Couche 5 à travers différentes architectures.
Stabilité : Une fois le CSO atteint, la précision du sondage reste stable ou s'améliore légèrement dans les couches plus profondes, suggérant que la représentation de la complexité cognitive est établie tôt et préservée plutôt que recalculée à chaque étape.

2. Structure Géométrique et Motifs d'Erreur

Analyse des Centroïdes : La distance euclidienne entre les centroïdes des niveaux de Bloom adjacents augmente de manière monotone avec la profondeur, montrant un désenchevêtrement géométrique progressif des niveaux cognitifs.
Erreurs Structurées : Les matrices de confusion révèlent que les erreurs de classification se produisent principalement entre des niveaux de Bloom adjacents (ex: Analyser vs Évaluer). Les erreurs à longue portée (ex: Se souvenir vs Créer) sont rares. Cela suggère que le modèle encode la profondeur cognitive comme une variété (manifold) continue et ordonnée plutôt que comme des classes discrètes arbitraires, reflétant la structure ordonnale de la théorie de l'éducation humaine.

3. Expériences de Contrôle

Les baselines textuelles superficielles (TF-IDF et sentence embeddings) ont obtenu une précision nettement inférieure (~~61–73 %) par rapport aux sondes du flux résiduel (~~90 %). De plus, les motifs d'erreur des baselines superficielles étaient bruyants et non ordonnés, tandis que les erreurs du flux résiduel étaient strictement adjacentes. Cela confirme que la structure cognitive observée n'est pas simplement le reflet d'indices lexicaux de surface, mais représente une organisation interne plus profonde de l'espace latent du modèle.

4. Validation Causale via le Pilotage (Steering)

Les expériences de pilotage d'activation ont démontré que la perturbation du flux résiduel le long de la direction cognitive identifiée induit un changement systématique du comportement du modèle :

Dépendance à la Couche : Le pilotage dans les couches précoces/intermédiaires (ex: Couche 5) a entraîné des changements cohérents dans le style de raisonnement (ex: passer de l'énumération de faits à l'analyse de relations). Le pilotage dans les couches plus profondes a souvent conduit à une dégradation de la fluidité et à des répétitions sans changements de raisonnement significatifs.
Dépendance à l'Intensité : Des intensités de pilotage modérées ont produit des transitions interprétables dans le cadrage cognitif, tandis que des intensités élevées ont causé de l'instabilité.
Magnitude du Changage : Les interventions ont induit un décalage moyen de +1 à +1,5 niveau de Bloom dans le niveau cognitif prédit par le sondage.

Signification et Revendications

L'article prétend fournir une preuve mécaniste directe que les LLM organisent spontanément leurs représentations internes pour encoder une demande cognitive hiérarchique, abstraite du contenu de domaine spécifique.

Au-delà des Métriques de Surface : Les résultats suggèrent que la complexité cognitive n'est pas seulement un résultat comportemental, mais une propriété structurelle de l'espace latent du modèle, émergeant tôt dans la passe avant.
La Taxonomie de Bloom comme Prisme : L'étude valide la Taxonomie de Bloom comme un cadre utile non seulement pour l'éducation humaine, mais aussi pour analyser les mécanismes internes de l'IA, révélant que les modèles alignent leur géométrie interne avec les hiérarchies cognitives définies par l'homme.
Pertinence Causale : En démontrant que le pilotage de ces représentations modifie la sortie du modèle, les auteurs soutiennent que ces représentations cognitives sont des composants causalement actifs du processus de génération, et non de simples artefacts de corrélation.

Les auteurs maintiennent un champ d'application modeste, notant que leur analyse est actuellement limitée aux transformeurs de type decoder-only et aux questions éducatives en anglais. Ils posent que ces résultats jettent les bases de travaux futurs visant à surveiller et réguler les paramètres cognitifs de l'IA via leurs corrélats neuraux, progressant vers des standards d'évaluation comparables à l'intelligence humaine.