Résumé technique : Les LLM peuvent-ils s'introspecter ? Un contrôle de réalité

Énoncé du problème

L'article aborde la question de savoir si les grands modèles de langage (LLM) possèdent de véritables capacités métacognitives — spécifiquement, la capacité de surveiller, de rapporter et de réguler leurs propres états internes (l'introspection). Alors que des études récentes ont avancé des réponses affirmatives, ce travail soutient que de telles conclusions sont prématurées. Les auteurs postulent que les preuves existantes échouent à distinguer entre l'introspection véritable (un raisonnement basé sur l'accès à des états internes au-delà de ce que fournit l'entrée) et la mise en correspondance de motifs pilotée par l'entrée (l'exploitation de caractéristiques de surface de l'invite pour prédire le comportement). De plus, l'article soutient que la preuve comportementale seule est insuffisante pour établir une introspection « forte », qui nécessite des preuves d'un processus de second ordre dissociable, distinct du calcul de premier ordre.

Méthodologie

Les auteurs réexaminent deux paradigmes d'évaluation majeurs précédemment cités comme preuves de l'introspection des LLM, en introduisant des contrôles plus stricts pour éliminer les facteurs de confusion.

1. Le paradigme de biofeedback (Réexamen de Ji-An et al., 2025 ; Steinmetz Yalon et al., 2026)

Dans ce paradigme, les modèles sont chargés de prédire des étiquettes dérivées de leurs propres états cachés (par exemple, des scores neuronaux discrétisés ou des métriques de dominance de croyance) via l'apprentissage en contexte (ICL).

• Contrôle 1 : Réétiquetage aléatoire (Configuration supervisée) : Les auteurs conservent les données originales mais permutent aléatoirement les étiquettes avant d'entraîner le sondeur. Cela brise la corrélation sémantique entre l'entrée et la cible tout en préservant la distribution des étiquettes. Si le modèle repose sur une introspection véritable, il devrait toujours prédire la direction arbitraire ; s'il repose sur des indices sémantiques, les performances devraient chuter au niveau du hasard.
• Contrôle 2 : Sondage uniquement sur l'entrée (Configuration non supervisée) : Les auteurs entraînent des sondes linéaires en utilisant uniquement les embeddings de la couche 0 (entrée) des entités concernées pour prédire les étiquettes dérivées des états cachés. Si ces sondes basées uniquement sur l'entrée atteignent des performances équivalentes aux prédictions en contexte du LLM, cela suggère que la tâche peut être résolue via des caractéristiques de surface sans accès privilégié aux états cachés.
• Contrôle 3 : Dominance de la croyance (Steinmetz Yalon et al., 2026) : Les auteurs testent si les étiquettes de « Dominance de la croyance » (BD), qui mesurent le conflit entre les connaissances paramétriques et le contexte contrefactuel, peuvent être prédites uniquement à partir des embeddings des entités (par exemple, « France » et « Rome ») sans aucun contexte indiquant un conflit.

2. Le paradigme de conscience de l'orientation (Réexamen de Lindsey, 2025)

Ce paradigme teste si les modèles peuvent détecter lorsque leurs activations ont été modifiées par une « orientation » (ajout d'un vecteur de concept au flux résiduel).

• Conception à deux voies vs trois voies : Les études originales utilisaient une conception binaire (Intervention vs Contrôle). Les auteurs introduisent une conception à trois voies pour distinguer entre :
  1. Intervention sur l'état caché : Orientation réelle des activations.
  2. Intervention au niveau de l'entrée (« Gaslight ») : Invites textuelles instruisant le modèle de se concentrer sur un concept spécifique (par exemple, « Vous êtes obsédé par X »).
  3. Contrôle : Aucune intervention.
• Hypothèse : Si les modèles possèdent une introspection véritable, ils devraient distinguer entre les interventions au niveau de l'état caché et celles au niveau de l'entrée. S'ils détectent simplement des « anomalies » ou des irrégularités, ils devraient signaler les deux types d'interventions comme anormaux.

Contributions et résultats clés

1. Résultats du paradigme de biofeedback

• Les corrélats sémantiques déterminent les performances : Lorsque les étiquettes ont été permutées aléatoirement (supprimant le sens sémantique), la précision du modèle sur la tâche de biofeedback a chuté brutalement jusqu'à la ligne de base de la classe majoritaire. Cela indique que le succès initial était dû à l'apprentissage en contexte de la tâche sémantique sous-jacente (par exemple, la détection de violations éthiques) plutôt qu'à la surveillance des activations internes.
• Suffisance de l'entrée seule : Des sondes linéaires entraînées uniquement sur les embeddings d'entrée de la couche 0 ont atteint une précision comparable ou supérieure aux prédictions en contexte du LLM pour les étiquettes d'états cachés. Cela démontre que l'information « privilégiée » prétendument introspective est en fait récupérable à partir des caractéristiques de surface de l'entrée.
• Dominance de la croyance : De même, les étiquettes de clusters BD étaient prévisibles à partir des embeddings non contextualisés des entités impliquées. Les auteurs concluent que les performances du modèle reflètent le calcul de fonctions sur les caractéristiques des entités, et non une surveillance métacognitive des conflits d'états cachés.

2. Résultats de la conscience de l'orientation

• Échec à distinguer les types d'intervention : Dans le cadre à trois voies, les modèles (Llama-3.1-70B, Gemma-3-27B, Qwen2.5-72B) n'ont pas réussi à distinguer de manière fiable les interventions au niveau de l'entrée (« gaslight ») des interventions au niveau des activations.
• Détection d'anomalies vs introspection : Les modèles ont souvent signalé les invites « gaslight » comme des « injections de pensée » (interventions cachées). Cela suggère que leur « conscience » est une sensibilité générale aux irrégularités d'entrée ou aux décalages distributionnels, plutôt qu'un mécanisme spécifique pour inspecter les états internes.
• Reproductibilité : Bien que certains modèles aient reproduit les résultats originaux à deux voies (distinguant le contrôle de l'intervention), ils se sont effondrés dans le cadre plus rigoureux à trois voies, échouant à identifier la nature spécifique de la perturbation.

Signification et affirmations

L'article ne prétend pas que les LLM ne peuvent pas posséder d'introspection, mais plutôt que les preuves actuelles sont insuffisantes pour l'établir.

• Critique empirique : Les auteurs démontrent que les paradigmes existants échouent à exclure des explications simples pilotées par l'entrée. Le succès dans la prédiction d'étiquettes d'états internes ou la détection d'orientation peut être entièrement expliqué par la mise en correspondance de motifs sur des caractéristiques de surface ou une détection générale d'anomalies.
• Critique principielle : L'article soutient que l'« accès privilégié » (où les étiquettes dépendent d'états cachés non récupérables à partir de l'entrée) est une condition nécessaire mais non suffisante pour une introspection forte. Parce que tous les calculs des LLM s'effectuent sur des états cachés, une tâche définie sur des états cachés n'exige pas intrinsèquement un processus de second ordre. La véritable introspection, définie comme un processus de second ordre dissociable surveillant des représentations de premier ordre, nécessite des preuves mécanistiques (par exemple, des modes d'échec distincts ou une dissociation au niveau des circuits) que les paradigmes comportementaux seuls ne peuvent fournir.
• Orientation future : Les auteurs appellent à ce que les futures études incluent des contrôles plus stricts (comme la conception à trois voies et le réétiquetage aléatoire) et, surtout, à coupler les résultats comportementaux avec des preuves mécanistiques d'un processus de second ordre dissociable, en s'inspirant des leçons tirées de la recherche sur la métacognition humaine concernant les facteurs de confusion et la confabulation.