💬 NLP

When Self-Reference Fails to Close: Matrix-Level Dynamics in Large Language Models

Cette étude démontre que les entrées auto-référentielles ne déstabilisent les grands modèles de langage que lorsqu'elles induisent une récursion de vérité non fermante (NCTR), provoquant des perturbations spécifiques dans la dynamique des matrices d'attention et une augmentation significative des sorties contradictoires, contrairement aux déclarations auto-référentielles ancrées qui restent stables.

Auteurs originaux : Ji Ho Bae

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ji Ho Bae

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Quand le miroir se brise : Ce qui se passe dans le cerveau des IA

Imaginez que vous demandez à un ami très intelligent, mais un peu rigide, de résoudre une énigme logique. Si vous lui dites : « Le ciel est bleu », il réfléchit et répond « C'est vrai ». Si vous dites « 2 + 2 = 5 », il répond « C'est faux ». Tout va bien.

Mais que se passe-t-il si vous lui dites : « Cette phrase est fausse » ?

C'est le célèbre paradoxe du menteur. Si c'est vrai, alors c'est faux. Si c'est faux, alors c'est vrai. C'est une boucle sans fin.

Cette étude de recherche s'est demandé : qu'est-ce qui se passe à l'intérieur du cerveau d'une intelligence artificielle (comme ChatGPT) quand on lui pose ce genre de piège ?

Les chercheurs ont découvert que ce n'est pas le fait de parler de soi-même qui pose problème, mais le fait de se coincer dans une boucle logique qui ne finit jamais.

1. La différence entre "Se regarder" et "Se perdre"

Les chercheurs ont testé quatre modèles d'IA différents (des versions de Qwen, Llama et Gemma) avec 300 phrases différentes. Ils ont divisé ces phrases en deux grands groupes :

Le groupe "Miroir stable" (Stable Self-Reference) : Des phrases comme « Cette phrase contient cinq mots ». L'IA peut vérifier cela facilement. C'est comme regarder dans un miroir et voir son reflet : c'est clair, stable et ça ne change rien.
Le groupe "Labyrinthe sans sortie" (NCTR) : Des phrases comme « Cette phrase est fausse » ou des boucles infinies (« Phrase A dit que B est faux, et B dit que A est vrai »). C'est comme essayer de monter un escalier qui remonte vers le ciel sans jamais atteindre le haut.

La découverte clé : L'IA ne panique pas quand elle se parle à elle-même. Elle panique seulement quand elle est forcée de résoudre une énigme qui n'a pas de solution logique.

2. L'analogie du "Tapis de danse" (La dynamique des matrices)

Pour comprendre ce qui se passe dans le cerveau de l'IA, imaginez que chaque couche de son réseau neuronal est une salle de danse remplie de danseurs (les données).

Quand l'IA réfléchit normalement : Les danseurs se regroupent en petits cercles, ils dansent une chorégraphie précise et ordonnée. C'est efficace.
Quand l'IA rencontre un paradoxe (NCTR) : Les danseurs se mettent à courir partout ! Au lieu de former un petit groupe, ils s'étalent sur toute la salle, chacun dans une direction différente. C'est le chaos.

Les chercheurs ont mesuré ce phénomène avec des outils mathématiques (qu'ils appellent des "matrices"). Ils ont vu que face aux paradoxes :

L'attention de l'IA se disperse : Au lieu de se concentrer sur un point, elle regarde partout en même temps, comme si elle cherchait une issue qui n'existe pas.
Elle oscille : Les données vont et viennent sans jamais se stabiliser, comme une balle qui rebondit éternellement entre deux murs sans s'arrêter.

3. Pourquoi est-ce important ?

Les chercheurs ont découvert que cette "panique" mathématique a des conséquences réelles :

L'IA commence à dire n'importe quoi : Quand elle est coincée dans ce labyrinthe, elle produit beaucoup plus de réponses contradictoires (par exemple, dire "Oui" et "Non" dans la même phrase).
Ce n'est pas une erreur de calcul, c'est une limite de structure : L'IA est construite avec un nombre fixe de couches (comme un nombre fixe d'étages dans un immeuble). Si une énigme demande une boucle infinie pour être résolue, l'IA ne peut pas la résoudre. Elle est obligée de "sauter" de l'immeuble avant d'avoir trouvé la réponse, ce qui crée des erreurs.

4. L'analogie du "Miroir brisé"

Imaginez que l'IA est un robot qui doit traverser un pont pour aller d'un point A à un point B.

Si le pont est droit (une question simple), il traverse vite.
Si le pont a un virage (une question complexe mais logique), il ralentit mais traverse.
Si le pont est une boucle de Möbius (un paradoxe sans fin), le robot tourne en rond. À force de tourner, ses capteurs s'embrouillent, il commence à trébucher et finit par tomber du pont en disant des choses incohérentes.

En résumé

Cette étude nous apprend que les intelligences artificielles ne sont pas "folles" quand elles parlent d'elles-mêmes. Elles sont très stables. Leur vraie faiblesse, c'est l'impossible.

Quand on leur demande de résoudre une énigme qui n'a pas de fin logique, leur cerveau mathématique se disperse, perd son équilibre et produit des réponses contradictoires. C'est comme si on leur demandait de compter jusqu'à l'infini en un temps limité : elles finissent par s'emmêler les pinceaux.

C'est une étape importante pour comprendre comment rendre les IA plus fiables, surtout quand elles doivent raisonner sur des sujets complexes ou sur elles-mêmes.

1. Problématique et Contexte

L'article s'interroge sur ce qui se produit au sein de l'architecture interne des Grands Modèles de Langage (LLM) lorsqu'ils sont confrontés à des énoncés auto-référentiels paradoxaux, tels que le paradoxe du menteur (« Cette phrase est fausse »).

Le problème : Bien que les paradoxes n'aient pas de valeur de vérité cohérente, les LLM doivent produire une sortie après un nombre fixe de couches. La question centrale est de savoir si l'auto-référence en elle-même déstabilise le modèle, ou si c'est spécifiquement la nature « non fermante » (non-closing) de la récursion qui provoque une instabilité.
L'hypothèse de départ : Les travaux précédents se sont concentrés sur le niveau lexical ou comportemental. Cette étude propose d'analyser les opérations linéaires fondamentales (matrices d'attention, valeurs singulières) pour comprendre la dynamique interne.

2. Méthodologie

Données et Modèles

L'étude a été menée sur 300 prompts organisés en une hiérarchie de 14 niveaux de complexité auto-référentielle, testés sur 4 modèles issus de 3 familles d'architectures :

Qwen3-VL-8B (8M paramètres, GQA + QK-norm).
Llama-3.2-11B (11M paramètres, vision-langage).
Llama-3.3-70B (70M paramètres, 80 couches).
Gemma-2-9B (9M paramètres, attention locale/global intercalée).

Les expériences ont été répétées à trois températures ( $T \in \{0.0, 0.3, 0.7\}$ ), générant un total de 3 600 entrées.

Mesures et Métriques

Pour chaque prompt, les auteurs ont extrait 106 métriques scalaires à travers les couches du modèle, incluant :

Le rang effectif de l'attention (attention effective rank).
Les trajectoires des valeurs singulières (SVD).
Les profils de « delta de vérité » (truth-delta).
Des mesures inspirées de problèmes d'indécidabilité matricielle (Mortalité, Problème de Skolem, Rayon spectral conjoint).
Des taux de sortie contradictoires.

Taxonomie des Prompts (Clustering)

Les prompts ont été regroupés en quatre clusters pour tester l'hypothèse :

C1 : Non-auto-référentiel stable (contrôle).
C2 : Auto-référence stable (énoncés ancrés, ex: « Cette phrase a 5 mots »).
C3 : Raisonnement difficile mais « closable » (admet une solution cohérente).
C4 : Récursion de vérité non fermante (NCTR) : Paradoxes, indécidables Gödeliens, références cycliques mutuelles, régression infinie.

3. Contributions Clés

Hypothèse NCTR (Non-Closing Truth Recursion) : L'article introduit le concept selon lequel l'instabilité ne provient pas de l'auto-référence en général, mais spécifiquement des prompts qui induisent une évaluation de vérité récursive sans point fixe cohérent dans la profondeur finie du modèle.
Suite de métriques théoriques : Développement de 106 métriques au niveau matriciel, conçues a priori à partir de problèmes d'indécidabilité (Mortalité, Skolem, JSR) plutôt que sélectionnées a posteriori.
Cadre conjectural : Proposition d'un lien entre la dynamique des transformateurs sous NCTR et les problèmes d'indécidabilité classiques dans la théorie des semi-groupes matriciels.
Validation rigoureuse : Preuves statistiques à travers 4 modèles, y compris des ablations de paires minimales (« Cette phrase » vs « Cette phrase-là ») et des tests de patching d'activation.

4. Résultats Principaux

Instabilité Spécifique au NCTR

Distinction C4 vs C2 : L'auto-référence stable (C2) est aussi stable que les contrôles factuels. En revanche, les prompts NCTR (C4) provoquent une instabilité massive.
Significativité Statistique : Sur 397 combinaisons métrique-modèle, 281 sont significatives ( $q < 0.05$ ) pour différencier C4 de C2, dont 198 avec un effet de grande taille ( $|d| > 0.8$ ).
Rang Effectif de l'Attention : C'est la métrique la plus discriminante. Les prompts NCTR entraînent un rang effectif anormalement élevé, indiquant une réorganisation de l'attention avec une dispersion globale plutôt qu'un effondrement de concentration.
- Llama-70B : $d = 3.14$ .
- Gemma-9B : $d = 4.20$ .
Preuve par Couche (SVD) : L'analyse SVD par couche confirme que cette perturbation se produit à chaque couche échantillonnée ( $d > +1.0$ ), éliminant l'hypothèse d'artefacts d'agrégation. L'effet culmine souvent dans les couches intermédiaires.

Classification et Généralisation

Un classifieur logistique utilisant uniquement les métriques matricielles distingue les prompts NCTR des autres avec une AUC de 0,81 à 0,90 (validation croisée 5-fold) sur tous les modèles.
Ablation de paires minimales : Changer un seul mot (« Cette phrase » $\to$ « Cette phrase-là ») suffit à rendre 42 des 387 combinaisons métrique-modèle significatives, confirmant que l'effet est lié à la structure sémantique de la récursion.

Comportement de Sortie

Les prompts NCTR génèrent des taux de sorties contradictoires (co-occurrence de marqueurs affirmatifs et négatifs) nettement plus élevés : +34 à +56 points de pourcentage par rapport aux contrôles.
Une corrélation significative ( $\rho \approx 0.34 - 0.44$ ) est observée entre la perturbation du rang d'attention et les sorties contradictoires.

Lien avec la Théorie des Semi-Groupes

L'étude propose que les prompts NCTR forcent le semi-groupe computationnel du modèle (l'ensemble des matrices de transformation dépendantes de l'entrée) vers des régimes dynamiques proches des frontières d'indécidabilité (Mortalité, Skolem, Rayon Spectral Conjoint). Le modèle, contraint à une profondeur finie, ne peut pas converger vers un point fixe, restant piégé dans des trajectoires oscillatoires à haut rang.

5. Signification et Conclusion

Ce travail démontre que l'échec des LLM face aux paradoxes n'est pas un défaut général de l'auto-référence, mais une conséquence mécanique de l'impossibilité de résoudre une récursion de vérité sans point fixe dans un système à profondeur finie.

Implication théorique : Il offre une explication mécaniste (au niveau des matrices d'attention et des spectres) reliant les échecs de raisonnement aux limites computationnelles formelles (indécidabilité).
Implication pratique : Comprendre ces signatures spectrales (rang élevé, dispersion) pourrait permettre de détecter et de corriger les modes d'échec des modèles avant qu'ils ne produisent des hallucinations ou des contradictions.
Limites : L'approche repose sur une linéarisation de Jacobien et des analogies avec des problèmes d'indécidabilité théoriques, qui ne s'appliquent pas directement aux calculs flottants finis, mais servent de cadre explicatif puissant.

En résumé, l'article établit que l'auto-référence n'est pas instable en soi ; c'est l'incapacité de la récursion à « se fermer » (NCTR) qui force le modèle dans un régime dynamique critique, détectable par des signatures matricielles spécifiques.