💬 NLP

A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

Cet article propose un cadre théorique de jauge discrète et de faisceaux pour modéliser la superposition dans les grands modèles de langage, en remplaçant les dictionnaires globaux par une atlas de cartes sémantiques locales afin de quantifier et de certifier les obstructions à l'interprétabilité telles que le bourrage local, le cisaillement de proxy et l'holonomie non triviale.

Auteurs originaux : Hossein Javidnia

Publié 2026-03-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hossein Javidnia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Grand Atlas des Mots : Pourquoi l'IA ne comprend pas tout de la même façon

Imaginez que vous essayez de décrire le monde entier en utilisant un seul dictionnaire unique. Vous voulez que le mot "banane" signifie exactement la même chose, avec exactement les mêmes caractéristiques, que vous soyez en train de cuisiner, de faire du yoga ou de parler d'une ville en Afrique.

C'est ce que les chercheurs pensaient faire avec les intelligences artificielles (les grands modèles de langage comme Llama). Ils pensaient qu'il existait un "dictionnaire secret" unique et parfait à l'intérieur de l'IA, où chaque idée avait sa propre case fixe.

Mais ce papier dit : "Non, ce n'est pas vrai."

L'auteur, Hossein Javidnia, propose une nouvelle façon de voir les choses. Au lieu d'un seul dictionnaire global, l'IA utilise en réalité un Atlas de cartes locales, un peu comme un guide touristique qui change de carte selon le pays où vous vous trouvez.

Voici comment cela fonctionne, avec des analogies simples :

1. L'Atlas des Contextes (Le Guide Touristique)

Au lieu d'avoir une seule vision du monde, l'IA divise les conversations en petits "quartiers" ou "contextes".

La carte locale : Quand l'IA parle de cuisine, elle utilise une "carte" spécifique où "banane" est liée à des recettes. Quand elle parle de code informatique, elle utilise une autre "carte" où "banane" pourrait être un nom de variable bizarre.
Le problème : Ces cartes ne s'assemblent pas toujours parfaitement. C'est comme si vous passiez de la carte de Paris à celle de Tokyo : les rues ne se connectent pas toujours de la même façon.

2. Les Trois Obstacles (Pourquoi l'IA se trompe parfois)

L'auteur a découvert trois types de "bugs" géométriques qui empêchent l'IA d'avoir une compréhension globale cohérente. Il les appelle des obstructions.

Obstacle 1 : L'Embouteillage (Le "Jamming")
- L'analogie : Imaginez une petite pièce (une carte locale) où l'on essaie de faire entrer 100 personnes en même temps. Il n'y a pas assez de place. Les gens se bousculent, se marchent sur les pieds.
- En IA : Trop d'idées essaient d'utiliser le même espace de mémoire dans un contexte donné. L'IA est "saturée", et les idées se mélangent, créant de la confusion.
Obstacle 2 : Le Décalage de Traduction (Le "Shearing" ou Cisaillement)
- L'analogie : Vous passez de la carte de Paris à celle de Lyon. Sur la carte de Paris, "Nord" pointe vers le haut. Sur la carte de Lyon, à cause d'une erreur de rotation, "Nord" pointe vers la droite. Si vous essayez de relier les deux cartes sans tourner votre boussole, vous allez vous perdre.
- En IA : Quand l'IA passe d'un contexte à un autre (par exemple, du code à la poésie), la façon dont elle organise les mots change. Il y a un "frottement" ou un décalage. Ce n'est pas juste une différence de sens, c'est une différence de structure géométrique qui rend la transition difficile.
Obstacle 3 : Le Voyage en Boucle (L'"Holonomie")
- L'analogie : Imaginez que vous marchez en triangle : Paris -> Lyon -> Marseille -> Paris. Si votre boussole est parfaite, vous devriez revenir au point de départ avec la même orientation. Mais si votre boussole est tordue, à votre retour, vous pointez dans une direction différente de celle où vous avez commencé.
- En IA : Si l'IA fait un tour complet à travers différents contextes (Code -> Poésie -> Cuisine -> Code), elle ne revient pas exactement à la même définition des mots. Le sens a changé en cours de route. C'est ce qu'on appelle l'holonomie : le sens dépend du chemin que vous avez pris pour y arriver.

3. La Méthode de l'Auteur : Un Outil de Diagnostic

L'auteur ne se contente pas de dire "c'est compliqué". Il a créé un kit de diagnostic mathématique (comme un stéthoscope pour l'IA) pour mesurer ces problèmes.

Il vérifie si les "cartes" locales sont saturées (Embouteillage).
Il mesure le décalage entre les cartes (Cisaillement).
Il vérifie si le sens change après un voyage en boucle (Holonomie).

Il a testé cela sur un modèle réel (Llama 3.2) et a prouvé que :

Ces problèmes sont réels et mesurables.
Ils ne sont pas des erreurs de calcul, mais des caractéristiques structurelles de la façon dont l'IA apprend.
On peut les détecter même si on ne modifie pas l'IA, juste en l'observant.

🎯 Pourquoi est-ce important ?

Avant, on pensait que l'IA était un peu comme un livre de grammaire géant et parfait. Ce papier nous dit : "Non, l'IA est plus comme un voyageur qui a appris des tas de langues locales, mais qui n'a jamais appris à les relier parfaitement."

Cela change la façon dont nous devons comprendre l'IA :

Au lieu de chercher une seule "vérité" cachée dans le cerveau de l'IA, nous devons accepter qu'elle a plusieurs vérités locales qui ne s'alignent pas toujours.
Cela aide à comprendre pourquoi l'IA peut parfois halluciner ou se contredire : elle est simplement passée d'une "carte" à une autre sans faire la bonne transition.

En résumé : Ce papier nous donne une nouvelle carte pour naviguer dans le cerveau des IA. Il nous montre que pour comprendre une machine, il faut parfois accepter qu'elle n'a pas une seule vision du monde, mais un patchwork de visions locales, parfois mal connectées.

1. Problématique et Contexte

L'interprétabilité mécanistique des grands modèles de langage (LLM) repose souvent sur l'hypothèse implicite qu'un dictionnaire de caractéristiques unique et global peut expliquer uniformément une couche du modèle à travers tous les contextes. Cependant, les modèles de superposition (où le nombre de caractéristiques apprises dépasse la dimension ambiante) suggèrent que cette hypothèse échoue : les représentations peuvent encoder plus de caractéristiques que la dimension disponible, entraînant des interférences et des identités de caractéristiques dépendantes du contexte.

Le problème central est donc de comprendre quand et pourquoi l'interprétabilité globale échoue. L'article propose de reformuler l'objectif : au lieu de chercher un dictionnaire global, l'interprétabilité doit être traitée comme un problème de construction du local vers le global, où les descriptions de caractéristiques sont localement cohérentes mais peuvent présenter des obstructions mesurables à leur assemblage en un compte-rendu global unique.

2. Méthodologie : Une Théorie de Jauge Discrète et un Atlas de Faisceaux

L'auteur développe un cadre théorique basé sur la théorie de jauge discrète et la théorie des faisceaux (sheaf theory) pour modéliser les représentations neuronales.

A. Structure de l'Atlas

Complexe de Contexte Stratifié : Les contextes (tokens) sont regroupés en clusters formant un complexe simplicial (représenté par un graphe). Chaque cluster agit comme une "carte" locale.
Espaces de Caractéristiques Locaux : À chaque carte est attaché un espace de caractéristiques local (une base PCA ou un dictionnaire appris par codage parcimonieux).
Transports Partiels : Les transitions entre cartes adjacentes sont modélisées par des transports partiels (matrices rectangulaires) estimés via régression ridge sur les données de chevauchement.

B. Géométrie et Obstructions

Le cadre introduit trois obstructions géométriques distinctes qui empêchent la trivialisation globale (c'est-à-dire l'existence d'un dictionnaire unique) :

O1 : Encombrement Local (Jamming) : Se produit lorsque la charge active de caractéristiques dépasse la "bande passante" informationnelle locale (mesurée par la dimension effective de la métrique de Fisher).
O2 : Cisaillement de Proxy (Proxy Shearing) : Mesure le désaccord entre le transport géométrique appris (basé sur les données) et un "proxy" de correspondance fixe (basé sur l'alignement des bases PCA). Cela indique un mismatch inévitable entre les contextes.
O3 : Holonomie Non Triviale : Se produit lorsque le transport le long d'un cycle fermé dans le graphe de contexte ne revient pas à l'identité. Cela indique une dépendance au chemin intrinsèque, empêchant une définition globale cohérente.

C. Outils Mathématiques Clés

Métrique de Fisher/Gauss-Newton : Utilisée pour pondérer les interférences et définir la géométrie locale de l'information.
Théorème de Jauge sur l'Arbre Couvrant : Une construction constructive permet de "fixer la jauge" sur un arbre couvrant du graphe. Cela rend le calcul de l'holonomie explicite : les défauts sur les arêtes de l'arbre sont nuls, et les défauts sur les arêtes supplémentaires (chords) correspondent exactement à l'holonomie des cycles fondamentaux.
Bornes Certifiées : Utilisation de bornes inférieures non triviales (type Welch) pour certifier mathématiquement la présence d'interférences sur des sous-ensembles de caractéristiques.

3. Contributions Principales et Résultats

L'article présente quatre résultats théoriques et empiriques (A, B, C, D) validés sur un modèle LLM gelé (Llama 3.2 3B Instruct) et généralisés à d'autres modèles (Qwen, Gemma).

Résultat A : Identité de Jauge sur l'Arbre Couvrant.
- Théorème : Après fixation de jauge sur un arbre couvrant, les résidus sur les arêtes de l'arbre sont nuls (à la précision numérique), et chaque résidu sur une arête "chord" est exactement égal à l'holonomie de son cycle fondamental.
- Impact : Rend l'holonomie calculable et interprétable, passant d'une statistique de boucle abstraite à une quantité directement vérifiable.
Résultat B : Le Cisaillement (Shearing) comme Limite Inévitable.
- Théorème : Le score de cisaillement $D_{shear}$ minoré une énergie de mismatch de transfert réelle sur les données de chevauchement.
- Impact : Transforme le cisaillement d'une simple mesure de désaccord en une borne d'échec opérationnelle. Un grand cisaillement implique un mismatch de transfert inévitable par rapport à un proxy fixe.
Résultat C : Encombrement (Jamming) Certifié.
- Théorème : Une borne inférieure non triviale certifie l'interférence forcée sur un sous-ensemble de caractéristiques "conséquentielles".
- Impact : Fournit une preuve mathématique d'interférence avec une couverture élevée et zéro violation sur différents seeds et hyperparamètres. Cela démontre que l'interférence n'est pas seulement qualitative mais certifiable.
Résultat D : Stabilité des Estimateurs.
- Observation : Les diagnostics ( $D_{shear}$ et $D_{hol}$ ) sont stables sous rééchantillonnage (bootstrap) et se concentrent avec la taille de l'échantillon, en particulier sur les sous-systèmes "persistants" (bien conditionnés).
- Impact : Confirme que ces mesures ne sont pas des artefacts fragiles de l'échantillonnage mais reflètent des propriétés structurelles stables.

4. Validation Empirique et Robustesse

Les expériences ont été menées sur des corpus variés (WikiText, C4, Code) et incluent des analyses de robustesse approfondies :

Généralisation de Modèle : Les diagnostics se transfèrent à Qwen 2.5 3B et Gemma 2 2B, bien que les magnitudes géométriques varient selon l'architecture.
Profondeur de Couche : L'analyse couche par couche montre que les obstructions (holonomie, cisaillement) varient de manière non monotone avec la profondeur du réseau, suggérant une structure géométrique dynamique.
Contrôles Nuls : Un contrôle avec des bases aléatoires (remplaçant les bases PCA apprises) entraîne une explosion de l'holonomie et du cisaillement, prouvant que les signaux observés dépendent de l'alignement local appris et non d'artefacts de tramage.
Robustesse aux Hyperparamètres : Les résultats sont stables face aux variations de la granularité de l'atlas (nombre de clusters), de la dimension locale, de la régularisation de transport et de la construction du graphe.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interprétabilité mécanistique :

Abandon du Dictionnaire Global : Il démontre formellement que l'hypothèse d'un dictionnaire global unique est souvent fausse pour les LLM modernes, et que cette "faillite" est structurée et mesurable.
Nouveaux Primitives d'Évaluation : Il fournit des outils reproductibles pour diagnostiquer les échecs de l'interprétabilité en les décomposant en trois mécanismes distincts : surcharge locale, incompatibilité inter-cartes et dépendance au chemin.
Rigueur Mathématique : En intégrant la théorie des faisceaux et la géométrie de l'information, l'article offre un cadre formel pour quantifier la complexité des représentations neuronales au-delà des études de cas anecdotiques.

En résumé, l'article propose que l'interprétabilité des LLM doit être vue comme la construction d'un atlas géométrique où les obstructions locales (jamming, shearing, holonomy) sont les véritables indicateurs de la complexité et de la structure des représentations apprises.