Semantic Sections: An Atlas-Native Feature Ontology for Obstructed Representation Spaces

1. Problématique et Contexte

La plupart des travaux récents en interprétabilité mécaniste reposent sur une hypothèse ontologique simple : une "fonctionnalité" (feature) est un objet unique et global, représentable par une seule direction dans l'espace d'activation, un atome de dictionnaire ou une coordonnée latente partagée uniformément à travers tous les contextes.

Cependant, des travaux récents basés sur la théorie des atlas (Javidnia, 2026) ont démontré que cette hypothèse échoue dans les espaces de représentation obstrués. Dans ces espaces, la structure des fonctionnalités est localement cohérente mais ne s'assemble pas nécessairement en une direction globale unique en raison de deux phénomènes géométriques :

• Le cisaillement par proxy (proxy shearing) : Les transitions entre contextes locaux déforment la représentation.
• L'holonomie non triviale : Le transport d'un vecteur le long d'un cycle fermé ne ramène pas le vecteur à son état initial (il est "tourné").

Le problème central : Si les fonctionnalités ne peuvent pas être définies globalement comme un seul vecteur, quel est l'objet de remplacement approprié pour capturer leur identité sémantique ?

2. Méthodologie et Cadre Théorique

L'article propose une nouvelle ontologie : la section sémantique (semantic section).

A. Définition Théorique

Une section sémantique n'est pas un vecteur global, mais une famille de représentants locaux définie sur un atlas de contextes, qui est compatible avec le transport.

• Cohérence : Pour qu'une section soit valide, les représentants locaux dans des cartes (charts) adjacentes doivent être liés par les cartes de transition (transport maps) de l'atlas.
• Défaut d'arête (Edge defect) : Mesure l'écart entre le vecteur transporté et le vecteur local dans la carte cible.
• Défaut de cycle (Cycle defect) : Mesure l'écart lorsque l'on transporte un vecteur le long d'un cycle fermé. Si le défaut est nul (ou faible), le cycle est cohérent.

B. Classification des Régimes Sémantiques

L'article formalise trois régimes distincts basés sur la consistance des cycles :

1. Sections Tree-local (Arbre) : Cohérentes uniquement sur des supports sans cycles (arbres). La propagation est possible, mais il n'y a pas de contrainte de boucle pour valider une identité globale.
2. Sections Globalisables : Cohérentes sur des supports cycliques. Le transport le long de n'importe quel cycle ramène le vecteur à lui-même (à un signe près), permettant une identité sémantique globale.
3. Sections Tordues (Twisted) : Localement cohérentes sur les arêtes, mais échouent à se globaliser car le transport le long d'un cycle introduit une rotation (holonomie non triviale). Elles représentent des significations stables localement mais obstruées globalement.

C. Pipeline de Découverte et de Certification

Les auteurs ont développé un pipeline pratique pour découvrir ces sections dans des LLM gelés (frozen) :

1. Propagation semée (Seeded propagation) : On part d'un représentant local (graine) et on le propage à travers le graphe des cartes.
2. Synchronisation : Pour les cartes atteintes par plusieurs chemins, on agrège les vecteurs entrants pour trouver un représentant local unique qui réconcilie les routes.
3. Élagage par défaut (Defect-based pruning) : On supprime les cartes et arêtes où le défaut de transport dépasse un seuil, isolant les noyaux cohérents.
4. Taxonomie basée sur les cycles : On classe les sections restantes en fonction de leur nombre de cycles (Betti number) et de leurs défauts d'holonomie.
5. Déduplication : Fusion des sections redécouvertes à partir de différentes graines pour estimer le nombre unique d'objets sémantiques.

3. Résultats Empiriques

Les expériences ont été menées sur les atlas de la couche 16 de trois modèles : Llama 3.2 3B, Qwen 2.5 3B, et Gemma 2 2B.

A. Recensement Trans-Modèle

• Gemma 2 présente la structure la plus riche, avec un grand nombre de sections globalisables et tordues, indiquant une forte organisation locale-à-globale.
• Llama 3.2 montre une taxonomie complète mais plus sparse (quelques sections de chaque type).
• Qwen 2.5 est dominé par des sections "tree-local", servant de régime de contrôle où la cohérence locale prédomine sans forte globalisation cyclique.

B. Échec de la Similarité Vectorielle Globale

C'est le résultat le plus critique : l'identité sémantique ne peut pas être récupérée par la similarité cosinus brute entre vecteurs globaux.

• Même pour des sections certifiées comme "globalisables", les représentants locaux dans différentes cartes ont une faible similarité cosinus entre eux (souvent < 0.3).
• Les méthodes basées sur la similarité vectorielle globale ne parviennent à récupérer qu'une fraction minime des paires vraies au sein d'une même section (ex: 19,57% pour Gemma à un seuil de 0.3, tombant à 0% à 0.7).
• À l'inverse, la récupération basée sur la section est parfaite (100%) sur les supports certifiés.

C. Robustesse

• Les résultats sont robustes aux variations des seuils de défaut et de déduplication.
• L'analyse multi-couches (Llama, couches 12, 16, 20) montre que la structure des sections varie avec la profondeur, mais que l'ontologie des sections sémantiques reste pertinente à travers les couches.

4. Contributions Clés

1. Nouvelle Ontologie : Introduction des "sections sémantiques" comme remplacement natif aux vecteurs globaux dans les espaces obstrués.
2. Formalisation Théorique : Démonstration que la propagation sur un arbre est toujours réalisable, mais que la globalisation réelle dépend de la consistance des cycles (holonomie).
3. Pipeline Pratique : Développement d'une méthode de découverte et de certification pour identifier ces structures dans des modèles réels.
4. Preuve Empirique : Démonstration que les fonctionnalités dans les régimes obstrués sont mieux modélisées comme des familles locales transportables que comme des vecteurs uniques, car la similarité vectorielle brute échoue à capturer leur identité.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interprétabilité mécaniste. Il suggère que dans les grands modèles de langage, la représentation sémantique n'est pas toujours une entité globale stable, mais peut être une structure locale-à-globale complexe, sujette à des obstructions géométriques (holonomie).

• Pour la recherche : Cela remet en question les méthodes de clustering ou de recherche de vecteurs globaux qui pourraient fragmenter à tort une seule fonctionnalité sémantique en plusieurs objets apparentés mais non connectés.
• Pour l'interprétabilité : Il propose une approche plus fine où l'identité d'une fonctionnalité est définie par sa capacité à être transportée et synchronisée à travers l'atlas du modèle, plutôt que par sa position statique dans un espace vectoriel global.
• Implication future : Cela ouvre la voie à de nouvelles questions sur la manière d'éditer, de composer ou d'intervenir sur ces sections sémantiques, qui sont intrinsèquement liées à la géométrie de l'atlas du modèle.

En résumé, l'article démontre que lorsque l'espace de représentation est "obstrué", la bonne unité d'analyse n'est pas le vecteur global, mais la section sémantique, un objet mathématiquement fondé sur la théorie des fibrés et la géométrie différentielle appliquée aux réseaux de neurones.