💬 NLP

Semantic Substrate Theory: An Operator-Theoretic Framework for Geometric Semantic Drift

Cet article propose une théorie du substrat sémantique fondée sur la théorie des opérateurs qui unifie divers signaux de dérive sémantique dans un cadre géométrique et probabiliste formel, introduisant notamment la « masse de pont » comme prédicteur de réorganisation des voisinages, tout en définissant les hypothèses et les conditions de réfutation de ce modèle.

Auteurs originaux : Stephen Russell

Publié 2026-02-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stephen Russell

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Titre : La "Carte Vivante" des Mots

Imaginez que le langage n'est pas une collection fixe de dictionnaires, mais plutôt une ville vivante et en constante mutation. Dans cette ville, chaque mot est un bâtiment, et la signification d'un mot dépend de ses voisins (les autres mots avec lesquels on l'utilise).

L'article de Stephen Russell propose une nouvelle façon de comprendre comment cette ville change avec le temps. Il ne se contente pas de dire "ça a changé !", il explique comment et pourquoi ça change, en utilisant une sorte de "moteur mathématique" qu'il appelle le Substrat Sémantique.

Voici les concepts clés, expliqués avec des analogies :

1. Le Problème : On a trop d'alarmes, mais pas de théorie

Aujourd'hui, quand on veut détecter un changement dans le langage (par exemple, si un mot prend un nouveau sens), on utilise plusieurs "radars" différents :

Un radar qui regarde si un mot s'est déplacé physiquement sur la carte.
Un radar qui regarde si ses voisins ont changé.
Un radar qui regarde si la distribution des mots a bougé.

Le problème, c'est que ces radars fonctionnent chacun de leur côté. On a beaucoup d'alertes, mais on ne sait pas toujours si c'est une petite rénovation locale, un tremblement de terre, ou une erreur de mesure. Russell veut construire une seule carte maîtresse qui relie tous ces radars entre eux.

2. La Solution : La Ville et ses Rues (Le Substrat)

Russell imagine le langage comme une ville où :

Les bâtiments sont les mots.
Les rues sont les connexions entre eux.
La géographie (la distance entre les bâtiments) change avec le temps.

Il définit trois éléments pour cette ville à un moment donné :

La Carte (X) : Où sont les mots ?
La Distance (dt) : À quel point deux mots sont-ils proches ?
La Diffusion (Pt) : Si vous lancez une balle de ping-pong depuis un mot, où va-t-elle atterrir après un bond ? (C'est une façon de voir comment le sens "s'écoule" vers les voisins).

3. Les Quatre Manières dont la Ville Change

L'auteur dit que le "dérive sémantique" (le changement de sens) ne vient pas d'une seule source, mais de quatre modes différents, comme quatre types de travaux dans la ville :

A. Le Déménagement (Drift Translatif) : Le bâtiment (le mot) bouge simplement d'un endroit à un autre sur la carte. C'est un changement de position global.
B. Le Remodelage des Quartiers (Drift de Recâblage) : Le bâtiment reste à peu près au même endroit, mais ses voisins changent. C'est comme si votre rue se vidait et que de nouveaux voisins s'installaient. C'est souvent là que le sens change vraiment.
C. La Boucle Temporelle (Drift Dynamique) : Imaginez un jeu où vous transformez un mot, puis vous le retransformez encore et encore. Si le mot finit par devenir un tout autre mot après plusieurs tours, c'est une instabilité de la boucle.
D. L'Ingénierie Humaine (Drift de Processus) : C'est la différence entre ce que la ville ferait naturellement (évolution organique) et ce qu'on lui force à faire (filtres de sécurité, règles politiques, algorithmes de correction). Parfois, l'ordre dans lequel on applique ces règles change tout le résultat.

4. Le Concept Star : La "Masse de Pont" et les Ponts Fragiles

C'est la partie la plus intéressante de l'article.

Imaginez que votre ville a des vallées stables (des quartiers où les gens restent ensemble, c'est la "courbure positive") et des ponts fragiles qui relient deux quartiers (c'est la "courbure négative").

Les Vallées (Courbure Positive) : Si vous êtes ici, tout est stable. Si vous bougez un peu, vous êtes ramené au centre. C'est un sens très solide.
Les Ponts (Courbure Négative) : Ce sont des zones de transition. Si vous êtes sur un pont, un petit coup de vent (une intervention, un nouveau contexte) peut vous faire basculer d'un quartier à l'autre.

La "Masse de Pont" (Bridge Mass) : C'est un calcul qui mesure à quel point un mot est entouré de ces "ponts fragiles".

L'idée clé : Si un mot a une "Masse de Pont" élevée, c'est un prédicteur d'avenir. Cela signifie que ce mot est sur le point de changer de quartier (de sens) ou de se reconnecter à de nouveaux voisins. C'est comme un séisme qui se prépare : la terre tremble avant que le pont ne s'effondre.

5. Pourquoi c'est important ? (Les Prédictions)

Russell ne fait pas que théoriser ; il donne des règles pour vérifier si sa théorie est vraie. Il dit :

"Si vous regardez les mots avec beaucoup de 'Masse de Pont', vous devriez voir qu'ils changent de sens plus vite que les autres."
"Si vous intervenez sur le langage (en ajoutant des règles de sécurité), l'ordre dans lequel vous le faites change le résultat final."

En Résumé

Cette paper propose de passer d'une simple alerte ("Attention, le langage change !") à une mécanique explicative ("Le langage change parce que ce mot se trouve sur un pont fragile entre deux vallées de sens, et une petite perturbation va le faire basculer").

C'est comme passer de dire "Il pleut" à comprendre la météorologie : on ne se contente pas de voir l'eau tomber, on comprend les courants d'air, la pression et la géographie qui créent la tempête. Cela permet de mieux prédire les changements, de mieux comprendre pourquoi un IA change d'avis, et de gérer le langage de manière plus intelligente.

1. Problématique

Le dérive sémantique (semantic drift) est actuellement traitée principalement comme un problème de détection : si une métrique change, une alerte est émise. Cependant, cette approche présente deux limites majeures :

Manque d'explication mécaniste : Un même score de dérive peut résulter de régimes génératifs très différents (ex. : un brassage local bénin dans un bassin sémantique stable, un franchissement de frontière entre bassins, ou une instabilité induite par une transformation itérative). Sans modèle explicite, il est difficile de déboguer ou de gouverner ces systèmes.
Fragmentation structurelle : Les approches existantes mesurent des quantités disparates (déplacement d'embedding, changement de voisins, divergence distributionnelle) sans cadre unifié. Cela rend la comparaison des résultats difficile et l'interprétation post-hoc sujette à la dérive.

L'objectif de l'article n'est pas de remplacer les métriques existantes, mais de proposer une théorie unificatrice qui place ces signaux dans un même formalisme mathématique.

2. Méthodologie : Le Substrat Sémantique

L'auteur propose un formalisme mathématique appelé Substrat Sémantique ( $S_t$ ) pour modéliser l'évolution temporelle des significations.

Définition du Substrat ( $S_t$ ) : Pour une fenêtre temporelle $t$ $t$ , le substrat est défini comme un triplet $S_t = (X, d_t, P_t)$ $S_{t} = (X, d_{t}, P_{t})$ :
- $X$ : Ensemble d'objets sémantiques.
- $d_t$ : Métrique induite par un embedding (carte $f_t : X \to \mathbb{R}^d$ ).
- $P_t$ : Un noyau de diffusion Markovien à un pas, défini sur un graphe de voisinage $G_t$ (ex. k-NN).
Modélisation de la diffusion : Pour chaque nœud $x$ , une mesure locale $m^{(t)}_x$ est définie, combinant une inertie (idleness $\alpha$ ) et une distribution pondérée sur les voisins. La dérive survient lorsque la géométrie ( $d_t$ ) ou la diffusion ( $P_t$ ) évolue.

Les quatre modes de dérive observables :
Le cadre décompose la dérive en quatre modes non équivalents :

Dérive translationnelle ( $D_{tr}$ ) : Déplacement direct dans l'espace d'embedding.
Dérive de recâblage ( $D_{rw}$ ) : Changement dans la distribution des voisins locaux (mesuré par la divergence de Jensen-Shannon entre les distributions de voisinage).
Dérive dynamique : Propriété de trajectoire sous un opérateur itératif (ex. réécriture récursive), mesurant la sensibilité et la persistance.
Dérive de processus : Résultat de la composition entre l'évolution organique ( $F_t$ ) et les interventions du pipeline ( $G_t$ ). L'article souligne que l'ordre de composition ( $G_t \circ F_t \neq F_t \circ G_t$ ) a un impact critique.

Rôle de la Courbure et de la Fragilité :
L'article introduit la courbure de Ricci grossière ( $\kappa_{OR}$ ) pour quantifier la contractivité locale de la diffusion :

Courbure positive ( $\kappa > 0$ ) : Correspond à des bassins sémantiques stables et contractifs.
Courbure négative ( $\kappa \le 0$ ) : Correspond à des structures de type "pont" (bridges) expansives et fragiles.

Une contribution clé est la définition de la masse de pont ( $B_t(x)$ ), un agrégat au niveau du nœud de la courbure négative incidente. Cette métrique sert de prédicteur pour le risque futur de recâblage.

3. Résultats et Contributions Théoriques

Bien que l'article soit théorique (les performances empiriques sont reportées à des études ultérieures), il établit des résultats formels et des prédictions testables :

Décomposition unifiée : La théorie permet de distinguer mécaniquement le "bruit" local (churn) des transitions de régime (changement de bassin) et de l'instabilité récursive.
Théorème de contractivité : Il est démontré que si la courbure minimale $\kappa_0 > 0$ , la distance de Wasserstein entre deux mesures de probabilité diminue géométriquement sous l'effet de la diffusion ( $W_1(\mu P^k, \nu P^k) \le (1-\kappa_0)^k W_1(\mu, \nu)$ ). Cela fournit une condition de stabilité au niveau de l'opérateur.
Prédictions falsifiables (Contrats de test) :
- P1 : La masse de pont ( $B_t(x)$ ) prédit la dérive de recâblage hors échantillon.
- P2 : Les grands événements de recâblage se concentrent sur les nœuds dont la courbure incidente bascule vers le régime négatif.
- P3 : Les interventions stabilisantes augmentent la contractivité locale ; les interventions déstabilisantes ont l'effet inverse.
- P4 : Les trajectoires récursives traversant des zones de courbure négative présentent des taux de changement de bassin plus élevés.
- P5 (Non-commutativité) : L'ordre des interventions et de l'évolution sémantique n'est pas neutre et affecte la stabilité finale.

4. Signification et Implications

Cette théorie apporte une avancée significative pour la gouvernance et le débogage des systèmes d'IA sémantique :

Interprétabilité mécaniste : Elle transforme la dérive d'un signal d'alarme opaque en un phénomène géométrique et dynamique compréhensible (bassins vs ponts).
Robustesse et Validation : L'article propose un protocole rigoureux pour l'évaluation empirique, incluant le contrôle des confondants (fréquence, échantillonnage) et la vérification de la robustesse face aux choix de construction du graphe.
Gouvernance des pipelines : En distinguant l'évolution organique des interventions artificielles, le cadre permet de mieux comprendre l'impact des ajustements de sécurité, du filtrage ou des contraintes de décodage sur la stabilité sémantique.
Limites identifiées : L'auteur reconnaît que la validité du modèle dépend de la qualité des embeddings, de la stabilité des graphes de voisinage et de la définition des fenêtres temporelles. La courbure est une variable mécaniste, pas une explication complète.

En conclusion, ce travail pose les bases d'un modèle opérateur-géométrique pour la dérive sémantique, visant à remplacer les approches de détection pure par une compréhension structurelle et prédictive des changements de sens dans les systèmes d'apprentissage automatique.