💬 NLP

Toward a Functional Geometric Algebra for Natural Language Semantics

Ce papier propose un cadre d'Algèbre Géométrique Fonctionnelle (AGF) qui exploite les algèbres de Clifford pour surmonter les limitations structurelles de l'algèbre linéaire conventionnelle en sémantique du langage naturel, offrant un système fondé sur des principes, typé et compositionnel pour représenter les concepts sémantiques et leurs interactions au sein d'un espace multivectoriel unifié.

Auteurs originaux : James Pustejovsky

Publié 2026-04-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Pustejovsky

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Carte « Plate » du Sens

Imaginez que les modèles d'IA actuels (comme ceux qui alimentent les chatbots) comprennent les mots en utilisant une carte plate en 2D. Dans cette carte, chaque mot n'est qu'un simple point.

Si vous voulez savoir si « chien » et « chiot » sont similaires, l'IA mesure la distance entre leurs points.
Si vous voulez combiner des mots, comme « chien » + « aboie », l'IA se contente d'écraser les deux points ensemble ou de les multiplier selon une règle mathématique standard.

Le Défaut : Cette approche « plate » (appelée Algèbre Linéaire) est excellente pour trouver des mots similaires, mais elle est terrible pour comprendre la structure.

Elle ne connaît pas naturellement la différence entre « Le chien a poursuivi le chat » et « Le chat a poursuivi le chien ». Elle doit apprendre cela à partir de masses de données, comme un enfant mémorisant chaque phrase qu'il a jamais entendue, plutôt que de comprendre la logique de qui a fait quoi à qui.
Elle lutte avec les sens subtils. Si vous dites « commencer le livre », l'IA doit deviner que vous ne voulez pas dire ouvrir la couverture physique, mais commencer à le lire. Elle traite le livre comme un simple objet physique, manquant la partie « lecture ».

La Solution : Une Boîte à Outils « 3D » (et 4D, et 5D)

L'auteur propose de passer d'une carte plate à une boîte à outils d'Algèbre Géométrique (AG).

Pensez à la différence ainsi :

Algèbre Linéaire (IA actuelle) : Comme une feuille de papier plate. Vous pouvez y dessiner des points et des lignes, mais si vous essayez de la plier ou de la tordre pour montrer un objet 3D, le papier se froisse simplement. Vous devez dessiner des lignes supplémentaires pour faire semblant que c'est 3D.
Algèbre Géométrique (La Proposition) : Comme un ensemble de blocs de construction magiques et multidimensionnels. Ces blocs peuvent être des points plats, des lignes, des feuilles planes (plans), ou même des volumes 3D. Crucialement, ils s'emboîtent de manière spécifique et régie par des règles qui préservent naturellement la direction et la structure.

Les Trois Tours de Magie

Le papier soutient que cette nouvelle boîte à outils offre trois super-pouvoirs spécifiques que l'ancien papier plat n'a pas :

1. Le « Clic Directionnel » (Le Produit Extérieur)

Dans l'ancien système, combiner « Jean » et « aime » n'est qu'un calcul mathématique. Dans le nouveau système, les combiner revient à cliquer deux briques Lego ensemble.

La nouvelle mathématique crée un « plan » (une feuille plate) entre les deux mots.
Pourquoi c'est important : Ce plan a une direction. « Jean aime Marie » crée un plan pointant dans un sens ; « Marie aime Jean » crée un plan pointant dans la direction opposée. Les mathématiques savent la différence automatiquement, sans avoir besoin de mémoriser des millions d'exemples. Elle capture naturellement le « qui a fait quoi à qui ».

2. Le « Rotateur Magique » (Le Rotateur)

C'est l'idée la plus créative du papier pour gérer les sens subtils.

Le Problème : Le mot « livre » est un objet physique. Mais dans « commencer le livre », nous devons le traiter comme un événement (lire).
L'Ancienne Façon : L'IA change simplement les coordonnées du mot d'une manière désordonnée et inexplicable.
La Nouvelle Façon : Imaginez que le mot « livre » est une toupie. Le mot « commencer » est une baguette magique (un rotateur). Lorsque vous agitez la baguette au-dessus de la toupie, elle ne transforme pas la toupie en autre chose ; elle fait simplement tourner la toupie pour qu'elle fasse maintenant face à la direction de la « lecture ».
Pourquoi c'est important : Cette rotation est réversible et précise. Vous pouvez mathématiquement l'annuler. Elle explique comment le sens a changé (il a tourné de « objet » à « activité ») plutôt que de simplement deviner un nouveau sens.

3. La « Grammaire Intégrée » (Les Grades)

Dans le nouveau système, différents types de mots vivent sur différents « étages » d'un bâtiment, appelés Grades.

Étage 0 : Valeurs de vérité (Vrai/Faux).
Étage 1 : Objets (Noms) et actions simples (Verbes).
Étage 2 : Relations (Qui a fait quoi à qui).
Étage 3 : Événements complexes.

Lorsque vous combinez des mots, les mathématiques vérifient automatiquement les étages. Si vous essayez de placer une « relation » (Étage 2) au-dessus d'une autre « relation » d'une manière qui n'a pas de sens, les mathématiques disent simplement « Zéro » (cela échoue). Cela agit comme un correcteur orthographique intégré pour la logique, empêchant l'IA de produire des non-sens grammaticaux.

L'Application « Intérieure » vs « Extérieure »

Le papier avance une affirmation fascinante sur la façon dont nous parlons réellement.

Application Extérieure (L'Ancienne Vue) : Nous pensions simplement prendre un mot entier (comme « table ») et coller un verbe dessus (« essuyer »).
Application Intérieure (La Nouvelle Vue) : L'auteur soutient que nous zoomons d'abord sur des parties spécifiques du mot.
- Lorsque vous dites « essuyer la table », vous n'essuyez pas toute la table (pieds, dessous, dessus). Vous essuyez spécifiquement la surface.
- Lorsque vous dites « attacher votre chaussure », vous n'attachez pas toute la chaussure ; vous attachez les lacets.
- La Magie : Le « Rotateur Magique » mentionné précédemment agit comme un projecteur. Il éclaire la « surface » de la table ou les « lacets » de la chaussure avant que le verbe n'agisse dessus. Cela explique pourquoi nous pouvons dire « essuyer la table » mais pas « essuyer la brique » (les briques n'ont pas de surface essuyable de la même manière). Les mathématiques gèrent cela en faisant tourner le mot pour mettre en évidence la bonne partie.

Est-ce que cela fonctionne avec les ordinateurs modernes ?

L'auteur est très pragmatique. Il note que :

C'est déjà en cours : L'IA moderne (comme celle dans votre téléphone) utilise déjà une petite version de ce tour de « rotation » pour comprendre l'ordre des mots (appelé Encodage de Position Rotatif). Ils n'utilisent simplement pas toute sa puissance.
C'est apprenable : Vous n'avez pas besoin de coder ces règles à la main. Un ordinateur peut apprendre les « rotations » et les « clics » tout comme il apprend à prédire le mot suivant aujourd'hui.
C'est efficace : Parce que les mathématiques sont si structurées, l'ordinateur pourrait en fait avoir besoin de moins de paramètres (moins de mémoire) pour faire le même travail, car il n'a pas à mémoriser chaque variation de phrase.

La Conclusion

Le papier soutient que pour vraiment comprendre le langage, nous devons arrêter de traiter les mots comme des points plats sur une carte et commencer à les traiter comme des formes multidimensionnelles qui peuvent tourner, s'emboîter et zoomer sur des parties spécifiques.

En utilisant l'Algèbre Géométrique, nous donnons à l'IA un « langage natif » pour la logique, la direction et la structure. Au lieu de forcer l'IA à deviner pourquoi « commencer le livre » signifie « commencer à lire », nous lui donnons un outil mathématique (le rotateur) qui fait naturellement tourner le sens de « livre » vers « lecture » basé sur les règles du langage lui-même.

1. Énoncé du problème

Les approches distributionnelles et neuronales actuelles en sémantique du langage naturel (NLP) reposent presque exclusivement sur l'algèbre linéaire (AL) conventionnelle (vecteurs, matrices, tenseurs). Bien que réussies pour capturer la similarité lexicale, ces modèles font face à des limitations structurelles persistantes en sémantique compositionnelle :

Composition faiblement structurée : Des opérations comme l'addition vectorielle ou les multiplications matricielles apprises n'encodent pas intrinsèquement comment les mots se combinent (par exemple, sujet-verbe vs adjectif-nom). Le mode compositionnel doit être entièrement induit à partir des données.
Inflation des paramètres : La modélisation des interactions d'ordre supérieur (relations ternaires, structures événementielles) nécessite des réseaux profonds ou des paramètres tensoriels massifs, car la structure d'interaction est implicite dans les poids plutôt qu'explicite dans l'algèbre.
Absence de types intrinsèques : Le langage naturel est fondamentalement typé (entités, prédicats, propositions). L'AL ne fournit aucun mécanisme natif pour distinguer ces types ; ils ne sont distingués que par convention ou par une architecture externe.
Écart symbolique-géométrique : Faire le pont entre la sémantique symbolique formelle (logique, liaison, inférence) et les modèles distributionnels continus reste difficile dans le cadre standard de l'AL.

2. Méthodologie : Algèbre Géométrique Fonctionnelle (FGA)

L'article propose l'Algèbre Géométrique Fonctionnelle (FGA), un cadre basé sur les Algèbres de Clifford ($Cl(V, Q)$), pour remplacer ou compléter la sémantique algébrique linéaire.

Fondements mathématiques centraux

Le produit géométrique : Contrairement au produit scalaire (qui donne une similarité scalaire), le produit géométrique $ab$ de deux vecteurs se décompose en un scalaire (produit intérieur, similarité) et un bivecteur (produit extérieur, plan/orientation/relation). Cela unifie la similarité et la structure relationnelle en une seule opération.
Structure graduée (Types) : Un multivecteur $M$ $M$ est une somme de composantes de différents « grades » ( $k$ $k$ -vecteurs).
- Grade 0 : Scalaires (valeurs de vérité).
- Grade 1 : Vecteurs (entités, prédicats unaires).
- Grade 2 : Bivecteurs (relations binaires, liaisons de rôles).
- Grade $k$ : $k$ -vecteurs (relations $n$ -aires, cadres événementiels).
- Cela fournit un système de types intrinsèque où les opérations algébriques imposent naturellement des contraintes de type.
Opérations clés :
- Contraction ( $\lrcorner, \llcorner$ ) : Réduit le grade. Utilisée pour l'application de fonction (par exemple, appliquer un prédicat à un argument). La contraction gauche et droite sont distinctes, encodant l'ordre des arguments (sujet vs objet).
- Produit extérieur ( $\wedge$ ) : Augmente le grade. Utilisé pour la liaison rôle-remplisseur et la construction de structures événementielles. Il est antisymétrique ( $a \wedge b = -b \wedge a$ ), encodant naturellement la directionnalité.
- Sandwich de rotor ( $Rx\tilde{R}$ ) : Une transformation préservant le grade, la norme et inversible. Utilisée pour la coercition de type et la modulation contextuelle (par exemple, faire tourner « livre » vers « lecture » dans « commencer le livre »).

L'architecture à trois couches

La FGA organise le traitement sémantique en trois couches utilisant le même substrat algébrique :

Couche 1 (Condition de vérité) : Utilise la contraction pour évaluer les prédicats par rapport aux arguments, produisant des scalaires (valeurs de vérité).
Couche 2 (Structure événementielle) : Utilise le produit extérieur pour lier les rôles thématiques (Agent, Thème) aux entités, créant des représentations événementielles structurées (multivecteurs) permettant la récupération exacte des participants.
Couche 3 (Application interne) : Utilise les rotors pour effectuer l'Application Intérieure (IA). Au lieu de traiter les arguments comme des wholes indifférenciés (Application Extérieure), les prédicats sondent la structure interne des arguments (par exemple, accéder au quale télique d'un « livre » pour interpréter « commencer »).

3. Contributions clés

A. Unification algébrique de la sémantique

La FGA unifie des opérations qui sont séparées dans d'autres cadres :

La similarité (produit intérieur) et la liaison (produit extérieur) sont des composantes du produit géométrique unique.
La coercition de type est modélisée comme une rotation géométrique (rotor), la rendant explicite et inversible, contrairement aux décalages contextuels opaques dans les embeddings de Transformers.

B. Résolution de phénomènes linguistiques spécifiques

L'article démontre comment la FGA gère des cas où l'Algèbre Linéaire échoue :

Modification sous-jective : « Bon couteau » vs « Bon livre ». Dans la FGA, l'adjectif « bon » est un vecteur tourné par le rotor de quale du nom (par exemple, télique pour « couteau » $\to$ qualité de coupe ; télique pour « livre » $\to$ qualité de lecture).
Coercition de complément : « Ouvrir un livre » (inceptif/lecture) vs « Ouvrir une porte » (changement d'état). Le verbe « ouvrir » interagit avec la structure de quale de l'objet via un rotor pour décaler le type d'événement.
Déliaison exacte : Contrairement aux Représentations Réduites Holographiques (HRR) qui souffrent d'accumulation de bruit, la FGA permet la récupération exacte des rôles et des remplisseurs par contraction avec le vecteur inverse ( $r^{-1} \lrcorner (r \wedge f) = f$ ).

C. Efficacité des paramètres et structure

Interactions d'ordre supérieur structurées : Alors qu'un espace vectoriel plat nécessite $O(n^k)$ paramètres pour des relations $k$ -aires, la structure graduée de l'algèbre de Clifford organise ces interactions en $\binom{n}{k}$ composantes. Les contraintes algébriques (antisymétrie) éliminent les degrés de liberté redondants, fournissant une structure d'ordre supérieur « gratuite ».
Biais inductif : La structure de grade agit comme un biais inductif fort, contraignant l'espace d'apprentissage à des compositions bien typées, améliorant potentiellement la généralisation avec moins de données.

D. Connexion aux architectures neuronales

L'article soutient que les opérations clés de l'AG sont déjà implicites dans les systèmes modernes :

Encodages de position rotatifs (RoPE) : Utilisés dans LLaMA et GPT, ils sont mathématiquement équivalents à des rotors dans un plan 2D restreint.
Attention multi-têtes : Parallèle à la décomposition d'un espace en différents grades/orientations.
Implémentations existantes : Cite GATr (Geometric Algebra Transformer), Versor et CliffordNet comme preuve que les réseaux de neurones basés sur des multivecteurs sont évolutifs et efficaces.

4. Résultats et preuves

Dérivation théorique : L'article fournit des dérivations formelles pour les entrées lexicales, l'application de prédicats et la construction d'événements, montrant que la FGA produit naturellement les réductions de type correctes (par exemple, $Cl_2 \times Cl_1 \to Cl_1$ ).
Analyse comparative : La FGA est comparée à DisCoCat (contraction tensorielle), à la Logique de Composition de Types et aux Architectures Symboliques Vectorielles (VSA). La FGA s'avère supérieure dans la gestion de la déliaison exacte, de l'ordre des arguments (via une contraction asymétrique) et de la coercition de type sans machinerie catégorielle externe.
Contexte empirique : Bien que l'article se concentre sur les fondements formels, il s'appuie sur des résultats empiriques récents de la communauté du ML (GATr, Versor) montrant que les architectures d'algèbre géométrique atteignent des performances de pointe avec moins de paramètres et une meilleure généralisation dans des tâches physiques et séquentielles.

5. Signification et orientations futures

Combler l'écart : La FGA offre un cadre unifié qui fait le pont entre la sémantique formelle (logique, types, compositionnalité) et la sémantique distributionnelle (vecteurs continus, apprentissage).
Interprétabilité : En rendant explicites des opérations comme la coercition (rotors) et la liaison (produits extérieurs), la FGA promet des modèles plus interprétables que les Transformers « boîte noire ».
Voie d'implémentation neuronale : L'article trace une voie réaliste pour l'implémentation :
1. Apprentissage d'embeddings de multivecteurs tronqués par grade.
2. Utilisation de la contraction et du produit extérieur pour des tâches compositionnelles.
3. Remplacement de l'attention standard par des interactions géométriques sensibles au grade.
4. Apprentissage de la signature de la forme quadratique (métrique) à partir des données.

Conclusion :
L'article soutient que les limitations des modèles NLP actuels ne sont pas seulement une question d'échelle, mais de substrat algébrique. En passant de l'Algèbre Linéaire à l'Algèbre Géométrique, la FGA fournit un cadre mathématiquement fondé, sensible aux types et compositionnel qui encode naturellement les complexités structurelles du langage humain, offrant une voie vers des modèles sémantiques plus robustes, interprétables et efficaces en termes de données.