💬 NLP

Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures

Cet article propose un cadre axiomatique unifié pour les modèles de séquence à états cachés dans des sous-groupes fermés de U(d), démontrant que le choix du sous-groupe (comme O(d)) permet de générer naturellement des architectures RNN et Transformer améliorées par une extension de mélange linéaire dans l'espace tangent.

Auteurs originaux : Joshua Nunley

Publié 2026-02-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Joshua Nunley

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur comment prédire le prochain mot d'une phrase, comme un chatbot ou un traducteur. Pour ce faire, l'ordinateur doit garder une « mémoire » de ce qu'il a lu jusqu'à présent.

Dans les modèles classiques, cette mémoire est comme un tableau Excel géant rempli de nombres. À chaque nouveau mot, l'ordinateur fait des calculs sur ce tableau. Le problème ? Parfois, ces nombres deviennent trop grands (l'ordinateur « explose ») ou trop petits (l'ordinateur « oublie » tout), ce qui rend l'apprentissage difficile.

Ce papier propose une idée radicalement différente et élégante : au lieu d'utiliser un tableau de nombres, utilisons des rotations.

Voici l'explication simple, avec des analogies :

1. Le concept de base : La mémoire qui tourne

L'auteur suggère de stocker la mémoire de l'ordinateur non pas dans un espace plat (comme un tableau), mais sur une sphère ou une surface courbe.

L'analogie du globe terrestre : Imaginez que la mémoire de l'ordinateur est un point sur un globe terrestre.
- Dans les modèles actuels, pour ajouter une nouvelle information, on essaie de tirer le point dans une direction. Si on tire trop fort, le point s'éloigne de la surface et on perd le contrôle.
- Dans ce nouveau modèle, pour ajouter une information, on fait tourner le globe. Le point reste toujours sur la surface, à une distance fixe du centre. Il ne peut jamais « s'échapper ». C'est comme si l'ordinateur était contraint de toujours tourner sur lui-même, ce qui garantit une stabilité naturelle.

2. La « Boîte à Outils » universelle

L'auteur ne se contente pas de dire « faisons des rotations ». Il crée une boîte à outils universelle (un squelette de modèle) qui fonctionne avec n'importe quel type de rotation.

L'analogie du Lego : Imaginez un jeu de construction où le châssis de la voiture est fixe. Vous pouvez changer les roues pour qu'elles soient en caoutchouc, en métal, ou en bois.
- Ici, le « châssis » est l'architecture du modèle (RNN ou Transformer).
- Les « roues » sont les sous-groupes mathématiques (des règles spécifiques de rotation).
- L'auteur dit : « Choisissez votre type de rotation (par exemple, des rotations pures dans l'espace 3D, appelées O(d)), et insérez-le dans la boîte. Le reste du modèle s'adapte automatiquement. »

3. Comment ça marche concrètement ?

Le modèle fonctionne en deux temps, comme un danseur :

La pensée (L'espace tangent) : Avant de bouger, le danseur imagine le mouvement dans sa tête (c'est l'espace « tangent », un plan plat local). C'est là que l'ordinateur fait ses calculs complexes.
Le mouvement (L'explication) : Une fois le mouvement imaginé, le danseur l'exécute en tournant sur la sphère. Mathématiquement, cela s'appelle l'« exponentielle ». Cela garantit que le danseur reste toujours sur la scène (la sphère) et ne tombe pas dans le vide.

4. Les résultats : Moins de paramètres, plus de performance

L'auteur a testé cette idée avec un type de rotation spécifique (les rotations orthogonales, comme faire pivoter un cube dans l'espace) sur deux tâches de lecture de texte (Shakespeare et des articles de journaux).

Le résultat : Même avec moins de paramètres (moins de « briques Lego ») que les modèles classiques, ce nouveau modèle a obtenu de meilleurs résultats.
L'astuce secrète : Ils ont ajouté une petite couche appelée « mélange linéaire ». Imaginez que le danseur, avant de tourner, puisse légèrement ajuster la vitesse de ses bras gauche et droit indépendamment. Cette petite flexibilité a permis d'améliorer encore la performance.

En résumé

Ce papier dit : « Arrêtons de laisser la mémoire de nos IA flotter librement dans un espace infini où elle peut se perdre. Donnons-lui un cadre rigide et stable, comme une sphère, où chaque nouvelle information est une rotation contrôlée. »

C'est une approche qui rend les IA plus stables, plus efficaces et plus faciles à comprendre, car au lieu de manipuler des nombres fous, elles manipulent des mouvements géométriques purs. C'est comme passer d'un brouillard de chiffres à une danse chorégraphiée.

1. Problématique et Contexte

Les modèles de séquences modernes (RNN et Transformers) reposent sur une multitude de choix architecturaux complexes (paramétrisation des mises à jour, couches de stabilisation, mécanismes de mémoire). L'auteur propose une approche plus fondamentale : formuler directement les états cachés et les représentations de tokens comme des éléments d'un sous-groupe fermé du groupe unitaire $U(d)$ .

Le problème central abordé est de déterminer comment les contraintes géométriques imposées par la structure de groupe (compacte, avec une algèbre de Lie associée) peuvent induire naturellement des architectures de modèles séquentiels stables et efficaces, sans avoir besoin d'ajouter de nombreux composants externes pour la stabilisation.

2. Méthodologie et Cadre Théorique

L'auteur propose un cadre axiomatique minimaliste basé sur les sous-groupes fermés de $U(d)$ .

A. Hypothèses Fondamentales

Le modèle repose sur trois axiomes :

Causalité : L'état $H_{t+1}$ dépend uniquement de l'état précédent $H_t$ et du token courant $x_t$ .
Clôture du groupe : Si $H_t \in G$ , alors $H_{t+1} \in G$ (où $G$ est un sous-groupe fermé de $U(d)$ ).
Mise à jour locale : Chaque étape est générée par un élément tangent dans l'algèbre de Lie $\mathfrak{g}$ associée à $G$ .

B. Construction du Modèle

Au lieu de travailler dans un espace euclidien $\mathbb{R}^n$ avec des opérateurs contraints, les états et les tokens résident directement sur la variété du groupe.

Mise à jour : La dynamique est multiplicative via l'exponentielle de l'algèbre de Lie :
$H_{t+1} = H_t \exp(\Phi_\theta(H_t, x_t))$
où $\Phi_\theta$ produit un élément dans l'algèbre de Lie $\mathfrak{g}$ .
Lecture (Readout) : Les logits sont calculés via une similarité native au sous-groupe basée sur la trace réelle du produit hermitien :
$\ell_v(H_t) = \tau \Re(\text{tr}(H_t^* P_v)) + b_v$
où $P_v$ sont des matrices prototypes dans $G$ .

C. Templates Unifiés (RNN et Transformer)

Le papier définit des modèles « agnostiques au sous-groupe » où le choix du sous-groupe agit comme un composant « plug-and-play » (remplacement direct) qui modifie :

L'espace d'état ( $G$ ).
L'espace tangent ( $\mathfrak{g}$ ).
Le projecteur tangent (pour mapper les sorties brutes dans $\mathfrak{g}$ ).
La carte de mise à jour.

Spécificités des architectures :

RNN : Mise à jour séquentielle standard dans l'espace tangent.
Transformer : Utilisation de scores d'attention basés sur la similarité de groupe $\Re(\text{tr}(H_i^* H_j))$ , qui est invariante par changement de base global. Les étapes d'attention et de « grounding » (ancrage au token) sont effectuées via des exponentielles dans le groupe.

D. Extension de Mélange Linéaire (Linear Mixing)

Une contribution clé est l'introduction d'une carte linéaire optionnelle $\Gamma : \mathfrak{g} \to \mathfrak{g}$ appliquée dans l'espace tangent avant l'exponentiation. Cela permet de réallouer la capacité du modèle entre les directions « prédictives » et « mémoire » de l'espace tangent, améliorant les performances sous budget de paramètres limité.

3. Contributions Clés

Cadre Unifié : Une définition formelle de modèles RNN et Transformers où les états cachés sont des éléments de groupe, offrant une dynamique bornée par construction et une géométrie naturelle.
Composant « Drop-in » : La démonstration que le choix du sous-groupe (ex: $O(d)$ , $U(d)$ , $SU(d)$) est un axe de conception modulaire qui ne nécessite pas de changer l'interface externe du modèle.
Implémentation $O(d)$ : Une instantiation complète pour le groupe orthogonal $O(d)$ (états orthogonaux), incluant les équations spécifiques pour les RNN et les Transformers (OSM-RNN et OSMFormer).
Validation Empirique : Une évaluation rigoureuse sur des tâches de modélisation de langage à l'échelle de caractères (Tiny Shakespeare, Penn Treebank) avec des comparaisons équitables (budget de paramètres identique).

4. Résultats Expérimentaux

Les expériences se concentrent sur l'instanciation $O(d)$ (Orthogonal State Models - OSM).

Données : Tiny Shakespeare et Penn Treebank (PTB).
Métrique : Bits par caractère (BPC), où une valeur plus basse est meilleure.
Comparaisons :
- Tiny Shakespeare (100K paramètres) :
  - OSMFormer (avec mélange linéaire) : 2.464 (Test BPC).
  - Transformer standard (baseline) : 2.583.
  - Gain significatif avec moins de paramètres.
- Penn Treebank (100K paramètres) :
  - OSMFormer : 1.614 (Test BPC).
  - Transformer standard : 1.664.
- RNN (Tiny Shakespeare, ~52K paramètres) :
  - OSM-RNN : 2.539 vs LSTM : 2.594.
Évolutivité (Scaling) : Sur des budgets allant de 100K à 500K paramètres, les modèles OSMFormer surpassent systématiquement les Transformers de base sur les deux jeux de données, tant en validation qu'en test.
Robustesse : Les modèles OSM montrent une meilleure stabilité lors de l'optimisation (sweep sur les hyperparamètres) et nécessitent moins de réglage fin que les baselines.
Impact du Mélange Linéaire : L'ajout d'une carte linéaire dans l'espace tangent améliore considérablement les performances par rapport à une mise à jour purement géométrique (identité) ou à une correction de type BCH (Baker-Campbell-Hausdorff).

5. Signification et Perspectives

Ce travail démontre que l'intégration de la géométrie des groupes de Lie directement dans la structure des états cachés est une approche viable et performante pour l'apprentissage profond séquentiel.

Stabilité : La nature compacte des groupes (comme $O(d)$ ) garantit par construction que les états restent bornés, résolvant potentiellement les problèmes d'explosion ou de disparition des gradients sans nécessiter de mécanismes de régularisation lourds.
Interprétabilité : La séparation entre l'espace tangent (mises à jour) et la variété (états) offre un nouveau point de vue pour analyser la géométrie des apprentissages (magnitudes des mises à jour, activité par plan).
Généralité : Le cadre est conçu pour être extensible à d'autres sous-groupes ($SU(d)$, tores $T^k$ ), permettant d'explorer comment la structure algébrique (abelienne vs non-abelienne) influence la mémoire et les dépendances à long terme.

En conclusion, l'auteur propose une « pipeline de construction » simple : choisir un sous-groupe, définir sa projection tangente, et entraîner avec l'objectif standard, tout en obtenant des performances compétitives ou supérieures aux architectures standards sur des budgets de paramètres égaux.