💬 NLP

Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space

Cet article présente la Phase-Associative Memory (PAM), un modèle de séquence récurrent utilisant des représentations complexes et un état matriciel pour surmonter les limitations des modèles vectoriels, atteignant des performances compétitives sur WikiText-103 et soutenant l'hypothèse d'une contextualité non classique dans la modélisation du langage.

Auteurs originaux : Gowrav Vishwakarma, Christopher J. Agostino

Publié 2026-04-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gowrav Vishwakarma, Christopher J. Agostino

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌌 Le Mémoire Associatif de Phase : Quand l'IA apprend à danser avec les ombres

Imaginez que vous essayez de comprendre une conversation. Dans les modèles d'intelligence artificielle classiques (comme les Transformers qui alimentent les chatbots actuels), chaque mot est représenté comme un point fixe sur une carte en 2D ou 3D. C'est un peu comme si chaque mot était une photo figée dans un album. Pour trouver un mot lié à un autre, le modèle regarde simplement si les photos sont proches l'une de l'autre.

Le problème ? La réalité du langage est bien plus fluide. Le sens d'un mot change selon le contexte, comme une pièce de monnaie qui montre une face ou l'autre selon comment vous la tenez. Les modèles classiques peinent à capturer cette "indétermination" et finissent parfois par inventer des faits (hallucinations) ou se tromper de contexte.

Les auteurs de ce papier, Gowrav Vishwakarma et Christopher Agostino, proposent une nouvelle approche : le Mémoire Associatif de Phase (PAM).

1. La différence fondamentale : Passer de la Photo à la Musique 🎻

Pour expliquer la différence, utilisons une analogie :

L'IA classique (Transformer) : Imaginez que vous essayez de mémoriser une mélodie en notant uniquement l'intensité (le volume) de chaque note. Vous avez une liste de volumes. C'est utile, mais vous perdez la "direction" de la mélodie. Si vous superposez deux mélodies, elles se mélangent en un bruit confus. C'est ce qui arrive quand l'IA essaie de retenir trop de liens en même temps : le message se perd.
Le PAM (Nouvelle approche) : Ici, les auteurs utilisent les mathématiques de la mécanique quantique (le monde des atomes). Au lieu de simples volumes, ils utilisent des ondes complexes qui ont à la fois une intensité (volume) et une phase (le moment précis où l'onde commence, comme le décalage entre deux vagues).

Dans le PAM, chaque mot n'est pas une photo, mais une vague.

Quand le modèle "écoute" un mot, il ne cherche pas juste une similarité de volume. Il vérifie si les vagues sont synchronisées (en phase).
Si deux vagues sont en phase, elles s'additionnent et deviennent fortes (le lien est fort).
Si elles sont décalées (hors phase), elles s'annulent mutuellement (le lien est ignoré).

C'est comme si, au lieu de chercher un ami dans une foule en criant son nom, vous utilisiez un signal radio. Seuls ceux qui sont "accordés" sur la même fréquence vous répondent clairement, tandis que les autres deviennent du silence.

2. Le problème de la "Superposition" et la solution du Miroir 🪞

Les chercheurs ont d'abord essayé de faire cela avec des vecteurs simples (une seule liste de nombres), mais cela a échoué. C'est comme essayer de mélanger 100 couleurs différentes dans un seul verre d'eau : le résultat devient une boue indistincte. En physique, on appelle cela une "dégradation de la capacité".

La solution ingénieuse du PAM :
Au lieu de garder les souvenirs dans un simple verre d'eau (un vecteur), ils les stockent dans un miroir géant (une matrice).

Imaginez que chaque association entre deux mots est une petite image projetée sur ce miroir.
Grâce à la nature complexe de ces "vagues", le miroir peut contenir des milliers d'images superposées sans qu'elles ne se brouillent, à condition qu'elles soient bien "accordées" en phase.
Cela permet au modèle de retenir beaucoup plus de liens précis sans se perdre.

3. Les Résultats : Un peu plus lent, mais très prometteur 🚀

Les auteurs ont entraîné ce modèle sur un livre de texte (WikiText-103) et l'ont comparé à un modèle classique de taille similaire.

La performance : Le PAM a obtenu un score très proche du modèle classique (30,0 contre 27,1 sur une échelle où plus c'est bas, mieux c'est). C'est une différence minime (environ 10 %).
Le coût : Le PAM est environ 4 fois plus lent à s'entraîner sur le matériel actuel. Pourquoi ? Parce que faire des calculs avec des nombres complexes (qui ont une partie réelle et une partie imaginaire) demande plus d'effort mathématique, un peu comme si vous deviez résoudre deux équations au lieu d'une pour chaque mot.
Le potentiel : Le plus important, c'est que le PAM arrive à ce résultat sans utiliser de techniques de triche (comme des caches de mémoire qui grandissent indéfiniment). Il a une mémoire fixe, peu importe la longueur du texte. C'est comme avoir un cerveau qui ne grossit pas quand il apprend, mais qui reste toujours aussi efficace.

4. Pourquoi est-ce important pour le futur ? 🌍

Ce papier suggère quelque chose de profond : le langage humain et la pensée ne sont peut-être pas "classiques".

Depuis des siècles, nous pensons que le sens est une chose fixe que l'on peut décomposer en pièces séparées (comme un Lego). Mais ce papier montre que le sens est plus comme de la lumière : il dépend de l'angle sous lequel on le regarde et de l'interférence avec d'autres idées.

En utilisant les mathématiques de la "phase" (comme en physique quantique), le PAM capture mieux cette nature fluide du langage.

Cela pourrait aider à réduire les hallucinations (les mensonges de l'IA), car le modèle ne force pas un sens fixe là où il y a de l'ambiguïté.
Cela ouvre la porte à des IA qui comprennent le contexte de manière plus naturelle, comme le font les humains, où le sens émerge de l'interaction entre les mots plutôt que d'être stocké de manière rigide.

En résumé 🎯

Les auteurs ont créé une nouvelle machine à lire et écrire qui ne voit pas les mots comme des points fixes, mais comme des vagues de musique.

Avantage : Elle gère mieux les liens complexes et l'ambiguïté du langage, un peu comme un cerveau humain.
Défi : Elle demande plus de calculs (elle est plus lente pour l'instant).
Espoir : C'est une preuve que pour construire une intelligence artificielle plus intelligente et plus fiable, il faut peut-être arrêter de copier la logique humaine avec des maths simples, et commencer à utiliser les maths complexes qui décrivent la réalité de notre esprit.

C'est un peu comme passer de la radio AM (qui a du bruit et peu de détails) à la radio numérique haute définition : le signal est plus pur, mais il demande un peu plus de puissance pour être traité.

1. Problématique et Contexte

L'article remet en question l'hypothèse fondamentale de la séparabilité et du déterminisme qui sous-tend la plupart des modèles de langage actuels (comme les Transformers), basés sur des espaces vectoriels réels. Les auteurs soulignent plusieurs limites :

Contextualité non classique : Des expériences récentes (tests de Bell appliqués au langage) montrent que l'interprétation sémantique dans les LLM et chez l'humain viole les bornes classiques, suggérant une nature "non séparable" où le sens dépend du contexte de manière intrinsèque.
Échec de la décomposition : Les tentatives d'interprétabilité mécaniste (ex: auto-encodeurs clairsemés) échouent souvent à décomposer les représentations en composants indépendants, car les caractéristiques sont superposées de manière non linéaire.
Limites des modèles vectoriels : Les modèles à état vectoriel utilisant des liaisons holographiques (holographic reduced representations) souffrent d'une dégradation de la capacité de stockage ( $O(1/\sqrt{n})$ ) lorsque plusieurs associations sont superposées dans un même vecteur, entraînant des interférences destructrices.

L'objectif est de concevoir une architecture qui opère nativement dans un espace de Hilbert complexe, utilisant la phase et l'interférence comme mécanismes fondamentaux pour gérer la contextualité sémantique, inspirée par la logique quantique opérationnelle.

2. Méthodologie : Phase-Associative Memory (PAM)

Les auteurs proposent PAM, un modèle de séquence récurrent où toutes les représentations sont des nombres complexes.

Architecture et Composants

Espace de Représentation : Toutes les entrées, sorties, états cachés, clés, valeurs et requêtes sont des vecteurs complexes ( $\mathbb{C}^d$ ). Les tenseurs sont implémentés sous forme "split-real" (forme réelle séparée).
Opérations Clés :
- Activation : Utilisation de modReLU, qui applique un seuil sur la magnitude tout en préservant la phase.
- Normalisation : Une normalisation RMS appliquée aux magnitudes, préservant la phase.
- Position : Intégration d'encodages de position rotatifs complexes (Complex RoPE) pour encoder la position absolue dans la phase.
Mémoire Associative (PAM) :
- Contrairement aux Transformers qui utilisent un produit scalaire et un softmax, PAM accumule les associations dans un état matriciel $S_t \in \mathbb{C}^{d \times d}$ via des produits externes (outer products).
- Mise à jour de l'état : $S_t = \gamma_t S_{t-1} + V'_t \otimes K^*_t$ , où $\gamma_t$ est un taux de décroissance et $K^*$ est le conjugué complexe de la clé.
- Récupération (Retrieval) : Le vecteur de sortie est obtenu par le produit scalaire conjugué : $Y_t = S_t \tilde{Q}_t$ .
- Mécanisme d'Interférence : La force de récupération dépend de l'alignement de phase entre la requête et les clés stockées. Les associations incohérentes en phase sont supprimées par interférence destructive (produit scalaire complexe pouvant être négatif ou imaginaire), sans nécessiter de normalisation par softmax.

Évolution de la Conception

Les auteurs décrivent un parcours expérimental :

Les premières tentatives avec des états vectoriels complexes ( $\mathbb{C}^d$ ) ont échoué à cause de la capacité limitée de superposition.
La solution a été d'augmenter l'état à une matrice ( $\mathbb{C}^{d \times d}$ ), offrant une capacité associative de $O(d^2)$ par tête, résolvant ainsi le problème de dégradation de capacité.

3. Résultats Expérimentaux

Le modèle a été entraîné et évalué sur le jeu de données WikiText-103 (environ 103 millions de tokens).

Configuration : Modèle de ~100 millions de paramètres (16 blocs, 6 têtes, dimension 64), entraîné sur un seul GPU RTX 4090.
Performance (Perplexité) :
- PAM : Perplexité de validation de 30,0 après 10 époques.
- Transformer de référence (apparié) : Perplexité de 27,1 dans des conditions identiques.
- L'écart est d'environ 10 %, ce qui est considéré comme remarquable compte tenu des contraintes de calcul.
Efficacité et Coûts :
- Le PAM souffre d'une surcharge arithmétique de 4x par rapport aux calculs réels (car une multiplication complexe équivaut à 4 multiplications réelles) et n'utilise pas de noyaux CUDA personnalisés.
- Le débit d'entraînement est de 23k tokens/seconde contre 96k pour le Transformer.
- Avantage Inférence : Contrairement aux Transformers qui nécessitent un cache clé-valeur (KV) croissant linéairement avec la longueur de la séquence ( $O(T)$ ), PAM maintient un état fixe de taille $O(1)$ par token (49 152 flottants par couche), offrant un coût inférence constant quel que soit le contexte.
Qualité du Texte : Les échantillons générés sont grammaticalement cohérents et montrent une conscience structurelle (dates, noms propres), bien que la précision factuelle ne soit pas garantie à cette échelle.

4. Contributions Clés

Preuve de Concept d'un Formalisme Complexe : Démo qu'un modèle de langage natif en espace de Hilbert complexe peut rivaliser avec un Transformer standard, validant l'hypothèse que la structure sémantique du langage est intrinsèquement non classique.
Résolution du Problème de Superposition : Démonstration que l'élévation de l'état de mémoire d'un vecteur ( $\mathbb{C}^d$ ) à une matrice ( $\mathbb{C}^{d \times d}$ ) est nécessaire pour éviter la dégradation de capacité dans les liaisons holographiques.
Mécanisme de Récupération par Phase : Introduction d'un mécanisme de récupération basé sur l'interférence de phase (produit scalaire conjugué) qui supprime activement les informations non pertinentes, offrant une alternative au softmax.
Efficacité Inférence : Mise en avant d'une architecture à état fixe ( $O(1)$ par token) qui élimine la croissance du cache KV, un avantage majeur pour les contextes longs.

5. Signification et Implications

Changement de Paradigme Mathématique : L'article suggère que le formalisme mathématique naturel pour le langage n'est pas l'algèbre réelle, mais l'algèbre complexe et l'interférence, similaire à la mécanique quantique. Cela pourrait expliquer pourquoi les modèles actuels (basés sur le réel) doivent utiliser un nombre massif de paramètres pour approximer des corrélations complexes.
Interprétabilité : Si les représentations sont fondamentalement non séparables (comme le suggèrent les violations de Bell), les architectures natives complexes pourraient produire des représentations plus naturellement interprétables via des outils de topologie algébrique (théorie des faisceaux).
Futur de l'IA : Bien que le PAM actuel soit moins performant en perplexité brute et plus lent en entraînement (dû à un manque d'optimisation matérielle), il ouvre la voie à des modèles plus efficaces en inférence et potentiellement plus robustes face aux hallucinations, en traitant le sens comme une propriété contextuelle et non comme une extraction statique.

En résumé, ce travail propose une refonte fondamentale de l'architecture des modèles de langage, passant d'une logique de "récupération de points fixes" à une logique de "mesure contextuelle" dans un espace complexe, avec des résultats préliminaires prometteurs malgré des contraintes de calcul actuelles.