🤖 machine learning

The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

Cet article démontre que le remplacement du substrat d'état caché standard à valeurs réelles par une alternative inspirée du quantique à valeurs complexes accélère significativement la convergence de l'entraînement des modèles de séquences basés sur les espaces d'états et l'attention, bien que l'avantage de performance à long terme ne persiste que dans les architectures d'espaces d'états.

Auteurs originaux : Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Publié 2026-08-18

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmed Nebli, Hadi Saadatdoorabi, Christopher Keibel, Kevin Yam

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle moderne, particulièrement les systèmes qui écrivent du texte, traduisent des langues et prédisent le mot suivant dans une phrase, repose sur un type spécifique de moteur mathématique. Ces moteurs traitent l'information en la faisant circuler à travers une série de couches, un peu comme un signal voyageant à travers un long fil. Pendant des décées, la manière standard de construire ces moteurs a été d'utiliser des nombres réels, les nombres familiers et les décimales que nous utilisons dans la vie quotidienne. Dans cette configuration standard, le moteur se souvient des informations passées en maintenant la force de ses signaux internes. Cependant, à mesure que l'information voyage plus loin dans le temps, ces signaux ont naturellement tendance à rétrécir, comme un murmure s'estompant dans un long couloir. Lorsque le signal devient trop faible, la machine oublie de fait ce qui s'est passé au début de la phrase, ce qui rend difficile l'apprentissage à partir de séquences de données longues. Cet affaiblissement est une limitation fondamentale de la conception actuelle, forçant les chercheurs à utiliser des quantités massives de données et de temps pour apprendre à la machine à se souvenir.

Une équipe de chercheurs a découvert un moyen de contourner ce problème d'affaiblissement en changeant le système de nombres même que la machine utilise pour penser. Au lieu de s'appuyer uniquement sur des nombres réels, ils ont construit une version de ces modèles de langage qui utilise des nombres complexes. Alors que les nombres réels n'ont qu'une seule valeur, les nombres complexes transportent deux informations distinctes : une taille et une direction, ou un angle. Les chercheurs ont découvert qu'en stockant l'information importante dans l'angle plutôt que dans la taille, la machine pouvait voyager beaucoup plus loin sans perdre sa mémoire. Même si la taille du signal rétrécit à mesure qu'il traverse le réseau, l'angle reste parfaitement net et inchangé. Cela permet à la machine de conserver le contexte du début d'une phrase jusqu'à la fin, sans que le signal ne s'éteigne jamais dans le silence.

Les chercheurs ont testé cette nouvelle approche en construisant deux types différents de modèles de langage, l'un basé sur une conception standard et l'autre sur une conception plus récente et plus efficace. Ils ont créé une version « complexe » de chacun, remplaçant les nombres réels par des nombres complexes, et les ont entraînés sur trois ensembles de textes différents, allant d'une petite collection de 100 mégaoctets à un ensemble massif de 15 gigaoctets. Les résultats ont été frappants. Sur la conception plus récente et plus petite, le modèle complexe a atteint le même niveau de précision que le modèle standard en seulement environ un tiers des étapes d'entraînement. Sur la conception plus grande et plus traditionnelle, il a atteint le même niveau en environ la moitié des étapes. Cela signifie que les nouveaux modèles ont appris la même quantité d'informations tout en consommant nettement moins de données et de temps.

Ce qui rend cette découverte particulièrement robuste, c'est que l'avantage est apparu immédiatement, mais que le comportement des deux conceptions a divergé au fur et à mesure de l'entraînement. Les chercheurs ont observé que les modèles complexes ont pris l'avantage dès les cent premières étapes de l'entraînement. Crucialement, ils ont constaté que la nature de cette accélération différait entre les deux architectures. Dans le cas de la conception plus récente (le modèle d'espace d'état), l'écart entre le modèle complexe et le modèle standard s'est en réalité élargi au fur et à mesure de l'entraînement, suggérant que l'avantage est une caractéristique permanente de la nouvelle conception plutôt qu'un artefact éphémère du début du processus. Pour l'ancienne conception (le modèle basé sur l'attention), cependant, l'avantage était le plus fort au début, puis a lentement diminué, s'approchant de zéro à mesure que l'entraînement progressait. Malgré cette décroissance, l'impulsion initiale était suffisamment substantielle pour réduire de moitié le temps d'entraînement pour cette architecture spécifique.

Les chercheurs ont veillé à ce que cette accélération ne soit pas causée par le simple ajout de puissance de calcul ou par le changement de la taille des modèles. Ils ont fait correspondre les deux versions de chaque modèle de manière si précise qu'elles possédaient exactement le même nombre de parties ajustables, avec une différence de moins d'un centième de pour cent. Ils ont également utilisé le même calendrier d'entraînement et le même matériel informatique pour les deux versions. Ce contrôle strict a confirmé que la différence de vitesse provenait entièrement du passage aux nombres complexes et de la manière dont la machine les traite. L'étude a également écarté l'idée que les modèles complexes aient simplement eu de la chance avec leurs conditions initiales ; la constance de l'avantage à travers différentes tailles de texte et différentes architectures de modèles pointait vers une amélioration fondamentale de la façon dont la machine apprend.

L'un des aspects les plus intéressants de ce travail est la façon dont il modifie la gestion des informations conflictuelles par la machine. Dans un modèle standard, si la machine n'est pas sûre de savoir si une séquence de nombres représente une année ou un prix, elle doit activement supprimer l'une de ces possibilités en réduisant son signal interne jusqu'à ce qu'il disparaisse. Dans le modèle complexe, la machine peut plutôt faire pivoter l'angle du signal. Si deux possibilités sont en conflit, la machine peut les faire pivoter de sorte qu'elles s'annulent par un processus appelé interférence, similaire à la façon dont les casques à réduction de bruit créent une onde sonore qui est l'exact opposé du bruit. Cela permet à la machine de rejeter la mauvaise idée sans perdre la force de la bonne, une capacité que les modèles standards ne peuvent pas exercer.

Les chercheurs ont noté que, bien que les modèles complexes apprennent plus vite, il existe certains compromis pratiques. Les puces informatiques utilisées pour ces tâches sont actuellement optimisées pour les nombres réels, donc l'exécution des modèles complexes nécessitait un peu plus de puissance de traitement par étape. Pour la conception de modèle la plus récente, ce coût supplémentaire signifiait que le temps total d'entraînement du modèle était sensiblement le même que celui de la version standard, même si elle nécessitait moins d'étapes. Cependant, le modèle complexe consommait beaucoup moins de données pour atteindre la même qualité, ce qui est un avantage majeur pour les tâches spécialisées où les données sont rares. Pour l'ancienne conception de modèle, les chercheurs n'avaient pas de version optimisée du modèle standard pour comparer, ils ne pouvaient donc pas encore dire si la version complexe serait plus rapide en temps réel, mais le gain d'efficacité des données était clair.

Ce travail suggère que le choix du système de nombres est tout aussi important que l'architecture du modèle lui-même. Pendant des années, les chercheurs se sont concentrés sur la modification de la façon dont la machine route l'information, mais cette étude montre que changer le langage dans lequel la machine pense peut engendrer des bénéfices encore plus grands. Les modèles complexes n'ont pas seulement appris un peu plus vite ; ils ont fondamentalement changé l'efficacité du processus d'apprentissage, atteignant des niveaux élevés de performance avec une fraction des données. Les chercheurs ont conclu que, bien que leur version actuelle soit une adaptation pratique qui assouplit certaines des règles mathématiques strictes de la théorie, elle est suffisante pour prouver que l'approche complexe fonctionne à grande échelle. Ils ont publié l'intégralité de leur code et de leurs journaux d'entraînement, invitant d'autres personnes à vérifier les résultats et à explorer comment cette nouvelle façon de penser pourrait améliorer la prochaine génération d'intelligence artificielle.

Résumé technique : Le raccourci quantique dans les modèles de séquences

1. Énoncé du problème

Les modèles de séquences sont conventionnellement définis par leur « colonne vertébrale » (par exemple, l'attention ou la récurrence) qui achemine l'information à travers les positions. Cependant, presque tous les modèles actuels partagent un choix de conception préalable concernant leur substrat : le système de numération utilisé pour représenter l'état caché et la forme fonctionnelle de la carte de l'état vers la prédiction. Le substrat prédominant utilise un vecteur d'état à valeurs réelles ( $\mathbb{R}^d$ ) avec une transformation affine suivie d'une lecture par softmax.

Cet article identifie deux limitations fondamentales du substrat réel-affine-softmax qui sont indépendantes de la colonne vertébrale :

Le goulot d'étranglement du rang : Une carte affine suivie d'un softmax produit des matrices de log-probabilité de rang au plus $d+1$ . Si la structure conditionnelle des données possède un rang plus élevé, le modèle est mal spécifié, quel que soit le mode de calcul de l'état.
Le compromis entre disparition du gradient et oubli : Les récurrences linéaires réelles avec un rayon spectral $\rho < 1$ atténuent les gradients propagés par $\rho^T$ sur $T$ étapes. Pour maintenir la stabilité et permettre l'oubli, les modèles doivent atténuer l'état, ce qui érode simultanément le signal provenant des positions précoces.

Les auteurs proposent que ces limitations découlent du substrat lui-même. Ils étudient si un substrat à valeurs complexes, s'appuyant sur les mathématiques de la théorie quantique (plus précisément la dynamique de phase et la règle de Born), peut surmonter ces problèmes et réduire le nombre d'étapes d'optimisation nécessaires pour atteindre une perte cible.

2. Méthodologie

Le substrat complexe déployable

L'article introduit une version « déployable » d'un substrat complexe, en relâchant deux propriétés d'un modèle idéalisé d'inspiration quantique (Nebli et al. [10]) qui empêchaient auparavant un déploiement direct :

Relâchement de l'unitarité exacte : Au lieu d'une récurrence strictement préservatrice de la norme (unitaire), ce qui interdit l'oubli, les auteurs utilisent une récurrence contractive dépendante de l'entrée. L'évolution de l'état est définie comme $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ $∣ ψ_{t + 1} ⟩ = a_{t} ⊙ ∣ ψ_{t} ⟩ + b_{t}$ , où le coefficient de transition $a_{t,k}$ $a_{t, k}$ est un produit d'une porte réelle $\alpha_{t,k} \in (0,1)$ $α_{t, k} \in (0, 1)$ et d'une phase à module unité $\lambda_{t,k}$ $λ_{t, k}$ .
- Mécanisme : La porte $\alpha$ gère l'oubli (contraction de magnitude), tandis que la phase $\lambda$ (générée via une transformée de Cayley diagonale) transporte l'information sans distorsion. Cela découple l'oubli du transport d'information.
Relâchement de la lecture du vocabulaire de Born : La règle de Born idéalisée ( $p_v = |\langle e_v | \psi \rangle|^2$ ) appliquée à l'ensemble du vocabulaire est coûteuse en termes de calcul ($O(NV)$). Les auteurs appliquent la règle de Born uniquement comme la fonction de score pour l'attention linéaire (une forme quadratique $|\langle q | k \rangle|^2$ ), tout en conservant une tête softmax liée standard pour la sortie finale du vocabulaire.

Conception expérimentale

Pour isoler l'effet du substrat, les auteurs ont instancié le substrat complexe dans deux colonnes vertébrales distinctes :

H-Mamba : Une réalisation complexe du modèle d'espace d'état Mamba.
H-Transformer : Une réalisation complexe du Transformer utilisant l'attention linéaire avec un score de règle de Born.

Contrôles :

Appariement des paramètres : Les modèles complexes et réels ont été appariés à moins de 0,02 % des paramètres totaux.
Protocole : Un protocole d'entraînement unique et fixe (AdamW, calendrier cosinus, 750 étapes de warmup) a été appliqué à tous les modèles sans ajustement par modèle.
Corpora : Trois corpora au niveau des octets couvrant une échelle de 150x : enwik8 (100 Mo), OpenWebText (3 Go) et FineWeb (15 Go).
Métriques : La métrique principale est le nombre d'étapes d'optimisation pour atteindre des cibles de perte de validation spécifiques (bits par caractère), plutôt que la perte finale uniquement.

3. Contributions clés

Définition d'un substrat complexe déployable : L'article formalise un substrat qui conserve les propriétés d'interférence des phases complexes (via des transformées de Cayley à module unité) tout en permettant un oubli sélectif (via des portes sigmoïdes) et des lectures de vocabulaire efficaces (via softmax).
Le « Raccourci Quantique » : Preuve empirique que ce substrat réduit les étapes d'optimisation nécessaires pour atteindre une perte cible par un facteur d'environ 3 pour les modèles d'espace d'état et 2 pour les modèles d'attention, par rapport à leurs homologues à valeurs réelles de taille identique.
Analyse du mécanisme :
- Transport de phase : L'analyse théorique (Lemme 6.2) montre que la phase relative est transportée à travers la récurrence avec une sensibilité unitaire, indépendamment des portes de contraction, alors que les magnitudes réelles décroissent.
- Interférence : Le score de Born quadratique permet une interférence destructrice (annulation) des hypothèses, une capacité absente des lectures linéaires réelles.
- Décomposition : L'article soutient que l'accélération de l'espace d'état est principalement due à l'amélioration du conditionnement du gradient (transport de phase), tandis que l'accélération de l'attention est un mélange d'interférence et de conditionnement, bien que ce dernier diminue car la base réelle est déjà bien conditionnée.

4. Résultats

Efficacité d'optimisation

À travers les trois corpora et les trois cibles de perte (2,5, 2,2 et 2,0 bpc) :

H-Mamba a atteint les cibles en environ 1/3 des étapes du Mamba réel.
H-Transformer a atteint les cibles en environ 1/2 des étapes du Transformer réel.
Cet avantage a été établi tôt dans l'entraînement (au cours des 200 premières étapes) et est resté stable à travers la courbe de perte descendante.

Comportement post-warmup

L'article distingue les effets précoces de l'entraînement des avantages persistants :

Espace d'état (Mamba) : L'écart de performance s'est élargi après la fin de la phase de warmup du taux d'apprentissage (passant de 0,321 à 0,354 bpc sur OpenWebText), suggérant que l'avantage n'est pas un artefact du schéma de warmup mais un bénéfice structurel de la récurrence.
Attention (Transformer) : L'écart de performance a décliné vers zéro après le warmup, indiquant que l'avantage est principalement un effet de début d'entraînement.

Performance terminale et limites de données

Sur les grands corpus web (OpenWebText, FineWeb), les modèles complexes ont atteint des pertes de validation finales plus basses que leurs homologues réels.
Sur le petit corpus enwik8 (100 Mo), les modèles complexes ont atteint la limite des données plus tôt et ont commencé à sur-apprendre plus rapidement que les modèles réels, conséquence de leur efficacité d'échantillonnage plus élevée.

Coût computationnel

Tokens : La réduction des étapes se traduit directement par une réduction des tokens consommés (ex: ~0,57B de tokens économisés pour H-Mamba sur FineWeb pour atteindre 2,0 bpc).
Temps d'exécution (Wall-Clock Time) : Pour la paire d'attention, l'actuel surcoût du noyau fusionné (tournant à la moitié du débit de son homologue réel) annule l'avantage en nombre d'étapes, entraînant une parité en temps d'exécution. Pour la paire d'espace d'état, une comparaison équitable est en attente d'un noyau optimisé pour la base réelle, mais l'avantage en étapes suggère un potentiel gain de temps si de tels noyaux sont développés.

5. Signification et affirmations

L'article affirme que le substrat (le système de numération et la forme de lecture) est un axe de conception aussi critique que la colonne vertébrale. La principale signification est la démonstration que le remplacement du substrat réel par un substrat complexe, même sous une forme relaxée et déployable, produit une réduction substantielle des étapes d'optimisation requises pour la modélisation de séquences.

Les auteurs déclarent explicitement :

Le « Raccourci Quantique » est une réduction des étapes d'optimisation, et non nécessairement une réduction du temps d'exécution (en raison des inefficacités actuelles des noyaux).
L'avantage est indépendant de la colonne vertébrale dans la phase initiale, mais persistant uniquement pour la colonne vertébrale d'espace d'état, soutenant l'hypothèse que le mécanisme est ancré dans la capacité de la récurrence à transporter la phase sans atténuation.
Les résultats ne sont pas attribués à des différences de nombre de paramètres ou à des artefacts de réglage, étant donné l'appariement strict et les protocoles identiques.
L'article ne prétend pas résoudre le goulot d'étranglement du rang au niveau du vocabulaire (car la tête softmax reste), mais démontre plutôt que le substrat complexe améliore la trajectoire d'optimisation et l'efficacité d'échantillonnage des colonnes vertébrales existantes.

Le travail conclut que le champ sur lequel un modèle calcule est une décision de conception fondamentale, et que la dynamique à valeurs complexes offre une voie viable pour un entraînement plus efficace des modèles de séquences.