💻 computer science

One Vector Is All You Need for O(1) Self-Attention: The Ocean State

Cet article introduit « Ocean State », une méthode qui remplace l'auto-attention standard par un vecteur persistant unique afin d'atteindre une complexité de calcul et de mémoire en O(1), tout en démontrant une stabilité d'entraînement supérieure et aucun signe d'oubli, même à 10 millions d'étapes de contexte.

Auteurs originaux : SHUYUAN YU

Publié 2026-09-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : SHUYUAN YU

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle moderne repose souvent sur un type spécifique de programme informatique appelé Transformer, qui est devenu la norme pour des tâches telles que l'écriture de textes, la traduction de langues et la réponse à des questions. Ces programmes fonctionnent en examinant une séquence de mots et en décidant quel mot vient ensuite. Pour ce faire avec précision, le programme doit se souvenir des mots qu'il a déjà vus. Dans la conception actuelle, à mesure que le programme lit une phrase longue ou un livre entier, il conserve une liste croissante de chaque mot traité jusqu'à présent. Cette liste agit comme une banque de mémoire qui s'étend avec chaque nouveau mot. Bien que cela fonctionne bien pour des textes courts, cela devient un fardeau pesant pour les textes très longs. L'ordinateur doit constamment scanner cette liste toujours plus grande pour trouver les informations pertinentes, ce qui nécessite une puissance de traitement et une mémoire massives. À mesure que le texte s'allonge, le temps et l'énergie nécessaires pour le lire augmentent beaucoup plus vite que le texte lui-même, finissant par rendre impossible le traitement efficace de documents très longs.

Un chercheur nommé Yu Shuyuan a proposé une autre façon de gérer ce problème de mémoire. Au lieu de conserver une liste croissante de chaque mot, la nouvelle méthode suggère de ne garder qu'un seul vecteur de résumé, qu'l'auteur appelle l'« état océanique » (ocean state). Imaginez cet état comme un conteneur unique et dense qui détient l'essence de tout ce que le programme a lu jusqu'à présent. À mesure que le programme lit un nouveau mot, il met à jour ce conteneur unique pour y inclure la nouvelle information, remplaçant le résumé précédent par un nouveau. Le programme utilise ensuite ce conteneur unique pour aider à prédire le mot suivant. Cette approche change la mathématique fondamentale du problème : au lieu que l'effort augmente avec la longueur du texte, l'effort reste constant, peu importe la longueur du texte. Le programme peut lire un million de mots avec la même quantité de travail par mot, et il utilise une quantité de mémoire fixe et infime, quelle que soit la longueur.

L'idée centrale de ce travail est une question simple : et si nous ne jetions pas le résumé final d'une phrase après l'avoir utilisé pour prédire le mot suivant ? Dans les programmes standards, ce résumé est calculé puis jeté. La nouvelle méthode le conserve, le traitant comme une mémoire persistante qui coule d'une étape à l'autre. Le programme lit le mot actuel et ce vecteur de résumé unique, les combine, et produit un nouveau résumé. Ce processus se répète pour chaque mot du texte. Crucialement, le programme apprend à lire et à mettre à jour ce vecteur unique entièrement par lui-même. Personne ne lui a dit comment compresser l'information dans un seul endroit ; il a simplement appris à le faire pendant l'entraînement parce que la conception le permettait. Les chercheurs ont découvert que ce vecteur unique est étonnamment capable. Il peut contenir des informations provenant d'une séquence de dix millions d'étapes sans en perdre aucune. Lors de tests, le programme pouvait se rappeler des mots spécifiques du début d'une séquence de dix millions d'étapes avec la même précision qu'au début des premières étapes, ne montrant aucun signe d'oubli.

Les chercheurs ont testé cette idée par rapport à la méthode standard en utilisant un large ensemble de données textuelles. Ils ont entraîné les deux versions pour prédire le mot suivant dans une phrase. Les résultats ont montré que la nouvelle méthode, qui n'utilise qu'un seul vecteur, est systématiquement plus performante que la méthode standard qui conserve une liste croissante. Cet avantage n'était pas un coup de chance ; il est apparu dans de nombreux contextes différents, incluant différentes tailles de modèles et différentes longueurs de texte. En fait, la nouvelle méthode était si stable qu'elle pouvait traiter une séquence de dix millions d'étapes sans augmentation de l'erreur, alors que la méthode standard aurait épuisé la mémoire ou pris un temps impossible pour traiter ne serait-ce qu'une fraction de cette longueur. Les chercheurs ont également testé une tâche spécifique où le programme devait répéter un mot après un long délai. La nouvelle méthode a reproduit le mot avec une perte de 0,0006, tandis que la méthode standard a échoué complètement.

Une préoccupation concernant une telle mémoire compressée est qu'elle pourrait devenir illisible ou « floue » avec le temps, perdant les détails nécessaires pour faire de bonnes prédictions. Cependant, les expériences ont montré le contraire. Le vecteur unique est resté net et clair, capable de récupérer des informations spécifiques même après des millions d'étapes. Les chercheurs ont également exploré comment rendre cette méthode plus rapide sur de vrais ordinateurs. Parce que la nouvelle méthode traite les mots les uns après les autres dans une séquence stricte, elle peut être plus lente à entraîner sur une seule machine par rapport à la méthode standard, qui peut traiter de nombreux mots à la fois. Pour résoudre cela, les chercheurs ont développé une façon de répartir le travail entre les différentes couches du programme, permettant de traiter plusieurs étapes simultanément. Ce changement d'ingénierie a considérablement réduit le temps nécessaire pour entraîner le modèle tout en conservant la même haute performance.

L'étude démontre qu'il est possible de construire un système qui se souvient d'une vaste quantité d'informations en utilisant une quantité fixe de mémoire et de puissance de traitement. Les chercheurs ont montré que le programme apprend à organiser ces informations efficacement sans instructions spéciales. Bien que les expériences actuelles aient été menées sur un jeu de données spécifique et avec des modèles relativement petits, et que le comportement à des échelles réelles reste non testé, les résultats suggèrent que le principe sous-jacent est robuste. La méthode fonctionne en repositionnant la manière dont le programme gère son propre état interne, transformant un résumé jetable en une mémoire persistante. Ce changement élimine le coût structurel qui a limité la longueur de texte que les systèmes d'IA peuvent gérer. Les conclusions indiquent qu'avec cette approche, les limites de la longueur du contexte pourraient ne plus être un obstacle, permettant à des systèmes de lire et de comprendre des documents de n'importe quelle taille avec une vitesse et une précision constantes.

Résumé Technique : Un seul vecteur suffit pour une auto-attention en O(1) : L'État Océan (The Ocean State)

1. Énoncé du Problème

Les Transformers standards souffrent d'une limitation structurelle : l'auto-attention entraîne un coût computationnel de $O(N^2)$ et nécessite un cache de clés-valeurs (KV cache) de $O(N)$ qui croît linéairement avec la longueur du contexte. Bien que des travaux récents (RetNet, RWKV, Mamba, Titans) tentent d'atténuer cela en introduisant de nouvelles mécaniques comme l'attention linéaire, le fenêtrage sélectif ou des modules de mémoire externe, ils modifient fondamentalement l'architecture. De plus, les Transformers standards rejettent l'état caché final après chaque passage avant (forward pass), malgré le fait qu'il contienne une absorption de l'intégralité du contexte.

Le papier postule que le coût $O(N^2)$ est structurel à l'implémentation actuelle de l'attention, et non inhérent au concept de modélisation de contexte. Il pose la question suivante : Et si l'état caché, qui absorbe l'ensemble du contexte, n'était pas jeté mais conservé et utilisé comme l'unique objet d'attention pour le jeton suivant ?

2. Méthodologie : L'État Océan (The Ocean State)

La solution proposée, « L'État Océan », implique deux repositionnements spécifiques de l'architecture Transformer standard sans ajouter de nouveaux composants (pas de fenêtrage, pas de mémoire externe).

2.1 Mécanismes Fondamentaux

L'État Océan (Repositionnement 1) :
- Au lieu de rejeter l'état caché après un passage avant, la sortie du traitement du jeton actuel remplace l'état caché précédent, appelé « état océan ».
- Mécanisme d'Attention : L'attention est calculée strictement entre le jeton actuel et l'état océan persistant (un vecteur dense unique).
- Conséquences : Cela élimine le besoin de caches de clés-valeurs (KV caches), de codages positionnels et de masques causaux. L'état est mis à jour via un « relais » (remplacement 1:1) plutôt que par accumulation, garantissant que l'information est réorganisée mais pas compressée ou jetée.
- Lecture seule : L'état océan est lu par le jeton actuel mais n'est jamais traité par le réseau de propagation avant (FFN) ou la pile de couches ; seul le jeton passe à travers la pile.
Ocean BPTT (Repositionnement 2) :
- Puisque l'état océan est une variable récurrente, les gradients doivent être déroulés à travers le temps (Rétropropagation à travers le temps, BPTT).
- Flux de Gradient : Lors de la passe arrière (backward pass), le gradient de l'état océan à l'étape $t$ est calculé sur la base du jeton à l'étape $t$ . Ce gradient est ensuite ajouté au gradient de l'état caché de l'étape $t-1$ .
- Opérateur de Chemin de Lecture : Un opérateur spécifique mappe le gradient du jeton vers l'état océan en utilisant les poids d'attention sauvegardés lors de la passe avant. Plus un jeton « lit » l'océan, plus le signal de gradient envoyé pour mettre à jour l'état de l'océan est fort.

2.2 Implémentation Algorithmique

La boucle d'entraînement consiste en :

Passe Avant (Forward Pass) : Le jeton $t$ prête attention à $ocean_{t-1}$ . Le jeton passe à travers la pile de couches (Attention + FFN). La sortie remplace $ocean_{t-1}$ pour devenir $ocean_t$ .
Passe Arrière (Backward Pass) : Les gradients circulent de la perte à l'étape $t$ vers les couches. Crucialement, le gradient de l'état océan est accumulé à travers les étapes temporelles, permettant aux erreurs des jetons futurs de mettre à jour la représentation des contextes passés.

2.3 Variantes d'Ingénierie

Le papier explore trois régimes d'entraînement pour équilibrer coût, temps et qualité :

Serial Ocean BPTT : Déroulement complet de la chaîne temporelle. Gain de qualité le plus élevé, coût de calcul le plus bas, mais temps d'exécution sériel.
Ocean on Framework : Exécute la chaîne complète sur des frameworks d'autograd standards. Maintient le plein gain de qualité tout en améliorant le débit via le batching.
Ocean Detach : Coupe la chaîne de gradient temporelle (pas de BPTT à travers les étapes). Permet un entraînement entièrement parallèle (comme les Transformers standards) mais sacrifie le gain de performance dérivé des gradients temporels.

3. Principales Contributions

Repositionnement Architectural : Démontre que l'attention en $O(1)$ et la mémoire en $O(1)$ sont réalisables en réutilisant l'état caché rejeté comme un vecteur « océan » persistant, éliminant ainsi les caches KV et les codages positionnels.
Capacité Émergente : Montre qu'un Transformer peut apprendre à lire et à extraire des informations d'un vecteur dense unique sans instruction explicite, en s'appuyant uniquement sur un entraînement de bout en bout.
Scalabilité vers des Contextes Extrêmes : Prouve que l'architecture peut gérer des longueurs de contexte allant jusqu'à 10 millions d'étapes sans dégradation, un exploit impossible pour les Transformers standards en raison des contraintes de mémoire et de calcul.
Déroulement de Gradient : Introduit l'« Ocean BPTT », appliquant le BPTT standard à la sortie de la pile de couches complète comme état récurrent, identifiant cela comme la source primaire des gains de performance.

4. Résultats Expérimentaux

Les expériences ont été menées sur le corpus de Shakespeare (niveaux caractère et mot) en utilisant une implémentation NumPy personnalisée (float64) et vérifiées avec PyTorch.

4.1 Performance et Dynamique d'Entraînement

Supériorité : À travers tous les configurations testées (largeurs $d \in \{32, 64, 128, 256\}$ , profondeurs $L \in \{2, 4, 6\}$ , et divers nombres de têtes), le régime « Ocean Full » a systématiquement surpassé le Transformer standard.
Gain Stable : L'écart de performance ( $\Delta = Loss_{std} - Loss_{full}$ ) était positif et stable (environ +0,15 de réduction de perte) sur toute la grille.
Source du Gain : Le gain est principalement structurel. Lorsque la chaîne temporelle est détachée (Ocean Detach), la performance chute significativement, indiquant que le déroulement du gradient temporel est le facteur critique, et non seulement le mécanisme d'attention lui-même.

4.2 Contexte Long et Mémoire

Absence d'Oubli : Dans un test de pré-remplissage (prefill) de 10 millions d'étapes, la perte est restée stable (1,532 à 1M d'étapes contre 1,531 à 10M). L'état océan ne montre aucun signe de saturation de capacité ou d'oubli.
Tâche d'Écho : Le modèle a atteint une perte proche de zéro (0,0006) dans une tâche d'écho avec un délai de 2 millions d'étapes, là où le Transformer standard a totalement échoué.
Efficacité Mémoire : L'état océan nécessite seulement une mémoire en $O(1)$ (un vecteur unique de dimension $d$ ), indépendante de la longueur du contexte. En revanche, les Transformers standards nécessitent un cache KV en $O(N)$ , ce qui devient irréalisable à des échelles comme 1 million de jetons (nécessitant environ 1 To pour un modèle de 13B).

4.3 Inférence et Génération

Pas d'Extrapolation : L'océan génère un texte cohérent sans avoir besoin d'extrapolation de codage positionnel (ex: RoPE, ALiBi) car la longueur du contexte n'est pas une variable d'entrée pour le mécanisme d'attention.
Temps d'Exécution (Wall-Clock Time) : Bien que la nature récurrente de l'algorithme rende l'entraînement plus lent par étape qu'un Transformer parallèle standard, le papier note que le pipelining par couche (Ocean A-2) peut atteindre un gain de vitesse de 1,9x en temps réel, et que le parallélisme imbriqué (Ocean A-3) offre des gains théoriques de $10^3$ . L'auteur souligne que l'entraînement implique un triangle de compromis explicite entre coût, temps et qualité, où l'implémentation pratique nécessite de choisir des régimes spécifiques (ex: detach pour l'échelle industrielle, full chain pour la qualité de recherche).

5. Signification et Revendications

Le papier avance trois points principaux, qu'il définit comme falsifiables :

Consistance de l'Entraînement : L'état océan s'entraîne avec la même forme de courbe d'apprentissage que le Transformer standard, confirmant qu'il s'agit d'un repositionnement valide plutôt que d'un paradigme d'apprentissage fondamentalement différent.
Gain Universel : Pour toute architecture Transformer sous des conditions identiques, l'état océan produit un gain de performance positif ( $\Delta > 0$ ).
Capacité Infinie : Avec une dimension suffisante ( $d$ ), l'état océan ne présente aucune limite de capacité, aucun oubli, ni aucun échec de récupération à n'importe quelle échelle observable.

L'auteur conclut que l'« État Océan » répond au principe de l'inférence et de l'entraînement en $O(1)$ pour des longueurs de contexte arbitraires, affirmant : « nous pensons que le principe est résolu ». En s'appuyant sur la capacité émergente du Transformer à organiser l'information au sein d'un seul vecteur, la méthode lève les goulots d'étranglement structurels de l'attention quadratique et de la croissance linéaire de la mémoire, permettant potentiellement des transformers « petits et personnels » et des robots humains dotés d'états cognitifs continus. Le travail souligne que ces résultats sont dérivés d'expérimentations de type « et si » sur des composants existants, respectant les propriétés émergentes de l'architecture originale, tout en reconnaissant les questions ouvertes concernant des configurations spécifiques (par exemple, pourquoi le mode detach surpasse le standard dans certains cas).