🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

Cet article étudie la faisabilité du Reservoir Attention Network (RAN), une architecture qui injecte un réservoir aléatoire fixe et non entraîné dans des transformers pré-entraînés pour porter l'état inter-passes, démontrant, par des sondes minimales sur des modèles allant de GPT-2 à Qwen2.5, que la dynamique récurrente non entraînée peut suffire à maintenir un état utilisable à travers les passes directes.

Auteurs originaux : Emma Leonhart

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Emma Leonhart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème fondamental : L'absence d'état entre les appels

Les modèles de langage standards (comme GPT-2 ou Qwen) sont sans état (stateless) entre deux interactions distinctes.

Fonctionnement actuel : Lorsque vous envoyez une requête, le modèle traite le texte contenu dans la fenêtre de contexte actuelle. Une fois la réponse générée, le processus s'arrête. Si vous ouvrez une nouvelle session, le modèle ne conserve aucune trace de la précédente, sauf si vous recopiez manuellement l'historique dans le nouveau texte.
L'objectif : Les auteurs souhaitaient permettre au modèle de conserver une mémoire interne qui persiste d'un appel à l'autre, sans avoir à réentraîner le modèle entier ni à augmenter artificiellement la fenêtre de contexte.

La solution technique : Le « Réservoir » (Reservoir)

Les auteurs ont intégré un composant spécifique appelé Réservoir au sein d'un modèle pré-entraîné.

Qu'est-ce qu'un Réservoir ? Il s'agit d'un pool fixe de neurones artificiels interconnectés de manière aléatoire. Ce réseau récurrent (dans la tradition des Echo State Networks) possède des poids de connexion qui sont générés aléatoirement et ne sont jamais entraînés (ils restent figés).
Mécanisme de mémoire : Ce pool maintient un vecteur d'état interne. À chaque étape, ce vecteur se met à jour en fonction des nouvelles entrées. Il agit comme une mémoire à court terme qui conserve une « résonance » ou une trace graduellement atténuée des informations récentes. C'est cette trace qui permet à l'information de survivre entre deux passages distincts du modèle.

L'architecture : Intégration dans le Transformer

Le réservoir n'est pas ajouté à la fin, mais injecté à une couche intermédiaire (mid-depth) du transformer pré-entraîné, qui reste gelé (ses poids ne changent pas).

Lecture : Le réservoir lit la sortie de l'attention de la couche du transformer via une projection aléatoire fixe.
Mise à jour : Il met à jour son propre vecteur d'état neuronal.
Écriture : Il renvoie cet état vers le modèle.
Apprentissage : Seul un petit module de lecture (readout) et de légers adaptateurs LoRA sont entraînés ; le cœur du transformer et le réservoir lui-même restent inchangés.

La découverte clé : Comment injecter la mémoire ?

La réussite du système dépend entièrement de la méthode utilisée pour réinjecter l'état du réservoir dans le flux de données du transformer. Les auteurs ont comparé deux approches :

Injection Additive (Échec) :
- Mécanisme : On ajoute simplement le vecteur d'état du réservoir aux activations internes du modèle.
- Résultat : Le modèle apprend à ignorer cette injection, la traitant comme du bruit statistique. La mémoire ne persiste pas.
Injection Adressable par le Contenu (Succès) :
- Mécanisme : L'état du réservoir est converti en faux jetons (pseudo-tokens) de clé/valeur placés en préfixe. Le mécanisme d'attention du transformer est contraint de « regarder » ces jetons pour traiter le texte actuel.
- Résultat : Le modèle utilise activement cette information. Il parvient à rappeler des données d'une session précédente qui ne sont pas présentes dans le texte actuel.

Réglages dynamiques : Stabilité et Échelle

Pour que le réservoir fonctionne, ses paramètres internes doivent être précis :

Bord du chaos : La dynamique interne du réservoir doit être réglée pour être stable mais expressive. Si elle est trop chaotique, l'information devient du bruit ; si elle est trop stable, elle s'efface trop vite.
Gain d'entrée réduit : Les signaux provenant du transformer sont très intenses. Si on les injecte à pleine puissance, les neurones du réservoir saturent (leurs valeurs atteignent un plafond et ne varient plus). Les auteurs ont dû réduire l'amplitude du signal d'entrée à environ 10–25 % pour maintenir une dynamique neuronale fonctionnelle.

Résultats de mise à l'échelle

Les performances varient selon la taille du modèle et la taille du réservoir :

GPT-2 Small : Fonctionne parfaitement. Le modèle retient un mot-clé secret entre les sessions.
GPT-2 Medium : Échoue. Le modèle n'arrive pas à apprendre à utiliser l'état injecté.
Qwen-1.5B : Fonctionne à nouveau, mais uniquement si le réservoir est agrandi (par exemple, 2048 neurones au lieu de 512) et si le gain d'entrée est réduit.
Conclusion : La taille du réservoir doit être proportionnelle à la « capacité de bruit » ou à la complexité du modèle hôte.

Capacités et Limites actuelles

L'article définit clairement les frontières de cette technologie :

Ce qu'il fait : Il peut transporter un état simple entre les appels, comme un mot-clé spécifique, un signal déclencheur (« reste silencieux »), ou un compteur (nombre d'appels effectués).
Ce qu'il ne fait pas : Il ne peut pas mémoriser des histoires complexes, de longues listes de faits ou effectuer un raisonnement logique complexe entre les sessions.
Plafond de capacité : Le réservoir commence à oublier lorsque la charge dépasse environ 20 à 48 éléments distincts.
Nature de l'étude : C'est une preuve de concept. Elle démontre la faisabilité technique d'une mémoire persistante simple, mais ce n'est pas encore un agent capable de gérer un contexte complexe continu.

Implications pour la sécurité et le contrôle

L'ajout d'un état persistant offre des avantages opérationnels :

Surveillance : Un opérateur peut inspecter le vecteur d'état du réservoir pour voir ce que le modèle « retient » en arrière-plan, même s'il ne produit pas de sortie textuelle.
Interruption immédiate : Puisque le modèle consulte constamment l'état du réservoir via l'attention, il peut réagir instantanément à un signal d'arrêt injecté dans le réservoir, plutôt que d'attendre la fin de sa génération actuelle.

Résumé

L'article démontre qu'on peut doter un transformer standard d'une mémoire persistante en ajoutant un réseau de neurones aléatoires figés (réservoir) et en connectant son état au modèle via une mécanique d'attention adressable (et non par simple addition).

Succès : Fonctionne sur les petits modèles et les grands modèles (si le réservoir est assez grand et le signal d'entrée atténué).
Échec : Échoue avec une injection additive ou un réservoir trop petit.
Statut : Preuve de concept pour des tâches de mémoire simple, étape vers des agents avec une mémoire à long terme plus robuste.

Résumé Technique : Le Réseau d'Attention de Réservoir (RAN)

Énoncé du Problème

Les architectures de transformeurs standards sont apériodiques à travers les passes de propagation avant ; elles ne possèdent aucune variable endogène qui évolue entre les appels, s'appuyant uniquement sur la position au sein de la fenêtre de contexte pour la conscience temporelle. Cette étude examine si un réservoir fixe, initialisé de manière aléatoire (au sens des réseaux à écho d'état), injecté dans l'attention des couches intermédiaires d'un transformeur pré-entraîné peut doter le modèle d'un état utilisable et persistant entre des passes indépendantes sans réentraînement du squelette (backbone). La question de recherche centrale est de savoir si un tel mécanisme peut transporter un état à travers les passes pour permettre des tâches structurellement impossibles pour les modèles sans état, et sous quels régimes d'injection et de dynamique cet état devient un signal utilisable plutôt que du bruit.

Méthodologie

L'architecture Reservoir Attention Network (RAN) greffe un substrat récurrent aléatoire et fixe sur un transformeur pré-entraîné.

Architecture : Un réservoir de taille $N$ avec des poids fixes et aléatoires ( $W_r$ , $W_{in}$ ) et un taux de fuite $a$ est injecté à une couche $L_k$ de profondeur intermédiaire.
Mécanisme : Le réservoir lit la sortie d'attention de la couche via une projection aléatoire fixe $W_{in}$ , met à jour son état $r(t)$ , et réinjecte l'état sous forme de pseudo-tokens préfixes clés/valeurs (KV) adressables par le contenu via une lecture entraînée $W_{out}$ .
Entraînement : Le squelette du transformeur est gelé. Seule la lecture $W_{out}$ et de légers adaptateurs LoRA sur les couches supérieures sont entraînés. Le réservateur lui-même reste non entraîné et fixe-aléatoire.
Portée Expérimentale : Les expériences ont été menées sur GPT-2 (124M, 355M) et Qwen2.5 (0.5B, 1.5B) sur un seul GPU grand public. Les tâches étaient des sondes minimales conçues pour isoler des mécanismes spécifiques (ex: rappel de mot secret, politiques de silence) plutôt que pour démontrer un raisonnement agentique complexe.

Contributions Clés et Résultats

1. La conception de l'injection est décisive

L'étude établit que la méthode d'injection du réservoir détermine si l'état transporté est utilisable.

Échec de l'injection additive : L'écriture de l'état du réservoir de manière additive dans le flux résiduel entraîne le fait que le modèle apprenne à ignorer l'état récurrent. Le rappel trans-contexte reste au niveau du hasard (0,17), indiscernable d'une ligne de base de réinitialisation d'état.
Succès de l'adressage par contenu (Préfixe KV) : La réinjection de l'état sous forme de pseudo-tokens préfixes KV auxquels les couches supérieures prêtent attention permet un rappel trans-contexte de 100 % (1,00 contre 0,17 pour le contrôle) sur GPT-2-small. Cela prouve que l'état du réservoir peut porter une information utilisable si le modèle dispose d'un mécanisme pour y prêter attention.

2. Dynamique du réservoir et mise à l'échelle (Scaling)

Régime à la limite du chaos : Le réservoir fonctionne efficacement dans le régime de la limite du chaos (rayon spectral $\rho \approx 1$ ). Cependant, les activations réelles des transformeurs sur-pilotent un réservoir à échelle unitaire, provoquant une saturation.
Mise à l'échelle de l'entrée : Pour éviter la saturation, la mise à l'échelle de l'entrée du transformeur vers le réservoir doit être ajustée à environ un quart à un dixième de l'échelle unitaire.
Mise à l'échelle vers 1.5B : La limite précédemment observée ("GPT-2-small-only") était un artefact d'un réservoir sous-dimensionné et d'une mise à l'échelle d'entrée mal adaptée. En agrandissant le réservoir à 2048 nœuds et en faisant correspondre la mise à l'échelle de l'entrée (0,1 pour Qwen-1.5B), le rappel trans-passe remonte à 0,83–1,00 à travers la famille Qwen.
Spécificité du modèle : Le succès n'est pas une simple fonction du nombre de paramètres. GPT-2-medium (355M) a échoué à travers une analyse comparative de sept points, tandis que Qwen-0.5B a réussi avec une mise à l'échelle (0,5) différente de celle de Qwen-1.5B (0,1). La mise à l'échelle de l'entrée adaptée au modèle est nécessaire mais non suffisante ; la capacité d'un squelette à apprendre à lire le préfixe reste spécifique au modèle.

3. Capacité et Limites

Plafond de capacité : Le réservoir démontre un plafond de capacité de quelques dizaines d'éléments. Le rappel est parfait pour environ 6 mots secrets, se dégrade à environ 0,42 pour 24 mots, et tombe au niveau du hasard pour 48 mots.
Sélection de la graine N (N-Seed) : L'étude a révélé qu'aux budgets d'entraînement actuels, la sélection d'une "meilleure" graine de réservoir fixe via des métriques non entraînées (ex: rapport de participation) est inefficace. Les résultats sont dominés par le bruit d'entraînement et la variance d'initialisation plutôt que par la qualité intrinsèque du réservoir.

4. Comportements avec état vs sans état (La Batterie)

Une "batterie" de huit tâches séparant les métriques temporelles/agentiques du rappel de contenu symbolique a révélé une division critique :

Métriques Temporelles/Agentiques : Les métriques telles que le "silence", le "chronométrage" et l' "auto-initiation" ont été égalées par une ablation sans état (adaptateurs LoRA sur les caractéristiques de la passe actuelle uniquement). Ces comportements ne dépendaient pas de l'état porté par le réservoir.
Rappel de Contenu : Le rappel de contenu symbolique (rappeler des tokens spécifiques) est le véritable test de la présence d'un état. Bien qu'initialement défaillant à grande échelle, il peut être conservé dans la batterie uniquement sous certaines conditions : en refusant au raccourci sans état sa capacité d'adaptateur (faible rang LoRA) et en décrivant le taux d'apprentissage. Sans cela, l'optimiseur trouve un raccourci sans état, et la solution pilotée par le réservoir s'effondre.

5. Implications pour la Sécurité et la Surveillance

Le papier propose que le réservoir fixe offre une surface de surveillance stable et à faible coût :

Interruptibilité : Un agent par "tick" possédant un réservoir enregistre les signaux "STOP" avec une latence nulle et les conserve pendant plusieurs passes via une mémoire déclinante, contrairement aux agents par tours.
Surveillance (Monitorability) : Une lecture linéaire peut récupérer les variables de processus internes (ex: temps écoulé) à partir de l'état du réservoir avec une haute fidélité ( $R^2 \approx 0,995$ ) sans auto-encodeurs parcimonieux. Cette cartographie est résiliente à une dérive modérée due au fine-tuning car les poids du réservoir restent fixes.

Signification et Revendications

Le papier cadre explicitement ses contributions comme une étude de faisabilité et de dynamique à petite échelle, évitant les revendications d'intelligence générale ou de raisonnement agentique complexe.

Résultat Central : La principale contribution est la découverte sur le design de l'injection : qu'un réservoir fixe, non entraîné, peut porter un état trans-passe utilisable dans un transformeur pré-entraîné, à condition qu'il soit injecté sous forme de tokens KV préfixes adressables par le contenu, et que le réservoir soit dimensionné et mis à l'échelle correctement.
Résultats Négatifs comme Limites : Le papier met l'accent sur les négatifs contrôlés, tels que l'échec de GPT-2-medium et la nature sans état des métriques temporelles dans la batterie, afin de délimiter la contribution.
Position Théorique : Les auteurs déclarent que, bien que le mouvement d'état soit motivé par des arguments de complexité théorique (lever la borne TC0/FO(M)), ils ne prétendent pas avoir prouvé un tel levage. Le travail traite le réservoir à précision finie comme une question théorique ouverte.
Travaux Futurs : La vision de l'agent "toujours vivant" est traitée comme un travail futur limité par le calcul. L'étude actuelle isole si des dynamiques récurrentes non entraînées suffisent à porter un état, laissant la récurrence entraînée comme une direction complémentaire et plus coûteuse.

En résumé, le papier démontre que la manière dont le réservoir est injecté est le facteur décisif de l'utilisabilité, caractérise les dynamiques nécessaires (mise à l'échelle, mise à l'échelle d'entrée) pour des modèles plus grands, et fournit une recette pour conserver le rappel de contenu avec état dans des contextes multi-tâches, tout en reconnaissant des limitations significatives en termes de capacité et de transférabilité spécifique aux modèles.