🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

Este artigo investiga a viabilidade da Reservoir Attention Network (RAN), uma arquitetura que injeta um reservatório aleatório fixo e não treinado em transformers pré-treinados para carregar o estado entre passagens, demonstrando, por meio de sondagens mínimas em modelos que variam de GPT-2 a Qwen2.5, que a própria dinâmica recorrente não treinada pode ser suficiente para manter um estado utilizável através de passagens de ida.

Autores originais: Emma Leonhart

Publicado 2026-06-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Emma Leonhart

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Here is the revised summary of the Reservoir Attention Network (RAN) paper, rewritten to be concrete, literal, and technically accurate while remaining accessible.

The Core Problem: Stateless Models

Standard Large Language Models (LLMs), such as GPT-2 or Qwen, are stateless between separate interactions.

How it works now: When you send a prompt to an LLM, it processes the text within the current "context window." Once the response is generated, the internal calculations are discarded. If you start a new chat session, the model has no memory of the previous one. It does not know you spoke to it five minutes ago.
The Goal: The authors wanted to give the model a persistent memory that survives across different chat sessions without retraining the entire neural network. They aimed to add a small, persistent component that retains information from one forward pass to the next.

The Solution: The "Reservoir" Component

The authors inserted a specific computational module called a Reservoir into a pre-trained transformer model.

What is a Reservoir? In this context, a reservoir is a fixed pool of randomly connected artificial neurons. This is based on a technique called Reservoir Computing (specifically Echo State Networks).
- The connections between these neurons are random and fixed; they are never updated or trained during the process.
- Because the connections are recurrent (loops back on themselves), the reservoir maintains an internal state vector.
- As new information enters, this state vector updates step-by-step. It holds a gradually fading "echo" of recent inputs, allowing information to persist over time even after the original input is gone.
The Integration: This reservoir is connected to the main AI model (the transformer). Every time the AI processes text, it sends a signal to the reservoir, which updates its internal state. This state is then carried over to the next interaction.

The Key Discovery: How to Connect the Memory

The most critical finding of the paper is how the reservoir’s state is fed back into the main AI model. The authors tested two methods with opposite results:

Method A: Additive Injection (Failed)
- The Mechanism: The reservoir’s state vector is simply added to the internal activations of the transformer’s layers.
- The Result: This failed. The transformer model learned to treat the reservoir’s signal as background noise and effectively ignored it. The memory did not persist.
Method B: Content-Addressable Injection (Success)
- The Mechanism: The reservoir’s state is converted into pseudo-tokens (specifically, Key and Value vectors) that are placed at the beginning of the input sequence, acting like a "prefix." The transformer’s attention mechanism is forced to attend to these tokens as if they were part of the text.
- The Result: This worked perfectly. Because the model’s attention mechanism explicitly looks at these tokens, it successfully retrieves information from the reservoir that was not present in the current text input.

Technical Configuration: Dynamics and Scaling

For the reservoir to function correctly, its internal dynamics must be carefully tuned:

Edge of Chaos: The random connections in the reservoir must be balanced. If the connections are too weak, the memory fades instantly. If they are too strong, the signals become chaotic and unstable. The reservoir must operate near the "edge of chaos" to maintain stable but expressive memory.
Input Scaling: The signal sent from the transformer to the reservoir had to be scaled down significantly (to about 10–25% of its original strength). If the input is too strong, the reservoir’s neurons saturate (hit their maximum activation limit) and stop processing new information effectively.

Scaling Results: Model Size Matters

The authors tested this architecture on models of different sizes, revealing that scaling is not linear:

GPT-2 Small: Worked successfully. The model could recall a specific "secret word" from a previous session.
GPT-2 Medium: Failed. The model could not learn to utilize the reservoir’s state effectively.
Qwen-1.5B (Large Modern Model): Worked again, but only with adjustments. The reservoir had to be made much larger (e.g., 2048 neurons instead of 512) and the input signal had to be reduced further.
The Lesson: Larger models generate more complex signals. To handle this, the reservoir must be larger and the input signal weaker to prevent saturation.

Capabilities and Limits

The paper provides a realistic assessment of what this technology can currently do:

What it CAN do: It can carry a small amount of specific state across sessions. Examples include remembering a single trigger word, a specific instruction (e.g., "stay silent"), or counting how many times it has been called.
What it CANNOT do: It cannot currently store complex narratives, long lists of facts, or perform multi-step reasoning across sessions.
- Capacity Ceiling: The reservoir has a limited capacity, estimated at 20–48 items. Beyond this, the memory degrades.
Feasibility Study: This is a proof of concept. It demonstrates that persistent memory is possible, but it is not yet a general-purpose solution for long-term complex memory.

Safety and Control Implications

The architecture introduces two interesting side effects regarding control:

Inspectability: Because the reservoir holds a running state vector, an operator could theoretically inspect this vector to monitor what the model is "holding" in memory, even if the model is not currently generating text.
Immediate Interruption: Since the model continuously attends to the reservoir’s state tokens, it can react to a stop signal immediately. Unlike standard models that might finish generating a sentence before checking for new inputs, this model can halt instantly because the "stop" signal is part of the persistent state it is always reading.

Summary

The paper proves that you can add persistent memory to a standard LLM by inserting a fixed, randomly connected neural reservoir and connecting it via content-addressable injection (using attention tokens).

Success: Works on small and large models if the reservoir is sized correctly and input signals are scaled down.
Failure: Fails if connected via simple addition (additive injection) or if the reservoir is too small for the model’s complexity.
Current Status: A viable proof of concept for simple state retention (like remembering a keyword), but not yet capable of handling complex, long-term contextual memory.

Resumo Técnico: A Rede de Atenção de Reservatório (RAN)

Declaração do Problema

Arquiteturas de transformadores padrão são apátridas (stateless) entre passagens de forward; elas não possuem uma variável endógena que evolui entre as chamadas, dependendo exclusivamente da posição dentro da janela de contexto para a consciência temporal. Este estudo investiga se um reservatório fixo e aleatoriamente inicializado (no sentido de uma Rede de Estado de Eco) injetado na atenção de camada intermediária de um transformador pré-treinado pode dotar o modelo com um estado persistente e utilizável entre passagens independentes sem o retreinamento do backbone. A questão central de pesquisa é se tal mecanismo pode carregar estado através das passagens para permitir tarefas estruturalmente impossíveis para modelos apátridas, e sob quais regimes de injeção e dinâmica esse estado se torna um sinal utilizável em vez de ruído.

Metodologia

A arquitetura da Rede de Atenção de Reservatório (RAN) acopla um substrato recorrente fixo-aleatório a um transformador pré-treinado.

Arquitetura: Um reservatório de tamanho $N$ com pesos aleatórios fixos ( $W_r$ , $W_{in}$ ) e uma taxa de vazamento $a$ é injetado em uma camada de profundidade $L_k$ .
Mecanismo: O reservatório lê a saída de atenção da camada via uma projeção aleatória fixa $W_{in}$ , atualiza seu estado $r(t)$ e escreve o estado de volta como pseudo-tokens de prefixo KV endereçáveis por conteúdo via uma leitura treinada $W_{out}$ .
Treinamento: O backbone do transformador permanece congelado. Apenas a leitura $W_{out}$ e adaptadores LoRA leves nas camadas superiores são treinados. O próprio reservatório permanece não treinado e fixo-aleatório.
Escopo Experimental: Experimentos foram conduzidos no GPT-2 (124M, 355M) e Qwen2.5 (0.5B, 1.5B) em uma única GPU de consumo. As tarefas foram sondagens mínimas projetadas para isolar mecanismos específicos (ex: recall de palavra secreta, políticas de silêncio) em vez de demonstrar raciocínio agêntico complexo.

Principais Contribuições e Resultados

1. O Design de Injeção é Decisivo

O estudo estabelece que o método de injeção do estado do reservatório determina se o estado carregado é utilizável.

Falha da Injeção Aditiva: Escrever o estado do reservatório de forma aditiva no fluxo residual resulta no aprendizado do modelo de ignorar o estado recorrente. O recall entre contextos permanece em níveis de acaso (0,17), indistinguível de uma linha de base de reset de estado.
Sucesso do Conteúdo Endereçável (Prefixo-KV): Reinjetar o estado como pseudo-tokens de prefixo KV, aos quais as camadas superiores podem atender, resulta em 100% de recall entre contextos (1,00 vs. 0,17 controle) no GPT-2-small. Isso prova que o estado do reservatório pode carregar informação utilizável se o modelo receber um mecanismo para atendê-lo.

2. Dinâmica do Reservatório e Escalonamento

Regime de Borda do Caos: O reservatório opera efetivamente no regime de borda do caos (raio espectral $\rho \approx 1$ ). No entanto, as ativações reais do transformador sobrecarregam um reservatório de escala unitária, causando saturação.
Escalonamento de Entrada: Para evitar a saturação, o escalonamento de entrada do transformador para o reservatório deve ser ajustado para aproximadamente um quarto a um décimo da escala unitária.
Escalonamento para 1.5B: O limite anteriormente observado de "apenas GPT-2-small" foi um artefato de um reservatório subdimensionado e de um escalonamento de entrada incompatível. Ao ampliar o reservatório para 2048 nós e ajustar o escalonamento de entrada (0,1 para Qwen-1.5B), o recall entre passagens recupera-se para 0,83–1,00 através da família Qwen.
Especificidade do Modelo: O sucesso não é uma função simples da contagem de parâmetros. O GPT-2-medium (355M) falhou em uma varredura de escalonamento de sete pontos, enquanto o Qwen-0.5B obteve sucesso com um escalonamento diferente (0,5) do que o Qwen-1.5B (0,1). O escalonamento de entrada compatível com o modelo é necessário, mas não suficiente; a capacidade de um backbone de aprender a ler o prefixo permanece específica do modelo.

3. Capacidade e Limites

Teto de Capacidade: O reservatório demonstra um teto de capacidade de dezenas de itens. O recall é perfeito para ~6 palavras secretas, degrada-se para ~0,42 em 24 palavras e cai ao nível de acaso com 48 palavras.
Seleção de Semente N: O estudo descobriu que, nos orçamentos de treinamento atuais, selecionar uma "melhor" semente de reservatório fixo via métricas não treinadas (ex: razão de participação) é ineficaz. Os resultados são dominados pelo ruído de treinamento e pela variância de inicialização, em vez da qualidade inerente do reservatório.

4. Comportamentos com Estado vs. Sem Estado (A Bateria)

Uma "bateria" de oito tarefas, separando métricas temporais/agência de recall de conteúdo simbólico, revelou uma divisão crítica:

Métricas Temporais/Agência: Métricas como "silêncio", "tempo" e "auto-iniciação" foram igualadas por uma ablação apátrida (adaptadores LoRA em recursos da passagem atual apenas). Esses comportamentos não dependeram do estado do reservatório carregado.
Recall de Conteúdo: O recall de conteúdo simbólico (recordar tokens específicos) é o verdadeiro teste de estado. Embora inicialmente tenha falhado em escala, ele pode ser retido na bateria apenas sob condições específicas: negando ao atalho apátrida sua capacidade de adaptador (baixo rank de LoRA) e reduzindo a taxa de aprendizado. Sem isso, o otimizador encontra um atalho apátrida e a solução impulsionada pelo reservatório colapsa.

5. Implicações de Segurança e Monitoramento

O artigo propõe que o reservatório fixo oferece uma superfície de monitoramento estável e de baixo custo:

Interrompibilidade: Um agente por tick com um reservatório registra sinais de "STOP" com latência zero e os retém por várias passagens via memória decrescente, ao contrário de agentes baseados em turnos.
Monitorabilidade: Uma leitura linear pode recuperar variáveis de processo internas (ex: tempo decorrido) do estado do reservatório com alta fidelidade ( $R^2 \approx 0,995$ ) sem necessidade de autoencoders esparsos. Esse mapeamento é resiliente a desvios moderados de ajuste fino porque os pesos do reservatório permanecem fixos.

Significância e Alegações

O artigo explicitamente enquadra suas contribuições como um estudo de viabilidade e dinâmica em pequena escala, evitando alegações de inteligência geral ou raciocínio agêntico complexo.

Achado Central: A principal contribuição é o achado de design de injeção: que um reservatório fixo e não treinado pode carregar estado utilizável entre passagens em um transformador pré-treinado, desde que seja injetado como tokens de prefixo KV endereçáveis por conteúdo e que o reservatório seja dimensionado e escalonado corretamente.
Resultados Negativos como Fronteiras: O artigo enfatiza negativos controlados, como a falha do GPT-2-medium e a natureza apátrida das métricas temporais na bateria, para delimitar a contribuição.
Posicionamento Teórico: Os autores afirmam que, embora o estado entre passagens seja motivado por argumentos de complexidade teórica (elevação do limite TC0/FO(M)), eles não alegam ter provado tal elevação. O trabalho trata o reservatório de precisão finita como uma questão teórica aberta.
Trabalho Futuro: A visão de um "agente sempre vivo" é tratada como um trabalho futuro limitado pelo poder computacional. O estudo atual isola se a dinâmica recorrente não treinada é suficiente para carregar estado, deixando a recorrência treinada como uma direção complementar e mais dispendiosa.

Em resumo, o artigo demonstra que como o reservatório é injetado é o fator decisivo para a usabilidade, caracteriza a dinâmica necessária (escalonamento, escalonamento de entrada) para modelos maiores e fornece uma receita para reter o recall de conteúdo com estado em configurações multitarefa, ao mesmo tempo em que reconhece limitações significativas de capacidade e transferibilidade específica de modelo.