🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

Diese Arbeit untersucht die Machbarkeit des Reservoir Attention Network (RAN), einer Architektur, die ein festes, untrainiertes zufälliges Reservoir in vortrainierte Transformer injiziert, um einen Cross-Pass-Zustand zu tragen, wobei durch minimale Probes an Modellen von GPT-2 bis Qwen2.5 nachgewiesen wird, dass untrainierte rekursive Dynamiken allein ausreichen können, um einen nutzbaren Zustand über Vorwärtsdurchläufe hinweg aufrechtzuerhalten.

Ursprüngliche Autoren: Emma Leonhart

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Emma Leonhart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Hier ist die überarbeitete Zusammenfassung der Forschungsarbeit zum Reservoir Attention Network (RAN). Sie verzichtet auf Wasser-Analogien und erklärt stattdessen konkret, welche technischen Mechanismen eingesetzt wurden.

Das Problem: KI-Modelle sind „zustandslos“

Standard-Transformator-Modelle (wie GPT-2 oder Qwen) sind im Grunde zustandslos zwischen verschiedenen Aufrufen.

Wie es funktioniert: Wenn Sie mit einem Chatbot sprechen, verarbeitet das Modell Ihren Text in einem sogenannten „Forward Pass“. Es nutzt den Kontext innerhalb dieses spezifischen Fensters. Sobald der Vorgang abgeschlossen ist, wird der interne Zustand zurückgesetzt.
Die Lücke: Wenn Sie ein neues Gespräch starten, hat das Modell kein Gedächtnis daran, was im vorherigen Fenster passiert ist. Es gibt keine Verbindung zwischen den Aufrufen, außer dem expliziten Text, den Sie erneut eingeben.
Das Ziel der Studie: Die Autoren wollten dem Modell ein mechanisches „Gedächtnis“ hinzufügen, das Informationen über mehrere unabhängige Aufrufe hinweg speichert, ohne das gesamte neuronale Netzwerk neu trainieren zu müssen.

Die Lösung: Ein „Reservoir“ aus künstlichen Neuronen

Die Autoren fügten dem vortrainierten Modell eine spezielle Komponente namens Reservoir hinzu.

Was ist ein Reservoir? Es handelt sich um einen Pool aus künstlichen Neuronen, die in einem wiederkehrenden Netzwerk (Recurrent Neural Network) verbunden sind. Dies basiert auf dem Konzept der Reservoir Computing (oder Echo State Networks).
Die Struktur: Die Verbindungen (Gewichte) zwischen diesen Neuronen sind zufällig generiert und feststehend. Sie werden während des Trainings nicht angepasst.
Die Funktion: Wenn Daten in dieses Netzwerk eingegeben werden, ändert sich der Aktivitätszustand der Neuronen. Da die Verbindungen wiederkehrend sind, bleibt ein Teil dieser Aktivität als „Echo“ erhalten, auch wenn der ursprüngliche Input weg ist. Dieser interne Zustandsvektor (State Vector) verändert sich schrittweise und bewahrt eine abklingende Spur der vergangenen Eingaben. Dieser Zustand überlebt den Abschluss eines einzelnen Modellaufrufs und kann für den nächsten Aufruf bereitgehalten werden.

Die Integration: Wo und wie das Reservoir angeschlossen ist

Das Reservoir ist nicht einfach an den Anfang oder das Ende des Modells gehängt, sondern in die Mitte integriert:

Position: Es ist an einer mittleren Schicht des gefrorenen Transformators angebracht.
Lesen: Das Reservoir liest die Ausgaben der Aufmerksamkeitsmechanismen (Attention Outputs) dieser Schicht. Dies geschieht über eine feste, zufällige Projektion.
Aktualisierung: Basierend auf diesen Eingaben aktualisiert das Reservoir seinen internen Neuronenzustand.
Schreiben: Der aktualisierte Zustand wird zurück in das Modell geschrieben.
Training: Der Hauptteil des Transformators bleibt gefroren (unverändert). Nur ein kleiner Ausgabeschicht (Readout) und leichte Anpassungen (LoRA-Adapter) werden trainiert, um den Zustand des Reservoirs sinnvoll zu nutzen.

Der entscheidende Unterschied: Wie der Zustand zurückgeschrieben wird

Die wichtigste Erkenntnis der Arbeit betrifft die Methode, wie der Zustand des Reservoirs in das Modell zurückgeführt wird. Die Autoren testeten zwei Ansätze mit extrem unterschiedlichen Ergebnissen:

Methode A: Additive Injektion (Fehlschlag)
- Mechanismus: Der Zustandsvektor des Reservoirs wird einfach als numerischer Wert zu den internen Aktivierungen des Modells addiert.
- Ergebnis: Das Modell lernt, diese zusätzlichen Werte als Rauschen zu interpretieren und ignoriert sie effektiv. Es findet keine nützliche Erinnerung statt.
Methode B: Content-Addressable Injektion (Erfolg)
- Mechanismus: Der Zustandsvektor wird nicht einfach addiert, sondern als Key/Value-Prefix (Schlüssel/Wert-Vorsatz) in den Aufmerksamkeitsmechanismus eingefügt. Das Modell behandelt diese Daten wie zusätzliche „Pseudo-Token“, auf die es bei der Verarbeitung achten muss.
- Ergebnis: Das Modell ist gezwungen, diese Informationen zu beachten. Es kann zuverlässig auf Informationen zugreifen, die in einem vorherigen Aufruf gespeichert wurden, aber nicht im aktuellen Eingabetext stehen.

Technische Feinabstimmung: Dynamik und Skalierung

Damit das Reservoir funktioniert, müssen seine internen Parameter präzise eingestellt sein:

Edge of Chaos (Rand des Chaos): Die zufälligen Verbindungen im Reservoir müssen so gewählt sein, dass das System stabil bleibt, aber empfindlich auf Eingaben reagiert. Ist es zu chaotisch, wird das Signal unbrauchbar; ist es zu stabil, verblasst die Erinnerung zu schnell.
Signal-Skalierung: Die Eingabe vom Transformator in das Reservoir musste gedämpft werden (auf etwa 10–25 % der ursprünglichen Stärke). Ohne diese Dämpfung würden die Neuronen im Reservoir „sättigen“ (also ihre maximale Aktivität erreichen und keine weiteren Unterschiede mehr abbilden können).

Skalierungsergebnisse

Die Autoren testeten das Konzept an Modellen verschiedener Größen:

GPT-2 Small: Funktionierte erfolgreich. Das Modell erinnerte sich an Trigger-Wörter über verschiedene Aufrufe hinweg.
GPT-2 Medium: Schlug fehl. Das Modell konnte die injizierten Zustände nicht effektiv nutzen.
Qwen-1.5B (Großes Modell): Funktionierte wieder, aber nur unter spezifischen Bedingungen: Das Reservoir musste deutlich vergrößert werden (z. B. von 512 auf 2048 Neuronen) und die Eingabedämpfung musste beibehalten werden.
Schlussfolgerung: Größere Modelle erzeugen stärkere Signale, die ein entsprechend größeres und besser abgestimmtes Reservoir erfordern, um nicht zu überlasten.

Fähigkeiten und Grenzen

Die Studie ist eine Machbarkeitsstudie (Proof of Concept) mit klaren Grenzen:

Was es kann: Es kann einen begrenzten Zustand über Aufrufe hinweg tragen. Beispiele sind das Merken eines spezifischen Trigger-Worts oder das Zählen, wie oft das Modell aufgerufen wurde.
Was es nicht kann: Es kann keine komplexen Geschichten, lange Faktenlisten oder mehrschichtige logische Schlussfolgerungen über verschiedene Sitzungen hinweg speichern.
Kapazitätsgrenze: Das Reservoir kann etwa 20 bis 48 diskrete Elemente (Tokens/Fakten) speichern, bevor die Informationen unbrauchbar werden.
Agenten-Tests: In Tests mit Aufgaben wie „Warten“ oder „Schweigen“ zeigte das Modell zwar gutes Verhalten, dies beruhte jedoch oft auf internen Strategien des Modells selbst und nicht primär auf dem Reservoir-Gedächtnis. Nur beim Abrufen externer, nicht im Kontext stehender Informationen war das Reservoir entscheidend.

Sicherheitsaspekt

Ein Nebeneffekt dieses Aufbaus ist die potenzielle Überwachungsfähigkeit:

Da das Reservoir einen laufenden Zustand hält, der die Historie der Interaktionen widerspiegelt, könnte ein menschlicher Operator diesen Zustand inspizieren, um zu sehen, welche Informationen das Modell aktuell „im Kopf“ hat.
Da das Modell kontinuierlich auf den injizierten Zustand achtet, kann es auf Unterbrechungssignale (wie einen „Stopp“-Befehl) sofort reagieren, anstatt erst den aktuellen Satz abzuschließen.

Zusammenfassung

Die Arbeit demonstriert, dass man einem standardmäßigen, gefrorenen Transformator ein funktionierendes Gedächtnis zwischen Aufrufen geben kann, indem man ein Reservoir aus zufällig verbundenen, nicht trainierten Neuronen hinzufügt.

Erfolgsvoll ist dies nur, wenn der Zustand des Reservoirs als Key/Value-Prefix in den Aufmerksamkeitsmechanismus integriert wird (nicht durch einfache Addition).
Kritisch sind die richtige Größe des Reservoirs und die Dämpfung des Eingangssignals, um Sättigung zu vermeiden.
Aktueller Stand: Es ist ein funktionierender Prototyp für einfache Zustandsübertragungen (wie Trigger oder Zähler), aber noch kein System für komplexes, langfristiges Kontextgedächtnis.

Technisches Resümee: Das Reservoir Attention Network (RAN)

Problemstellung

Standardmäßige Transformer-Architekturen sind über Vorwärtsläufe hinweg zustandslos; sie besitzen keine endogene Variable, die sich zwischen Aufrufen entwickelt, und verlassen sich ausschließlich auf die Position innerhalb des Kontextfensters für ein zeitliches Bewusstsein. Diese Studie untersucht, ob ein festes, zufällig initialisiertes Reservoir (im Sinne eines Echo State Networks) in die Mid-Layer-Attention eines vortrainierten Transformers injiziert werden kann, um dem Modell ein nutzbares, persistentes Zustandsvermögen zwischen unabhängigen Vorwärtsläufen zu verleihen, ohne das Backbone-Modell neu trainieren zu müssen. Die zentrale Forschungsfrage ist, ob ein solcher Mechanismus in der Lage ist, den Zustand über mehrere Durchläufe hinweg zu tragen, um Aufgaben zu ermöglichen, die für zustandslose Modelle strukturell unmöglich sind, und unter welchen Injektions- und Dynamikregimen dieser Zustand zu einem nutzbaren Signal statt zu Rauschen wird.

Methodik

Die Architektur des Reservoir Attention Network (RAN) pflanzt ein festes, zufälliges rekurrentes Substrat auf einen vortrainierten Transformer auf.

Architektur: Ein Reservoir der Größe $N$ mit festen Zufallsgewichten ( $W_r$ , $W_{in}$ ) und einer Leckrate $a$ wird in einer Schicht $L_k$ der mittleren Tiefe injiziert.
Mechanismus: Das Reservoir liest den Output der Layer-Attention über eine feste Zufelsprojektion $W_{in}$ , aktualisiert seinen Zustand $r(t)$ und schreibt den Zustand als inhaltsadressierbare Key/Value (KV)-Präfix-Pseudo-Token via eines trainierten Readouts $W_{out}$ zurück.
Training: Das Backbone-Transformer-Modell bleibt eingefroren. Es werden lediglich das $W_{out}$ sowie leichte LoRA-Adapter auf den oberen Schichten trainiert. Das Reservoir selbst bleibt untrainiert und fest-zufällig.
Experimenteller Umfang: Experimente wurden auf GPT-2 (124M, 355M) und Qwen2.5 (0.5B, 1.5B) auf einer einzelnen Consumer-GPU durchgeführt. Die Aufgaben waren minimale Probes, die darauf ausgelegt waren, spezifische Mechanismen zu isolieren (z. B. Rückruf eines geheimen Wortes, Silence-Policies), anstatt komplexes agentisches Denken zu demonstrieren.

Zentrale Beiträge und Ergebnisse

1. Das Injektionsdesign ist entscheidend

Die Studie stellt fest, dass die Methode, mit der der Reservoir-Zustand injiziert wird, darüber entscheidet, ob der getragene Zustand nutzbar ist.

Versagen der additiven Injektion: Das Schreiben des Reservoir-Zustands additiv in den Residual Stream führt dazu, dass das Modell lernt, den rekurrenten Zustand zu ignorieren. Der Recall über Kontexte hinweg bleibt auf Zufallsniveau (0,17), ununterscheidbar von einer Baseline mit Zustands-Reset.
Erfolg durch inhaltsadressierbare (KV-Präfix-) Injektion: Die Re-Injektion des Zustands als KV-Präfix-Pseudo-Token, auf die obere Schichten aufmerksam nehmen (attend), führt bei GPT-2-small zu einem 100%igen Cross-Context-Recall (1,00 vs. 0,17 Kontrolle) auf GPT-2-small. Dies beweist, dass der Reservoir-Zustand nutzbare Informationen tragen kann, wenn das Modell einen Mechanismus erhält, auf ihn zu achten.

2. Reservoir-Dynamik und Skalierung

Edge-of-Chaos-Regime: Das Reservoir arbeitet effektiv im Edge-of-Chaos-Regime (Spektralradius $\rho \approx 1$ ). Jedoch übersteuern reale Transformer-Aktivierungen ein auf Einheitsskala skaliertes Reservoir, was zur Sättigung führt.
Input-Skalierung: Um Sättigung zu vermeiden, muss die Input-Skalierung vom Transformer zum Reservoir auf etwa ein Viertel bis ein Zehntel der Einheitsskala heruntergeregelt werden.
Skalierung auf 1.5B: Die zuvor beobachtete „GPT-2-small-only“-Grenze war ein Artefakt eines unterdimensionierten Reservoirs und einer nicht abgestimmten Input-Skalierung. Durch die Vergrößerung des Reservoirs auf 2048 Knoten und die Anpassung der Input-Skalierung (0,1 für Qwen-1.5B) erholt sich der Cross-Pass-Recall auf 0,83–1,00 über die Qwen-Familie hinweg.
Modellspezifität: Der Erfolg ist keine einfache Funktion der Parameteranzahl. GPT-2-medium (355M) versagte über einen siebenstufigen Skalierungssweep hinweg, während Qwen-0.5B mit einer anderen Skalierung (0,5) als Qwen-1.5B (0,1) erfolgreich war. Eine auf das Modell abgestimmte Input-Skalierung ist notwendig, aber nicht hinreichend; die Fähigkeit eines Backbones, das Präfix zu lesen, bleibt modellspezifisch.

3. Kapazität und Grenzen

Kapazitätsdeckel: Das Reservoir zeigt einen Kapazitätsdeckel von wenigen Dutzend Elementen. Der Recall ist perfekt für ~6 geheime Wörter, sinkt auf ~0,42 bei 24 Wörtern und fällt bei 48 Wörtern auf Zufallsniveau ab.
N-Seed-Selektion: Die Studie ergab, dass es bei aktuellen Trainingsbudgets ineffektiv ist, ein „besseres“ festes Reservoir-Seed über untrainierte Metriken (z. B. Partizipationsrate) auszuwählen. Die Ergebnisse werden von Trainingsrauschen und Initialisierungsvarianz dominiert, nicht von der inhärenten Qualität des Reservoirs.

4. Stateful vs. Stateless Behaviors (Die Batterie)

Eine acht-Aufgaben-„Batterie“, welche zeitliche/agentische Metriken von symbolischem Inhalts-Recall trennt, offenbarte eine kritische Spaltung:

Zeitliche/Agentische Metriken: Metriken wie „Silence“, „Timed“ und „Self-Initiation“ wurden durch eine zustandslose Ablation (LoRA-Adapter nur auf Features des aktuellen Durchlaufs) angeglichen. Diese Verhaltensweisen hingen nicht vom getragenen Reservoir-Zustand ab.
Inhalts-Recall: Der symbolische Inhalts-Recall (das Erinnern an spezifische Token) ist der wahre Test auf Stateful-Eigenschaften. Während dieser anfangs bei Skalierung scheiterte, kann er in der Batterie nur unter spezifischen Bedingungen beibehalten werden: indem man dem zustandslosen Shortcut die Adapter-Kapazität entzieht (kleiner LoRA-Rang) und die Lernrate dekrementiert. Ohne diese Maßnahmen findet der Optimierer einen zustandslosen Shortcut, und die durch das Reservoir getriebene Lösung kollabiert.

5. Sicherheit und Monitoring-Implikationen

Das Paper schlägt vor, dass das feste Reservoir eine kostengünstige, stabile Monitoring-Oberfläche bietet:

Unterbrechbarkeit: Ein Per-Tick-Agent mit einem Reservoir registriert „STOP“-Signale mit Null-Latenz und behält sie über mehrere Durchläufe via Fading Memory bei, im Gegensatz zu Turn-basierten Agenten.
Monitorbarkeit: Ein linearer Readout kann interne Prozessvariablen (z. B. die verstrichene Zeit) mit hoher Fidelität ( $R^2 \approx 0,995$ ) aus dem Reservoir-Zustand extrahieren, ohne Sparse Autoencoder zu benötigen. Diese Abbildung ist gegenüber moderatem Fine-Tuning-Drift resilient, da die Reservoir-Gewichte fest bleiben.

Bedeutung und Ansprüche

Das Paper rahmt seine Beiträge explizit als Machbarkeits- und Dynamikstudie in kleinem Maßstab ein und vermeidet Ansprüche auf allgemeine Intelligenz oder komplexes agentisches Denken.

Kernbefund: Der primäre Beitrag ist das Injektionsdesign-Ergebnis: dass ein festes, untrainiertes Reservoir in der Lage ist, einen nutzbaren Cross-Pass-Zustand in einem vortrainierten Transformer zu tragen, sofern es als inhaltsadressierbare KV-Präfix-Token injiziert wird und das Reservoir korrekt dimensioniert und skaliert ist.
Negative Ergebnisse als Grenzen: Das Paper betont kontrollierte negative Ergebnisse, wie das Versagen von GPT-2-medium und die zustandslosen Eigenschaften zeitlicher Metriken in der Batterie, um den Beitrag abzugrenzen.
Theoretische Haltung: Die Autoren stellen fest, dass sie zwar durch komplexitätstheoretische Argumente (Anhebung der TC0/FO(M)-Schranke) motiviert sind, jedoch nicht behaupten, eine solche Anhebung bewiesen zu haben. Die Arbeit behandelt das endliche Reservoir als eine offene theoretische Frage.
Zukünftige Arbeit: Die Vision eines „Always-Alive Agent“ wird als rechenlimitierte zukünftige Arbeit behandelt. Die vorliegende Studie isoliert, ob untrainierte rekurrenten Dynamiken ausreichen, um einen Zustand zu tragen, und überlässt die trainierte Rekurrenz als komplementären, teureren Weg der Forschung.

Zusammenfassend demonstriert das Paper, dass wie das Reservoir injiziert wird, der entscheidende Faktor für die Nutzbarkeit ist, charakterisiert die notwendige Dynamik (Skalierung, Input-Skalierung) für größere Modelle und liefert ein Rezept für die Beibehaltung von Stateful-Inhalts-Recall in Multi-Task-Settings, während es gleichzeitig signifikante Limitationen hinsichtlich der Kapazität und Modellspezifität der Übertragbarkeit anerkennt.