🤖 machine learning

Echo: KV-Cache-Free Associative Recall with Spectral Koopman Operators

Echo ist eine KV-Cache-freie Architektur, die Spectral-Koopman-Attention in State-Space-Modelle integriert, um eine konstante Speichernutzung und eine perfekte assoziative Wiedererkennung über lange Sequenzen hinweg zu erreichen und damit effektiv die Abrufbeschränkungen reiner SSMs sowie die Speicherengpässe traditioneller Transformer zu überwinden.

Ursprüngliche Autoren: Anupama Sridhar, Alexander Johansen

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anupama Sridhar, Alexander Johansen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Gedächtnis-Klippe"

Stellen Sie sich vor, Sie lesen eine sehr lange Geschichte, vielleicht 10.000 Seiten lang. Sie müssen eine spezifische Tatsache erinnern, die auf Seite 10 erwähnt wurde, um eine Frage auf Seite 10.000 zu beantworten.

Der alte Weg (Transformer): Um diese Tatsache zu erinnern, führt der Computer ein riesiges „Notizbuch" (ein KV-Cache), in das er jedes einzelne Wort schreibt, das er bisher gelesen hat. Je länger die Geschichte wird, desto riesiger wird dieses Notizbuch. Irgendwann läuft der Speicherplatz auf der Festplatte des Computers aus, was zum Absturz führt. Dies ist der Speicher-Engpass.
Der „effiziente" Weg (Zustandsraummodelle wie Mamba): Um Platz zu sparen, führen diese Modelle kein Notizbuch. Stattdessen versuchen sie, die gesamte Geschichte in eine winzige, festgroße „mentale Zusammenfassung" (einen rekurrenten Zustand) zu komprimieren. Sie aktualisieren diese Zusammenfassung, während sie lesen.
- Das Problem: Diese Zusammenfassung ist ein wenig wie ein verhallendes Echo. Wenn Sie auf Seite 10 ein Flüstern hören, ist das Echo bis zum Zeitpunkt, an dem Sie Seite 10.000 erreichen, so stark verblasst, dass Sie es nicht mehr hören können. Das Papier nennt dies die „Gedächtnis-Klippe". Wenn die Lücke zwischen der Tatsache und der Frage zu groß ist, vergisst das Modell alles und rät zufällig.

Die Lösung: Echo

Die Autoren haben ein neues Modell namens Echo entwickelt. Es kombiniert das Beste aus beiden Welten: Es behält die winzige, platzsparende „mentale Zusammenfassung" bei, fügt jedoch ein spezielles Werkzeug hinzu, um bestimmte Fakten abzurufen, ohne ein riesiges Notizbuch zu benötigen.

Stellen Sie sich Echo als Bibliothekarin mit einem magischen Indexkarten-System vor.

1. Die magische Indexkarte (Spektrale Koopman-Aufmerksamkeit)

Anstatt jedes Wort in ein Notizbuch zu schreiben (was zu viel Platz benötigt), schreibt Echo einige Zusammenfassungsstatistiken auf eine kleine, festgroße Indexkarte.

Wie es funktioniert: Während das Modell liest, speichert es die Wörter nicht. Stattdessen aktualisiert es einige Zahlen auf der Karte, die darstellen, „wie oft dieses Wort vorkam" und „was normalerweise danach kommt".
Die Magie: Da diese Zahlen nur einfache Additionen sind (wie das Hinzufügen von 1 zu einem Punktestand), wird die Karte nie größer, egal wie lang die Geschichte ist. Sie passt in Ihre Tasche (konstanter Speicher).

2. Der Spektralfilter (Der „Echo"-Effekt)

Hier kommt der Teil „Spektraler Koopman" ins Spiel. Die Autoren stellten fest, dass einige Informationen „laut" und beständig sind (wie ein Trommelwirbel), während andere Informationen „leise" sind und schnell verblasen (wie ein Flüstern).

Das Problem: In einer normalen Zusammenfassung werden die leisen Fakten vom Rauschen übertönt.
Die Lösung: Echo verwendet einen mathematischen „Filter" (wie einen Noise-Cancelling-Kopfhörer für Daten). Es betrachtet die Muster auf der Indexkarte und fragt: „Ist diese Tatsache ein beständiger Trommelwirbel oder nur ein flüchtiges Flüstern?"
Das Ergebnis: Es verstärkt die beständigen Fakten (diejenigen, die man sich merken muss) und unterdrückt das Rauschen. Dies ermöglicht es, eine Tatsache von Seite 10 abzurufen, selbst wenn man sich auf Seite 10.000 befindet, ohne jemals Seite 10 in ein Notizbuch geschrieben zu haben.

3. Kein „Raten" mehr

Das Papier testete dies in einem Spiel namens „Nadel im Heuhaufen".

Das Spiel: Verstecken Sie einen bestimmten Satz (die Nadel) in einem massiven Textblock (dem Heuhaufen). Bitten Sie das Modell, ihn zu finden.
Die Ergebnisse:
- Reines Mamba (das verhallende Echo): Lag fast 100 % der Zeit falsch, wenn der Text lang war. Es traf auf die „Gedächtnis-Klippe".
- Standard-Aufmerksamkeit (das riesige Notizbuch): Lag richtig, benötigte dafür jedoch eine massive Menge an Computerspeicher.
- Echo (der magische Index): Lag zu 100 % richtig, selbst bei den längsten Texten, und verwendete dabei eine winzige, feste Menge an Speicher. Es benötigte kein Notizbuch; es brauchte nur seine Indexkarte.

Warum dies wichtig ist (laut dem Papier)

Das Papier behauptet, dass Echo beweist, dass man nicht zwischen Effizienz (niedriger Speicherbedarf) und Intelligenz (gutes Gedächtnis) wählen muss.

Effizienz: Es verwendet die gleiche winzige Menge an Speicher, egal ob der Text 100 Wörter oder 100.000 Wörter lang ist.
Genauigkeit: Es löst das Problem der „Gedächtnis-Klippe", das andere effiziente Modelle plagt.
Geschwindigkeit: Es berechnet die Antwort unter Verwendung einer direkten mathematischen Formel (wie das Lösen einer mathematischen Gleichung), anstatt die Antwort durch Versuch und Irrtum zu „raten" (wie es Standard-Aufmerksamkeitsmodelle oft tun).

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, sich eine Telefonnummer aus einem langen Gespräch zu merken.

Standard-KI: Schreibt das gesamte Gespräch in ein Buch. Sie kann die Nummer finden, aber das Buch ist schwer und schwer zu tragen.
Mamba (alte effiziente KI): Versucht, sich das Gespräch im Kopf zu merken. Am Ende hat sie die Nummer vergessen, weil die Erinnerung verblasst ist.
Echo: Führt ein winziges, festgroßes Notizbuch. Anstatt das gesamte Gespräch zu schreiben, notiert es einen „Code" für die Nummer. Wenn danach gefragt wird, verwendet es einen speziellen Decoder (den Spektralfilter), um diesen Code sofort wieder in die Nummer zu verwandeln, egal wie lang das Gespräch war.

Das Papier kommt zu dem Schluss, dass diese „Echo"-Architektur es KI-Agenten ermöglicht, sehr lange Aufgaben (wie komplexe Werkzeugnutzung oder lange Denkketten) zu bewältigen, ohne den Speicher zu erschöpfen, und damit einen großen Engpass in der aktuellen KI-Technologie löst.

Technische Zusammenfassung: Echo: KV-Cache-freie assoziative Erinnerung mit spektralen Koopman-Operatoren

1. Problemstellung

Das logische Schlussfolgern in langen Kontexten und das agentische Tool-Calling erzeugen Spuren, die Zehntausende von Tokens umfassen. Während Transformer-basierte Architekturen auf Key-Value (KV)-Caches zur Aufrechterhaltung inhaltsadressierter Abrufe angewiesen sind, wachsen diese Caches linear mit der Sequenzlänge und erzeugen einen Speicherengpass auf handelsüblicher Hardware. Im Gegensatz dazu bieten State Space Models (SSMs) wie Mamba eine Inferenz in linearer Zeit und einen konstanten Speicherbedarf pro Schritt, indem sie die Sequenz in einen rekurrenten Zustand fester Größe komprimieren. Diese Komprimierung ist jedoch verlustbehaftet: SSMs leiden unter einer „Gedächtnis-Klippe", bei der die Abrufgenauigkeit exponentiell zusammenbricht, sobald die Lücke zwischen einer gespeicherten Tatsache und ihrer Abfrage den effektiven Horizont des rekurrenten Zustands überschreitet.

Gängige Abhilfemaßnahmen beinhalten hybride Architekturen, die SSM-Schichten mit kausalen Aufmerksamkeitsblöcken abwechseln. Zwar stellt dies die Abruffähigkeiten wieder her, führt jedoch erneut zum linearen Speicherwachstum des KV-Caches. Die Arbeit geht davon aus, dass inhaltsadressierter Abruf als Kernel-Ridge-Regression umformuliert werden kann, wobei hinreichende Statistiken als laufende Summen in festem Speicher akkumuliert werden, wodurch der KV-Cache vollständig eliminiert wird, ohne die Abrufleistung zu beeinträchtigen.

2. Methodik: Echo und Spektrale Koopman-Aufmerksamkeit (SKA)

Die Autoren stellen Echo vor, eine KV-Cache-freie Architektur, die auf Spektraler Koopman-Aufmerksamkeit (SKA) basiert, einem direkten Ersatz für Standard-Aufmerksamkeits-Schichten. Echo behält SSMs (insbesondere Mamba-2) für die lokale sequenzielle Verarbeitung bei, ersetzt jedoch globale Abrufmechanismen durch SKA.

2.1 Kernmechanismus: Spektrale Koopman-Aufmerksamkeit

SKA schätzt ein kompaktes lineares dynamisches Modell aus strömenden hinreichenden Statistiken ab, um Werte an Abfragepositionen abzurufen, ohne eine $T \times T$ -Aufmerksamkeitsmatrix zu materialisieren oder einen KV-Cache zu pflegen.

Akkumulation hinreichender Statistiken: SKA akkumuliert drei additive Statistiken in $O(r^2 + rP)$ Speicher (wobei $r$ ein kleiner Projektionsrang und $P$ die Kopf-Dimension ist):
1. Eine regularisierte Gram-Matrix $G = \sum \hat{z}_t \hat{z}_t^\top + \epsilon I$ .
2. Eine kreuzzeitliche Kovarianz $M = \sum \hat{z}_t \hat{z}_{t-1}^\top$ .
3. Eine Wert-Schlüssel-Kovarianz $C_v = \sum v_t \hat{z}_t^\top$ .
  Diese Statistiken sind exakte hinreichende Statistiken für die Abrufberechnung, was bedeutet, dass längere Sequenzen die Konditionierung der Schätzungen verbessern, anstatt sie zu verschlechtern.
Operatorschätzung und Abruf:
- Das System passt einen gebleichten Koopman-Operator $A_w = L^{-1} M L^{-\top}$ (wobei $L$ der Cholesky-Faktor der regularisierten Gram-Matrix ist) mittels Ridge-Regression an.
- Die Wertauslesung wird als $B_v = C_v \tilde{G}^{-1}$ berechnet, was der eindeutigen Minimierer des regularisierten Least-Squares-Ziels $\min_B \sum \|v_t - B\hat{z}_t\|^2 + \epsilon \|B\|_F^2$ entspricht.
- Im Gegensatz zur linearen Aufmerksamkeit (die einem einzelnen Gradientenschritt von Null entspricht) oder Softmax-Aufmerksamkeit (die diese Lösung implizit über nicht-konvexe Optimierung approximiert), berechnet SKA die geschlossene Ridge-Lösung direkt mittels Cholesky-Faktorisierung.
Spektrale Filterung:
- Der gebleichte Operator $A_w$ wird spektral normalisiert, um seinen Spektralradius zu begrenzen.
- Ein Power-Iterierten-Filter ( $A_w^K$ ) wird auf die gebleichte Abfrage angewendet. Dieser Filter verstärkt persistente Eigenmoden (wo $|\lambda| \approx 1$ , was stabile Bindungen darstellt) und unterdrückt transiente Moden (wo $|\lambda| \ll 1$ , was Rauschen oder Ablenkungen darstellt). Diese spektrale Selektivität ist eine Fähigkeit, die reinen Regressionszielen allein nicht innewohnt.

2.2 Architekturbestandteile

SSM-Rückgrat: Der Großteil der Schichten verwendet Mamba-2 für die lokale Verarbeitung.
Spektraler Koopman-MLP: Die Standard-SwiGLU-Feedforward-Schichten werden durch einen spektralen MLP ersetzt, der eine blockdiagonale Rotation (auf die Einheitskreisscheibe beschränkt) auf die Eingabe anwendet. Dieses Design erhält den Gradientenrang und reduziert die Parameteranzahl im Vergleich zu SwiGLU um ein Drittel, während die Normerhaltung gewahrt bleibt.
Inferenz: Echo behält pro Schicht $O(1)$ Speicher unabhängig von der Kontextlänge bei. Der Zustand besteht aus den Akkumulatoren ( $G, M, C_v$ ) und einem skalaren Max-Norm, was bei einem Modell mit 50 Millionen Parametern insgesamt etwa 77 KB beträgt.

3. Hauptbeiträge

Eliminierung der Gedächtnis-Klippe: Die Arbeit zeigt, dass das Versagen des Abrufs bei reinen SSMs eine strukturelle Folge multiplikativer Rekurrenz ist und keine Kapazitätsbegrenzung. Echo eliminiert diese Klippe durch die Verwendung eines geschlossenen Ridge-Lösers über strömende Statistiken.
KV-Cache-freie assoziative Erinnerung: Echo erzielt perfekte Abrufleistung auf Benchmarks, bei denen reine SSMs versagen, und erreicht das Niveau hybrider SSM+Attention-Modelle, jedoch mit konstantem Inferenzspeicher.
Theoretische Verbindung zur Regression: Die Arbeit formalisiert den Zusammenhang zwischen inhaltsadressiertem Abruf und Ridge-Regression und zeigt, dass SKA dieses Optimierungsproblem explizit über Cholesky-Faktorisierung löst und so den nicht-konvexen Optimierungsraum der Aufmerksamkeit umgeht.
Erhaltung des Gradientenflusses: Die Autoren liefern eine theoretische Analyse, die zeigt, dass SKA und der Spektrale Koopman-MLP im Rückwärtspass keine zusätzliche Rangkompression einführen (im Gegensatz zur Softmax-Aufmerksamkeit, die Gradienten über den entropieabhängigen effektiven Rang der Aufmerksamkeitsmatrix komprimiert). Dies deutet auf einen Mechanismus für verbesserte Dateneffizienz hin.

4. Experimentelle Ergebnisse

Die Autoren bewerteten Echo in drei Regimen: synthetische Transferaufgaben, Multi-Query Assoziativer Abruf (MQAR) und Sprachmodellierung.

Synthetischer Transfer (Sub-Million-Skala): Bei fünf zurückgehaltenen Abrufaufgaben (einschließlich Systemprompt-Abruf, Tool-Spur und Nadel-im-Heuhaufen) übertraf ein Echo-Modell mit 982.000 Parametern (SSM+SKA) sowohl ein reines SSM (1,11 Mio. Parameter) als auch ein SSM+Attention-Hybrid (998.000 Parameter). Echo erzielte eine mittlere Genauigkeit von 81,1 % im Vergleich zu 54,4 % für reines SSM und 76,2 % für das Hybrid. Entscheidend behielt Echo bei Aufgaben zur Längengeneralisierung eine hohe Genauigkeit (65 % bei 4.096 Tokens), während die Baselines auf nahezu Zufallswerte kollabierten.
MQAR (50M-Skala): Auf dem MQAR-Benchmark mit Ablenkungslücken von bis zu 4.096 Tokens und 32 KV-Paaren erzielte ein reines Mamba-2 etwa 3 % (Zufall). Das Echo-Modell (Mamba-2+SKA) erreichte 100 % Abrufgenauigkeit über alle Konfigurationen hinweg und bestätigte, dass die Gedächtnis-Klippe strukturell ist und in dieser Skala eliminiert werden kann.
Sprachmodellierung (180M-Skala): Ein Echo-180M-Modell, das auf 10 Milliarden Tokens trainiert wurde, entsprach oder übertraf die Leistung anderer Modelle mit 100–400 Millionen Parametern (einschließlich GPT-2 345M und Mamba-3-Varianten) auf fünf von sechs Zero-Shot-Benchmarks (HellaSwag, PIQA, ARC, WinoGrande, LAMBADA), obwohl es 10-mal weniger Trainings-Token als einige Baselines verwendete. Dies deutet darauf hin, dass die Architektur sowohl speicher- als auch dateneffizient ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Echo zeigt, dass SSMs ihre Effizienzvorteile (lineare Zeit, konstanter Speicher) nicht opfern müssen, um die Abruffähigkeiten von Aufmerksamkeit wiederzugewinnen. Indem der Abruf als geschlossenes spektrales Regressionsproblem umformuliert wird, schließt Echo die Leistungslücke zu aufmerksamkeitsbasierten Modellen bei Abrufaufgaben aufrecht, während es einen festen Speicherumschlag beibehält.

Die Autoren betonen, dass der Abrufgewinn durch den spektralen Operator und die geschlossene Lösung getrieben wird, nicht durch Prefix-Masking-Strategien. Sie argumentieren, dass dieser Ansatz auf eine neue Klasse von Architekturen hindeutet, bei denen Rekurrenz den lokalen Kontext verarbeitet und leichte Operator-Module spärliche, langreichweitige Lookups bewältigen, alles innerhalb eines konstanten Speicherbudgets. Die Arbeit legt nahe, dass die „Gedächtnis-Klippe" ein lösbares strukturelles Problem und keine inhärente Begrenzung von State-Space-Modellen ist.