🤖 machine learning

Raven: High-Recall Sequence Modeling with Sparse Memory Routing

Raven ist ein lineares Sequenzmodell, das die Langzeitkontext-Erinnerung durch den Einsatz von spärlichem, eingabebedingtem Memory-Routing verbessert, um nur eine Teilmenge fester Speicherplätze zu aktualisieren, wodurch effektiv das Interferenzproblem dichter State-Space-Modelle und die harten Eviktionsbeschränkungen von Sliding-Window-Attention ausgeglichen werden.

Ursprüngliche Autoren: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Veröffentlicht 2026-07-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arshia Afzal, Aviv Bick, Eric P. Xing, Volkan Cevher, Albert Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine Geschichte zu erinnern, die Sie gerade gehört haben, aber Ihr Gehirn hat eine seltsame Regel: Jedes Mal, wenn Sie ein neues Wort hören, müssen Sie die gesamte Geschichte von Grund auf neu schreiben, indem Sie das neue Wort in jeden einzelnen Satz einarbeiten, den Sie jemals geschrieben haben. So funktionieren einige Computerprogramme, die man „State-Space-Modelle“ nennt. Sie sind großartig darin, die allgemeine Stimmung einer Geschichte über eine lange Zeit beizubehalten, aber weil sie alles so gründlich vermischen, ist es unmöglich, ein spezifisches Detail, wie einen Namen oder ein Datum, zu finden, das mitten im Text vergraben ist. Stellen Sie sich auf der anderen Seite eine andere Art des Gedächtnisses vor, das wie ein Notizbuch mit einer festen Anzahl von Seiten funktioniert. Wenn Sie die letzte Seite gefüllt haben, reißen Sie diese einfach heraus, werfen sie weg und ersetzen sie durch eine neue. So funktionieren „Sliding Window“-Modelle. Sie sind großartig darin, die letzten paar Seiten perfekt zu behalten, aber in dem Moment, in dem eine Information über den Rand geschoben wird, verschwindet sie für immer.

Dies ist das große Problem, das Wissenschaftler im Bereich der Künstlichen Intelligenz zu lösen versuchen: Wie bauen wir ein Computergehirn, das in der Lage ist, sich über eine sehr lange Zeit an eine Geschichte zu erinnern, ohne dabei Details zu vermischen, aber auch, ohne den Anfang zu vergessen, nur weil er alt ist? Wir brauchen ein System, das in der Lage ist, spezifische, wichtige Fakten für eine lange Zeit festzuhalten, während es gleichzeitig neue Informationen effizient verarbeitet. Dies ist entscheidend, da KI-Modelle mit zunehmender Intelligenz immer längere Bücher lesen, riesige Dokumente analysen und Anweisungen, die zu Beginn eines Gesprächs gegeben wurden, auch nach tausenden Wörtern noch präsent haben müssen.

Hier kommt Raven ins Spiel, eine neue Art von KI-Modell, das von Forschern entwickelt wurde, um genau dieses Gedächtnis-Rätsel zu lösen. Betrachten Sie das Gedächtnis von Raven nicht als ein chaotisches Umschreiben oder ein einfaches Notizbuch mit einem Mülleimer, sondern als eine hochmoderne Umkleidekabine mit Hunderten von Schließfächern. In den alten Systemen wurde jedes neue Objekt gezwungen, gleichzeitig in jedes Schließfach zu passen, oder es wurde strikt nach der Reihenfolge seines Eintreffens in ein Fach geschoben, wobei das älteste Element unabhängig davon, ob es wichtig war oder nicht, hinausgeworfen wurde. Raven ändert die Regeln. Es verwendet einen intelligenten „Router“, der wie ein Türsteher fungt. Wenn ein neues Stück Information eintrifft, schaut der Türsteher, worum es sich handelt, und entscheidet: „Das ist eine langweilige Tatsache? Pack sie in ein gemeinsames Schließfach, das oft geleert wird. Das ist ein super wichtiges Geheimnis? Pack es in ein spezielles, dediziertes Schließfach, das niemand sonst betreten darf.“

Die Arbeit stellt ein Framework namens Routing Slot Memories (RSMs) vor, welches den Bauplan für Raven bildet. Die entscheidende Innovation besteht darin, dass Raven davon trennt, wo Informationen geschrieben werden und wie lange sie dort bleiben. In früheren Modellen waren diese beiden Dinge miteinander verknüpft. Raven nutzt ein „spärliches“ (sparse) Routing-System, was bedeutet, dass es für jedes neue Textstück nur eine kleine, ausgewählte Gruppe von Schließfächern (Memory Slots) aktualisiert und den Rest völlig unberührt lässt. Dies ist ein riesiger Fortschritt, da es die „Interferenz“ verhindert, die entsteht, wenn man versucht, alles gleichzeitig zu aktualisieren. Wenn ein bestimmtes Schließfach ein entscheidendes Passwort enthält, kann der Router von Raven entscheiden, dieses Schließfach für hunderte Schritte zu ignorieren, sodass das Passwort sicher dort liegen bleibt, während der Rest des Gedächtnisses seine Arbeit verrichtet.

Die Forscher testeten Raven in einigen sehr schwierigen Gedächtnisspielen. Eines davon war der „Needle in a Haystack“-Test (Nadel im Heuhaufen), bei dem die KI einen spezifischen Satz finden muss, der in einem massiven Dokument versteckt ist. In diesen Tests zeigte Raven, dass es die Nadel selbst dann finden konnte, wenn das Dokument 16-mal länger war als die Länge, für die es trainiert wurde. Während andere Modelle wie Mamba-2 oder Sliding Window Attention anfingen, Dinge zu vergessen und an Genauigkeit zu verlieren, wenn der Text länger wurde, behielt Raven seine nahezu perfekte Genauigkeit bei. Beispielsweise hielt Raven bei einem 32.000-Token-Test eine Genauigkeit von über 91 % aufrecht, während andere Modelle signifikant abfielen.

Das wirklich Coole an Raven ist, dass es keine ausgefallenen Zusatztricks benötigt. Es verlässt sich weder auf komplexe Faltungen (die wie Kurzzeitgedächtnis-Filter in anderen Modellen funktionieren) noch auf spezielle Positionsmarkierungen. Es nutzt einfach dieses intelligente Routing-System. Die Arbeit legt nahe, dass, indem das Modell lernt, die Speicherung basierend auf dem Inhalt (was das Wort ist) statt nur nach der Position (wo es im Satz steht) zuzuweisen, eine natürliche „Spezialisierung“ entsteht. Einige Speicherplätze werden zu Experten darin, abrufkritische Details festzuhalten, während andere den allgemeinen Fluss der Geschichte bewältigen.

Die Autoren fanden heraus, dass dieser Ansatz nicht nur isoliert funktioniert, sondern auch in Kombination mit anderen Arten von KI-Architekturen. Als sie Raven mit Standard-Attention-Mechanismen koppelten (die Art und Weise, wie die populärsten KI-Modelle heute funktionieren), schnitt das Hybridsystem bei Aufgaben mit langem Kontext sogar noch besser ab und übertraf Modelle, die Sliding Window Attention oder andere lineare Modelle verwendeten. Die Arbeit kommt zu dem Schluss, dass Raven erfolgreich die Lücke zwischen Modellen schließt, die gut in langfristiger Beständigkeit sind, und solchen, die gut in präziser Wiedergabe sind. Dies deutet darauf hin, dass die Behandlung der Speicherzuweisung als eine bewusste, lernbare Entscheidung ein leistungsstarker Weg zur Entwicklung intelligenterer und effizienterer KI ist.

Technisches Resümee: Raven – High-Recall-Sequenzmodellierung mit Sparse Memory Routing

1. Problemstellung

Lineare Sequenzmodelle, wie etwa State-Space Models (SSMs) oder lineare Transformer, stehen vor einem grundlegenden Tradeoff bei der Verwaltung des Speichers für den Recall über lange Kontexte hinweg. Bestehende Architekturen fallen im Allgemeinen in zwei Extreme, die beide spezifische Einschränkungen bei der Abfrage bestimmter vergangener Token aufweisen:

Dichte Zustandsaktualisierungen (SSMs): Modelle wie Mamba-2, GLA und GDN unterhalten einen festen Zustandsraum, der bei jedem Schritt dicht aktualisiert wird. Jede Speicherstelle wird für jedes neue Token aktualisiert, wobei sie sich auf gelernte Zerfallsmechanismen (Decay) verlässt, um zu vergessen. Während dies prinzipiell eine unbegrenzte Persistenz ermöglicht, führen die dichten Aktualisierungen zu Interferenzen, was es schwierig macht, spezifische einzelne Token zu bewahren, ohne dass diese durch nachfolgende Informationen überschrieben oder verwässert werden.
Sparse, Positionsbasierte Schreibvorgänge (Sliding-Window Attention - SWA): SWA schreibt sparsam, indem es explizite Token-Repräsentationen speichert, diese jedoch auf ein festes, aktuelles Fenster beschränkt. Es verwendet eine First-In-First-Out-Strategie (FIFO), bei der alte Token basierend auf ihrer Position hart eviziert werden. Dies ermöglicht zwar einen zuverlässigen Recall innerhalb des Fensters, doch sinkt die Recall-Rate auf nahezu Null, sobald das relevante Token eviziert wird, unabhängig von seiner Bedeutung.

Das Kernproblem besteht darin, dass bestehende Modelle den Ort des Schreibens (where) mit der Dauer der Persistenz (how long) vermengen. SSMs schreiben überallhin und verlassen sich auf Zerfall, um zu vergessen; SWA schreibt nirgendwohin (außer in das aktuelle Fenster) und verlässt sich auf die Position, um zu vergessen. Keines von beiden kombiniert effektiv sparsames, inhaltsabhängiges Schreiben mit explizitem, kontrollierbarem Zerfall.

2. Methodik: Routing Slot Memories (RSMs)

Die Autoren schlagen Routing Slot Memories (RSMs) vor, ein vereinheitlichtes Framework, das den Ort der Schreibvorgänge von der Dauer der Persistenz entkoppelt. RSMs unterhalten eine feste Anzahl von $M$ Speicher-Slots und verwenden in jedem Zeitschritt $t$ einen Router, um zu bestimmen, welche Teilmenge der Slots neue Informationen erhält und einen Zerfall anwendet.

2.1 Das RSM-Framework

Die allgemeine Rekurrenz für ein RSM ist definiert als:
$S_t = (1 - r_t) \odot S_{t-1} + r_t \odot (D_t S_{t-1} A_t + U_t)$
Wobei:

$S_t \in \mathbb{R}^{M \times d}$ der Speicherzustand mit $M$ unabhängigen Slots ist.
$r_t \in \mathbb{R}^M$ der Routing-Vektor ist, der die Schreibintensität für jeden Slot bestimmt.
$D_t$ und $A_t$ den Zerfall und die Feature-Mischung steuern.
$U_t$ der Schreibinhalt ist, der aus dem Input $x_t$ abgeleitet wird.

Das Framework ordnet bestehende Modelle auf einem Spektrum ein:

SSMs: Verwenden einen dichten Router ( $r_t = \mathbf{1}_M$ ), der alle Slots mit graduellenem Zerfall aktualisiert.
SWA: Verwendet einen zeitabhängigen, One-Hot-Router ( $r_t = e_t$ ), der exakt einen Slot mit harter Eviktion (ohne Zerfall) aktualisiert.
GSA/ABC: Verwenden inhaltsabhängige Router, aktualisieren aber typischerweise alle Slots (dichte Schreibvorgänge), was ihre Fähigkeit einschränkt, Speicher zu isolieren.

2.2 Die Raven-Architektur

Raven ist eine spezifische Instanziierung von RSMs, die darauf ausgelegt ist, die "goldene Mitte" einzunehmen, indem sie sparsames, inhaltsabhängiges Routing mit explizitem Zerfall kombiniert.

Dual-State-Struktur: Ähnlich wie SWA unterhält Raven separate Key- ( $S^k_t$ ) und Value-Zustände ( $S^v_t$ ).
Sparsame, inhaltsabhängige Routings: Anstatt eines festen Fensters oder einer dichten Aktualisierung verwendet Raven einen Router $g_t$ $g_{t}$ , der vom Input $x_t$ $x_{t}$ abgeleitet wird. Es nutzt eine Top-K-Selektionsstrategie (adaptiert aus dem DeepSeek MoE Routing), um eine kleine Teilmenge von $K$ $K$ Slots auszuwählen, die aktualisiert werden sollen.
- Scores werden über eine Sigmoid-Funktion berechnet: $m_t = \sigma(W x_t)$ .
- Nur die Top- $K$ -Einträge werden beibehalten; andere werden auf Null gesetzt.
- Der Router wird normalisiert, um sicherzustellen, dass die ausgewählten Slots die angemessene Schreibintensität erhalten.
Selektiver Zerfall: Der Zerfall wird nur auf die ausgewählten Slots angewendet. Die Rekurrenz lautet:
$S^k_t = \exp(a_t r_t) \odot S^k_{t-1} + (1 - \exp(a_t r_t)) \odot k^\top_t$
Hierbei ist $a_t$ ein inhaltsabhängiger skalarer Zerfall (ähnlich wie bei Mamba-2). Wenn ein Slot nicht ausgewählt wurde ( $r_t[i] \approx 0$ ), bedeutet der Term $\exp(a_t r_t[i]) \approx 1$ , was bedeutet, dass der Slot eingefroren bleibt und seinen Inhalt perfekt bewahrt, bis er erneut ausgewählt wird.
Vereinfachtes Block-Design: Im Gegensatz zu vielen linearen Modellen (z. B. Mamba, GLA) verzichtet Raven auf kurzreichweitige Faltungen (Convolutions). Es verlässt sich ausschließlich auf die Routing- und Zerfallsmechanismen für die lokale und langfristige Kontextintegration, was zu einer einfacheren Blockstruktur führt.

3. Kernbeiträge

Routing Slot Memories (RSMs): Ein formales Framework, das SSMs und SWA vereinheitlicht, indem es den "Ort des Schreibens" (Routing) explizit vom "Mechanismus des Vergessens" (Zerfall) trennt.
Das Raven-Modell: Ein lineares Sequenzmodell, das RSMs implementiert, indem es sparsames, inhaltsabhängiges Routing verwendet, um eine Teilmenge der Speicher-Slots zu aktualisieren und dabei den Zerfall nur auf jene aktualisierten Slots anzuwenden.
Mechanismus für Langzeit-Recall: Durch das Routing von abrufkritischen Token (z. B. Passwörtern) in dedizierte Slots und das Einfrieren dieser Slots verhindert Raven die destruktive Interferenz, die bei dichten SSMs üblich ist, sowie die harte Eviktion von SWA.
Längen-Generalisierung: Das Modell erreicht eine starke Performance bei Kontexten bis zum 16-fachen seiner Trainingslänge, ohne explizites Längen-Curriculum oder Positions-Interpolationstechniken (wie RoPE), da die variablen effektiven Sequenzlängen über die Slots hinweg das Modell natürlich verschiedenen temporalen Dynamiken aussetzt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten Raven in abrufintensiven Benchmarks und allgemeinen Sprachmodellierungsaufgaben im Vergleich zu starken Baselines, einschließlich Mamba-2, GLA, GDN, SWA und Transformer-Varianten (FoX).

Needle-in-a-Haystack (NIAH):
- 400M Skala: Raven behielt eine nahezu perfekte Genauigkeit ( $\ge 99\%$ ) bis zu 16K Tokens bei und blieb bei 32K Tokens (16 $\times$ Trainingslänge) stark ( $>91\%$ ). Im Gegensatz dazu degradierten Mamba-2 und GDN signifikant jenseits von 8K.
- 800M Skala: Raven erreichte eine Genauigkeit von 91,0 % bei NIAH-1 bei 64K Tokens und übertraf damit die nächstbeste Baseline (GDN bei 45,2 %) deutlich.
Real-World Recall Aufgaben:
- Bei SWDE (Web-Extraktion), FDA (Dokumentenextraktion) und SQuAD übertraf Raven die linearen Baselines konsistent. Beispielsweise war es bei FDA das einzige lineare Modell, das 22 % Genauigkeit überschritt, und verbesserte sich gegenüber der besten SSM-Baseline um etwa 8 Punkte.
Sprachmodellierung:
- Raven erreichte oder übertraf die Leistung dichter SSMs (Mamba-2, GLA) in Standard-Zero-Shot-Benchmarks (Lambada, PIQA, HellaSwag usw.), was zeigt, dass das sparsame Routing die allgemeinen Sprachmodellierungsfähigkeiten nicht beeinträchtigt.
Hybride Architekturen:
- Wenn es in hybride Modelle integriert wurde (kombiniert mit Full-Attention-Layern), übertraf Raven Hybride, die Mamba-2, GDN oder SWA-RoPE verwendeten, bei Langkontext-Abrufaufgaben signifikant, insbesondere im Bereich von 16K–64K.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Raven eine fundamentale architektonische Lücke in der linearen Sequenzmodellierung adressiert. Durch die explizite Trennung von wo Informationen geschrieben werden und wie lange sie persistieren, erreicht Raven ein Niveau des Langzeit-Recalls, das für lineare Modelle ohne quadratische Attention oder komplexe hybride Setups bisher unerreichbar war.

Zentrale Behauptungen sind:

Überlegenheit gegenüber SWA: Raven ersetzt die positionsbasierte Eviktion durch inhaltsabhängiges Routing und selektiven Zerfall, was einen perfekten Recall bei Aufgaben ermöglicht, bei denen SWA vollständig versagt.
Überlegenheit gegenüber dichten SSMs: Raven vermeidet die Interferenz durch dichte Zustandsaktualisierungen, indem es selektiv schreibt, wodurch es möglich ist, dass spezifische Token unendlich lange in dedizierten Slots persistieren.
Einfachheit: Das Modell erzielt diese Gewinne ohne kurzreichweitige Faltungen, was die Architektur im Vergleich zu vorherigen linearen Modellen vereinfacht.
Emergente Spezialisierung: Analysen zeigen, dass Raven natürlich lernt, spezifische Speicher-Slots für abrufkritische Token (z. B. Passwörter) zu reservieren und andere Slots für allgemeine Inhalte zu nutzen, wodurch eine strukturierte, inhaltsbewusste Speicherallokation ohne explizite Überwachung entsteht.

Die Autoren kommen zu dem Schluss, dass das RSM-Framework nahelegt, dass Routing und Vergessen orthogonale Design-Achsen sind, die als primäre Design-Entscheidungen und nicht als Nebenprodukte von Zerfallsmechanismen behandelt werden sollten.