🤖 machine learning

Long Context Modeling with Ranked Memory-Augmented Retrieval

Das Papier stellt das Enhanced Ranked Memory Augmented Retrieval (ERMAR)-Rahmenwerk vor, das einen neuartigen Relevanzbewertungsmechanismus und eine punktweise Neuordnung von Key-Value-Embeddings nutzt, um das Langzeitgedächtnis dynamisch zu verwalten und dabei State-of-the-Art-Leistung sowie Skalierbarkeit bei Aufgaben der Sprachmodellierung mit langem Kontext zu erreichen.

Ursprüngliche Autoren: Ghadir Alselwi, Hao Xue, Shoaib Jameel, Basem Suleiman, Flora D. Salim, Imran Razzak

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ghadir Alselwi, Hao Xue, Shoaib Jameel, Basem Suleiman, Flora D. Salim, Imran Razzak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Gespräch mit einem sehr klugen, aber leicht vergesslichen Freund zu führen. Sie sprechen seit Stunden, und plötzlich erwähnen Sie ein Detail aus dem allerersten Teil Ihres Gesprächs. Ihr Freund, überwältigt von der schieren Menge alles dessen, was Sie gesagt haben, könnte verwirrt werden. Er könnte sagen: „Ich erinnere mich nicht daran", oder schlimmer noch, er könnte Ihnen eine allgemeine Antwort geben, die Ihre spezifische Frage ignoriert, weil er versucht, alles gleichzeitig zu verarbeiten, was Sie je gesagt haben.

Dies ist genau das Problem, mit dem große Sprachmodelle konfrontiert sind, wenn sie lange Gespräche oder Dokumente verarbeiten. Diese Arbeit stellt ein neues System vor, das ERMAR (Enhanced Ranked Memory-Augmented Retrieval) heißt, um dieses Problem zu lösen.

So funktioniert ERMAR, erklärt durch einfache Analogien:

1. Das Problem: Die „Lärmende Bibliothek"

Aktuelle Modelle, die versuchen, lange Gespräche zu erinnern, verhalten sich wie ein Bibliothekar, der jedes einzelne Buch vom Regal holen muss, jedes Mal, wenn Sie eine Frage stellen.

Der alte Weg (MemLong): Stellen Sie sich eine Bibliothek vor, in der jedes Buch als gleich wichtig behandelt wird. Wenn Sie nach einem bestimmten Thema fragen, holt der Bibliothekar einen riesigen Stapel Bücher, darunter auch solche über Kochen, Weltraum und Geschichte, selbst wenn Sie nur nach Weltraum gefragt haben. Dies erzeugt einen „unordentlichen" Speicher, der das Modell verwirrt und es verlangsamt.
Das Ergebnis: Das Modell gerät in einen „Informationsüberfluss". Es sieht zu viel Rauschen und verpasst das spezifische Signal (das wichtige Detail), das Sie benötigen.

2. Die Lösung: Das „Intelligente Rangsystem"

ERMAR verändert die Aufgabe des Bibliothekars. Anstatt alles zu holen, verwendet es ein intelligentes Rangsystem.

Schritt 1: Die Suche (Retrieval): Wenn Sie eine Frage stellen, scannt das System schnell seinen Speicher, um eine Liste von „Kandidaten"-Büchern (oder Speicherblöcken) zu finden, die möglicherweise relevant sind.
Schritt 2: Das Neu-Ranken (Die Magie): Dies ist die große Innovation der Arbeit. Bevor das Modell die Bücher liest, betrachtet ein spezieller „Richter" die Liste und bewertet sie.
- Analogie: Stellen Sie sich vor, Sie suchen in einem Kochbuch nach einem bestimmten Rezept. Der alte Weg bestand darin, jede Seite zu lesen. Der ERMAR-Weg besteht darin, einen intelligenten Assistenten zu haben, der zuerst die Titel und Zusammenfassungen liest und dann die Seiten neu ordnet, sodass das relevanteste Rezept ganz oben steht und die irrelevanten nach unten geschoben oder weggeworfen werden.
Schritt 3: Der Fokus: Das Modell konzentriert sich dann nur noch auf die am höchsten bewerteten Elemente. Es ignoriert das Rauschen.

3. Wie es mit „Geschichte" umgeht

Die Arbeit erklärt, dass ERMAR nicht nur betrachtet, was Sie jetzt gesagt haben, sondern auch, wie oft bestimmte Informationen in der Vergangenheit verwendet wurden.

Analogie: Denken Sie an ein beliebtes Café. Wenn ein bestimmter Tisch immer derjenige ist, an dem Menschen Geschäfte besprechen, weiß der Manager (das Modell), dass er die Geschichte dieses Tisches priorisieren muss. ERMAR merkt sich, welche Teile des Gesprächs zuvor „nützlich" waren, und verleiht ihnen eine höhere Punktzahl, wodurch sichergestellt wird, dass sie oben auf der Liste bleiben.

4. Die Ergebnisse: Schneller, intelligenter und schlanker

Die Autoren haben dieses System mit anderen Modellen anhand standardisierter Tests für „lange Gespräche" getestet. Hier ist, was sie herausfanden:

Besseres Gedächtnis: ERMAR war viel besser darin, Details aus dem Anfang eines langen Textes zu erinnern, wenn am Ende Fragen beantwortet wurden. Es wurde nicht durch die Mitte des Gesprächs verwirrt.
Weniger Unordnung (Speichereffizienz): Da es „Müll"-Informationen (die niedrig bewerteten Bücher) verwirft, verbraucht es weniger Computerspeicher. Die Arbeit behauptet, dass es im Vergleich zur bisherigen besten Methode bei sehr langen Gesprächen bis zu 30 % Speicherplatz sparen kann.
Geschwindigkeit: Obwohl es ein winziges bisschen mehr Zeit braucht, um das „Ranking" durchzuführen (wie der Richter, der die Bücher bewertet), ist der gesamte Prozess stabiler. Es wird nicht so zitterig oder langsam wie die älteren Modelle, wenn das Gespräch sehr lang wird.

5. Was es nicht tut (Die Grenzen)

Die Arbeit ist ehrlich darüber, was ERMAR noch nicht kann:

Es ist keine Magie: Es erfordert immer noch etwas mehr Rechenleistung für das Ranking als ein Standardmodell. Wenn das Gespräch extrem lang ist (wie 32.000 Wörter), wird der „Ranking"-Schritt manchmal zu einer leichten Belastung, obwohl das Modell dennoch gut abschneidet.
Es braucht Abstimmung: Es funktioniert am besten mit den Datentypen, auf die es trainiert wurde (wie sauberer Text). Die Autoren stellen fest, dass möglicherweise zusätzliche Arbeit erforderlich ist, um mit unordentlichen, realen Daten umzugehen, die viele Fehler oder Rauschen enthalten.

Auf den Punkt gebracht

ERMAR ist wie ein intelligenter Aktenschrank für einen Computer anstelle eines riesigen Stapels Papiere. Wenn Sie eine Frage stellen, wirft es nicht einfach den ganzen Stapel auf Ihren Schreibtisch; es sortiert die Papiere, hebt die wichtigsten hervor und reicht Ihnen nur das, was Sie benötigen. Dies macht den Computer intelligenter, schneller und weniger anfällig dafür, während langer Gespräche überwältigt zu werden.

Technische Zusammenfassung: Enhanced Ranked Memory-Augmented Retrieval (ERMAR)

1. Problemstellung

Large Language Models (LLMs) stoßen bei der Verarbeitung erweiterter Kontexte aufgrund der quadratischen Komplexität von Aufmerksamkeitsmechanismen und der steigenden Speicheranforderungen während der Generierung auf fundamentale Grenzen. Während bestehende Ansätze wie MemLong (Liu et al., 2024) versuchen, dies zu adressieren, indem sie vorab berechnete historische Kontexte in einem Speicherbank speichern und relevante Segmente über Dot-Produkt-Ähnlichkeit abrufen, leiden sie unter kritischen Ineffizienzen:

Uniforme Behandlung: MemLong behandelt alle Key-Value (K-V)-Paare mit gleichem Gewicht, unabhängig von ihrer kontextuellen Relevanz, was zu Informationsüberflutung führt.
Verringerte Präzision: Das Fehlen eines nuancierten Ranking-Mechanismus führt zu einer geringeren Abrufpräzision, insbesondere in Szenarien, die einen anhaltenden Dialog oder eine Dokumentenanalyse erfordern.
Statisches Management: Aktuelle Methoden verlassen sich oft auf feste Speicherstrukturen, die sich nicht an die Wichtigkeit des Inhalts oder Nutzungsmuster anpassen.

2. Methodik: Das ERMAR-Framework

Die Autoren schlagen Enhanced Ranked Memory-Augmented Retrieval (ERMAR) vor, ein Framework, das entwickelt wurde, um Speichereinträge dynamisch basierend auf ihrer Relevanz zu ranken. Die Architektur baut auf der MemLong-Basis auf, führt jedoch einen neuartigen Relevanz-Scoring-Mechanismus und ein punktweises Re-Ranking-Modell ein, das von Learning-to-Rank-Techniken im Information-Retrieval inspiriert ist.

Kernarchitektur

Das ERMAR-System arbeitet durch vier sequenzielle Phasen:

Langzeit-Speicherabruf: Der Eingabe-Historie wird auf Chunk-Ebene in Key-Value (K-V)-Paare codiert und zusammen mit dichten Embeddings, die semantische Repräsentationen erfassen, in einer Speicherbank gespeichert.
Suche: Bei Erhalt einer neuen Abfrage wird deren Embedding verwendet, um über Ähnlichkeitsabgleich Kandidaten-K-V-Paare in der Speicherbank zu suchen.
Re-Ranking (Kern-Neuerung): Abrufbare Kandidaten durchlaufen ein Re-Ranking-Modul. Im Gegensatz zu MemLong verwendet ERMAR einen multiplikationsbasierten Relevanz-Scoring-Mechanismus, um Scores für Abfrage-Dokument-Paare zu berechnen. Dieses Modul ordnet K-V-Embeddings dynamisch basierend auf ihren Relevanz-Scores neu an und priorisiert die relevantesten Informationen.
Speicher-Fusions-Generierung: Nur die am höchsten gerankten K-V-Paare werden über Retrieval Causal Attention in den trainierbaren oberen Block des Transformers injiziert, wobei die endgültige Ausgabe auf dem relevantesten historischen Kontext konditioniert wird.

Wichtige technische Komponenten

Relevanz-Scoring: Der Relevanz-Score $\alpha(q, K)$ wird unter Verwendung einer Softmax-Funktion über das Dot-Produkt des Abfrage-Embeddings $q$ und der Key-Embeddings $K$ , normalisiert durch $\sqrt{d_{ret}}$ , definiert. Dies imitiert Aufmerksamkeitsoperationen, um Speichereinträgen relative Wichtigkeit zuzuweisen.
Relevanz-Scoring mit adaptivem Abruf (RSAR): Dieser Mechanismus rankt Speichereinträge $(K_j, V_j, s_j)$ dynamisch, wobei $s_j$ der Relevanz-Score ist. Er verwendet eine Pruning-Strategie, um Einträge unterhalb eines vordefinierten Schwellenwerts zu verwerfen und optimiert so die Speichernutzung, indem nur kritische kontextuelle Informationen behalten werden.
Hybrides Speichermanagement: ERMAR nutzt eine dynamische Pruning-Strategie, die die neuesten 10 % des Speichers behält, die mittleren 80 % basierend auf der Abrufhäufigkeit priorisiert und die ältesten 10 % als potenziell veraltet verwirft.
Trainingsstrategie: Das Modell verwendet einen eingefrorenen unteren Transformer-Block (der K-V-Paare produziert) und einen trainierbaren oberen Block mit retrieval-augmentierter Aufmerksamkeit. Es wird mit LoRA auf dem SlimPajama-Datensatz feinabgestimmt.

3. Hauptbeiträge

Die Arbeit identifiziert drei primäre Verbesserungen, die durch ERMAR eingeführt wurden:

Semantisches Ähnlichkeitsmaß: Ein neuartiges Maß zur Messung der kontextuellen Ausrichtung zwischen Abfrage-Embeddings und K-V-Paaren, das über einfache Ähnlichkeitssuchen hinausgeht.
Gewichtete Scoring-Funktion: Eine Funktion, die sowohl Inhaltsähnlichkeit als auch kontextuelle Relevanz berücksichtigt, um Relevanz-Scores zu berechnen.
Integration historischer Nutzungsmuster: Die Integration historischer Nutzungsmuster zur Verfeinerung der Relevanzbewertung und Speicherpriorisierung.

4. Experimentelle Ergebnisse

ERMAR wurde gegen State-of-the-Art-Modelle (einschließlich MemLong, LongLoRA, YARN und Phi-3) über 3B- und 7B-Parameter-Skalen hinweg auf Benchmarks wie WikiText-103, PG-19 und Proof-Pile evaluiert.

Sprachmodellierung mit langem Kontext:
- ERMAR erzielte unter 3B-Modellen State-of-the-Art-Ergebnisse und übertraf MemLong in 10 von 12 Konfigurationen (83,3 %) konsistent.
- Es zeigte eine überlegene Stabilität beim Skalieren auf längere Kontexte. Auf PG-19 stieg die Perplexität beim Skalieren von 4k auf 16k Tokens nur um 0,31 %, im Vergleich zu einer signifikanten Verschlechterung bei Baseline-Modellen.
- Bei 32k Tokens behielt ERMAR eine wettbewerbsfähige Leistung bei und zeigte eine Verbesserung der Perplexität um 0,90 % gegenüber MemLong auf PG-19.
In-Context-Learning (ICL):
- In 4-Shot- und 20-Shot-Einstellungen über fünf NLU-Aufgaben (SST-2, MR, Subj, SST-5, MPQA) übertraf ERMAR die Baselines.
- Bemerkenswerte Gewinne wurden bei MPQA (+21 % gegenüber MemLong im 20-Shot) und Subj (+26 %) beobachtet.
Speichereffizienz:
- ERMAR reduzierte den reservierten Speicher um bis zu 30 % im Vergleich zu MemLong bei 16k-Token-Kontexten (16,61 GB vs. 23,77 GB).
- Es erzielte eine achtfache Verbesserung der Speichereffizienz pro Token beim Skalieren von 1k auf 16k Tokens.
Latenz und Durchsatz:
- Obwohl ERMAR eine leicht höhere Latenz aufwies (9–35 % relativer Anstieg bei kürzeren Kontexten), zeigte es eine signifikant geringere Latenzvarianz (±45–59 ms vs. ±154–214 ms für MemLong), was auf eine größere Laufzeitstabilität hindeutet.
- Der Durchsatz blieb bei längeren Kontexten mit etwa 2,4k Tokens/Sekunde wettbewerbsfähig.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass ERMAR einen prinzipielleren Ansatz für das Speichermanagement bei langen Kontexten bietet, indem es die Grenzen statischer und uniformer Speicherbehandlung adressiert.

Skalierbarkeit: Das Framework mildert effektiv die Informationsverdünnung in erweiterten Sequenzen und ermöglicht es Modellen, über 32k-Token-Kontexte hinweg Kohärenz zu bewahren.
Abrufpräzision: Durch die Integration eines zweistufigen Retrieve-then-Rerank-Paradigmas stellt ERMAR sicher, dass die semantisch relevantesten historischen Informationen priorisiert werden, was zu genaueren und konsistenteren Antworten in anhaltenden Dialogszenarien führt.
Effizienz: Die adaptive Speicherverwaltung und Pruning-Strategien ermöglichen signifikante Reduktionen des Speicher-Overheads ohne Leistungseinbußen, was es zu einer praktikbaren Lösung für ressourcenbeschränkte Anwendungen mit langen Kontexten macht.

Die Arbeit schließt damit, dass ERMAR zwar im Vergleich zu Standard-LLMs einen zusätzlichen Rechenaufwand einführt, dieser Trade-off jedoch durch erhebliche Gewinne in der Abrufpräzision, der Kontexterhaltung und der Speichereffizienz gerechtfertigt ist. Als zukünftige Arbeit wird vorgeschlagen, das Framework für spezialisierte Datensätze und komplexe推理aufgaben zu optimieren.