💬 NLP

Knowledge Graph Enhanced Memory-Augmented Retrieval for Long Context Modeling

KGERMAR ist ein neuartiges Framework, das das Long-Context-Language-Modeling verbessert, indem es während der Inferenz dynamisch kontextspezifische Wissensgraphen konstruiert und deren strukturelle Einbettungen mit semantischen und kontextuellen Speicherbänken integriert, wodurch es im Vergleich zu bestehenden Baselines eine überlegene Reduktion der Perplexität und eine höhere Effizienz des Speichers erreicht.

Ursprüngliche Autoren: Ghadir Alselwi, Basem Suleiman, Hao Xue, Shoaib Jameel, Hakim Hacid, Flora D. Salim, Imran Razzak

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ghadir Alselwi, Basem Suleiman, Hao Xue, Shoaib Jameel, Hakim Hacid, Flora D. Salim, Imran Razzak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, wie etwa einen technischen Support-Anruf, der schon seit Stunden andauert. Der Kunde schickt Ihnen 50 Nachrichten. In Nachricht 1 sagt er: „Ich habe gestern einen Drucker gekauft.“ In Nachricht 47 sagt er: „Es zeigt denselben Fehler wie zuvor an.“

Um eine gute Antwort zu geben, müssen Sie sich nicht nur an die Wörter „Drucker“ und „Fehler“ erinnern, sondern an die Geschichte: Welcher Drucker? Was geschah zuerst? Was wurde versucht, was fehlschlug?

Aktuelle KI-Modelle sind wie Menschen mit einem sehr kurzen Gedächtnis oder Menschen, die sich nur an Schlagworte erinnern. Wenn Sie sie nach dem Fehler in Nachricht 47 fragen, finden sie vielleicht andere Nachrichten, die „Druckerfehler“ erwähnen, aber sie könnten dies mit einem ganz anderen Drucker oder einer anderen Zeit verwechseln. Sie übersehen die Verbindungen zwischen den Ereignissen.

Dieses Paper stellt ein neues System namens KGERMAR vor, das dies behebt, indem es der KI eine „dynamische Karte“ des Gesprächs gibt.

Die Kernidee: Eine Karte im Flug erstellen

Denken Sie an das Standard-KI-Gedächtnis wie eine riesige Bibliothek, in der Bücher nur nach den Wörtern auf ihren Buchrücken sortiert sind. Wenn Sie nach einem Buch über „kaputte Drucker“ suchen, erhalten Sie jedes Buch, das diese Wörter enthält, selbst wenn sie von einer völlig anderen Marke oder aus einem ganz anderen Jahrzehnt sind.

KGERMAR ist anders. Während die KI das Gespräch liest, speichert sie nicht nur die Wörter; sie zeichnet sofort eine Karte (einen Wissensgraphen) der spezifischen Situation.

Sie identifiziert die „Charaktere“ (der XYZ-2000 Drucker, der Kunde, der Fehlercode).
Sie zieht Linien, die sie miteinander verbinden (Der Drucker verursachte den Fehler; der Kunde versuchte, ihn zu beheben).

Diese Karte wird in Echtzeit speziell für das jeweilige Gespräch erstellt. Sie stützt sich nicht auf ein vorgefertigtes Lexikon; sie lernt die Regeln dieser spezifischen Geschichte, während sie sie liest.

Die drei „Notizbücher“ (Gedächtnisbänke)

Um alles im Blick zu behalten, nutzt KGERMAR drei spezialisierte Notizbücher (Gedächtnisbänke), die zusammenarbeiten:

Das Kontext-Notizbuch: Dies speichert den rohen Text, wie etwa ein Transkript des Gesprächs. Es erinnert sich genau daran, was gesagt wurde.
Das Semantische Notizbuch: Dies ist wie eine Suchmaschine, die sich an das Gefühl oder die Bedeutung von Sätzen erinnert. Wenn Sie nach „kaputt“ suchen, findet es Dinge, die sich nach „kaputt“ anfühlen, auch wenn sie andere Wörter verwenden.
Das Strukturelle Notizbuch (Das Geheimrezept): Dies ist der neue Teil. Es speichert die Karte, von der wir gesprochen haben. Es erinnert sich daran, dass „Drucker X“ auf eine bestimmte Weise mit „Fehler Y“ verbunden ist.

Wenn die KI eine Frage beantworten muss, schaut sie nicht nur in ein Notizbuch. Sie fragt alle drei:

„Hast du die exakten Wörter?“ (Kontext)
„Hast du ähnliche Bedeutungen?“ (Semantik)
„Ist derselbe Charakter in einer ähnlichen Situation beteiligt?“ (Struktur)

Sie kombiniert diese Antworten dann mithilfe eines intelligenten „Abstimmungssystems“, um das relevanteste Stück Geschichte zu finden, selbst wenn es vor tausenden von Wörtern erwähnt wurde.

Warum das wichtig ist (Die Ergebnisse)

Die Forscher haben dieses System mit riesigen Textmengen getestet, von technischen Handbüchern bis hin zu langen Geschichten und mathematischen Beweisen. Hier ist, was sie herausgefunden haben:

Intelligentere Antworten: Das System machte weniger Fehler (geringere „Perplexity“) als andere Modelle. Es war besser darin, die Punkte in langen Geschichten zu verbinden, wie zum Beispiel zu erkennen, dass der Fehler in Nachricht 47 derselbe war wie in Nachricht 1, selbst wenn die Wortwahl anders war.
Bessere Gedächtniseffizienz: Normalerweise explodiert bei einem längeren Gespräch der Speicherverbrauch des Computers (wie der Versuch, ein Gespräch mit tausend Menschen gleichzeitig zu führen). KGERMAR ist viel effizienter. Es verbraucht bei der Verarbeitung sehr langer Texte (bis zu 32.000 Wörter) 2- bis 2,5-mal weniger Speicher als andere fortschrittliche Systeme. Das bedeutet, dass es auf Standardcomputern laufen kann, ohne dass massive, teure Supercomputer benötigt werden.
Lernen aus wenigen Beispielen: Wenn man ihm nur wenige Beispiele für eine Aufgabe gab (wie etwa festzustellen, ob ein Satz glücklich oder traurig ist), lernte KGERMAR schneller und schnitt besser ab als seine Konkurrenten.

Der Kompromiss

Es gibt einen kleinen Preis. Da das System die Karte (den Wissensgraphen) zeichnen muss, während es liest, dauert die Verarbeitung jedes Wortes ein klein wenig länger als bei Systemen, die nur lesen und wieder vergessen. Das Paper stellt jedoch fest, dass diese zusätzliche Zeit ein fairer Preis für die massiven Gewinne an Genauigkeit und Speichereffizienz ist, insbesondere bei sehr langen Dokumenten.

Zusammenfassend

KGERMAR ist wie eine KI, die ein Whiteboard erhält, das sie ausfüllt, während sie liest. Anstatt sich nur an eine Liste von Wörtern zu erinnern, zeichnet sie ein Bild davon, wie die Charaktere und Ereignisse zueinander in Beziehung stehen. Dies ermöglicht es ihr, lange, komplexe Geschichten viel besser zu verstehen als bisher, ohne dafür einen Supercomputer zu benötigen.

Technische Zusammenfassung: KGERMAR

Problemstellung
Die Sprachmodellierung mit langem Kontext steht vor einer grundlegenden Herausforderung, die über die bloße Erweiterung von Kontextfenstern hinausgeht: die Aufrechterhaltung eines kohärenten Verständnisses von Entitätszuständen und -beziehungen über tausende von Token hinweg. Standardansätze leiden unter zwei primären Einschränkungen. Erstens leiden Extended-Attention-Modelle (z. B. LongLoRA, YARN) unter einer „Lost-in-the-Middle“-Degradation, bei der Informationen in der Mitte eines langen Kontextes systematisch unterbewertet werden. Zweitens verlassen sich speichergestützte Retrieval-Systeme (z. B. MemLong, ERMAR) ausschließlich auf semantische Ähnlichkeit. Während sie effektiv darin sind, Passagen mit passenden Begriffen abzurufen, versagen sie dabei, zwischen Passagen zu unterscheiden, die lediglich verwandte Begriffe zufällig erwähnen, und solchen, die explizite kausale oder strukturelle Beziehungen zwischen denselben Entitäten beschreiben. Diese Einschränkung ist kritisch in Szenarien, die strukturelles Denken erfordern, wie etwa bei der Verfolgung der Fehlerzustands-Progression eines Geräts während einer langen Fehlersuche, bei der der relevante Kontext keine lexikalische Überschneidung mit der Abfrage aufweisen muss, aber tiefe strukturelle Verbindungen teilt.

Methodik
Das Paper schlägt KGERMAR (Knowledge Graph Enhanced Memory-Augmented Retrieval) vor, ein Framework, das während der Inferenz dynamische, kontextspezifische Wissensgraphen konstruiert, um graph-strukturelle Embeddings mit textueller Semantik zu integrieren. Das System arbeitet durch vier integrierte Komponenten:

Kontextuelle Wissensgraph-Konstruktion:
- Extraktion: Das System führt eine Echtzeit-Named Entity Recognition (NER) unter Verwendung eines BERT-large-Modells (feingetunt auf CoNLL-2003) und eine Relationsextraktion mittels eines BERT-base-Modells (feingetunt auf TACRED) durch.
- Graph-Aufbau: Es extrahiert Entitäten und Relationen (z. B. CAUSEDBY, PARTOF, USEDFOR) innerhalb eines gleitenden Fensters. Um die Qualität zu gewährleisten, setzt es Entity Consolidation (Zusammenführung von Varianten via String- und Embedding-Ähnlichkeit), Relation Confidence Scoring (Kombination aus Klassifikator-Gewissheit und Frequenz) und Graph-Filterung ein.
- Dynamische Natur: Im Gegensatz zu statischen Ansätzen (z. B. ConceptNet) wird dieser Graph aus dem Eingabetext selbst aufgebaut, wodurch domänenspezifische und sitzationsspezifische Entitäten (z. B. ein spezifisches Druckermodell und seine einzigartigen Fehlercodes) erfasst werden, die in vorab konstruierten Wissensdatenbanken nicht existieren.
Graph-erweitertes Embedding-Generierung:
- Kodierung: Extrahierte Entitäten werden mittels Relational Graph Convolutional Networks (R-GCN) kodiert, um sowohl individuelle Eigenschaften als auch strukturelle Rollen durch Multi-Hop-Message-Passing zu erfassen.
- Fusion: Diese graph-strukturellen Embeddings werden mittels Cross-Modal Attention mit den textuellen Entitäts-Embeddings (abgeleitet vom Basis-Sprachmodell) fusioniert. Dies erzeugt eine hybride Repräsentation, die sowohl oberflächliche Semantik als auch tiefere relationale Muster erfasst.
Multi-Komponenten-Speicherarchitektur:
- KGERMAR unterhält drei spezialisierte Speicherbanken:
  - Kontextueller Speicher: Speichert Token-Level Key-Value-Paare aus den Sprachmodell-Schichten (folgend auf ERMAR).
  - Semantischer Speicher: Speichert dichte Text-Embeddings von nicht-überlappenden Chunks (unter Verwendung von BGE-M3).
  - Struktureller Speicher: Speichert die fusionierten Text-Graph-Entitäts-Embeddings.
- Alle Banken werden inkrementell aktualisiert und bei Erreichen der Kapazität via LRU-Eviction verwaltet.
Hybrider Retrieval-Mechanismus:
- Für eine gegebene Abfrage führt das System ein paralleles Top-K Retrieval aus allen drei Banken durch.
- Die Retrieval-Signale werden unter Verwendung gelernter Fusionsgewichte ( $\lambda_1, \lambda_2, \lambda_3$ ) kombiniert, um einen finalen Score zu erzeugen.
- Die abgerufenen Repräsentationen werden via Retrieval Causal Attention in den dafür vorgesehenen oberen Schichten in das Sprachmodell injiziert.

Trainingsziele
Das Modell nutzt Multi-Task-Learning, um vier Ziele gleichzeitig zu optimieren:

Language Modeling Loss ( $L_{LM}$ ): Next-Token-Prediction unter Verwendung des abgerufenen Kontextes.
Knowledge Graph Embedding Loss ( $L_{KG}$ ): Link Prediction via Binary Cross-Entropy, um das R-GCN zu trainieren.
Retrieval Ranking Loss ( $L_{retrieval}$ ): Margin-basiertes Ranking, um sicherzustellen, dass relevante Kontexte höher bewertet werden als irrelevante.
Cross-Modal Alignment Loss ( $L_{alignment}$ ): Gewährleistet die Konsistenz zwischen textuellen und strukturellen Repräsentationen.

Kernbeiträge

Dynamische Wissensgraph-Konstruktion: Eine Pipeline, die domänenspezifische Entitäten und Relationen in Echtzeit während der Inferenz aus dem Eingabetext extrahiert, was die Anpassung an spezialisierte Inhalte ermöglicht, die in statischen Wissensdatenbanken fehlen.
Hybrider Multi-Komponenten-Speicher: Eine Architektur, die kontextuelle, semantische und strukturelle Repräsentationen integriert. Der strukturelle Speicherbank erfasst Entitätsbeziehungen, die komplementär zu – und oft diskriminativer als – reiner semantischer Ähnlichkeit sind.
Empirische Validierung: Nachweis, dass die Integration von strukturellem Wissen erhebliche Verbesserungen bei der Langkontext-Modellierung erzielt, wobei eine um bis zu 8,5 % niedrigere Perplexität und eine 2- bis 2,5-mal bessere Speichereffizienz im Vergleich zu starken Baselines erreicht wird.

Experimentelle Ergebnisse
Das Framework wurde auf SlimPajama (84,7K Beispiele für das Fine-Tuning) und drei Benchmark-Datensätzen evaluiert: WikiText-103, PG-19 und Proof-pile.

Perplexität: KGERMAR erreichte die niedrigste Perplexität unter allen speichergestützten 3B-Modellen über Kontextlängen von 1K bis 32K Token hinweg. Auf WikiText-103 übertraf es ERMAR und MemLong signifikant (z. B. 7,14 vs. 7,80 Perplexität bei 16K Tokens).
In-Context Learning (ICL): Bei fünf NLU-Aufgaben (SST-2, MR, Subj, SST-5, MPQA) erreichte KGERMAR die höchste durchschnittliche Genauigkeit in den Settings 4-Shot (78,6 %) und 20-Shot (81,2 %) und übertraf damit ERMAR und MemLong. Die Zuwächse waren besonders deutlich bei Aufgaben, die eine Entitäts-Diskriminierung erfordern (z. B. Subj, MPQA).
Speichereffizienz: KGERMAR demonstrierte eine überlegene Speichereffizienz und hielt einen 2- bis 2,5-mal niedrigeren Speicherverbrauch als die Baselines ein. Bei 32K Tokens nutzte es 36 % weniger Peak-Speicher als ERMAR und 41 % weniger als MemLong. Der normalisierte Speicher pro Token verbesserte sich mit zunehmender Kontextlänge, was die Fähigkeit validiert, das quadratische Speicherwachstum Standard-Attention-Mechanismen zu mildern.
Skalierungsverhalten: Während KGERMAR aufgrund der Echtzeit-Graph-Konstruktion eine leicht höhere Latenz pro Token aufweist, zeigt es ein nahezu lineares Latenzwachstum mit der Sequenzlänge, was es für den Einsatz in Langkontext-Szenarien berechenbarer macht als ERMAR.

Bedeutung
Das Paper behauptet, dass KGERMAR die speichergestützte Sprachmodellierung vorantreibt, indem es von der Abhängigkeit von festen, statischen Wissensdatenbanken zu einer domänenadaptiven Wissensrepräsentation übergeht. Durch die dynamische Konstruktion von Wissensgraphen aus dem Kontext kann das System über Entitätszustände und kausale Progressionen schlussfolgern, die eine rein semantische Ähnlichkeit nicht erfassen kann. Dieser Ansatz bietet eine praktische Lösung für die Langkontext-Modellierung auf handelsüblicher Hardware und bietet ein Gleichgewicht zwischen hoher Modellqualität und signifikant reduziertem Speicherbedarf, was für Anwendungen in der technischen Unterstützung, wissenschaftlichen Literatur und Rechtsdokumentenanalyse, bei denen strukturelles Denken entscheidend ist, von zentraler Bedeutung ist.

Die Kernidee: Eine Karte im Flug erstellen

Die drei „Notizbücher“ (Gedächtnisbänke)

Warum das wichtig ist (Die Ergebnisse)

Der Kompromiss

Zusammenfassend

Mehr davon