💬 NLP

MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning

Dieses Paper führt MemoryDocDataSet ein, einen synthetischen Benchmark, der darauf ausgelegt ist, KI-Systeme bei der kombinierten Herausforderung der Navigation durch mehrstufigen konversationellen Speicher und der Durchführung tiefgreifender Schlussfolgerungen innerhalb langer Dokumente zu evaluieren, wobei eine signifikante Leistungslücke aktueller Modelle bei der Beantwortung von Fragen aufgedeckt wird, die den Abruf relevanter Dokumente basierend auf dem Gesprächsverlauf erfordern.

Ursprüngliche Autoren: Qiyang Xie, Jialun Wu, Xinjie He, Su Liu, Shuai Xiao, Zhiyuan Lin, Weikai Zhou

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qiyang Xie, Jialun Wu, Xinjie He, Su Liu, Shuai Xiao, Zhiyuan Lin, Weikai Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen eine neue Assistentin oder einen neuen Assistenten ein, um Ihnen bei der Verwaltung eines komplexen Rechtsfalls zu helfen. Diese Person muss zwei sehr schwierige Dinge gleichzeitig leisten:

Eine lange, unübersichtliche Historie im Gedächtnis behalten: Sie muss sich erinnern, wer was während Dutzender von Telefonaten und Besprechungen in den letzten sechs Monaten gesagt hat.
Eine riesige Bibliothek lesen: Sie muss spezifische Details in tausenden Seiten von dichten Rechtsverträgen und Gerichtsurteilen finden.

Bis jetzt haben Forscher Assistenten nur auf eine dieser Fähigkeiten zur Zeit getestet. Einige Tests prüfen, ob sie sich ein Gespräch merken können, aber sie geben ihnen keine Bücher zum Lesen. Andere Tests sehen, ob sie ein riesiges Buch lesen können, aber sie fragen nicht danach, ob sie sich an ein Gespräch aus einer Sitzung erinnern können.

Das Problem: Das echte Leben funktioniert nicht so. In der realen Welt könnten Sie Ihre Assistentin fragen: „Was haben wir bezüglich der Strafklausel in dem Vertrag entschieden, den wir letzten Dienstag besprochen haben?“ Um dies zu beantworten, muss die Assistentin zuerst das Gespräch erinnern, um herauszufinden, welchen Vertrag Sie meinen, und dann diesen spezifischen Vertrag lesen, um die Antwort zu finden.

Die Lösung: MemoryDocDataSet
Die Autoren dieser Arbeit haben einen neuen „Test“ namens MemoryDocDataSet entwickelt, um zu sehen, ob KI diese zweistufigen Herausforderungen bewältigen kann.

Wie der Test funktioniert (Die „Mikrowelt“)

Anstatt der KI nur eine Frage zu stellen, haben sie 50 kleine, in sich geschlossene „Welten“ gebaut, die die KI erkunden kann. Stellen Sie sich jede Welt wie einen kleinen Krimiroman mit diesen Zutaten vor:

Die Charaktere: 3 bis 5 Personen mit spezifischen Berufen und Beziehungen.
Die Zeitlinie: Ein Graph von Ereignissen, die sich über sechs Monate hinziehen.
Die Bücher: 3 bis 5 echte, massive Rechtsdokumente (jedes so lang wie ein kurzer Roman, mit 20.000 bis 50.000 Wörtern).
Die Chats: 5 verschiedene Gesprächssitzungen, in denen die Charaktere über diese Dokumente sprechen.
Die Fragen: 20 Fragen pro Welt.

Der „Hybrid“-Twist

Der wichtigste Teil dieses Tests ist eine spezielle Kategorie von Fragen, die als „Hybrid“ bezeichnet werden.

Nur-Chat-Fragen: „Um wie viel Uhr war das Treffen?“ (Die Antwort liegt im Chat).
Nur-Dokument-Fragen: „Wie hoch ist der Strafbetrag in Vertrag A?“ (Die Antwort steht im Buch).
Hybrid-Fragen: „Wie hoch war der Strafbetrag in dem Vertrag, den wir während der Besprechung am 15. März besprochen haben?“

Um eine Hybrid-Frage zu beantworten, muss die KI wie ein Detektiv vorgehen:

Schritt 1: Den Gesprächsverlauf scannen, um festzustellen: „Ah, am 15. März haben sie über Vertrag B gesprochen.“
Schritt 2: Vertrag B öffnen und ihn lesen, um den Strafbetrag zu finden.

Wenn die KI Schritt 1 überspringt und einfach rät, oder wenn sie das falsche Buch öffnet, versagt sie.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher haben sechs verschiedene Arten von KI-„Strategien“ getestet, um zu sehen, wie gut sie diese Rätsel lösen können. Und so lief es ab:

Das „Große Gehirn“ (Long-Context LLM): Sie gaben der KI das gesamte Gespräch und alle Bücher auf einmal (etwa 60.000 Wörter). Man könnte denken, das wäre einfach, aber die KI wurde verwirrt. Es war, als würde man versuchen, eine bestimmte Nadel in einem Heuhaufen zu finden, während man gleichzeitig den gesamten Heuhaufen anstarrt. Die KI schnitt bei den kniffligen „Hybrid“-Fragen schlecht ab.
Der „Dokumentenjäger“ (RAG-Doc): Diese KI war großartig darin, Antworten innerhalb der Bücher zu finden, wenn man ihr genau sagte, in welchem Buch sie suchen sollte. Aber wenn die Frage erforderte, zuerst ein Gespräch zu erinnern, brach sie zusammen. Sie konnte nicht herausfinden, welches Buch relevant war.
Der „Hybrid-Jäger“ (RAG-Both): Dies war der beste Performer. Er betrachtete sowohl die Chats als auch die Bücher. Er war besser als die anderen, hatte aber dennoch Schwierigkeiten. Es war, als hätte man einen Bibliothekar, der zwar Bücher und Chats finden kann, aber keinen klaren Plan hat, wie er die beiden Schritte miteinander verknüpft.

Das große Fazit:
Die Arbeit zeigt, dass aktuelle KI-Systeme schlecht darin sind, Punkte zu verbinden. Sie sind gut darin, entweder Chats zu erinnern ODER Bücher zu lesen, aber sie sind schrecklich darin, einen Chat zu nutzen, um ihnen zu sagen, welches Buch sie lesen sollen.

Die Autoren kommen zu dem Schluss, dass zukünftige KI-Assistenten eine neue Art von „Gehirnarchitektur“ benötigen. Sie brauchen ein System, das Informationen nicht einfach in einen riesigen Haufen wirft, sondern eines, das aktiv sagen kann: „Warte, das Gespräch weist auf dieses spezifische Dokument hin. Lass mich dort nachsehen und es lesen.“

Zusammenfassung

Diese Arbeit stellt einen neuen, schwierigen Test vor, der die KI zwingt, Gedächtnis (Erinnern eines Gesprächs) mit Lesen (Finden von Fakten in einem riesigen Dokument) zu kombinieren. Die Ergebnisse zeigen, dass die heutige KI immer noch damit kämpft, beides gleichzeitig zu tun, was eine Lücke aufzeigt, die zukünftige Technologien schließen müssen.

Technisches Resümee: MemoryDocDataSet

Problemstellung

Aktuelle KI-Benchmarks bewerten das konversationelle Gedächtnis und das Reasoning über lange Dokumente isoliert und erfassen dadurch nicht die Anforderungen realer KI-Assistenten, die in beiden Domänen gleichzeitig operieren müssen. Bestehende Gedächtnis-Benchmarks (z. B. LoCoMo, LongMemEval) nutzen Multi-Session-Dialoge, lassen jedoch lange Dokumente vermissen, was es Systemen ermöglicht, durch perfektes Auswendiglernen von Konversationen zu bestehen, ohne über Lesekompetenz zu verfügen. Umgekehrt bieten Long-Document-Benchmarks (z. B. L-Eval, ZeroSCROLLS) buchlange Texte, lassen jedoch die konversationelle Struktur vermissen, was es Systemen ermöglicht, durch große Kontextfenster zu bestehen, ohne Navigationsfähigkeiten im Gedächtnis zu benötigen.

Es gibt eine kritische Lücke bei der Evaluierung der gemeinsamen Fähigkeit, die erforderlich ist, um:

Den Multi-Session-Konversationsverlauf zu navigieren, um den Kontext zu identifizieren.
Zu bestimmen, welches spezifische lange Dokument basierend auf diesem Kontext relevant ist.
Eine tiefgehende Textverständnis innerhalb dieses identifizierten Dokuments durchzuführen, um eine Antwort zu extrahieren.

Diese „Joint-Retrieval-Lücke“ wird durch Szenarien wie einen Rechtsassistenten verdeutlicht, der sich an einen Vertrag erinnert, den ein Klient in einer vorangegangenen Sitzung besprochen hat, und dann innerhalb 40.000 Token dieses Vertrags navigiert, um eine spezifische Klausel zu finden.

Methodik

Der MemoryDocDataSet Benchmark

Die Autoren führen MemoryDocDataSet ein, einen synthetischen Benchmark, der aus 50 Mikrowelten und 1.000 Frage-Antwort-Paaren (QA-Paaren) besteht. Jede Mikrowelt ist ein in sich geschlossenes Szenario, definiert durch das Tupel $M = (P, G, D, C, Q)$ :

Personas ( $P$ ): 3–5 Entitäten mit definierten Rollen, Fachwissen und Beziehungen.
Event Graph ( $G$ ): Ein temporaler gerichteter azyklischer Graph (DAG) aus 5–10 zeitgestempelten Ereignissen, die mindestens sechs Monate umspannen und kausale Abhängigkeiten kodieren.
Dokumente ( $D$ ): 3–5 echte lange Dokumente (20.000–50.000 Token pro Stück), bezogen aus dem Caselaw Access Project (US-Gerichtsurteile).
Konversationen ( $C$ ): 5 Multi-Session-Dialoge, die an spezifische Ereignisse gebunden sind, wobei mindestens 40 % der Sitzungen explizit auf Dokumente Bezug nehmen.
QA-Paare ( $Q$ ): 20 Paare pro Mikrowelt über fünf Reasoning-Kategorien hinweg (Single-hop, Multi-hop, Temporal, Knowledge Update, Adversarial).

Die Quell-Dimension:
Die entscheidende Innovation ist die Annotation des Source Tags für jedes QA-Paar, welche die erforderliche Informationsquelle kategorisiert:

Chat-only: Antwort allein aus dem Konversationsverlauf ableitbar.
Doc-only: Antwort allein aus den langen Dokumenten ableitbar.
Hybrid: Erfordert einen zweistufigen Prozess: (1) Nutzung des Konversationskontexts zur Identifizierung des relevanten Dokuments und (2) Lesen dieses Dokuments zur Extraktion der Antwort.
Verteilung: Hybrid-Fragen machen 75,1 % des Datensatzes aus, mit einer Design-Untergrenze von 30 % pro Mikrowelt.

Generierungspipeline

Der Datensatz wird über eine vollständig automatisierte, konfigurationsgesteuerte siebenstufige Pipeline unter Verwendung von LLMs (Claude Sonnet 4.6) generiert:

Dokumenten-Sammlung: Beschaffung und Bündelung realer Rechtstexte.
Persona- & Event-Graph-Generierung: Erstellung synthetischer Rollen und temporaler Ereignisse.
Konversations-Generierung: Erstellung von Dialogen, die auf dem Event-Graph basieren.
QA-Generierung: Erstellung von Fragen mit Evidenz-Referenzen.
Qualitätsverifizierung: Ein LLM-as-judge Protokoll unter Verwendung strenger und nachsichtiger Prompts, um die Prompt-Sensitivitäts-Selbstkonsistenz zu messen (Median Cohen's $\kappa = 0,634$ ).
Dataset-Packaging: Aufteilung in Train/Val/Test (70/14/16) mit Dokument-Isolierung.
Baseline-Evaluierung.

Baseline-Experimente

Sechs Baseline-Konfigurationen wurden auf dem Test-Split (160 QA-Paare, 8 Mikrowelten) unter Verwendung von Token-level F1 und Exact Match (EM) evaluiert:

Base LLM: Trunkiertes Kontextfenster (4.096 Token).
Long-Context LLM: Voller Kontext (60.000 Token).
RAG-Conv: Retrieval über Konversations-Chunks ausschließlich.
RAG-Doc: Retrieval über Dokument-Chunks ausschließlich.
RAG-Both: Gemeinsames Retrieval über beide Modalitäten.
Memory System: Graph-basierte Faktextraktion aus Konversationen.

Kernergebnisse

Performance auf Hybrid-Fragen

Die Ergebnisse zeigen eine signifikante „Joint-Retrieval-Lücke“ auf:

RAG-Doc erreichte einen starken 0,453 F1 bei Doc-only Fragen, brach jedoch bei Hybrid-Fragen auf 0,267 F1 ein. Dies zeigt, dass Dokumenten-Retrieval ohne konversationelle Navigation unzureichend für gemeinsames Reasoning ist.
RAG-Both erreichte die höchste Gesamtleistung (0,358 F1) und verbesserte die Hybrid-Performance auf 0,342 F1, was bestätigt, dass die Einbeziehung der Konversations-Retrieval die Lücke weitgehend schließt.
Long-Context LLM (0,323 insgesamt) performte nur marginal besser als das Base LLM (0,317), trotz eines 15-fachen Kontext-Zuwachses. Es wies die niedrigste Abstentions-Genauigkeit auf (0,844), was darauf hindeutet, dass die Erweiterung von Kontextfenstern ohne strukturierte Retrieval zu erhöhten Halluzinationen bei nicht beantwortbaren Fragen führt („Lost in the Middle“-Effekt).

Spezialisierungs-Asymmetrie

Es wurde eine klare Spezialisierungs-Asymmetrie beobachtet: Systeme, die stark in einem Source Tag waren (z. B. RAG-Doc bei Doc-only), waren schwach im komplementären Tag (Hybrid). Selbst die beste Baseline (RAG-Both) blieb signifikant hinter menschlichen Erwartungen zurück, was darauf hindeutet, dass aktuelle Architekturen die für Hybrid-Aufgaben erforderliche zweistufige Navigationsstrategie nicht nativ unterstützen.

Bedeutung und Ansprüche

Das Paper beansprucht folgende Beiträge und Bedeutungen:

Erster gemeinsamer Benchmark: MemoryDocDataSet ist der erste Benchmark, der simultan Multi-Session-Konversationsverläufe und Long-Document-Reasoning evaluiert, formalisiert durch den Hybrid-Source-Tag.
Messbare Lücke: Der Benchmark quantifiziert eine spezifische architektonische Lücke: die Unfähigkeit aktueller Systeme, zuerst die Konversation zu navigieren, um ein Dokument zu identifizieren, und anschließend aus diesem spezifischen Dokument zu extrahieren.
Implikationen für das Systemdesign: Die Ergebnisse legen nahe, dass die bloße Vergrößerung der Kontextfenster oder die Verwendung von Standard-RAG unzureichend ist. Die nächste Generation von KI-Assistenten benötigt Architekturen, die konversationelles Gedächtnis mit Long-Document-Navigation vereinen, insbesondere durch Implementierung einer zweistufigen Retrieval-Strategie (Konversation $\to$ Dokumenten-Identifikation $\to$ Dokumenten-Retrieval).
Ressourcen-Freigabe: Die Autoren stellen den Datensatz, die Generierungspipeline und alle Baseline-Implementierungen zur Verfügung, um die Forschung für diese gemeinsame Fähigkeit zu fördern.

Das Paper wahrt einen bescheidenen Ton hinsichtlich der menschlichen Leistung und merkt an, dass eine formale menschliche Obergrenze nicht gemessen wurde und die aktuelle LLM-as-judge Verifizierung als Proxy für Konsistenz statt für absolute Korrektheit dient. Zu den anerkannten Limitationen gehören die Domänenspezifität (US-Rechtstexte), die synthetische Natur der Konversationen und der englischsprachige Umfang.