🤖 AI

One Retrieval to Cover Them All: Co-occurrence-Aware Knowledge Base Reorganization for Session-Level RAG

Dieses Paper schlägt eine Methode zur ko-okkurrenz-bewussten Reorganisation von Wissensbasen vor, die durch das Clustern verwandter Dokumente und die Erweiterung von Abfragekandidaten die Sitzungsebene-Abdeckungsrate sowie die Effizienz für unternehmensweite RAG-Systeme signifikant verbessert, wobei argumentiert wird, dass die Abdeckung auf Sitzungsebene anstelle des Einzelabfrage-Recalls als primäre Evaluationsmetrik eingesetzt werden sollte.

Ursprüngliche Autoren: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Problem mit Ihrer Website zu lösen, wie zum Beispiel die Einrichtung eines neuen Online-Shops. Sie müssen vier Dinge tun: Ihre Domain verbinden, eine Design-Vorlage auswählen, Zahlungen einrichten und E-Mails konfigurieren.

In einem Standard-KI-System (genannt RAG) agiert der Computer wie ein Bibliothekar, der nur Bücher finden kann, die exakt so aussehen wie die gestellte Frage.

Sie fragen: "Wie verbinde ich meine Domain?"
Der Bibliothekar findet drei Artikel über Domains.
Das Problem: Der Bibliothekar merkt nicht, dass Sie im selben Moment auch die Artikel über Vorlagen und Zahlungen benötigen. Diese Artikel befinden sich auf völlig anderen Regalen in der Bibliothek. Um sie zu erhalten, müssen Sie vier separate Fragen stellen, jedes Mal warten, bis der Bibliothekar sie gefunden hat, und hoffen, dass er es jedes Mal richtig macht.

Die Autoren dieser Arbeit nennen dies einen „blinden Fleck“. Sie fanden heraus, dass ein Standardsystem in einem Durchgang nur etwa 41 % der Informationen findet, die Sie tatsächlich benötigen.

Die Lösung: Eine neue Art, die Bibliothek zu organisieren

Die Forscher schlagen einen klugen Trick vor: Organisieren Sie die Bibliothek basierend darauf, was Menschen tatsächlich gemeinsam tun, und nicht nur darauf, wie die Bücher aussehen.

Denken Sie an einen Supermarkt.

Standard-System: Es stellt „Milch“ neben „Käse“, weil beide weiße Milchprodukte sind (semantische Ähnlichkeit).
Dieses neue System: Es bemerkt, dass Menschen, die „Milch“ kaufen, fast immer auch „Müsli“ und „Erdbeeren“ kaufen (Ko-Okkurrenz), obwohl Milch und Erdbeeren sich nicht ähnlich sehen. Also verschiebt es das Müsli und die Erdbeeren in denselben Gang wie die Milch.

So funktioniert es (Die einfachen Schritte)

Offline-Reorganisation (Die „Nachtschicht“): Bevor jemand eine Frage stellt, analysiert das System tausende vergangene Nutzersitzungen. Es sieht, dass Menschen, wenn sie nach Domains fragen, oft auch Hilfe bei Vorlagen und Zahlungen benötigen. Es gruppiert diese unzusammenhängenden Themen in „Cluster“ oder „Nachbarschaften“.
Online-Abruf (Die „Tagschicht“): Wenn Sie Ihre Frage stellen, tut das System zwei Dinge:
- Es findet die offensichtlichste Antwort (wie der Standard-Bibliothekar).
- Der magische Schritt: Es schaut sich sofort die „Nachbarschaft“ an, in der diese Antwort lebt, und schnappt sich die anderen Artikel in diesem Cluster (die Vorlagen und Zahlungen), selbst wenn sie Ihrer Frage nicht ähnlich sehen.
Das Ergebnis: Anstatt Ihnen nur die Artikel über die Domain zu geben, liefert es Ihnen die Artikel über die Domain plus die Artikel über die Vorlagen und Zahlungen in einer einzigen Antwort.

Warum das wichtig ist

Die Autoren haben dies an einer echten Unternehmens-Wissensdatenbank mit über 6.000 Artikeln getestet. Hier ist, was sie herausfanden:

Ein Aufruf, mehr Antworten: Anstatt vier separate Fragen zu benötigen, um alle Informationen zu erhalten, deckt eine einzige Frage nun 58 % Ihrer Bedürfnisse ab (statt zuvor 41 %).
Weniger Schritte: Um 70 % der Informationen zu erhalten, die Sie benötigen, müssen Nutzer nun 34 % weniger Fragen stellen. Es ist, als würde man seinen Einkaufswagen mit einem Mal füllen statt mit vier.
Kleinere Bibliothek: Da das System die Dinge effizient gruppiert, kann es die effektive Größe der Wissensdatenbank auf 20 % ihrer ursprünglichen Größe schrumpfen lassen, während es immer noch die richtigen Antworten findet.
Funktioniert überall: Dieser Trick funktionierte unabhängig davon, welches „Gehirn“ (KI-Modell) sie verwendeten, um die Wörter zu verstehen, und er funktionierte über sechs verschiedene Arten von Themen hinweg (wie Zahlungen, E-Mail und Design).

Der Kompromiss (Trade-Off)

Die Autoren geben zu, dass es einen kleinen Preis gibt. Da sie ein breiteres Netz auswerfen, ist die allererste Antwort manchmal etwas weniger perfekt als zuvor (die Präzision sinkt von 96 % auf 93 %). Sie argumentieren jedoch, dass dies ein großartiger Kompromiss ist. Es ist viel besser, 58 % der Lösung sofort vor sich zu haben, als die „perfekte“ einzelne Antwort zu besitzen und dann noch drei weitere Fragen stellen zu müssen, um den Rest zu erhalten.

Was sie nicht behauptet haben

Sie haben nicht behauptet, dass dies für einmalige Fragen funktioniert, bei denen es keine Folgeschritte gibt (wie bei einem Quiz).
Sie haben nicht behauptet, dass dies die endgültige geschriebene Antwort der KI perfekt macht; sie haben lediglich gemessen, ob die richtigen Dokumente gefunden wurden.
Sie haben keine echten Nutzerprotokolle für das Training verwendet (aus Datenschutzgründen), sondern Experten-gelabelte Daten und simulierte Nutzerpfade genutzt, um dem System beizubringen, wie es Dinge gruppiert.

Kurz gesagt: Diese Arbeit legt nahe, dass wir bei komplexen, realen Problemen die KI nicht nur bitten sollten, das „ähnlichste“ Dokument zu finden. Wir sollten der KI staten, die „hilfreichste Gruppe“ von Dokumenten zu finden, basierend darauf, wie Menschen sie tatsächlich gemeinsam nutzen.

Technisches Resümee: One Retrieval to Cover Them All

Problemstellung

Aktuelle Retrieval-Augmented Generation (RAG)-Systeme sind auf die Relevanz einzelner Abfragen optimiert, indem sie Dokumente abrufen, die eine semantische Ähnlichkeit zu einer isolierten Benutzeranfrage aufweisen. Enterprise-Nutzer interagieren jedoch typischerweise über Sessions mit Wissensdatenbanken (Knowledge Bases, KBs): kohärente Episoden verwandter Fragen, die semantisch weit auseinanderliegende Teile der KB abdecken.

Das Paper identifiziert eine kritische „Session-Abdeckungslücke“: Standard-RAG-Systeme scheitern daran, die vollständige Menge der Dokumente, die ein Nutzer in einer einzigen Session benötigt, in einem einzigen Abruf bereitzustellen, da diese Dokumente oft in unterschiedlichen semantischen Nachbarschaften liegen. Ein Beispiel: Ein Nutzer, der eine Website einrichtet, benötigt Artikel über die Domänenkonfiguration, das Template-Design und die Zahlungsverarbeitung. Obwohl diese funktional verwandt sind, sind die Dokumente im Embedding-Raum semantisch weit voneinander entfernt.

Der blinde Fleck: Standard-Retrieval-Metriken (z. B. Recall@k) optimieren darauf, das eine beste Dokument für eine einzelne Frage zu finden, ignorieren dabei jedoch Multi-Dokument-Informationsbedürfnisse.
Die Konsequenz: Auf dem WixQA-Benchmark deckt ein Standard-RAG-System mit einem einzigen Retrieval-Aufruf ( $k=8$ ) nur 41 % des Informationsbedarfs einer Nutzer-Session ab. Nutzer müssen mehrere Folgeabfragen tätigen, um den restlichen Wissensstand zu erschließen, was die Latenz, die API-Kosten und die Nutzerreibung (User Friction) erhöht.

Methodik

Die Autoren schlagen eine Co-occurrence-Aware Knowledge Base Reorganization vor – einen Pre-Retrieval-Ansatz, der die KB offline umstrukturiert, um sie an Benutzerverhaltensmuster statt nur an semantische Ähnlichkeit anzupassen. Die Methode besteht aus zwei Phasen:

1. Offline: Co-occurrence-Aware Clustering

Das System lernt einen neuen Embedding-Raum basierend auf Co-occurrence-Mustern (Dokumenten, die in Sessions gemeinsam aufgerufen werden), anstatt auf rein semantischer Textähnlichkeit.

Sequenzkonstruktion: Co-occurrence-Sequenzen werden aus drei Quellen aufgebaut:
1. Ground-Truth: Experten-annotierte Abfragen mit mehreren relevanten Artikel-IDs.
2. Embedding-Neighborhood Walks: Random Walks durch den semantischen Ähnlichkeitsgraphen mit einer hohen Jump-Wahrscheinlichkeit (40 %), um Cross-Neighborhood-Beziehungen zu erfassen.
3. QA-getriebene Sequenzen: Synthetische Frage-Antwort-Paare und deren Quellendokument-Nachbarn.
Embedding-Lernen: Dokument-IDs werden wie Tokens behandelt und die Sequenzen wie Sätze. Ein Word2Vec (CBOW) Modell wird trainiert, um Co-occurrence-Embeddings ( $z_d$ ) zu generieren. Dies erfasst die funktionale Verwandtschaft: Dokumente, die in einer Session zusammen benötigt werden, liegen im $z$ -Raum nah beieinander, selbst wenn sie semantisch weit entfernt sind.
Hierarchisches Clustering: Agglomeratives Clustering wird auf die Co-occurrence-Embeddings angewendet, um Dokumente in Cluster zu gruppieren. Das Ziel ist es, die effektive Größe der KB auf 20 % ihrer ursprünglichen Größe zu reduzieren (z. B. 6.221 Dokumente $\to$ 1.244 Cluster).

2. Online: Hybrides Retrieval mit Cluster-Expansion

Zum Zeitpunkt der Abfrage führt das System einen hybriden Retrieval-Prozess durch:

Vanilla Retrieval: Abruf der Top- $k_v$ (z. B. 3) Dokumente basierend auf der Standard-semantischen Ähnlichkeit (unter Verwendung eines beliebigen Encoders).
Cluster-Expansion: Für jedes abgerufene Dokument werden alle anderen Dokumente innerhalb seines vorab berechneten Clusters als Expansions-Kandidaten gesammelt.
Re-Ranking: Die Vereinigung aus den Vanilla-Ergebnissen und den Expansions-Kandidaten wird unter Verwendung der ursprünglichen Query-Dokument-Ähnlichkeit neu bewertet (Re-ranking), um die finalen Top- $k$ (z. B. 8) Ergebnisse zurückzugeben.

Dieser Ansatz ist encoder-agnostisch (die Cluster-Struktur wird unabhängig vom Query-Encoder gelernt) und pre-retrieval (die KB wird einmalig offline reorganisiert).

Zentrale Beiträge

Session-basierte Evaluierungsmetriken: Das Paper führt Single-Query Session Coverage (der Anteil der einer Session zugehörigen Dokumente, die in einem Aufruf abgerufen werden) und Calls to $\tau$ -Coverage (die Anzahl der Aufrufe, die benötigt werden, um einen bestimmten Anteil einer Session abzudecken) ein. Diese Metriken verlagern den Fokus der Evaluierung von der Single-Query-Recall hin zur ganzheitlichen Session-Zufriedenheit.
Co-occurrence-Aware KB Reorganization: Eine neuartige Methode, die die KB offline unter Verwendung von Co-occurrence-Mustern reorganisiert, um ein Cluster-expandiertes hybrides Retrieval zu ermöglichen.
Empirische Validierung: Demonstration konsistenter Gewinne über vier verschiedene Embedding-Modelle, sechs funktionale Domänen und variierende Session-Komplexitäten auf einem Enterprise-Benchmark.

Ergebnisse

Evaluierung auf WixQA (6.221 Enterprise-Support-Artikel) und einem E-Commerce Support Korpus:

Session Coverage: Die vorgeschlagene Methode steigert die Single-Query Session Coverage von 41,4 % (Vanilla RAG) auf 59,1 % bei $k=8$ (+17,7 % absolut; 95 % KI: [14,1, 20,4]).
Retrieval-Effizienz: Um eine 70 %ige Session Coverage zu erreichen, reduziert die Methode die durchschnittliche Anzahl der Retrieval-Aufrufe von 4,0 (Vanilla) auf 2,6, was einer Reduktion um 34 % entspricht.
Encoder-Robustheit: Die Methode verbessert die Coverage über alle vier getesteten Embedding-Modelle (MiniLM, BGE, GTE, E5) hinweg mit absoluten Gewinnen zwischen +17,1 % und +20,6 %.
Domänen-Generalisierung: Die Gewinne sind konsistent über sechs verschiedene funktionale Domänen (z. B. Bookings, Apps, Editor) hinweg, mit Verbesserungen zwischen +12,7 % und +21,5 %.
KB-Kompression: Das Clustering reduziert die effektive KB-Größe auf 20 % des Originals, während gleichzeitig die Coverage verbessert wird.
Precision-Trade-off: Die First-Hit Precision (Hits@K) sinkt leicht (96,0 % auf 93,0 %), was die Autoren als akzeptablen Kompromiss für eine signifikant breitere Session-Abdeckung ansehen.
Randbedingungen: Die Methode zeigt keinen Gewinn bei HotpotQA, was bestätigt, dass die Verbesserung auf persistente Wissensbasen mit Dokument-Wiederverwendung über Sessions hinweg angewiesen ist und nicht auf dem Expansionsmechanismus selbst.

Bedeutung und Ansprüche

Das Paper argumenttiert, dass die Session-Level Coverage und nicht der Single-Query Recall die primäre Metrik für die Evaluierung von Enterprise-RAG sein sollte. Die Bedeutung dieser Arbeit liegt in:

Überbrückung der semantischen Lücke: Es zeigt, dass semantische Ähnlichkeit und Nutzer-Informationsbedarf unterschiedliche Signale sind. Dokumente, die zusammen benötigt werden, sind nicht zwangsläufig semantisch ähnlich, und die alleinige Abhängigkeit von Embedding-Ähnlichkeit übersieht kritischen Kontext.
Effizienz und Kosten: Durch den Abruf der richtigen Dokumente im ersten Aufruf reduziert die Methode die Anzahl der benötigten API-Aufrufe, die Latenz und die Nutzerreibung, die zur Lösung komplexer Support-Anfragen erforderlich sind.
Komplementarität: Der Ansatz ist orthogonal zu Query-Rewriting oder Post-Retrieval-Kompression. Er kann mit bestehenden Query-seitigen Optimierungen (wie Multi-Query-Rewriting) oder Post-Retrieval-Methoden (wie EDC2-RAG) kombiniert werden, um eine End-to-End-Session-Optimierung zu erreichen.
Praktikabilität: Die Offline-Reorganisation ist recheneffizient (unter 20 Minuten für 6k Dokumente) und der Online-Overhead ist vernachlässigbar, was sie für den produktiven Einsatz attraktiv macht.

Die Autoren kommen zu dem Schluss, dass, obwohl ihre Co-occurrence-Sequenzen derzeit aus synthetischen und embedding-basierten Quellen abgeleitet werden, die Methode einen Rahmen schafft, in dem Co-occurrence-Muster als leistungsstarkes, komplementäres Signal zu semantischen Embeddings für Enterprise-RAG-Systeme dienen können.