CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

1. Problemstellung

Retrieval-Augmented Generation (RAG)-Systeme leiden häufig unter einem signifikanten Rückgang der Genauigkeit, wenn sich ähnliche Dokumente in der Vektordatenbank befinden. Dies führt zu:

• Semantischen Konflikten: Ähnliche Inhalte aus verschiedenen Dokumenten (z. B. Handbücher für ähnliche Produktmodelle) werden verwechselt.
• Halluzinationen und Faktenfehlern: Das Large Language Model (LLM) erhält irrelevante oder widersprüchliche Informationen.
• Zerstückelung des Kontexts: Herkömmliche, rein längenbasierte Chunking-Strategien unterbrechen wichtige Referenzen (z. B. „diese Methode", „Gleichung (3)") und Coreferenzen, was die Interpretierbarkeit und den Recall verschlechtert.
• Fehlende Diskursabhängigkeit: Die meisten aktuellen Ansätze behandeln Chunks unabhängig voneinander und ignorieren diskursübergreifende Abhängigkeiten, was besonders bei langen, technischen Dokumenten mit hohem lexikalischem Überlappungsgrad problematisch ist.

2. Methodik: Das CHOP-Framework

CHOP (Chunkwise Context-Preserving) ist ein Framework, das die Retrieval-Genauigkeit durch eine sequenzielle Verarbeitung und kontextbewusste Anreicherung von Chunks verbessert. Es besteht aus zwei Hauptkomponenten:

A. CNM-Extractor (Category–Noun–Model Extractor)

Dieses Modul generiert für jeden Chunk eine kompakte Signatur, die als „Anker" für die semantische Position dient. Die Signatur ist ein Tripel:

• Category: Die breite Produktfamilie (z. B. Kamera, Klimaanlage).
• Nouns: 1–2 Schlüsselsubstantive, die das Ziel oder die Aktion erfassen (z. B. „Filter der Klimaanlage").
• Model: Der spezifische Modell- oder Serienname (z. B. „225B", „X-SERIES").

Diese Metadaten werden als Präfix vor den eigentlichen Text des Chunks eingefügt, bevor dieser in den Vektorraum eingebettet wird. Dies hilft, semantische Kollisionen zu reduzieren und die Diskriminierungsfähigkeit des Retrievers zu erhöhen.

B. Continuity Decision Module (Kontinuitätsentscheidung)

Dieses Modul entscheidet, ob ein neuer Chunk zum selben thematischen Fluss wie der vorherige gehört oder ob ein neues Thema beginnt.

• Funktionsweise: Ein LLM-basierter Klassifizierer analysiert benachbarte Chunks ($C_i, C_{i+1}$) und trifft eine Entscheidung (TRUE/FALSE).
• Logik:
  • TRUE (Kontinuität): Der Chunk gehört zum selben Dokument/Thema. Die CNM-Signatur des vorherigen Chunks wird geerbt (inherited), um den Kontext konsistent zu halten.
  • FALSE (Themenwechsel): Ein neues Thema oder ein neues Dokument beginnt. Eine neue CNM wird extrahiert.
• Ziel: Dies verhindert, dass Metadaten aus einem Kontext fälschlicherweise auf einen anderen übertragen werden (Vermeidung von „Contamination") und erhält die semantische Kohärenz über Chunk-Grenzen hinweg.

Der finale Eingabetext für das Embedding-Modell ist die Konkatination von Präfix ($PFX(M_i)$) und Chunk-Text ($C_i$).

3. Wichtige Beiträge

• Kontextbewusstes Chunking: Im Gegensatz zu statischen Längen-Splits oder rein semantischen Clustern berücksichtigt CHOP die Diskursstruktur und erbt Metadaten über Chunk-Grenzen hinweg, solange der Kontext erhalten bleibt.
• Reduktion semantischer Kollisionen: Durch das Voranstellen der CNM-Metadaten (Kategorie, Nomen, Modell) wird der Embedding-Raum regularisiert. Ähnliche Texte aus unterschiedlichen Dokumenten erhalten unterschiedliche Präfixe und werden im Vektorraum besser trennbar.
• Skalierbarkeit ohne Retraining: Das Framework verbessert die Retrieval-Leistung, ohne den eigentlichen Retriever (Embedding-Modell) neu trainieren zu müssen. Es wirkt als Vorverarbeitungs- und Anreicherungsschicht.
• Robustheit bei Multi-Document-Szenarien: Besonders effektiv bei Datensätzen mit hohem lexikalischem Überlappung (z. B. Produktmanuals), wo traditionelle Methoden oft versagen.

4. Ergebnisse

Die Evaluation erfolgte auf dem MRAMG-Bench (basierend auf Produktmanuals), wobei CHOP mit zwei Baselines verglichen wurde: Native-500T (feste 500-Token-Splits) und Cosine-Chunking (semantische Splits).

• Retrieval-Leistung (Tabelle 1):

  • CHOP erreichte eine Top-1 Hit Rate von 90,77 %, deutlich höher als Native-500T (81,28 %) und Cosine-Chunking (70,77 %).
  • CHOP zeigte überlegene Werte bei MRR (Mean Reciprocal Rank) und NDCG (Normalized Discounted Cumulative Gain), was bedeutet, dass nicht nur die richtigen Dokumente gefunden, sondern auch höher in der Rangliste platziert werden.
  • Bei Top-10 Hit Rates näherten sich alle Methoden einem hohen Wert (~99 %), aber CHOP behielt in der Qualität der Rangfolge (Ranking Quality) einen klaren Vorteil.

• Generierungs-Leistung (Tabelle 2):

  • Die durch CHOP bereitgestellten Kontexte führten zu einer höheren Qualität der vom LLM generierten Antworten.
  • Metriken wie F1, ROUGE-L und BERTScore zeigten konsistente Verbesserungen gegenüber den Baselines, insbesondere bei Top-3 bis Top-10 Retrieval.
  • Dies belegt, dass die verbesserte Retrieval-Qualität direkt zu weniger Halluzinationen und präziseren Antworten führt.

5. Bedeutung und Fazit

CHOP adressiert eine kritische Lücke in aktuellen RAG-Architekturen: die Behandlung von Kontinuität und Diskurs in langen, sich wiederholenden Dokumenten.

• Praktische Relevanz: Das Framework bietet eine skalierbare Lösung für den Aufbau hochwertiger Wissensbasen in realen Szenarien (z. B. technische Dokumentation, rechtliche Texte), wo semantische Ähnlichkeit oft zu Verwechslungen führt.
• Effizienz: Es verbessert die Trefferquote und die Rangfolge signifikant, ohne die Infrastruktur des Retrievers ändern zu müssen.
• Zukunftsausblick: Die Autoren planen, adaptive Prefixing-Strategien und dynamische Kontinuitätsmodelle zu erforschen, um mit sich entwickelndem Domänenwissen und Streaming-Eingaben umzugehen, sowie die Rechenkosten durch effizientere Inferenztechniken zu senken.

Zusammenfassend stellt CHOP einen praktischen und effektiven Ansatz dar, um RAG-Systeme robuster gegen semantische Verwirrung in Multi-Document-Szenarien zu machen und gleichzeitig die Zuverlässigkeit der generierten Ausgaben zu erhöhen.