When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

Das große Problem: Der „Bibliothek von Babel“-Effekt

Stellen Sie sich vor, Sie haben einen brillanten Bibliothekar (die KI), der großartig darin ist, Fragen zu beantworten. Sie geben ihm eine kleine, ordentliche Bibliothek mit 54 Büchern über den Straßenbau. Er findet fast augenblicklich die richtige Seite und gibt Ihnen eine perfekte Antwort.

Stellen Sie sich nun vor, Sie werfen plötzlich 1.000 weitere Bücher in diese Bibliothek. Diese neuen Bücher decken alles ab: Verkehrsunfälle, Brückenkonstruktionen, Jahresbudgets und Sicherheitsberichte. Die Bibliothek ist nun riesig (über 88.000 „Chunks“ bzw. Textabschnitte).

Die Arbeit argumentt, dass das Größerwerden der Bibliothek den Bibliothekar tatsächlich schlechter gemacht hat.

Wenn der Bibliothekar nach einer Antwort über „Betonmischung“ sucht, schaut er nicht nur in den Baubüchern nach. Weil die Bibliothek so überfüllt ist, wird der Bibliothekar durch Bücher verwirrt, die zwar ähnlich klingen, aber ein ganz anderes Thema behandeln (wie ein Buch über „Verkehrssicherheit“, das das Wort „Mischung“ in einem anderen Kontext erwähnt). Der Bibliothekar greift nach den falschen Seiten, ist überfordert und gibt eine falsche Antwort.

Die Autoren nennen dies „Vector Search Dilution“ (Vektorsuche-Verwässerung). Es ist, als versuche man, eine bestimmte Nadel im Heuhaufen zu finden, aber jemand fügt ständig mehr Heu hinzu, das exakt wie die Nadel aussieht, was es unmöglich macht, die echte zu unterscheiden.

Die Lösung: Das „Spezialisierte Schreibtisch“-System

Anstatt den Bibliothekar die gesamte riesige Bibliothek für jede Frage durchsuchen zu lassen, haben die Autoren ein neues System namens MASDR-RAG entwickelt.

Stellen Sie sich das wie ein großes Bürogebäude mit vielen verschiedenen Abteilungen vor:

• Der Konstruktions-Schreibtisch
• Der Sicherheits-Schreibtisch
• Der Budget-Schreibtisch

Der alte Weg (Monolithische Suche):
Sie fragen: „Wie mische ich Beton?“ Der Bibliothekar rennt durch das gesamte Gebäude und schreit Ihre Frage in alle Richtungen. Er schnappt sich einen Stapel Papiere vom Sicherheits-Schreibtisch, vom Budget-Schreibtisch und vom Konstruktions-Schreibtisch, mischt sie alle zusammen und reicht sie Ihnen. Sie sind verwirrt, weil die Hälfte der Papiere etwas über Schutzhelme handelt, nicht über Beton.

Der neue Weg (Domänenspezifische Abfrage):
Das System fragt zuerst: „Um welche Art von Frage handelt es sich?“

• Wenn Sie nach Beton fragen, sperrt das System sofort die Türen zum Sicherheits- und zum Budget-Schreibtisch.
• Es schickt den Bibliothekar nur zum Konstruktions-Schreibtisch.
• Der Bibliothekar durchsucht nur diese spezifischen Dateien.

Das Ergebnis:
Durch die Eingrenzung der Suche auf den richtigen „Schreibtisch“ (unter Verwendung von Metadaten-Tags wie „Dokumententyp“) fand das System die richtigen Informationen 86 % der Zeit, gegenüber 77 % zuvor. Es ist, als würde man dem Bibliothekar sagen: „Such nicht im ganzen Gebäude; schau nur im Konstruktionsraum nach.“

Der Twist: Das „Präzisions- vs. Treue-Paradoxon“

Hier wird es knifflig. Die Autoren versuchten, das System noch intelligenter zu machen, indem sie einen „Manager“ hinzufügten, der mehrere Bibliothekare koordiniert (Multi-Agent-Orchestrierung). Sie dachten: „Wenn wir ein Team von Experten haben, die miteinander kommunizieren, werden wir die beste Antwort erhalten.“

Was passierte?

• Mit Open-Source-KI (wie Llama oder Qwen): Das Team arbeitete ganz gut.
• Mit kommerzieller KI (wie Claude oder GPT): Das System brach zusammen.

Die Autoren entdeckten ein „Präzisions-Treue-Paradoxon“ (Precision-Faithfulness Paradox).

• Präzision: Das System fand die richtigen Dokumente (die Präzision stieg).
• Treue (Faithfulness): Das System hörte auf, diesen Dokumenten zu vertrauen, und begann, Dinge zu erfinden oder die Beweise zu ignorieren (die Treue sank von 61 % auf 35 %).

Die Analogie:
Stellen Sie sich eine Gruppe von Detektiven (KI-Agenten) vor, die die perfekten Indizien finden (hohe Präzision). Aber weil sie untereinander streiten und versuchen, zu viele Berichte gleichzeitig zu synthetisieren, werden sie verwirrt und beginnen, eine Geschichte zu schreiben, die nicht zu den gefundenen Indizien passt (niedrige Treue).

Die Arbeit stellte fest, dass bei kommerziellen KI-Modellen das Vorhandensein von zu vielen „Agenten“, die miteinander interagieren, Rauschen erzeugt. Die KI lässt sich von ihrer eigenen internen Debatte ablenken und vergisst, sich an die Fakten zu halten.

Der praktische Rat: „Erst den Umfang festlegen, dann synthetisieren“

Die Arbeit schließt mit einer einfachen Regel für den Aufbau dieser Systeme:

1. Zuerst den Umfang festlegen (Scope First): Bevor Sie die KI irgendetwas fragen, filtern Sie die Dokumente. Wenn die Frage über „Brücken“ ist, zeigen Sie der KI nur die „Brücken“-Dokumente. Lassen Sie sie nicht die „Verkehrs“- oder „Budget“-Dokumente sehen. Dies ist der wichtigste Schritt.
2. Halten Sie es einfach: Sobald Sie die richtigen Dokumente haben, bitten Sie die KI, die Antwort in einem einzigen Schritt zu schreiben.
   • Bringen Sie die KI nicht dazu, eine komplexe, mehrstufige Untersuchung durchzuführen (wie eine „ReAct“-Schleife), es sei denn, Sie verwenden einen sehr spezifischen Typ von Open-Source-Modell.
   • Für die meisten kommerziellen Modelle ist eine einzige, fokussierte Suche gefolgt von einer einzigen Antwort besser als ein komplexes Multi-Agenten-Team.

Zusammenfassung der Ergebnisse

• Mehr Dokumente = Mehr Verwirrung. Das Hinzufügen von mehr Daten zu einem RAG-System ohne Organisation macht die KI schlechter darin, die Wahrheit zu finden.
• Metadaten sind der Schlüssel. Die Suche durch die Verwendung vorhandener Tags (wie „Dokumententyp“) auf den Suchraum einzugrenzen, ist der beste Weg, um dieses Problem zu lösen.
• Komplexität schadet. Der Versuch, ein Team von KI-Agenten einzusetzen, um ein Problem zu lösen, führt oft dazu, dass die KI weniger ehrlich (weniger treu) gegenüber dem Quelltext ist, insbesondere bei leistungsstarken kommerziellen Modellen.
• Der ideale Mittelweg (Sweet Spot): Filtern Sie die Suche auf das richtige Thema und bitten Sie die KI dann, die Antwort einmalig zu formulieren. Einfachheit ist besser.

Die Autoren testeten dies an echten Dokumenten des Verkehrsministeriums von Wyoming und fanden heraus, dass dieser einfache „Erst filtern, dann suchen“-Ansatz das Problem löste, ohne teure oder komplexe neue Technologien zu benötigen.