🤖 AI

Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction

Dieser Artikel schlägt die direkte Korpusinteraktion (DCI) vor, ein Abrufparadigma, bei dem Agenten feste semantische Schnittstellen umgehen, um mit allgemeinen Werkzeugen direkt mit Rohkorpora zu interagieren, und zeigt, dass dieser Ansatz traditionelle lexikalische und semantische Abrufsysteme bei komplexen agentenbasierten Suchaufgaben deutlich übertrifft, indem er eine flexible, mehrstufige Evidenzerkundung ohne Notwendigkeit einer Offline-Indexierung ermöglicht.

Ursprüngliche Autoren: Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes Rätsel zu lösen. Sie besitzen eine massive Bibliothek von Büchern (das „Korpus"), die alle notwendigen Hinweise enthält.

Der alte Weg: Der Bibliothekar mit einem Filter
Traditionell bittet ein Detektiv (ein KI-Agent), wenn er einen Hinweis benötigt, einen Bibliothekar (einen „Retriever") um Hilfe. Der Detektiv sagt: „Ich suche nach etwas über einen gestohlenen Diamanten", und der Bibliothekar verwendet einen speziellen Scanner, um die fünf Bücher zu finden, die sich nach Diamanten anhören könnten. Der Bibliothekar reicht nur diese fünf Seiten weiter.

Das Problem? Wenn der Hinweis tatsächlich in einem Satz auf Seite 400 eines Buches versteckt ist, das der Bibliothekar nicht ausgewählt hat, sieht der Detektiv ihn nie. Auch wenn der Detektiv prüfen muss, ob ein bestimmtes Wort exakt so geschrieben erscheint, wie es dasteht, oder zwei schwache Hinweise kombinieren muss („finde das Buch mit 'Diamant' UND 'rot' UND '2024'"), versagt die vorfilterte Liste des Bibliothekars oft. Der Detektiv ist mit dem, was der Bibliothekar ihm gegeben hat, festgefahren, selbst wenn der Bibliothekar die eigentliche Antwort übersehen hat.

Der neue Weg: Der Detektiv mit einer Taschenlampe
Diese Arbeit schlägt eine neue Methode vor, die Direkte Korpus-Interaktion (DCI) genannt wird. Anstatt einen Bibliothekar zu bitten, die Bücher zu filtern, erhält der Detektiv eine Taschenlampe und einen Schlüssel und betritt die Bibliothek selbst.

Er verwendet keinen ausgefallenen Scanner. Stattdessen nutzt er einfache, leistungsstarke Werkzeuge, die er bereits kennt:

grep: Ein Werkzeug, um zu rufen „Finde jede Seite, die 'Diamant' sagt!" und sofort jeden einzelnen Treffer zu erhalten.
find: Ein Werkzeug, um genau zu lokalisieren, auf welchem Regal ein Buch steht.
head/tail: Werkzeuge, um nur den Anfang oder das Ende einer Seite zu überfliegen, ohne das Ganze zu lesen.

Warum ist das besser?
Die Autoren argumentieren, dass moderne KI-Agenten intelligent genug werden, um ihre eigenen Bibliothekare zu sein. Wenn der Agent die Bibliothek betreten und diese einfachen Werkzeuge nutzen kann, kann er:

Genau sein: Er kann verlangen: „Zeige mir nur die Seiten, auf denen 'Diamant' und 'rot' im selben Satz vorkommen." Ein herkömmlicher Bibliothekar könnte dies verpassen, wenn die Wörter weit auseinanderstehen.
Der Spur folgen: Wenn er einen Hinweis findet, kann er sofort den umgebenden Text prüfen, um zu sehen, ob er mit einem anderen Hinweis verbunden ist, ohne auf eine neue „Such"-Anfrage warten zu müssen.
Die „Top-5"-Falle vermeiden: Er ist nicht auf die Top-5-Ergebnisse beschränkt. Wenn die Antwort im 500. Buch steht, kann er es finden.

Die Ergebnisse
Die Forscher testeten diese „Taschenlampen"-Methode gegen die „Bibliothekar"-Methode bei mehreren schwierigen Aufgaben:

Tiefe Recherche: Bei einem Test namens BrowseComp-Plus, bei dem Agenten komplexe Rätsel unter Verwendung einer geschlossenen Textbibliothek lösen mussten, erhielt die Taschenlampenmethode 80 % der Antworten richtig, während die beste Bibliothekarmethode nur 69 % erreichte. Sie kostete zudem weniger Geld, um sie auszuführen.
Mehrschrittige Fragen: Bei Fragen, die mehrere logische Schritte erforderten (wie „Wer ist der Bruder der Person, die 2020 den Preis gewonnen hat?"), erzielte die Taschenlampenmethode 83 % und überragte die bisher beste Methode, die nur 52 % erreichte.
Ranking: Selbst wenn die Aufgabe lediglich darin bestand, Dokumente nach Relevanz zu sortieren, war die Taschenlampenmethode deutlich genauer.

Das Konzept der „Auflösung"
Die Arbeit führt ein interessantes Konzept namens Auflösung ein.

Niedrige Auflösung (Der Bibliothekar): Sie sehen das ganze Buch als verschwommene Masse. Sie wissen, dass es über das Thema geht, aber Sie können die feinen Details nicht erkennen.
Hohe Auflösung (Die Taschenlampe): Sie können auf ein einzelnes Wort, einen bestimmten Satz oder einen bestimmten Absatz heranzoomen. Sie können die genaue Rechtschreibung und den Kontext überprüfen.

Die Autoren stellten fest, dass die Taschenlampenmethode nicht unbedingt gewonnen hat, weil sie mehr Bücher fand, sondern weil sie, sobald sie ein relevantes Buch gefunden hatte, heranzoomen und das genaue, winzige Beweisstück extrahieren konnte, das benötigt wurde, um das Rätsel zu lösen. Die Bibliothekarmethode fand oft das richtige Buch, konnte aber den spezifischen Hinweis darin nicht klar genug „sehen".

Der Haken
Es gibt einen Kompromiss. Wenn die Bibliothek klein ist, ist der Bibliothekar schnell. Aber wenn die Bibliothek riesig ist und der Detektiv durch Millionen von Dateien suchen muss, kann die Taschenlampenmethode langsam und teuer werden, da der Agent mehr Arbeit leisten muss, um die Nadel im Heuhaufen zu finden. Sobald der Agent jedoch eine vielversprechende Datei findet, ist die Taschenlampenmethode ungeschlagen, wenn es darum geht, die Wahrheit ans Licht zu bringen.

Zusammenfassung
Diese Arbeit legt nahe, dass wir für intelligente KI-Agenten den „Such"-Schritt nicht länger als eine Blackbox behandeln sollten, die eine vorfilterte Liste überreicht. Stattdessen sollten wir dem Agenten direkten, hochauflösenden Zugriff auf die Rohdaten unter Verwendung einfacher Befehlszeilenwerkzeuge gewähren. Dies ermöglicht es dem Agenten, eher wie ein menschlicher Forscher zu handeln: Hinweise zu jagen, genaue Details zu prüfen und Beweise Schritt für Schritt zusammenzufügen, anstatt einfach nur zu hoffen, dass der Bibliothekar die richtigen Seiten ausgewählt hat.

Technische Zusammenfassung: Über die semantische Ähnlichkeit hinaus: Neukonzeption der Suche für agentenbasierte Suche durch direkte Korpusinteraktion

Problemstellung

Moderne Retrieval-Systeme, ob lexikalisch (z. B. BM25) oder semantisch (z. B. dichte Embeddings), verlassen sich auf eine feste Ähnlichkeitsschnittstelle, die den Zugriff auf ein Korpus vor dem Reasoning in einen einzelnen Top- $k$ -Retrieval-Schritt komprimiert. Obwohl dies effizient ist, argumentieren die Autoren, dass diese Abstraktion eine Engpass für die agentenbasierte Suche darstellt. Komplexe agentenbasierte Aufgaben – wie sie in Benchmarks wie BrowseComp-Plus zu finden sind – erfordern von Agenten die Koordination mehrstufiger Prozesse, die exakte lexikalische Einschränkungen, spärliche Hinweis-Konjunktionen, lokale Kontextverifikation und Hypothesenverfeinerung beinhalten.

In standardmäßigen Retrieval-augmentierten Pipelines können Beweise, die frühzeitig von einem Retriever herausgefiltert werden, auch dann nicht von nachgelagertem Reasoning wiederhergestellt werden, wenn der Agent über starke Reasoning-Fähigkeiten verfügt. Darüber hinaus verhindert die feste Top- $k$ -Schnittstelle, dass Agenten feinabgestimmte Operationen durchführen können, wie das Verketten von Regex-Matches, das Verifizieren exakter Spannen oder das iterative Verfeinern von Suchplänen basierend auf teilweisen Beweisen. Da Agenten leistungsfähiger werden, verlagert sich die Einschränkung von der Reasoning-Fähigkeit des Modells hin zur Auflösung der Schnittstelle, über die es mit dem Korpus interagiert.

Methodik: Direkte Korpusinteraktion (DCI)

Der Artikel schlägt Direkte Korpusinteraktion (Direct Corpus Interaction, DCI) als neues Retrieval-Paradigma vor. Anstatt eine vorgefertigte Indexierung oder eine semantische Retriever-API abzufragen, interagiert der Agent direkt mit dem rohen Korpus unter Verwendung allgemeiner Terminal-Tools (z. B. grep, find, read, bash und leichte Skripte).

Kernmechanismen

Schnittstelle: Der Agent umgeht Offline-Indexierung, Vektordatenbanken und Embedding-Modelle. Er behandelt das Korpus als Dateisystem, das über eine Kommandozeilenschnittstelle (CLI) zugänglich ist.
Operationen: Der Agent komponiert Operationen, um:
- Explorieren: Verzeichnisstrukturen zu navigieren (find, ls).
- Machen: Exakte oder reguläre Ausdrücke-Matches durchzuführen (grep, rg).
- Untersuchen: Lokalen Kontext um Matches herum zu lesen (head, tail, sed, read).
- Komponieren: Befehle zu verketten, um komplexe Einschränkungen durchzusetzen (z. B. grep 'foo' file | grep 'bar').
Implementierung: Die Autoren instanziieren DCI mit zwei Agenten-Gerüsten:
- DCI-Agent-Lite: Ein minimales Harness basierend auf Pi, beschränkt auf rohe Terminal-Interaktion (bash und read) mit einer leichten Kontextverwaltungsschicht (Truncierung, Kompaktierung, Zusammenfassung), um Suchen mit langem Horizont zu bewältigen.
- DCI-Agent-CC: Eine stärkere Instanziierung unter Verwendung von Claude Code als CLI-Agent, die robuste Tool-Orchestrierung und Kontextbehandlung bietet.

Evaluierungsmetriken

Neben der Standardgenauigkeit führen die Autoren die Auflösung der Retrieval-Schnittstelle als konzeptionelle Linse ein, gemessen durch:

Abdeckung: Ob die Trajektorie relevante (goldene) Dokumente zutage fördert.
Lokalisierung: Wie effizient die Trajektorie innerhalb eines zutage geförderten Dokuments auf einen kleinen, verwertbaren Beweisbereich einschränkt. Diese Metrik quantifiziert die Fähigkeit, konzentrierte Beweise zu extrahieren, anstatt lediglich ein Dokument zu retrieve.

Hauptbeiträge

Formalisierung von DCI: Der Artikel formalisiert die Direkte Korpusinteraktion als Retrieval-Paradigma und evaluiert sie systematisch über agentenbasierte Suche, Multi-Hop-QA und IR-Ranking-Aufgaben hinweg, ohne sich auf Offline-Indizes zu verlassen.
Leistungsüberlegenheit: DCI zeigt auf diversen Benchmarks eine konkurrenzfähige oder überlegene Leistung gegenüber starken sparse-, dichten- und Reranking-Baselines, oft ohne externe Retriever zu benötigen.
Auflösungs-Linse: Die Autoren führen die „Auflösung der Retrieval-Schnittstelle" ein, um die Wirksamkeit von DCI zu erklären. Sie argumentieren, dass für fähige Agenten die Granularität der Schnittstelle (Fähigkeit, mit Einheiten zu operieren, die kleiner als ganze Dokumente sind) ebenso kritisch ist wie die Ranking-Qualität des Retriever.

Experimentelle Ergebnisse

Die Autoren evaluierten DCI auf drei Benchmark-Familien: BrowseComp-Plus (agentenbasierte Suche), Multi-Hop-QA (NQ, TriviaQA, HotpotQA usw.) und IR-Ranking (BRIGHT, BEIR).

Agentenbasierte Suche (BrowseComp-Plus): Der Ersatz eines Qwen3-Embedding-8B-Retriever durch DCI (unter Verwendung desselben Claude Sonnet 4.6-Backbones) verbesserte die Genauigkeit von 69,0 % auf 80,0 % (+11,0 Punkte) und reduzierte gleichzeitig die API-Kosten um 29,4 %. DCI-Agent-CC übertraf die stärkste Retrieval-Baseline (GPT-5 + Qwen3-Embedding-8B) um 8,3 Punkte.
Multi-Hop-QA: DCI-Agent-CC erreichte eine durchschnittliche Genauigkeit von 83,0 % und übertraf die stärkste Retrieval-Agent-Baseline (ASearcher-Local-14B) um 30,7 Punkte. DCI-Agent-Lite erreichte ebenfalls 68,0 % und übertraf Retrieval-Baselines signifikant.
IR-Ranking: Auf den BRIGHT- und BEIR-Datensätzen erreichte DCI-Agent-CC einen durchschnittlichen NDCG@10 von 68,5 und übertraf die beste Retrieval-Baseline (ReasonRank-32B) um 21,5 Punkte.

Mechanismus-Analyse

Die Trajektorienanalyse zeigt, dass die Gewinne von DCI nicht primär daraus resultieren, dass mehr goldene Dokumente wiederhergestellt werden (die Abdeckung ist oft niedriger als bei dichten Retrievern). Stattdessen stammt der Vorteil aus der feingranularen Entdeckung und Verifikation:

DCI-Agenten sind oft dort erfolgreich, wo Retrieval-Agenten scheitern, weil sie zutage geförderte Beweise in hochwertige lokale Suchschritte umwandeln können (z. B. Verifizierung exakter String-Matches oder Verketten schwacher Hinweise).
Die „Auflösung" der Schnittstelle ermöglicht es Agenten, von einer breiten Suche zu einer präzisen Inspektion überzugehen, sobald ein relevantes Dokument gefunden wurde.
Skalierung: DCI skaliert gut mit der Suchtiefe, verursacht jedoch bei der Suchbreite (Korpusgröße) schnell steigende Kosten, was auf einen Betriebsbereich hindeutet, in dem es sich durch fokussierte, tiefe Exploration auszeichnet, nicht durch breite, oberflächliche Scans.

Bedeutung und Behauptungen

Der Artikel behauptet, dass, da Sprachagenten stärker werden, die Retrieval-Qualität nicht nur von der Reasoning-Fähigkeit, sondern von der Auflösung der Schnittstelle abhängt. Die Autoren argumentieren, dass Retrieval für fähige Agenten als Schnittstellen-Designproblem und nicht ausschließlich als Retriever-Designproblem neu gefasst werden sollte.

Paradigmenwechsel: DCI legt nahe, dass komprimierte Ähnlichkeitsindizes zu Engpässen werden können, wenn Agenten wie menschliche Forscher suchen müssen (Hypothesen formulieren, exakte Muster testen, lokalen Kontext lesen).
Praktikabilität: DCI erfordert keine Offline-Embedding oder Indexierung, passt sich natürlich sich entwickelnden lokalen Korpora an und ermöglicht es Agenten, direkt in ihrer Reasoning-Umgebung zu operieren.
Designraum: Dichte und sparse Retrieval bleiben für große, statische Korpora effektiv, aber DCI besetzt einen distincten Punkt im breiteren Designraum von Korpus-Schnittstellen und bietet hochauflösenden Zugriff für Aufgaben, die eine präzise, mehrstufige Beweisaggregation erfordern.

Die Autoren schließen daraus, dass DCI nicht bloß ein weiterer Ansatz ist, sondern ein Beweis dafür, dass die Zukunft der agentenbasierten Suche darin liegt, Schnittstellen zu gestalten, die mit den Reasoning-Fähigkeiten des Agenten übereinstimmen und eine direkte, hochauflösende Interaktion mit Rohdaten ermöglichen.