Is Grep All You Need? How Agent Harnesses Reshape Agentic Search
Diese Arbeit präsentiert eine empirische Studie, die zeigt, dass grep-basierte Suche in agentenbasierten Suchsystemen häufig vektorbasierte Suche übertrifft, und hebt gleichzeitig hervor, dass die Gesamtleistung erheblich durch das spezifische Agenten-Framework und das verwendete Paradigma für Werkzeugaufrufe beeinflusst wird, selbst wenn die zugrundeliegenden Daten konstant bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines einzelnen Aktenordners haben Sie eine massive Bibliothek mit Millionen von Seiten an Gesprächsprotokollen. Sie müssen spezifische Fakten finden (wie „Wann begann das Meeting?" oder „Was ist die Lieblingsfarbe des Nutzers?"), um die Frage eines Kunden zu beantworten.
Dieser Bericht stammt von einem Team bei PwC, das zwei verschiedene Methoden getestet hat, wie KI-„Detektive" (Large Language Models) in dieser Bibliothek suchen können. Sie wollten herausfinden, ob die KI eine intelligente, semantische Suche (wie die Bitte an einen Bibliothekar um „die Geschichte vom roten Auto") oder eine wörtliche, schlüsselwortbasierte Suche (wie das Rufen von „ROTES AUTO!" und das Durchsuchen jeder Seite nach genau diesen Wörtern) verwenden sollte.
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:
Die beiden Suchmethoden
- Vektorsuche (Der „intelligente Bibliothekar"): Diese Methode versteht die Bedeutung Ihrer Frage. Wenn Sie nach einem „schnellen Fahrzeug" fragen, findet sie möglicherweise eine Seite, auf der von einem „rasenden Sportwagen" die Rede ist, selbst wenn das Wort „Fahrzeug" nicht vorkommt. Sie eignet sich hervorragend zum Verstehen von Konzepten, kann sich jedoch manchmal von Seiten ablenken lassen, die zwar das Thema behandeln, aber nicht die genaue Antwort enthalten.
- Grep-Suche (Der „Schlüsselwort-Scanner"): Dies ist ein stumpfes Instrument. Es sucht nach exakten Wörtern oder Mustern. Wenn Sie nach „schnelles Fahrzeug" fragen, findet es nur Seiten, die genau diese Wörter enthalten. Es versteht keine Bedeutung, ist aber unglaublich präzise darin, den genauen Satz zu finden, den Sie benötigen.
Das Experiment: Der „Harnisch" ist entscheidend
Die Forscher testeten nicht nur die Suchmethoden; sie testeten sie in verschiedenen „Arbeitsumgebungen" (sogenannten Harnischen).
- Benutzerdefinierter Harnisch (Chronos): Stellen Sie sich dies als eine maßgeschneiderte Detektei vor. Die KI hat einen Manager, der die Dateien organisiert, der KI genau sagt, wie sie Fragen stellen soll, und die Antworten perfekt formatiert.
- Anbieter-CLI-Harnische (Claude Code, Codex, Gemini CLI): Stellen Sie sich diese als kommerzielle Werkzeugkästen vor, die von den Tech-Giganten bereitgestellt werden. Die KI erhält eine Befehlszeile (wie ein Terminal) und muss selbst herausfinden, wie sie Standardtools wie
grepverwendet.
Die großen Überraschungen
1. Der „wörtliche" Scanner gewinnt oft
Entgegen der weit verbreiteten Meinung, dass die „intelligente" semantische Suche immer besser sei, ergab die Studie, dass der wörtliche Schlüsselwort-Scanner (Grep) oft genauer war, insbesondere wenn es sich bei den Antworten um spezifische Fakten wie Daten, Namen oder Zahlen handelte.
- Analogie: Wenn Sie in einem Buch nach einer bestimmten Telefonnummer suchen, ist das Rufen der genauen Ziffern (Grep) oft zuverlässiger als die Bitte an einen Bibliothekar, die „Kontaktinformationen" zu finden (Vektor), weil der Bibliothekar Ihnen möglicherweise eine Seite mit einer anderen Telefonnummer bringt, die zwar thematisch verwandt ist, aber nicht die gesuchte Nummer enthält.
2. Wie Sie die Ergebnisse der KI übergeben, verändert alles
Die Forscher testeten zwei Möglichkeiten, wie sie die Suchergebnisse der KI übergeben:
- Inline (Das „offene Buch"): Die Suchergebnisse werden direkt in das Chat-Fenster eingefügt. Die KI liest sie sofort.
- Ergebnis: Grep dominierte hier. Wenn die genauen Wörter direkt vor der KI eingefügt wurden, traf sie die Antworten perfekt.
- Dateibasiert (Der „Akte"): Die Suchergebnisse werden in einer Datei gespeichert, und die KI muss einen zweiten Schritt durchführen, um diese Datei zu öffnen und zu lesen.
- Ergebnis: Der Vorteil kehrte sich um. Manchmal wurde die KI durch den zusätzlichen Schritt des Öffnens der Datei verwirrt. In diesen Fällen performte die „intelligente" Vektorsuche manchmal besser, da sie einen kleineren, relevanteren Ergebnissatz zurückbrachte, der leichter zu lesen war. Bei einigen KI-Modellen führte die dateibasierte Methode jedoch dazu, dass der Grep-Vorteil verschwand oder sich sogar umkehrte.
3. Der „Arbeitsplatz" ist wichtiger als das „Werkzeug"
Die überraschendste Erkenntnis war, dass die Umgebung (der Harnisch) wichtiger war als das Suchtool selbst.
- Analogie: Es ist, als würde man einem Meisterkoch ein Messer geben. Wenn Sie ihn in eine professionelle Küche mit einem Sous-Chef stellen (Benutzerdefinierter Harnisch), kocht er ein perfektes Essen. Wenn Sie ihn in eine unordentliche, unbekannte Küche ohne Anweisungen stellen (Anbieter-CLI), könnte er Schwierigkeiten haben, selbst mit demselben Messer.
- Dasselbe KI-Modell (wie Claude Opus) erreichte im benutzerdefinierten Harnisch eine Punktzahl von 93 %, aber nur 76 % im CLI des Anbieters, selbst bei Verwendung derselben Suchdaten. Der „Manager" und die „Anweisungen" veränderten das Ergebnis mehr als die Suchmethode.
4. Der „Lärm"-Test
Die Forscher fügten der Bibliothek immer mehr irrelevante Gespräche („Lärm") hinzu, um zu sehen, wie sich die Suchmethoden bewährten.
- Sie stellten fest, dass die Ergebnisse unvorhersehbar waren, je unordentlicher die Bibliothek wurde. Manchmal war der „intelligente Bibliothekar" (Vektor) besser darin, den Lärm frühzeitig herauszufiltern. Manchmal war der „Schlüsselwort-Scanner" (Grep) besser darin, den Lärm zu ignorieren, sobald die KI das richtige Muster gefunden hatte.
- Es gab keine einzelne „beste" Methode, die für alle Situationen funktionierte; es hing vollständig davon ab, welches KI-Modell und welche „Arbeitsplatz"-Konfiguration verwendet wurde.
Das Fazit
Die Studie kommt zu dem Schluss, dass es keine einzelne „Wunderwaffe" für die KI-Suche gibt.
- Gehen Sie nicht einfach davon aus, dass „Semantische Suche" die Zukunft ist. Für Aufgaben, die exakte Fakten erfordern, ist eine einfache Schlüsselwortsuche oft überlegen.
- Das Setup ist alles. Wie Sie die Suchergebnisse der KI präsentieren (direkt im Chat vs. in einer Datei) und wie Sie den Workflow der KI verwalten (benutzerdefinierte Anweisungen vs. Rohwerkzeuge) verändert die Ergebnisse mehr als der Suchalgorithmus selbst.
Kurz gesagt: Es geht nicht nur darum, wonach die KI sucht; es geht darum, wie die KI zum Suchen eingerichtet ist und wie die Ergebnisse ihr übergeben werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.