Is Grep All You Need? How Agent Harnesses Reshape Agentic Search
Dit artikel presenteert een empirische studie die aantoont dat op grep gebaseerde zoekopdrachten in agente zoeksystemen vaak beter presteren dan vectorzoekopdrachten, terwijl wordt benadrukt dat de algehele prestaties aanzienlijk worden beïnvloed door de specifieke agent-omgeving en het tool-call-paradigma dat wordt gebruikt, zelfs wanneer de onderliggende data constant blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van één map met dossiers heb je een enorme bibliotheek met miljoenen pagina's aan conversatielogboeken. Je moet specifieke feiten vinden (zoals "Wanneer begon de vergadering?" of "Wat is de favoriete kleur van de gebruiker?") om een vraag van een cliënt te beantwoorden.
Dit artikel is een verslag van een team bij PwC dat twee verschillende manieren testte waarop AI-"detectives" (Grote Taalmodellen) deze bibliotheek kunnen doorzoeken. Ze wilden zien of de AI een slimme, semantische zoekopdracht moet gebruiken (zoals een bibliothecaris vragen om "het verhaal over de rode auto") of een letterlijke, trefwoordzoekopdracht (zoals "RODE AUTO!" te schreeuwen en elke pagina te scannen op die exacte woorden).
Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:
De Twee Zoekmethoden
- Vector Search (De "Slimme Bibliothecaris"): Deze methode begrijpt de betekenis van je vraag. Als je vraagt om een "snel voertuig", kan het een pagina vinden waar een "snel racende sportauto" wordt genoemd, zelfs als het woord "voertuig" er niet staat. Het is geweldig voor het begrijpen van concepten, maar kan soms afgeleid raken door pagina's die over het onderwerp gaan maar niet het exacte antwoord bevatten.
- Grep Search (De "Trefwoordscanner"): Dit is een ruw instrument. Het zoekt naar exacte woorden of patronen. Als je om "snel voertuig" vraagt, vindt het alleen pagina's die die exacte woorden bevatten. Het begrijpt geen betekenis, maar is ongelooflijk precies in het vinden van de exacte zin die je nodig hebt.
Het Experiment: De "Harnas" is Belangrijk
De onderzoekers testten niet alleen de zoekmethoden; ze testten ze binnen verschillende "werkruimten" (zogenaamde harnassen).
- Aangepast Harnas (Chronos): Denk hierbij aan een op maat gebouwd detectivebureau. De AI heeft een manager die de bestanden organiseert, de AI precies vertelt hoe hij vragen moet stellen, en de antwoorden perfect formatteert.
- Provider CLI-harnassen (Claude Code, Codex, Gemini CLI): Denk hierbij aan kant-en-klare gereedschapskisten die worden geleverd door de techreuzen. De AI krijgt een commandoregel (zoals een terminal) en moet zelf uitzoeken hoe hij standaardtools zoals
grepmoet gebruiken.
De Grote Verrassingen
1. De "Letterlijke" Scanner Wint Vaak
In tegenstelling tot de populaire overtuiging dat "slimme" semantische zoekopdrachten altijd beter zijn, bleek uit de studie dat de letterlijke trefwoordscanner (Grep) vaak nauwkeuriger was, vooral wanneer de antwoorden specifieke feiten waren zoals data, namen of getallen.
- Analogie: Als je op zoek bent naar een specifiek telefoonnummer in een boek, is het schreeuwen van de exacte cijfers (Grep) vaak betrouwbaarder dan een bibliothecaris vragen om "de contactinformatie" te vinden (Vector), omdat de bibliothecaris je misschien een pagina brengt met een ander telefoonnummer dat gerelateerd is aan het onderwerp.
2. Hoe Je de Resultaten aan de AI Aangeeft, Verandert Alles
De onderzoekers testten twee manieren om de zoekresultaten aan de AI te geven:
- Inline (Het "Open Boek"): De zoekresultaten worden direct in het chatvenster geplakt. De AI leest ze direct.
- Resultaat: Grep domineerde hier. Wanneer de exacte woorden direct voor de AI werden geplakt, gaf hij de juiste antwoorden.
- Bestandsgebaseerd (De "Archiefkast"): De zoekresultaten worden opgeslagen in een bestand, en de AI moet een tweede stap zetten om dat bestand te openen en te lezen.
- Resultaat: Het voordeel keerde zich om. Soms raakte de AI in de war door de extra stap van het openen van het bestand. In deze gevallen deed de "slimme" Vector-zoekopdracht het soms beter omdat het een kleinere, relevantere set resultaten terugbracht die makkelijker te lezen waren. Voor sommige AI-modellen veroorzaakte de bestandsgebaseerde methode echter dat het Grep-voordeel verdween of zelfs omkeerde.
3. De "Werkplek" is Belangrijker dan het "Gereedschap"
De meest verrassende bevinding was dat de omgeving (het harnas) belangrijker was dan de zoektool zelf.
- Analogie: Het is alsof je een meesterkok een mes geeft. Als je ze in een professionele keuken plaatst met een sous-chef (Aangepast Harnas), koken ze een perfect maaltijd. Als je ze in een rommelige, onbekende keuken plaatst zonder instructies (Provider CLI), kunnen ze worstelen, zelfs met hetzelfde mes.
- Hetzelfde AI-model (zoals Claude Opus) behaalde een score van 93% in het aangepaste harnas, maar slechts een score van 76% in de CLI van de provider, zelfs bij gebruik van exact dezelfde zoekdata. De "manager" en de "instructies" veranderden het resultaat meer dan de zoekmethode zelf.
4. De "Ruis"-test
De onderzoekers voegden steeds meer irrelevante conversatie (ruis) toe aan de bibliotheek om te zien hoe de zoekmethoden het volhielden.
- Ze ontdekten dat naarmate de bibliotheek rommeliger werd, de resultaten onvoorspelbaar waren. Soms was de "Slimme Bibliothecaris" (Vector) beter in het vroeg filteren van de ruis. Op andere momenten was de "Trefwoordscanner" (Grep) beter in het negeren van de ruis zodra de AI het juiste patroon had gevonden.
- Er was geen enkele "beste" methode die voor alle situaties werkte; het hing volledig af van welk AI-model en welke "werkplek"-opstelling werd gebruikt.
De Conclusie
Het artikel concludeert dat er geen enkele "magische kogel" is voor AI-zoeken.
- Ga er niet zomaar van uit dat "Semantische Zoeken" de toekomst is. Voor taken die exacte feiten vereisen, is eenvoudige trefwoordzoekopdracht vaak superieur.
- De opstelling is alles. Hoe je de zoekresultaten aan de AI presenteert (direct in de chat versus in een bestand) en hoe je de workflow van de AI beheert (aangepaste instructies versus ruwe tools) verandert de resultaten meer dan het zoekalgoritme zelf.
Kortom: Het gaat niet alleen om wat de AI zoekt; het gaat om hoe de AI is ingesteld om te zoeken en hoe de resultaten aan hem worden aangeleverd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.