💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

Dit artikel analyseert 14,44 miljoen real-world zoekopdrachten van agenten uit DeepResearchGym om belangrijke gedragspatronen bloot te leggen, zoals verdelingen van sessielengte, intentie-afhankelijke exploratiestrategieën en de sterke lexische traceerbaarheid van queryherformuleringen naar opgehaald bewijs, wat uiteindelijk bruikbare signalen biedt voor het optimaliseren van het ontwerp van zoekagenten.

Oorspronkelijke auteurs: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, drukke bibliotheek voor waar, in plaats van menselijke lezers, duizenden robotbibliothecarissen aan het werk zijn. Deze robots worden aangedreven door geavanceerde AI. Hun taak is niet alleen om één boek te vinden; ze hebben de opdracht gekregen om complexe puzzels op te lossen. Om dit te doen, vragen ze niet slechts één keer om een boek. Ze vragen, lezen het antwoord, stellen een vervolgvraag op basis van wat ze net hebben gelezen, lezen opnieuw, en gaan zo door totdat ze denken dat ze het volledige plaatje hebben.

Dit artikel is een massieve observatiestudie van deze robotbibliothecarissen. De onderzoekers keken naar meer dan 14 miljoen zoekopdrachten (ongeveer 4 miljoen "gesprekken" of sessies) uit een publiek systeem genaamd DeepResearchGym. Ze wilden begrijpen: Wat proberen deze robots te doen, en hoe veranderen ze hun vragen naarmate ze vorderen?

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Boodschappenlijst" versus de "Detective" (Intentie)

De onderzoekers ontdekten dat de robots in drie hoofdtypen persoonlijkheid, of "intenties", vallen, die bepalen hoe ze zoeken:

De Feitenzoeker (Declaratief): Deze robot wil gewoon een specifiek feit, zoals "Wie is eigenaar van dit snackbedrijf?"
- Gedrag: Het blijft vaak vastzitten in een lus. Als het het antwoord niet direct vindt, blijft het dezelfde vraag stellen of lichtjes aangepaste versies daarvan (zoals een persoon die op een deur klopt en steeds dezelfde vraag blijft roepen).
De Handleiding (Procedureel): Deze robot wil weten hoe iets te doen, zoals "Hoe repareer ik een lekkende kraan?"
- Gedrag: Het stelt langere, gedetailleerdere vragen en graaft dieper in de "bibliotheekrekken" (haalt meer documenten op) om een complete set instructies te krijgen.
De Detective (Redenerend): Deze robot heeft een complexe puzzel, zoals "Waarom is gas duur?"
- Gedrag: Het is het meest avontuurlijk. Het blijft niet bij één invalshoek; het springt tussen verschillende onderwerpen (facetten) om de punten met elkaar te verbinden. Het verkent breed in plaats van alleen dieper te graven op één plek.

2. De "Drill-Down" Gewoonte

Een van de grootste ontdekkingen is dat deze robots een sterke gewoonte hebben om in te zoomen in plaats van uit te zoomen.

Stel je voor dat je naar een kaart kijkt. De meeste van deze robots nemen een breed overzicht en zoomen vervolgens direct in op een klein straatje om naar details te zoeken. Ze stappen zelden terug om te zeggen: "Wacht, misschien kijk ik wel naar de verkeerde stad."

De "Drill-Down" Bias: Ongeveer 36% tot 48% van de tijd draaien ze gewoon naar een lichtelijk andere hoek van hetzelfde onderwerp.
De "Zoom Out" Zeldzaamheid: Slechts ongeveer 9% van de tijd verbreden ze daadwerkelijk hun zoekopdracht om naar het grotere geheel te kijken. Als ze wel uitzoomen, zoomen ze bijna direct weer in. Het is alsof je even snel naar de hele kaart kijkt voordat je weer direct focust op één straat.

3. Het "Echo-kamer" Effect (Herhaling)

De studie vond dat 90% van deze robotgesprekken kort is (10 stappen of minder), en dat ze zeer snel plaatsvinden (vaak minder dan een minuut tussen de vragen).

Voor de Feitenzoekers is er echter een probleem. Naarmate het gesprek vordert, beginnen ze zichzelf steeds vaker te herhalen. Bij stap 9 is bijna de helft van hun vragen bijna identiek aan eerdere vragen. Het is alsof iemand vergeet dat hij al een vraag heeft gesteld, of vastzit in een lus die probeert hetzelfde antwoord uit een andere hoek te krijgen zonder succes.

4. De "Term Adoptie" Test (Hebben ze echt gelezen?)

De onderzoekers wilden weten: Wanneer de robot een nieuwe vraag stelt, gebruikt hij dan daadwerkelijk de informatie die hij net heeft gevonden?

Omdat ze het interne "brein" (geheugen) van de robot niet konden zien, bedachten ze een slimme test genaamd CTAR (Context-driven Term Adoption Rate).

De Analogie: Stel je een detective voor die een aanwijzing leest die zegt: "De verdachte droeg een rode hoed." Als de volgende vraag van de detective is "Wie droeg een rode hoed?", dan "adopteert" hij de term.
Het Resultaat: De onderzoekers ontdekten dat 54% van de nieuwe woorden die de robots in hun volgende vragen gebruikten, direct afkomstig was uit de tekst die ze net hadden gelezen.
De Haken: Dit betekent niet dat de robot de tekst perfect begreep, alleen dat de woorden er waren. Het is alsof een papegaai woorden herhaalt die hij heeft gehoord, in plaats van dat een mens er diep over nadenkt. Maar het bewijst dat de robots ten minste kijken naar het bewijsmateriaal dat ze hebben opgehaald.

5. Het "Vaste Budget" Probleem

De robots kregen een "budget" voor hoeveel documenten ze per vraag moesten lezen (bijvoorbeeld 5 pagina's lezen, of 10 pagina's).

De Bevinding: De meeste robots behandelden dit budget als een hard-codde instelling. Ze veranderden het niet op basis van de taak. Of ze nu op zoek waren naar een simpel feit of een complex mysterie oplostten, ze bleven grotendeels bij hetzelfde aantal pagina's. Ze leken niet te beseffen dat een complex mysterie misschien vereist dat ze meer pagina's lezen dan een simpel feit.

Samenvatting

Dit artikel is als een verkeersrapport voor AI-zoekagenten. Het vertelt ons dat:

De meeste zoekopdrachten kort en snel zijn.
Robots vastlopen in lussen wanneer ze op zoek zijn naar simpele feiten.
Ze de voorkeur geven aan het inzoomen op details in plaats van terug te stappen en naar het grote geheel te kijken.
Ze wel woorden oppikken uit wat ze lezen, maar vaak vasthouden aan een rigide "leesbudget", ongeacht hoe moeilijk de taak is.

De auteurs hebben deze data vrijgegeven zodat andere onderzoekers betere "verkeersregelaars" kunnen bouwen om deze robots te helpen uit lussen te breken, meer te verkennen en hun leesbudget wijzer te gebruiken.

1. Probleemstelling

De Information Retrieval (IR)-gemeenschap mist een empirisch begrip van hoe LLM-aangedreven agentic search werkt in real-world scenario's. Hoewel benchmarks bestaan, onthullen deze niet:

Hoe agents hun zoekopdrachten evolueren over multi-stap sessies heen.
Hoe opgehaald bewijs de daaropvolgende herformuleringen van zoekopdrachten beïnvloedt.
Hoe zoekgedrag verschilt op basis van de onderliggende gebruikersintentie (bijv. feiten zoeken versus redeneren).
Of agents context effectief benutten of in repetitieve lussen terechtkomen.

Huidige logs missen impliciete feedbacksignalen (zoals klikken) die bij menselijk zoeken voorkomen, wat een "meetkloof" creëert waarbij het moeilijk is te bepalen of een agent succesvol opgehaald bewijs gebruikt of slechts hallucineert/herhaalt.

2. Dataset en Infrastructuur

De auteurs analyseren data van DeepResearchGym (DRGym), een open-source, model-onafhankelijke zoek-API waartoe externe agentic clients toegang hebben.

Schaal: 14,44 miljoen zoekopdrachten verzameld over een periode van zes maanden (juni–december 2025).
Sessies: Voorverwerkt tot 3,97 miljoen sessies.
Diversiteit: De logs bestrijken 25 landen (voornamelijk China en de VS) en vertonen een hoge semantische diversiteit (lage gemiddelde cosinus-ähnelijkheid tussen zoekopdrachten), wat aangeeft dat ze niet worden gedomineerd door enkele benchmark-taken of repetitieve prompts.
Privacy: IP-adressen zijn geanonimiseerd; client-side prompts en geheugen worden niet gelogd, wat betekent dat de analyse strikt rust op API-niveau traces (zoekopdrachten, parameters, tijdstempels en geretourneerd bewijs).

3. Methodologie

De auteurs stellen een meetkader met drie componenten voor om sessiestructuur en zoekopdrachtevolutie te analyseren:

A. Sessie-indeling (Sessionization)

In tegenstelling tot menselijke logs die vaste tijdsgaten gebruiken, kunnen agentic verzoeken in snelle parallelle bursts binnenkomen. De auteurs ontwikkelden een semantische continuïteitscriterium gecombineerd met een harde temporale afkapgrens van 10 minuten:

Ze trainden een semantisch continuïteitsmodel (MLP met Qwen3-embeddings) om paren zoekopdrachten te scoren.
Zoekopdrachten worden toegewezen aan de meest semantisch continue actieve sessie als de score een drempelwaarde overschrijdt; anders start een nieuwe sessie.

B. Intentie- en Trajectlabeling (LLM-as-a-Judge)

Met behulp van gpt-5-nano hebben de auteurs de data op twee niveaus geannoteerd:

Sessie-niveau Intentie: Geclassificeerd in drie categorieën op basis van webzoekdoelmodelleren:
- Declaratief: Feitenopvraging (bijv. "Wie is eigenaar van X?").
- Procedureel: Methodenuitvoering (bijv. "Hoe repareer ik Y?").
- Redenerend: Complexe synthese (bijv. "Waarom gebeurt Z?").
Traject-niveau Herformulering: Aanliggende paren zoekopdrachten ( $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ) geclassificeerd in vier types:
- Specialisatie: Verstrakking van beperkingen.
- Generalisatie: Verbreding van beperkingen.
- Exploratie: Pivotten naar een gerelateerd facet.
- Herhaling: Bijna-dubbele herformuleringen.

C. Context-gedreven Term-Adoptie Rate (CTAR)

Om bewijstraceerbaarheid te meten zonder toegang tot interne agent-attention, introduceerden de auteurs CTAR.

Definitie: Het fractie van nieuw geïntroduceerde termen in een zoekopdracht ( $q_{k+1}$ ) die lexicaal voorkomen in het opgehaalde bewijs van eerdere stappen.
Contexten:
- Laatste-stap: Termen getraceerd naar de onmiddellijk voorafgaande ophaling ( $E_k$ ).
- Geaggregeerd: Termen getraceerd naar de unie van al het tot nu toe opgehaalde bewijs ( $\bigcup E_i$ ).
Betekenis: Dit biedt een conservatieve, interpreteerbare metriek voor of een agent opgehaalde informatie in zijn volgende zoekopdracht verwerkt, onderscheiden van semantische parafrase.

4. Belangrijkste Resultaten

Sessiestructuur en Dynamiek

Lengte: Meer dan 90% van de multi-turn sessies bevat maximaal 10 stappen.
Snelheid: 89% van de intervallen tussen stappen ligt onder de één minuut, wat snelle iteratieve lussen aangeeft in vergelijking met menselijk zoeken.
Ophaaldiepte: De meeste agents behandelen het aantal opgehaalde documenten ( $K$ ) als een statische parameter (voornamelijk $K \in \{1, 5, 10\}$ ), waarbij slechts 1,35% van de sessies $K$ varieert over stappen heen.

Intentie-geconditioneerd Gedrag

Declaratief (88,6% van sessies): Vertonen de hoogste herhaling (bijna-dubbele lussen), die in de loop van de tijd toeneemt. Ze gebruiken ondiepe ophaling maar vereisen meer iteraties.
Procedureel (3,96%): Gebruiken diepere ophaling ( $K \approx 37$ ) en tonen semantisch stabiele progressies met minder verfijningstappen.
Redenerend (7,41%): Handhaven de breedste exploratie (pivotten) en tonen de hoogste semantische drift tussen de eerste en laatste zoekopdracht.

Trajectdynamiek

Drill-Down Bias: Agents geven overweldigend de voorkeur aan Specialisatie en Exploratie. Generalisatie (verbreding) is de minst gebruikte zet (<11%) en fungeert vaak als een korte "reset" voordat opnieuw gespecialiseerd wordt.
Stabiliteit versus Omzet: Herhaling handhaaft een hoge overlap van resultaten (~~78%), terwijl Exploratie zorgt voor een grote omzet van bewijs (~~7% overlap).
Lussen: Declaratieve sessies komen in latere stappen vaak in hoge-stabiliteit "retry-lussen" terecht (het herhalen van vergelijkbare zoekopdrachten), wat wijst op potentiële blokkades.

Bewijstraceerbaarheid (CTAR)

Algemene Adoptie: Gemiddeld zijn 54,35% van de nieuw geïntroduceerde zoekopdrachttermen lexicaal traceerbaar naar de geaggregeerde bewijscontext.
Recency Effect: De laatste-stap context staat voor 48,54% van de adoptie. Het verschil (~5,8%) geeft aan dat agents ook bewijs uit stappen vóór de onmiddellijk vorige stap benutten.
Variatie per Zet:
- Specialisatie: Hoge CTAR (~78%), wat aangeeft dat nieuwe termen direct worden gehaald uit recent bewijs.
- Herhaling: Lage CTAR (~21%), wat suggereert dat agents opnieuw proberen zonder nieuwe lexicaal termen uit bewijs te incorporeren.

5. Belangrijkste Bijdragen

Grootschalige Gedragskarakterisering: De eerste analyse van agentic search op de schaal van 14M+ verzoeken, die aantoont dat agents opereren in korte, snelle lussen met statische ophaalbudgetten.
CTAR-metriek: Een nieuwe, interpreteerbare metriek om bewijs-geconditioneerde evolutie van zoekopdrachten te kwantificeren zonder toegang tot interne agent-toestanden of semantische similariteitsdrempels te vereisen.
Intentie-adaptieve Inzichten: Aangetoond dat zoekstrategieën (herhaling versus exploratie) sterk afhankelijk zijn van de taakintentie, wat het idee van een uniform agentic zoekproces uitdaagt.
Open Data: Publicatie van de geanonimiseerde DRGym-logs en analyseprotocollen aan het publiek via HuggingFace.

6. Betekenis en Implicaties

De bevindingen bieden actieerbare signalen voor het ontwerpen van betere agentic IR-systemen:

Herhaling-bewuste Stopconditie: Hoge herhalingspercentages bij declaratieve taken suggereren de noodzaak van controllers om "stall-lussen" te detecteren en strategie-switches te triggeren (bijv. het forceren van exploratie of menselijke review).
Intentie-adaptieve Budgettering: Omdat procedurele taken profiteren van diepere ophaling terwijl declaratieve taken vertrouwen op iteratie, moeten systemen dynamisch de ophaaldiepte ( $K$ ) aanpassen op basis van gedetecteerde intentie in plaats van vaste parameters te gebruiken.
Contextvolging over Stapgrenzen: De meetbare traceerbaarheid naar oudere bewijzen (buiten de laatste stap) suggereert dat contextbeheermodules expliciet historische bewijstermen moeten blootleggen om zoekopdrachtformulering te ondersteunen.
Evaluatieontwerp: CTAR biedt een lichtgewicht, audit-klaar signaal om te evalueren of agents hun zoekopdrachten effectief verankeren in opgehaald bewijs, waardoor de kloof tussen API-logs en intern redeneren wordt overbrugd.

Concluderend stelt het artikel vast dat hoewel agentic search krachtig is, het momenteel starre gedrag vertoont (vaste budgetten, repetitieve lussen) dat geoptimaliseerd kan worden door intentie-bewuste controlebeleid en betere contextvolgmechanismen.