Equal Accuracy, Unequal Evidence: Search APIs as Decision Surfaces for Tool-Using Agents

Technische Samenvatting: Gelijke Accuratesse, Ongelijke Bewijsvoering

Probleemstelling
Traditionele evaluatie van zoek-API's voor tool-gebruikende agenten richt zich primair op de uiteindelijke antwoordaccuratesse. Echter, in moderne agent-architecturen die gebruikmaken van progressieve onthulling (progressive disclosure), bekijken agenten eerst gerangschikte fragmenten, titels en metadata voordat ze besluiten om volledige pagina's op te halen. De auteurs stellen dat het behandelen van zoek-API's louter als rangschikkende lijst-retrievers ontoereikend is. In plaats daarvan fungeert een commerciële zoek-API als een besluitvormingsoppervlak (decision surface): de specifieke staat van bewijsvoering (fragmenten, URL's, metadata) die aan de agent wordt getoond voordat een fetch-beslissing wordt genomen, bepaalt of de agent direct antwoordt, opnieuw zoekt, of tokens uitgeeft aan het ophalen van pagina's. Het artikel stelt dat twee providers vergelijkbare geaggregeerde antwoordaccuratesse kunnen opleveren, terwijl ze fundamenteel verschillende bewijseconomieën blootstellen, wat leidt tot uiteenlopende kosten, latenties en foutmodi.

Methodologie
De studie hanteert een gecontroleerd experimenteel protocol om de impact van de zoekprovider op het gedrag van de agent te isoleren:

• Vaste Agent & Tools: Er wordt één bevroren GPT-5.4 agent gebruikt met een vaste prompt, maximaal aantal iteraties (10) en een toolset (search_web en fetch_page). De fetch_page backend is gedeeld (Jina Reader) over alle condities om ervoor te zorgen dat de extractie van pagininhoud identiek is.
• Variabele: De enige experimentele variabele is de zoekprovider: Brave, Tavily of Firecrawl.
• Dataset: Een deterministische, gestratificeerde steekproef van 100 vragen uit de SEALQA-HARD benchmark, geselecteerd omdat deze exploratie vereisen die verder gaat dan eenvoudige fragment-antwoorden.
• Oracle Protocol: Een "per-URL oracle" met behulp van Kimi-K2.6 labelt elk contentelement dat zichtbaar is voor de agent (URL, titel, fragment en opgehaalde pagina). De rechter opereert zonder externe kennis en labelt of bewijslast de gouden antwoorden bevat, het antwoord van het model ondersteunt, het gouden antwoord tegenspreekt, of onzin (garbage) is.
• Metrieken:
  • Semantische Match: Een gecontroleerd label voor de correctheid van het uiteindelijke antwoord.
  • Beslissingspartitie (Decision Partition): Een vierwegclassificatie van provider-query paren gebaseerd op pre-fetch ondersteuning en agent-actie: SMART (pre-fetch ondersteuning aanwezig en agent haalt het op), MISSED (pre-fetch ondersteuning aanwezig maar agent haalt het niet op), BLIND (geen pre-fetch ondersteuning, agent haalt het wel op), en NO-OP (geen ondersteuning, geen fetch).
  • Surface Contradiction-to-Gold Ratio ($r_{c:g}$): De ratio van fragment-alleen URL's die het gouden antwoord tegenspreken ten opzichte van die welke het bevatten.

Belangrijkste Bijdragen

1. Formalisering van Besluitvormingsoppervlakken: Het artikel herformuleert commerciële zoek-API's niet als statische retrievers, maar als besluitvormingsoppervlakken die de grondingstoestand (grounding state) en het budget voor informatie-extractie van de agent dicteren.
2. Per-URL Oracle Protocol: Introductie van een rigoureuze labelingsmethode die onderscheid maakt tussen pre-fetch surface support (beschikbaar in fragmenten/metadata) en post-fetch discovered support (gevonden pas na het openen van een pagina).
3. Beslissingspartitionering: Definitie van een vierwegpartitie (SMART, MISSED, BLIND, NO-OP) om het gedrag van de agent te analyseren relatief aan de bewijslast die beschikbaar is op het besluitvormingsoppervlak.
4. Analyse van de Bewijseconomie: Demonstratie dat gelijke antwoordaccuratesse fundamentele verschillen in providergedrag maskeert, inclus\nief pre-fetch ondersteuningsdichtheid, rangconcentratie, contradictiecijfers en exploratiepatronen.

Resultaten

• Accuratesse-pariteit: Onder de semantische match metriek presteerden alle drie de providers vergelijkbaar (25/100 voor Brave en Tavily, 26/100 voor Firecrawl). Statistische analyse (paired-bootstrap intervallen) bevestigt dat deze verschillen niet betekenisvol zijn.
• Divergerende Bewijseconomieën:
  • Brave: Legde het hoogste volume aan pre-fetch ondersteuning bloot (30 queries), maar had een lage rank-1 concentratie (13% van de goud-ondersteunende rijen waren rank 1). Dit leidde tot een "fragment-rijk" oppervlak waarbij agenten vaak beschikbare ondersteuning misten (MISSED) in plaats van het op te halen.
  • Tavily: Toonde de hoogste rank-1 concentratie (50% van de goud-ondersteunende pre-fetch rijen waren rank 1), wat suggereert dat top-resultaat fetch-policies zeer efficiënt kunnen zijn. Het had echter lagere totale pre-fetch ondersteuning (16 queries).
  • Firecrawl: Was geassocieerd met de hoogste mate van BLIND exploratie (81% van de queries involveerde het ophalen zonder pre-fetch ondersteuning) en de hoogste contradictie-tot-goud ratio (2.59), wat wijst op een oppervlak dat bredere exploratie stimuleert maar meer ruis introduceert.
• Complementariteit: Slechts 10 vragen werden correct beantwoord door alle drie de providers. De keuze voor een provider veranderde significant welke vragen werden opgelost, niet alleen de geaggregeerde telling.
• Retrieval Proxies: Deterministische proxies (bijv. goud URL hits, aanwezigheid van antwoordstring) waren onvoldoende; agenten faalden frequent (53–57 foutieve antwoorden) ondanks dat de tekst van het antwoord zichtbaar was in het traject, wat benadrukt dat het besluitvormingsoppervlak bepaalt of bewijs actieerbaar is.

Betekenis en Claims
Het artikel claimt dat providerkeuze een beleidsbeslissing is, en niet louter een recall-beslissing. Omdat verschillende providers verschillende besluitvormingsoppervlakken creëren (bijv. fragment-rijk versus rang-geconcentreerd versus volume-zwaar), levert een vaste agent-policy verschillende utiliteiten op afhankelijk van de provider.

• Voor Praktici: Evaluatie moet verder gaan dan de uiteindelijke accuratesse en metrieken bevatten zoals pre-fetch ondersteuning, rangconcentratie en contradictie-ratio's. Een provider moet worden gekoppeld aan een provider-bewuste fetch-policy (bijv. een top-resultaat policy voor Tavily, een fragment-analyse policy voor Brave).
• Voor Providers: Zoek-API's voor agenten moeten optimaliseren voor actieerbaarheid (gekalibreerde fragmenten, stabiele ID's, lage contradictie) in plaats van enkel voor relevantie.
• Beperkingen: De studie is observationeel (agent-acties werden niet gerandomiseerd), leunt op een enkele agent en een enkele rechter, en gebruikt een specifieke steekproefomvang. De auteurs stellen expliciet dat zij niet beweren dat één provider universeel superieur is, maar dat hun oppervlakken verschillende retrieval-regimes induceren.

De studie concludeert dat het evalueren van zoek-API's voor agenten vereist dat men verder kijkt dan antwoordaccuratesse om het retrieval budget en de beleidscondities te begrijpen waaronder gegronde antwoorden worden gegenereerd.