🤖 AI

AgentSearchBench: A Benchmark for AI Agent Search in the Wild

AgentSearchBench is een nieuwe benchmark die de uitdaging van het vinden van de juiste AI-agenten in een realistische omgeving onderzoekt door aan te tonen dat tekstuele beschrijvingen alleen ontoereikend zijn en dat uitvoeringsgegevens essentieel zijn voor een nauwkeurige selectie.

Oorspronkelijke auteurs: Bin Wu, Arastun Mammadli, Xiaoyu Zhang, Emine Yilmaz

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bin Wu, Arastun Mammadli, Xiaoyu Zhang, Emine Yilmaz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor: je staat in een gigantische, hypermoderne stad waar duizenden gespecialiseerde robots (AI-agents) rondlopen. De ene robot is een meester-kok, de andere een expert in belastingaangiftes, en weer een andere kan perfect een tuin ontwerpen.

Het probleem? Er is geen telefoonboek. De robots hebben allemaal hun eigen manier van zichzelf beschrijven. De ene zegt: "Ik ben een culinaire expert," terwijl de andere zegt: "Ik maak heerlijke maaltijden." Als jij een opdracht geeft zoals: "Maak een gezond diner voor een marathonloper," weet je niet wie de beste is. De robot die zegt dat hij "culinair" is, kan in de praktijk misschien alleen maar patat frituren, terwijl de "maaltijd-maker" stiekem een Michelin-ster heeft.

Dit is precies waar de onderzoekers van de paper AgentSearchBench naar kijken. Hier is de uitleg in gewone mensentaal:

1. Het probleem: De "LinkedIn-leugen" van AI

De onderzoekers ontdekten dat het zoeken naar de juiste AI-agent momenteel werkt zoals het zoeken naar een werknemer op LinkedIn. Je leest een prachtig profiel (de tekstuele beschrijving van de AI), maar dat zegt niet alles over wat die persoon echt kan als de druk hoog is.

In de wereld van AI is er een enorme kloof tussen wat een agent zegt dat hij kan (de tekst) en wat hij daadwerkelijk doet (de uitvoering). De huidige zoekmachines kijken alleen naar de tekst. Ze zoeken naar woorden die lijken op jouw vraag, maar ze testen niet of de robot de taak ook echt afkrijgt.

2. De oplossing: AgentSearchBench (De "Proefexamen-test")

De onderzoekers hebben een enorme testomgeving gebouwd, genaamd AgentSearchBench. In plaats van alleen maar naar de cv's van 10.000 AI-robots te kijken, doen ze iets veel slimmers: ze geven ze een proefexamen.

Ze hebben een systeem gebouwd dat:

Eerst kijkt naar de tekst: "Welke robots lijken op mijn vraag?"
Dan de robots echt aan het werk zet: Ze geven de robots een echte opdracht en kijken naar het resultaat.
De score bepaalt: De beste robot is niet degene met het mooiste cv, maar degene die de opdracht het beste uitvoert.

3. De ontdekking: "Niet lullen, maar poetsen"

De belangrijkste conclusie van het onderzoek is een beetje een eye-opener: tekstuele vergelijking werkt niet goed genoeg.

Als je alleen zoekt op woorden, vind je vaak robots die heel goed kunnen praten over een onderwerp, maar die bij de uitvoering volledig vastlopen. De onderzoekers ontdekten dat je de zoekmachine moet verbeteren door een beetje te "spieken" tijdens de uitvoering. Ze noemen dit "Execution-Aware Probing".

De metafoor: Stel je voor dat je een loodgieter zoekt. In plaats van alleen te kijken naar zijn website waar staat "Ik ben een expert", vraag je een buurman: "Heb je hem al eens laten komen voor een lekkende kraan?" Dat kleine beetje praktijkervaring (de "probe") is veel waardevoller dan de mooie tekst op de website.

Samenvatting in drie zinnen:

Het is momenteel heel moeilijk om de juiste AI-agent te vinden omdat hun beschrijvingen vaak niet overeenkomen met hun echte talent. Dit paper introduceert een nieuwe manier van testen waarbij we AI-agents niet alleen laten praten, maar ze ook echt werk laten verrichten om te zien wie de beste is. Zo bouwen we in de toekomst een wereld waarin we niet meer hoeven te gokken, maar zeker weten dat de juiste AI de klus klaart.

Technische Samenvatting: AgentSearchBench

1. Het Probleem: De "Semantic–Performance Gap"

Met de snelle opkomst van AI-agent-ecosystemen (zoals de GPT Store) ontstaat een nieuw probleem: hoe vind je de juiste agent voor een specifieke, complexe taak? Traditionele zoekmethoden voor tools werken op basis van gestructureerde beschrijvingen, maar AI-agenten zijn fundamenteel anders:

Compositioneel en uitvoering-afhankelijk: De werkelijke capaciteiten van een agent zijn vaak niet volledig te vatten in tekstuele beschrijvingen; ze worden pas duidelijk tijdens de uitvoering.
Semantische mismatch: Er bestaat een kloof tussen wat een agent zegt te kunnen (de beschrijving) en wat hij daadwerkelijk kan (de prestatie).
Gebrek aan realisme: Bestaande benchmarks gaan vaak uit van kleine, gecontroleerde omgevingen met duidelijke taakspecificaties, terwijl de echte wereld bestaat uit open ecosystemen met overlappende functies en vage, hoogwaardige taakomschrijvingen.

2. Methodologie

De auteurs introduceren AgentSearchBench, een grootschalige benchmark die agent-zoeken formaliseert als een retrieval (terugvinden) en reranking (herordenen) probleem.

A. Dataset Constructie:

Agent Repository: De benchmark bevat bijna 10.000 real-world agents verzameld van diverse platforms (o.a. GPT Store, Google Cloud Marketplace).
Taaktypen: Het ondersteunt twee soorten inputs:
1. Executable Task Queries ( $T_q$ ): Concrete, direct uitvoerbare instructies.
2. High-level Task Descriptions ( $T_d$ ): Abstracte doelen die niet direct uitvoerbaar zijn, maar geassocieerd worden met een set concrete sub-queries.
Relevance Grounding: In plaats van tekstuele gelijkenis te gebruiken, wordt relevantie bepaald door uitvoering. Een agent is relevant als hij de taak succesvol voltooit (gemeten via LLM-as-a-judge).

B. Evaluatie-pipeline:
De auteurs gebruiken een hiërarchisch proces om taken te genereren, agents uit te voeren en de resultaten om te zetten in "gouden" labels voor zowel retrieval als ranking. Ze introduceren ook Execution-Aware Probing: een methode waarbij lichtgewicht gedragssignalen (door de agent kortstondig te testen) worden gebruikt om de ranking te verbeteren.

3. Belangrijkste Bijdragen

Nieuwe Probleemformulering: Het definiëren van agent-zoeken als een probleem waarbij relevantie afhankelijk is van de onzekerheid in uitvoering (execution-dependent capability uncertainty).
AgentSearchBench Benchmark: Een schaalbare, realistische dataset met bijna 10.000 agents en duizenden taken, ondersteund door een uitvoering-gebaseerd evaluatiekader.
Empirische Analyse: Het aantonen van de tekortkomingen van huidige tekstgebaseerde zoekmethoden en het bewijzen van de effectiviteit van gedragsmatige signalen (probing).

4. Belangrijkste Resultaten

De kloof tussen tekst en prestatie: Experimenten laten zien dat methoden die puur vertrouwen op semantische gelijkenis (zoals BM25 of standaard dense embeddings) vaak falen in het vinden van de best presterende agents. De beste agents worden vaak lager gerangschikt omdat hun documentatie niet perfect matcht met hun werkelijke kracht.
Retrieval vs. Reranking:
- Bij concrete queries presteren tool-aware retrievers het best.
- Bij abstracte beschrijvingen presteren decoder-only en LLM-based rerankers beter, omdat zij impliciete vereisten uit de tekst kunnen afleiden.
Effectiviteit van Probing: Het toevoegen van "probing queries" (het kort testen van een agent voordat de definitieve ranking wordt bepaald) verbetert de kwaliteit van de ranking aanzienlijk. Dit laat zien dat gedrag een betrouwbaarder signaal is dan tekst.

5. Betekenis en Impact

AgentSearchBench is cruciaciaal voor de ontwikkeling van agentic workflows en orchestratiesystemen. Het dwingt onderzoekers om verder te kijken dan alleen "tekstueel matchen" en stimuleert de ontwikkeling van zoekalgoritmen die rekening houden met de werkelijke, dynamische capaciteiten van AI-agenten. Dit is essentieel voor het bouwen van betrouwbare systemen die autonoom de juiste tools en assistenten kunnen selecteren in een steeds groter wordende digitale economie.