AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation

Het paper introduceert AgentSelect, een uniek benchmark dat het selecteren van LLM-agents herformuleert als een aanbevelingsprobleem op basis van narratieve queries, en hiermee een schaalbaar, unificerend dataset en evaluatiekader biedt om de groeiende agent-ecosystemen te bestuderen en te versnellen.

De kern

Stel je voor dat je een superkrachtige robot wilt huren om een specifieke klus voor je te doen. Je hebt een lijst met duizenden robots, maar elke robot is uniek samengesteld: sommige hebben een heel slim brein (een groot taalmodel), andere hebben speciale gereedschappen (zoals een zoekmachine of een code-compiler), en weer anderen zijn een combinatie van beide.

Het probleem? Je weet niet welke robot je moet kiezen voor jouw specifieke vraag. Je wilt niet zelf door die enorme lijst bladeren en proberen te raden welke robot wel of niet werkt.

Dat is precies het probleem dat dit paper, getiteld "AgentSelect", oplost. Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Robot-Dj"

Vroeger was het zo: als je een vraag had, moest je zelf een robot kiezen. Dat was als proberen een DJ te vinden voor je bruiloft door naar duizenden CD's te luisteren zonder te weten welke nummers je wilt.

• Er zijn nu veel "leaderboards" (ranglijsten) die zeggen: "Deze robot is goed in wiskunde" of "Die robot kan goed zoeken".
• Maar ze zeggen niet: "Deze robot is perfect voor jouw vraag over het plannen van een verjaardagsfeestje."
• Het is alsof je een lijst hebt met ingrediënten (meel, eieren, suiker) en een lijst met bakkers, maar niemand die je vertelt welke bakker het beste een taart kan maken voor een specifiek recept.

2. De Oplossing: AgentSelect (De "Robot-Matchmaker")

De onderzoekers hebben een nieuw systeem gebouwd genaamd AgentSelect. Dit is een soort super-matchmaker voor robots.

In plaats van dat jij zelf moet zoeken, vertel je gewoon wat je nodig hebt in gewone taal (bijvoorbeeld: "Ik wil een foto maken van mijn hond in een cyberpunk-stijl"). Het systeem kijkt dan naar zijn enorme database en zegt: "Ah, voor die vraag heb je robot X nodig, die een slim brein heeft én een speciale foto-app."

3. Hoe hebben ze dit gebouwd? (De Drie Delen)

Om hun matchmaker slim te maken, hebben ze drie soorten "training" gebruikt, net als een kok die eerst verschillende ingrediënten oefent:

• Deel 1: Alleen het Brein (LLM-only).
  Hier kijken ze naar robots die alleen maar kunnen praten en redeneren, zonder gereedschappen. Het is alsof ze kijken welke kok het beste kan koken zonder een fornuis, alleen met zijn handen.
• Deel 2: Alleen de Gereedschappen (Toolkit-only).
  Hier kijken ze naar robots die alleen maar gereedschappen hebben, maar geen slim brein. Het is alsof ze kijken welke gereedschappen (hamer, schroevendraaier) er nodig zijn voor een klus, zonder te kijken wie ze vasthoudt.
• Deel 3: De Perfecte Combinatie (Compositional).
  Dit is het belangrijkste nieuwe stukje. Ze hebben een manier bedacht om te simuleren wat er gebeurt als je een slim brein koppelt aan de juiste gereedschappen. Ze hebben duizenden "valse" maar realistische voorbeelden gemaakt om te leren hoe je de perfecte robot samenstelt voor een specifieke vraag.

4. Wat hebben ze ontdekt? (De "Lange Staart")

Een van de belangrijkste ontdekkingen is dat de wereld van robots verandert.

• Vroeger: Je kon vaak dezelfde paar populaire robots gebruiken voor alles (zoals een "bestseller" boek dat iedereen leest).
• Nu: De meeste vragen zijn heel specifiek en uniek. Je hebt een robot nodig die precies past bij die ene vraag.
• De les: Je kunt niet meer vertrouwen op "populariteit". Je moet kijken naar de inhoud. Net zoals je niet de populairste kapper kiest voor een heel specifieke kapsel, maar degene die precies weet hoe dat kapsel werkt. Het systeem leert nu om te kijken naar wat de robot kan doen, niet hoe beroemd hij is.

5. Werkt het echt? (De Proef)

De onderzoekers hebben hun systeem getest in de echte wereld:

• Ze hebben het getest op een bestaande markt voor robots (MuleRun).
• Het resultaat? Hun systeem kon veel beter de juiste robot vinden voor een vraag dan de oude methoden.
• Ze hebben zelfs getest of de robot die ze aanbevolen, de klus ook echt kon doen. En ja, dat lukte! De robot die het systeem koos, was vaak de beste keuze.

Samenvatting in één zin

AgentSelect is een slim systeem dat voor jou de perfecte "AI-robot" samenstelt uit een enorme bibliotheek van onderdelen, zodat jij niet zelf hoeft te zoeken, maar gewoon je vraag kunt stellen en de juiste oplossing krijgt.

Het is alsof je van een winkel waar je zelf duizenden onderdelen moet zoeken, naar een winkel bent gegaan waar je gewoon zegt "Ik wil een fiets" en je krijgt direct de fiets die perfect bij jouw benen en rijstijl past.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AgentSelect: Benchmark for Narrative Query-to-Agent Recommendation", vertaald en samengevat in het Nederlands.

1. Probleemstelling

De huidige ecosysteem van Large Language Model (LLM) agents groeit exponentieel, maar er ontbreekt een gestructureerde manier om de juiste agent te kiezen voor een specifieke, natuurlijke taalvraag (narrative query).

• Fragmentatie: Bestaande benchmarks evalueren LLM's of tools geïsoleerd van elkaar. Ze bieden geen inzicht in hoe een volledige agent-configuratie (combinatie van een model en een set tools) presteert op een specifieke taak.
• Ontbrekende Supervisie: Er is geen "query-geconditioneerde supervisie" om systemen te leren welke eind-tot-eind agent-configuratie het beste past bij een gebruikersvraag.
• De "Last Mile" Dilemma: Hoewel het makkelijker wordt om agents te bouwen (via frameworks zoals LangGraph), blijft het voor eindgebruikers en ontwikkelaars moeilijk om de juiste agent te selecteren uit een jungle van opties. Bestaande aanbevelingssystemen zijn vaak gebaseerd op populariteit of statische ID's en falen in lange-staart scenario's waar agents zelden worden hergebruikt.

2. Methodologie: De AGENTSELECT Benchmark

De auteurs introduceren AGENTSELECT, een unificerend benchmark en dataset dat het probleem van agent-selectie herschrijft als een "narrative query-to-agent recommendation" taak.

Kernconcepten

• Capability Profile (M, T): Elke agent wordt niet gezien als een statisch label, maar als een deployable configuratie bestaande uit:
  • M: De backbone LLM (het redeneer- en taalvermogen).
  • T: De set externe tools (API's, databases, code-executie) die de agent kan aanroepen.
  • Dit wordt opgeslagen in een uitvoerbaar YAML-bestand, waardoor elke aanbeveling direct implementeerbaar is.
• Data Constructie (3 Delen): De dataset is samengesteld uit 40+ bronnen en bevat 111.179 queries en 107.721 agents.
  1. Deel I (LLM-only): Gebaseerd op bestaande LLM-leaders (zoals Open LLM Leaderboard). Hier worden queries gekoppeld aan de beste modellen zonder tools.
  2. Deel II (Toolkit-only): Gebaseerd op tool-use benchmarks (zoals ToolBench). Hier worden queries gekoppeld aan de vereiste toolsets, met een "null" placeholder voor het model.
  3. Deel III (Compositional Agents): Dit is de innovatieve kern. Omdat echte interactie-data schaars is, synthetiseren de auteurs "pseudo-positieve" interacties. Ze gebruiken retrievers om geschikte modellen en tools te vinden voor een query, combineren deze tot (M, T)-configuraties en behandelen deze als positieve voorbeelden.

Supervisie Signaal

Het dataset gebruikt alleen positieve supervisie (implicit feedback). Voor elke query is een kleine set geschikte agents gemarkeerd als "positief". Dit bootst realistische scenario's na waar gebruikers alleen interacties met succesvolle agents registreren.

3. Belangrijkste Bijdragen

1. Eerste Unificerend Framework: AGENTSELECT is de eerste benchmark die heterogene evaluatie-artefacten (van verschillende leaderboards en tool-datasets) omzet in gestructureerde, query-geconditioneerde supervisie voor agent-aanbeveling.
2. Synthese van Compositional Interacties: De methode om synthetische (M, T)-configuraties te genereren voor Deel III vult het gat tussen geïsoleerde model/tool-evaluaties en realistische, samengestelde agenten.
3. Ontdekking van een Regime Shift: De analyse toont aan dat de ecosysteem verschuift van "dichte hergebruik van populaire agents" (head-heavy) naar een "lange-staart, bijna uniek per query" regime.
   • Traditionele methoden gebaseerd op Collaborative Filtering (CF) of Graph Neural Networks (GNN) die vertrouwen op ID-hergebruik, zijn kwetsbaar in dit nieuwe regime.
   • Content-aware matching (het begrijpen van de tekstuele beschrijvingen van modellen en tools) is essentieel voor succes.
4. Validatie van Pseudo-positieven: De auteurs bewijzen dat de synthetische data in Deel III leerbaar is en gevoelig reageert op counterfactual edits (bijv. het verwijderen van een cruciale tool leidt tot een lagere score), wat de kwaliteit van de supervisie bevestigt.

4. Resultaten en Analyse

De auteurs hebben diverse aanbevelingsmodellen getest (MF, LightFM, Two-Tower, Graph-based, Generative) op de drie delen van de benchmark.

• Prestatieverschillen:
  • Op Deel I (dicht, veel hergebruik) presteren ID-gebaseerde methoden (zoals Matrix Factorization) goed.
  • Op Deel II en III (langstaart, weinig hergebruik) zakken ID-gebaseerde methoden dramatisch in.
  • Content-aware Two-Tower modellen (die query-tekst en tool/model-tekst gebruiken) presteren consistent het beste, vooral in de lange-staart scenario's.
• Impact van Embeddings: Off-the-shelf embeddings werken slecht. In-domain fine-tuning (trainen op de specifieke benchmark-data) sluit de kloof en verbetert de rangschikking aanzienlijk.
• Feature Ablatie: Experimenten tonen aan dat het verwijderen van discrete ID's (en alleen gebruikmaken van tekstuele beschrijvingen) de prestaties slechts marginaal verlaagt. Dit bewijst dat het model echt de capaciteiten leert begrijpen en niet alleen populaire IDs memoriseert.
• Real-world Transfer: Een model getraind op AGENTSELECT (EasyRec*) presteert significant beter dan een niet-getrainde versie op een externe, echte agent-marktplaats (MuleRun), wat de generaliseerbaarheid bewijst.

5. Betekenis en Toekomst

• Infrastructuur voor het Agent Ecosysteem: AGENTSELECT biedt de eerste reproduceerbare basis om agent-rankers, routers en tool-retrievers te trainen en evalueren.
• Van Expert naar Democratie: Het werk ondersteunt de visie van "zero-code, on-demand agent creation", waarbij niet-experts via een natuurlijke taalvraag een op maat gemaakte, werkende agent kunnen genereren.
• Praktische Toepassing: De benchmark stelt ontwikkelaars in staat om systemen te bouwen die dynamisch de beste combinatie van model en tools selecteren voor een specifieke taak, in plaats van statische agents te gebruiken.

Conclusie:
AGENTSELECT vult een kritieke leemte in de AI-onderzoekswereld door de brug te slaan tussen geïsoleerde component-evaluaties en de behoefte aan end-to-end agent-selectie. Het bewijst dat voor de toekomstige, dynamische agent-marktplaatsen, inhoudsgerichte (content-aware) matching veel belangrijker is dan traditionele populariteitsgebaseerde aanbevelingen.