Technische Samenvatting: Hoeveel Tools Zou een LLM-Agent Moeten Zien? Een Kans-gecorrigeerd Antwoord

1. Probleemstelling

Grote Taalmodellen (LLM) agents vereisen een ophaalsysteem om een shortlist van kandidaat-tools te selecteren uit een register voordat het model probeert een taak uit te voeren. Een cruciale ontwerpkies is het bepalen van de zoekdiepte $K$ (het aantal gepresenteerde tools). Huidige systemen hanteren doorgaans een vaste $K$ (bijvoorbeeld het tonen van de top 5 of 10 tools), ongeacht de moeilijkheidsgraad van de query. Deze aanpak staat voor twee tegenstrijdige uitdagingen:

• Te weinig tools: De juiste tool kan worden uitgesloten van de shortlist, wat leidt tot onmiddellijk falen.
• Te veel tools: Het model heeft moeite om de juiste tool te identificeren tussen excessieve afleidingen, en de tokenkosten stijgen aanzienlijk (ongeveer 20.000 tokens voor 100 tools).

Er is geen standaardmaatstaf om te evalueren of een gekozen diepte $K$ geschikt is voor een specifieke query of een specifiek register. Bestaande ophaalmetrieken (zoals $nDCG@K$) zijn ontworpen voor documentophaling en houden geen rekening met de specifieke beperkingen van toolselectie, waarbij de poolgrootte klein is (50–500 tools) en toeval een significante rol speelt in het succes.

2. Methodologie

2.1 De Bits-over-Random (BoR) Metriek

Het artikel introduceert de Bits-over-Random (BoR) metriek als een kans-gecorrigeerd evaluatiehulpmiddel voor zoekdiepte. BoR meet het succespercentage van het systeem ten opzichte van de succeskans via willekeurige selectie op dezelfde diepte.

• Formule: $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$: Het waargenomen succespercentage (fractie van de queries waarbij de juiste tool in de top $K$ zit).
  • $P_{rand}$: De kans op het opnemen van ten minste één relevant item door toeval, berekend met de hypergeometrische verdeling. Voor queries met één tool ($R_q=1$) geldt $P_{rand} = K/N$, waarbij $N$ de registergrootte is.
• Interpretatie:
  • $BoR = 0$: Prestaties zijn gelijk aan willekeurige kans.
  • $BoR > 0$: Prestaties overtreffen willekeurige kans.
  • Zelf-uitdunnend Eigenschap: Naarmate $K$ toeneemt, neemt $P_{rand}$ toe. Bijgevolg neemt het beloningssignaal (BoR) natuurlijk af naarmate de shortlist groter wordt, zelfs als $P_{obs}$ constant blijft. Dit creëert een intrinsieke straf voor onnodige diepte zonder dat er geconstrueerde dieptestrafstraffen nodig zijn.

2.2 Formulering van Versterkingslering (RL)

De auteurs formuleren de selectie van $K$ als een Markov Beslissingsproces (MDP) om de bruikbaarheid van de BoR-metriek te testen:

• Staat: De agent observeert de similariteitsscores van tot nu toe onderzochte tools, de huidige diepte $k_t$, de registergrootte $N$ en het BoR-plafond.
• Actie: Binaire beslissing: STOP (presenteer de huidige shortlist aan de LLM) of VERVOLG (onderzoek de volgende kandidaat).
• Beloning:
  • Als de agent stopt en de juiste tool aanwezig is: Beloning = $-\log_2(P_{rand})$.
  • Als de juiste tool niet aanwezig is: Beloning = 0.
  • Een kleine stapkost ontmoedigt onnodige exploratie, maar codeert geen specifieke dieptepreferentie.
• Agents: Het onderzoek maakt gebruik van bewust eenvoudige agents (DQNs en tabulaire Q-learning) om de eigenschappen van de metriek te onderzoeken in plaats van een productie-architectuur voor te stellen.

2.3 Baselines

De BoR-aanpak wordt vergeleken met:

1. Vaste-$K$: Het presenteren van de top $K$ tools voor alle queries.
2. F1 Ablatie: Een RL-agent getraind met een op F1 gebaseerde beloning ($F1 = 2/(K+1)$ wanneer recall=1) om te testen of dieptebewustzijn alleen, zonder kanscorrectie, adaptief gedrag induceert.

3. Belangrijkste Resultaten

De evaluatie beslaat drie benchmarks (BFCL, MetaTool, ToolBench), meerdere scorers (BM25, MiniLM, BGE) en registergroottes variërend van 20 tot 3.251 tools.

3.1 Adaptieve Diepte versus Vaste Diepte

• BFCL (370 tools): De BoR-agent bereikte 90,3% dekking met een gemiddelde diepte van $K=7,4$, wat bijna overeenkomt met de dekking van een vaste diepte van $K=50$ (90,8%) terwijl er 7x minder tools worden gepresenteerd.
• ToolBench (3.251 tools): Een vaste diepte van $K=5$ bereikte een hogere aggregatie-dekking (64,7%) dan de BoR-agent (61,9%). De vaste baseline faalde echter volledig bij "moeilijke" queries (waarbij de juiste tool op de 6e–20e plaats werd gerangschikt). De BoR-agent paste zijn diepte aan aan $K=5,7$ bij deze moeilijke queries, waardoor 16,7% van de gevallen werd hersteld die de vaste-$K$ volledig had gemist.
• MetaTool: De BoR-agent toonde gevoeligheid voor registergrootte en scorerkwaliteit. Met een zwakke BM25-scorer breidde hij de diepte aanzienlijk uit ($K=80,7$) om het gebrek aan ranking te compenseren, terwijl de F1-baseline ondiep bleef, ongeacht de scorerkwaliteit.

3.2 Scorerkwaliteit en Adaptatie

Het BoR-beloningssignaal past zich aan aan de kwaliteit van de onderliggende scorer:

• Met sterke embedding-scorers (MiniLM) stopte de agent vroeg ($K \approx 1,4$) omdat de juiste tool bovenaan verscheen.
• Met zwakke scorers (BM25 op MetaTool) breidde de agent de zoektocht uit ($K \approx 80,7$) om selectiviteit te behouden, terwijl de F1-baseline faalde om zich aan te passen, vroeg stopte en de juiste tool miste.

3.3 Validatie van Downstream Tool-Keuze

Met behulp van Claude Sonnet 4.6 op BFCL valideerden de auteurs of kortere, adaptieve lijsten de vaardigheid van de LLM om de juiste tool te selecteren uit de gepresenteerde set verbeteren:

• Keuze-nauwkeurigheid: Wanneer de juiste tool aanwezig was, koos Claude deze 93,1% van de tijd met de korte lijsten van de BoR-agent ($K=2,2$), vergeleken met 87,1% bij een vaste $K=5$.
• Gemiddelde Moeilijkheidsgraad: Bij queries waarbij de juiste tool op de 2e–5e plaats werd gerangschikt, verbeterde de BoR-agent de keuze-nauwkeurigheid tot 76,8% versus 60,9% voor een vaste $K=5$.
• Conclusie: Het verminderen van het aantal afleidingen (afleidingslast) verbetert de besluitvormingsnauwkeurigheid van de LLM, zelfs als het aggregatiepercentage "gevonden" iets lager is dan bij een hoge vaste-$K$-baseline.

4. Betekenis en Beweringen

Het artikel claimt de volgende bijdragen en betekenis:

1. Eerste Kans-gecorrigeerde Metriek voor Diepte: Het introduceert BoR als de eerste metriek die specifiek is ontworpen om zoekdiepte bij toolselectie te evalueren door correctie voor de kans op willekeurig succes, een factor die vaak wordt genegeerd in standaard ophaalmetrieken.
2. Zelf-uitdunnende Beloning: Het toont aan dat BoR van nature een beloningssignaal biedt dat afneemt met de diepte, waardoor een RL-agent optimale stoppunten kan leren zonder geconstrueerde dieptestrafstraffen.
3. Adaptieve Efficiëntie: Het onderzoek toont aan dat adaptieve beleidslijnen een dekking kunnen bereiken die vergelijkbaar is met grote vaste shortlists, terwijl ze het tokenverbruik en de verwarring van het model aanzienlijk verminderen.
4. Diagnostische Bruikbaarheid: De metriek kan gebroken of zwakke scorers identificeren (bijvoorbeeld wanneer een agent gedwongen wordt het hele register te doorzoeken om een tool te vinden, wat aangeeft dat de scorer inefficiënt is).
5. Downstream Impact: Het levert bewijs dat adaptieve diepte niet alleen tools efficiënter ophaalt, maar ook de downstream-vaardigheid van de LLM verbetert om de juiste tool te kiezen door de cognitieve last te verminderen.

Erkende Beperkingen:
De auteurs merken op dat BoR optimaliseert voor selectiviteit in plaats van maximale recall; daarom kunnen vaste-$K$-baselines soms een hogere aggregatie-dekking bereiken als een uniforme diepte toevallig voldoende is voor de meeste queries. De gebruikte RL-agents zijn eenvoudige probes, geen productiesystemen, en de evaluatie richt zich op of de tool wordt gepresenteerd, niet op de juistheid van de uitvoeringsargumenten van de tool.