💬 NLP

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

Dit artikel introduceert "tool efficiency" en "marginal tool utility" als nieuwe kwantitatieve metrieken om de snelheid van nuttige tool-aanroepen in LLM-agenttrajecten direct te evalueren en te optimaliseren, met als doel de creatie van slankere tool-suites te sturen die traditionele op nauwkeurigheid gebaseerde evaluaties aanvullen.

Oorspronkelijke auteurs: Nyx Iskandar

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nyx Iskandar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen chatten, maar ook echt dingen doen. Dit is het domein van AI-agenten. Denk aan een standaard Large Language Model (LLM) als een briljante maar boekenkundige student die veel weet over feiten, maar de bibliotheek niet kan verlaten. Om deze student bruikbaar te maken in de echte wereld, geven we ze een set "tools" — zoals een rekenmachine, een zoekmachine of een code-editor — zodat ze problemen kunnen oplossen, bugs kunnen repareren of informatie kunnen vinden. Dit is de opwindende grens van moderne AI: het transformeren van een passief brein naar een actieve werker.

Er zit echter een addertje onder het gras. Alleen omdat je een gereedschapskist hebt, betekent niet dat elke tool nuttig is. Soms is het pakken van een hamer terwijl je een schroevendraaier nodig hebt, gewoon tijdverspilling en verwarrend voor de werker. In het verleden gaven wetenschappers vooral om het feit of de uiteindelijke klus correct werd uitgevoerd ("accuratesse"). Maar ze vroegen zelden: "Hoeveel verkeerde afslagjes heeft de robot genomen om daar te komen?" of "Heeft hij tijd verspild aan het gebruiken van tools die niet hielpen?" Dit paper stapt in die leemte en stelt een eenvoudige maar krachtige vraag: Hoe efficiënt is het toolgebruik van de AI? De auteurs willen niet alleen meten of de AI slaagde, maar ook hoe goed hij zijn tools gebruikte om daar te komen, in de hoop de toekomst te bouwen met slankere, snellere en intelligentere AI-werkers.

De "Nutteloze Tool" Detective

In dit paper introduceren de auteurs een nieuwe manier om te kijken naar hoe AI-agenten hun tools gebruiken. Ze noemen hun nieuwe metriek "Tool Efficiency" (Tool-efficiëntie). Om dit te begrijpen, stel je voor dat je een detective ziet een mysterie oplossen. De detective heeft een tas met gadgets: een vergrootglas, een vingerafdrukkit, een walkie-talkie en een kristallen bol.

Als de detective het vergrootglas gebruikt om een aanwijzing te vinden, is dat een nuttige zet. Als hij de kristallen bol gebruikt om het antwoord te raden en dat blijkt fout te zijn, dan is dat een verspilling. De auteurs realiseerden zich dat we meestal alleen controleren of de detective de zaak heeft opgelost, maar dat we niet vaak tellen hoe vaak hij het verkeerde gadget heeft gepakt. Ze wilden een manier om het aantal "goede" tool-gebruiken versus de "slechte" te tellen.

Het Geheime Ingrediënt: Marginale Tool Utility

Om te bepalen of een toolgebruik goed of slecht was, hebben de auteurs een concept uitgevonden genaamd Marginal Tool Utility (Marginale Tool-utiliteit). Dit klinkt chic, maar het is eigenlijk heel simpel. Het vraagt: "Hielp deze specifieke tool-aanroep de AI om dichter bij het juiste antwoord te komen, of voegde het alleen maar ruis toe?"

Om dit te testen, gebruikten ze een slimme truc genaamd "LLM-as-a-Judge" (LLM als rechter). Stel je een superintelligente scheidsrechter voor die elke beweging van de detective observeert. Nadat de detective een tool heeft gebruikt, kijkt de scheidsrechter naar de situatie vóór de tool werd gebruikt en ná de tool werd gebruikt.

Als de situatie duidelijker is en de detective waarschijnlijker de zaak zal oplossen, geeft de scheidsrechter een duim omhoog (positieve utiliteit).
Als de detective alleen maar in de war is geraakt of rondjes draait, geeft de scheidsrechter een duim omlaag (niet-positieve utiliteit).

De auteurs ontdekten dat ze niet precies hoefden te weten hoeveel beter de situatie was geworden; ze hoefden alleen het teken (positief of negatief) van de verandering te weten. Dit stelde hen in staat om elke enkele tool-aanroep in de reis van een AI te labelen als ofwel "nuttig" of "niet nuttig".

Het Experiment: Het Opruimen van de Rommel

Om te bewijzen dat hun idee werkt, zetten de auteurs een echte test op met een benchmark genaamd APEX-SWE Observability. Dit is een uitdagende opdracht waarbij AI-agenten bugs in computercode moeten oplossen door logs te lezen en met andere systemen te communiceren.

De agenten kregen een "tool suite" bestaande uit:

Grafana/Loki: Een tool om systeemlogs te lezen (zoals het lezen van de foto's van de plaats delict).
Mattermost: Een tool om teamchatberichten te lezen (zoals het lezen van de roddels van de verdachten).
Plane: Een tool om projecttickets te lezen (zoals het lezen van het dossier).

De auteurs vermoedden dat het lezen van de werkelijke logs (Grafana/Loki) super nuttig zou zijn, maar dat het lezen van chats en tickets de AI misschien zou afleiden. Om dit te testen, draaiden ze dezelfde 25 moeilijke taken drie keer met verschillende toolsets:

De Volledige Kit: Alle drie de tools beschikbaar.
De Log-alleen Kit: Alleen de log-tool (Grafana/Loki) beschikbaar.
De Geen-extra-tools Kit: Geen chat- of ticket-tools aanwezig.

Wat Ze Vonden

De resultaten waren een duidelijke bevestiging van hun hypothese.

1. De accuratesse daalde niet toen ze de "gepraat" verwijderden.
Toen ze de chat (Mattermost) en ticket (Plane) tools weghaalden, bleef het succespercentage van de AI ongeveer gelijk. Sterker nog, voor één model (GPT-5.3-Codex) steeg de accuratesse zelfs licht van 0,32 naar 0,36 toen de extra tools werden verwijderd. Dit bewees dat die extra tools niet hielpen; ze waren slechts rommel.

2. De "Log"-tool was de echte held.
Toen ze de log-tool (Grafana/Loki) verwijderden, stortte de prestatie van de AI in. De accuratesse daalde naar 0,24 voor het GPT-model en naar 0,20 voor het Gemini-model. Dit bevestigde dat de log-tool essentieel was, terwijl de anderen slechts "dood gewicht" waren.

3. De efficiëntie schoot omhoog toen ze opruimden.
Dit is waar hun nieuwe metriek uitblonk. Door de nutteloze tools te verwijderen, schoot de "Tool Efficiency" spectaculair omhoog.

Voor het GPT-model ging de efficiëntie van 0,359 (ongeveer 36% van de tool-aanroepen waren nuttig) in de volledige kit naar 0,720 (72% nuttig) in de log-alleen kit.
Voor het Gemini-model ging het van 0,367 naar 0,593.

In gewone mensentaal: Toen de AI stopte met het verspillen van tijd aan het controleren van chatberichten en projecttickets, besteedde hij bijna twee keer zoveel tijd aan het doen van daadwerkelijk nuttige dingen.

Het Mysterie van de "Middelste Aanroep"

De auteurs merkten ook iets vreemds op over wanneer de AI fouten maakte. Ze ontdekten dat de AI vaak sterk begon door de juiste tools (zoals het lezen van logs) te gebruiken aan het begin. Maar in het midden van zijn werk raakte de AI vaak afgeleid, waarbij hij tools gebruikte die niet hielpen (zoals het lezen van chats) en zo stappen verspilde. Het was als een detective die begint door de plaats delict te bekijken, dan een uur lang het dagboek van de verdachte leest, en pas daarna teruggaat naar de plaats delict. De auteurs suggereren dat toekomstige AI-systemen geprogrammeerd kunnen worden om deze "middelste dip" te herkennen en te stoppen met het gebruiken van tools die niet helpen, wat de AI in feite leert om te "terug te keren" (backtracken) voordat er te veel tijd wordt verspild.

Waarom Dit Belangrijk Is

Het paper concludeert dat we AI-agenten niet alleen moeten bouwen met elke tool onder de zon. In plaats daarvan moeten we deze nieuwe metrieken gebruiken om "slanke" tool suites te bouwen. Net zoals een timmerman niet een hamer, een zaag en een boormachine meedraagt om een loszittende schroef vast te draaien, zou een AI ook niet met tools rond moeten lopen die hij niet nodig heeft.

De auteurs suggereren dat door het meten van Marginal Tool Utility en Tool Efficiency, ontwikkelaars AI-agenten kunnen creëren die niet alleen accuraat zijn, maar ook sneller en goedkoper te draaien zijn. Ze stellen dat dit een cruciale stap is naar het maken van AI-agenten die echt efficiënt zijn, in plaats van alleen maar "slim maar onhandig". Ze beweren niet dat ze alles hebben opgelost, maar ze hebben de gemeenschap een nieuwe liniaal gegeven om te meten hoe goed onze AI-werkers daadwerkelijk werken.

Technische Samenvatting: Eta Gegeven Delta – Het Definiëren van de Efficiëntie van LLM-tools met Marginale Tool-utiliteit

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker zijn uitgerust met tools om als agenten te fungeren, vertrouwen huidige evaluatieparadigma's bijna uitsluitend op uitkomstnauwkeurigheid (outcome accuracy) als een proxy voor de efficiëntie van toolgebruik. Deze aanpak faalt in het direct meten van de snelheid van nuttige tool-aanroepen binnen een traject van een agent. Bijgevolg is er een gebrek aan kwantitatieve metrieken om te bepalen of specifieke tool-aanroepen bijdragen aan taaksucces of dat ze redundant zijn, wat potentieel kan leiden tot opgeblazen tool-suites die de nauwkeurigheid niet verbeteren maar wel de inferentiekosten en latentie verhogen. Het paper identificeert een gat in de literatuur: de afwezigheid van een directe, kwantitatieve methode om tool-efficiëntie (de snelheid van nuttige tool-aanroepen) te meten en om te identificeren welke specifieke tool-aanroepen veilig kunnen worden verwijderd zonder de prestaties te verslechteren.

Methodologie

1. Definiëren van Marginale Tool-utiliteit ( $\Delta\alpha$ )

De auteurs introduceren Marginale Tool-utiliteit als een metriek die wordt gedefinieerd per individuele tool-aanroep ( $\alpha_i$ ) binnen een traject van een agent.

Definitie: $\Delta\alpha(\alpha_i)$ vertegenwoordigt het verschil in de waarschijnlijkheid dat de taak correct wordt opgelost gegeven de tool-aanroepen tot en met $\alpha_i$ , versus de aanroepen exclusief $\alpha_i$ .
Bepaling van het teken: In plaats van computationeel dure policy-rollouts, maakt het paper gebruik van een LLM-als-rechter (LLM-as-a-Judge) benadering. Een rechter-LLM ( $\pi^{(J)}$ $π^{(J)}$ ) analyseert het traject vóór en na een specifieke tool-aanroep om het teken van $\Delta\alpha(\alpha_i)$ $Δ α (α_{i})$ te bepalen:
- $\Delta\alpha(\alpha_i) > 0$ : De tool-aanroep is nuttig.
- $\Delta\alpha(\alpha_i) \leq 0$ : De tool-aanroep is niet-nuttig (veilig om te verwijderen).
Geaggregeerde utiliteit: Door $\Delta\alpha$ op te tellen over alle aanroepen van een specifieke tool, bepaalt het paper of de tool zelf noodzakelijk is voor de nauwkeurigheid van de agent.

2. Definiëren van Tool-efficiëntie ( $\eta_\alpha$ )

Op basis van de tekens van de marginale tool-utiliteit wordt Tool-efficiëntie gedefinieerd als de ratio van nuttige tool-aanroepen ten opzichte van het totaal aantal tool-aanroepen in een traject:
$\eta_\alpha(\tau) = \frac{|\{\alpha_i | \Delta\alpha(\alpha_i) > 0\}|}{N}$
waarbij $N$ het totaal aantal tool-aanroepen is. Het paper veronderstelt dat het verwijderen van tools met een niet-positieve geaggregeerde utiliteit de $\eta_\alpha$ zal verhogen zonder de nauwkeurigheid negatief te beïnvloeden.

3. Experimentele Opzet

Benchmark: De studie gebruikt de APEX-SWE Observability benchmark, die 25 publieke taken bevat waar frontier-modellen moeite hebben om een nauwkeurigheid van >40% te bereiken.
Agent Harness: De standaard harness bevat native tools (bash, search, etc.) en drie read-only MCP tools: Grafana/Loki (logs), Mattermost (discussies) en Plane (tickets/specs).
Ablatiestudie: Drie varianten werden getest:
1. Default: Alle tools inbegrepen.
2. Grafana: Alleen Grafana/Loki inbegrepen.
3. No-MCP: Geen MCP tools inbegrepen.
Modellen: Experimenten werden uitgevoerd met GPT-5.3-Codex en Gemini 3.1 Pro, waarbij 150 trajecten in totaal werden gegenereerd.
Rechter-model: GPT-5.4 werd gebruikt als de LLM-als-rechter om de utiliteit van elke tool-aanroep te classificeren.

Belangrijkste Resultaten

Taaknauwkeurigheid

Verwijdering van redundante tools: Het verwijderen van Mattermost en Plane (vergelijking Default vs. Grafana) resulteerde in geen significante afname in taaknauwkeurigheid. In sommige gevallen verbeterde de nauwkeurigheid licht of bleef deze stabiel.
Verwijdering van noodzakelijke tools: Het verwijderen van Grafana/Loki (vergelijking Grafana vs. No-MCP) veroorzaakte een merkbare afname in nauwkeurigheid (bijv. dalend van 0.36 naar 0.24 voor GPT-5.3-Codex).
Conclusie: Grafana/Loki is een noodzakelijke tool voor deze observability-taken, terwijl Mattermost en Plane redundant zijn.

Marginale Tool-utiliteit

Geaggregeerde utiliteit: De LLM-als-rechter bevestigde de hypothese. Grafana/Loki vertoonde een positieve geaggregeerde utiliteit ( $\sum \Delta\alpha > 0$ ), terwijl Mattermost en Plane een niet-positieve geaggregeerde utiliteit vertoonden ( $\sum \Delta\alpha \leq 0$ ).
Aanroeppatronen: Analyse van de rationales van de rechter onthulde dat:
- Nuttige aanroepen ( $\Delta\alpha > 0$ ) vaak vroeg in het traject plaatsvonden, waarbij concrete foutlogs werden geleverd.
- Niet-nuttige aanroepen ( $\Delta\alpha \leq 0$ ) vaak in het midden van trajecten plaatsvonden, vaak bestaande uit generieke queries, ruisende context of retries op malafide queries.

Tool-efficiëntie

Efficiëntiewinst: Het verwijderen van niet-nuttige tools (Mattermost en Plane) verhoogde de tool-efficiëntie aanzienlijk.
- GPT-5.3-Codex: Efficiëntie steeg van 0.359 (Default) naar 0.720 (Grafana).
- Gemini 3.1 Pro: Efficiëntie steeg van 0.367 (Default) naar 0.593 (Grafana).
Dit demonstreert dat een slankere tool-suite de nauwkeurigheid kan behouden terwijl de ratio van nuttige acties drastisch wordt verbeterd.

Belangrijkste Bijdragen

Marginale Tool-utiliteit ( $\Delta\alpha$ ): Een nieuwe metriek gedefinieerd per tool-aanroep om te bepalen of een specifieke invocatie de waarschijnlijkheid van taaksucces vergroot.
Geaggregeerde Tool-utiliteit: Een methode om te voorspellen of een specifieke tool de nauwkeurigheid van een agent beïnvloedt bij ablatie, gebaseerd op de som van de utiliteiten op aanroepniveau.
Tool-efficiëntie ( $\eta_\alpha$ ): Een kwantitatieve metriek die de snelheid van nuttige tool-aanroepen in een traject vertegenwoordigt.
LLM-als-rechter Implementatie: Een kostenefficiënte methode om het teken van $\Delta\alpha$ te bepalen zonder herhaalde policy-rollouts te vereisen, gevalideerd door empirische ablatiestudies.

Betekenis en Claims

Het paper claimt dat de primaire bijdrage het vaststellen van een direct, kwantitatief kader voor het meten van tool-efficiëntie is, verschillend van uitkomstnauwkeurigheid. Door de introductie van marginale tool-utiliteit bieden de auteurs een mechanisme om:

Slankere Tool-suites te ontwerpen: Application-layer engineers in staat stellen om redundante tools te identificeren en te verwijderen die niet bijdragen aan de nauwkeurigheid, waardoor de inferentiekosten en complexiteit worden verminderd.
Agent Harnesses te optimaliseren: Voorbij "one-size-fits-all" tool-configuraties gaan door tool-suites af te stemmen op specifieke backbone-modellen en taken op basis van empirische utiliteitsgegevens.
Toekomstig Onderzoek te Informeren: Dienen als springplank voor nieuwe benchmark-ontwerpen en agent engineering die gericht zijn op efficiëntie-metrieken die complementair zijn aan nauwkeurigheid.

De auteurs benadrukken dat hoewel eerder werk zich heeft gericht op het verbeteren van toolgebruik via reinforcement learning of retrieval, dit werk zich richt op post-hoc trajectanalyse om actiegerichte metrieken af te leiden voor het ontwerpen van slankere, beter onderhoudbare agent-systemen. De bevindingen suggereren dat intuïtieve oordelen over de noodzaak van tools overeenkomen met de voorgestelde kwantitatieve metrieken, wat de benadering valideert voor praktische implementatie.