🤖 AI

DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows

Dit artikel introduceert DecisionBench, een uitgebreide benchmarksubstraat voor het evalueren van emergente delegatie in langdurige agentische workflows over diverse modellen en taken, waaruit blijkt dat hoewel de taakkwaliteit stabiel blijft onder verschillende bewustzijnscondities, er aanzienlijk onbenut potentieel bestaat voor het verbeteren van de routeerprecisie en de algehele orkestratieprestaties.

Oorspronkelijke auteurs: Yuxuan Gao, Megan Wang, Yi Ling Yu, Zijian Carl Ma, Ao Qu

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxuan Gao, Megan Wang, Yi Ling Yu, Zijian Carl Ma, Ao Qu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een drukke keuken. Je hebt een complexe bestelling die hakken, grillen, bakken en garneren vereist. Je zou alles zelf kunnen proberen te doen, maar je bent moe en misschien ben je niet de beste in het bakken.

DecisionBench is een nieuwe "keukensimulator" die is ontworpen om te testen hoe goed een manager (een AI-agent) beslist om delen van het werk te delegeren aan andere koks (andere AI-modellen), in plaats van alles alleen te doen.

Hieronder volgt een uiteenzetting van het paper, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Alles-voor-het-Zelf"-Val

In het verleden testten we alleen of een enkele kok een maaltijd kon bereiden. Maar in de echte wereld moeten AI-agenten lange, ingewikkelde taken uitvoeren die uren duren. Soms kan een kleinere, goedkopere of meer gespecialiseerde kok een specifieke stap (zoals groenten hakken) sneller en beter uitvoeren dan de hoofdkok.

De grote vraag is: Weet de hoofdkok wanneer hij om hulp moet vragen, en vraagt hij de juiste persoon?

2. De Opzet: De "DecisionBench"-Keuken

De auteurs bouwden een gecontroleerde keuken om dit te testen. Ze keken niet alleen toe hoe de koks kookten; ze stelden een specifiek regelboek op:

De Taken: Ze gebruikten drie bestaande "menu's" met moeilijke taken (GAIA, τ-bench, BFCL) die lange reeksen stappen vereisen.
De Koks: Ze selecteerden 11 verschillende AI-modellen van 7 verschillende bedrijven (zoals OpenAI, Anthropic, Google) om te fungeren als de "collega's" die beschikbaar zijn voor hulp.
De Hulpmiddelen: De hoofdkok heeft twee speciale hulpmiddelen:
1. call_model: Een knop om een deeltaak door te geven aan een andere kok.
2. read_profile: Een menu dat de hoofdkok vertelt waar de andere koks goed in zijn (bijvoorbeeld: "Kok A is geweldig in wiskunde maar slecht in lange teksten").

3. Het Experiment: Hoeveel Informatie Hebben We Nodig?

De onderzoekers wilden zien hoe de hoofdkok presteert onder verschillende niveaus van informatie. Ze testten vijf scenario's:

Blind: De kok heeft de knop om om hulp te vragen, maar geen idee wie waar goed in is. Ze raden gewoon.
Bewust (Voorafgeladen): De kok krijgt voor de dienst begint een gedrukt "spiekbriefje" (een profielkaart) met de sterke en zwakke punten van elke andere kok.
Bewust (Op Verzoek): De kok heeft geen spiekbriefje, maar kan om het profiel van een specifieke kok vragen alleen wanneer ze dat nodig hebben tijdens de taak.
De Variaties: Ze probeerden verschillende soorten spiekbriefjes: één geschreven door een menselijke expert, één gegenereerd door harde wiskunde/statistieken, en één geschreven door twee andere AI-rechters.

4. De Grote Verrassingen (De Bevindingen)

Verrassing #1: Meer weten maakt de maaltijd niet per se lekkerder.
Zelfs toen de hoofdkok perfecte profielen van iedereen had, was de uiteindelijke kwaliteit van de maaltijd (het slagingspercentage van de taak) bijna exact hetzelfde als toen ze "blind" waren.

Analogie: Het is alsof je een gedetailleerde kaart van de stad hebt, maar toch in de file zit. De extra informatie maakte de reis niet automatisch sneller of de bestemming beter.

Verrassing #2: Hoe je de informatie krijgt, is belangrijker dan de informatie zelf.
Dit was de grootste ontdekking.

Het "Spiekbriefje" (Voorafgeladen) faalde: Toen de kok gedwongen werd om een lange lijst met profielen te lezen voordat ze begonnen, gebruikten ze de informatie niet goed. Hun delegatiekeuzes waren eigenlijk slechter dan toen ze blind waren.
Het "Op Verzoek"-hulpmiddel werkte: Toen de kok om het profiel van een specifieke kok kon vragen alleen wanneer ze vastzaten bij een specifieke stap, maakten ze twee keer zoveel juiste keuzes over wie ze moesten bellen.
Analogie: Stel je een student voor die een toets maakt. Als je hen voor de toets een 50-pagina's dik handboek geeft, raken ze misschien overweldigd en vergeten ze de belangrijkste feiten. Maar als ze alleen een specifiek feit mogen opzoeken wanneer ze vastzitten bij een vraag, lossen ze het probleem veel beter op. De leveringsmethode (vragen wanneer nodig) was de held, niet de inhoud van het boek.

Verrassing #3: We laten veel potentieel liggen.
De onderzoekers berekenden een "Perfecte Plafond". Dit is de score die de kok zou halen als ze magisch precies wisten welke helper voor elke enkele stap het beste was en ze die direct zouden bellen.

Het Resultaat: De huidige beste methoden zijn nog steeds 15% tot 31% slechter dan dit perfecte plafond.
Analogie: We rijden momenteel met een auto op 60 mph, maar de motor is geschikt voor 100 mph. We hebben een enorme hoeveelheid "niet-gerealiseerde ruimte" om te verbeteren hoe we taken in de toekomst delegeren.

Verrassing #4: Koks houden van hun eigen merk.
De hoofdkoks neigden om hulp te vragen aan koks van hetzelfde bedrijf, zelfs wanneer een kok van een ander bedrijf beter geschikt was voor de baan.

Analogie: Het is alsof een manager in een Ford-fabriek alleen om hulp vraagt aan andere Ford-monteurs, zelfs als een Toyota-monteur de beste in de stad is voor die specifieke reparatie. Deze "merkbias" was een duidelijk patroon in de data.

5. De Conclusie

Het paper concludeert dat DecisionBench een nieuw, essentieel hulpmiddel is voor het meten hoe goed AI-agenten teams managen.

De belangrijkste les voor de toekomst is: Gooi niet zomaar een hoop informatie op het begin op een AI. Geef hen in plaats daarvan de middelen om informatie op te zoeken precies wanneer ze het nodig hebben. Als we de manier waarop we informatie leveren verbeteren, kunnen we misschien het enorme potentieel (het gat van 15–31%) dat momenteel ongebruikt ligt, ontsluiten.

De auteurs hebben al hun "keukenrecepten", de "koks" en de "scorecards" vrijgegeven zodat andere onderzoekers hun eigen nieuwe manieren om AI-teams te managen kunnen testen.

Technische Samenvatting: DecisionBench

Probleemstelling

Groot taalmodel (LLM)-agenten worden steeds vaker ingezet voor taken met een lange horizon die minuten tot uren aan toolgebruik vereisen. Een kritieke inefficiëntie in huidige agentische workflows is de neiging om subtaken lokaal op te lossen met één enkel, vaak overgedimensioneerd model, in plaats van te delegeren aan kleinere of anders gespecialiseerde peer-modellen. Hoewel het routeren van subtaken naar peers een potentiële verschuiver van de Pareto-grens kan zijn, ontbreekt het praktici aan een benchmark om emergente delegatie te meten—het vermogen van een agent om autonoom te beslissen of er gedelegeerd moet worden, aan wie, en welke informatie over peers moet worden verstrekt. Bestaande benchmarks (zoals GAIA, $\tau$ -bench, BFCL) richten zich op de capaciteit van een enkele agent, terwijl onderzoek naar multi-agent systemen vaak handgecodeerde roltoewijzingen gebruikt in plaats van emergent gedrag. Bovendien behandelen benchmarks voor kostenbewuste routing routering doorgaans als een extern aangeleerd beleid in plaats van een intrinsiek gedrag van de orkestrator.

Methodologie: Het DecisionBench Substraat

De auteurs introduceren DecisionBench, een vast benchmark-substraat dat is ontworpen om emergente delegatie in agentische workflows met lange horizon te isoleren en te meten. Het substraat is agnostisch ten opzichte van hoe peer-informatie wordt gegenereerd of geleverd, waardoor diverse orkestratiemethoden kunnen worden geëvalueerd.

Kerncomponenten

Takenpakket: Een vast aantal taken met lange horizon, afkomstig uit drie gevestigde benchmarks: GAIA (algemene tool-gebruik QA), $\tau$ -bench (tool-agent-gebruiker dialoog) en BFCL multi-turn (functiedeel). Deze zijn opgesplitst in een set voor Fase 1 (profielbepaling) en een set voor Fase 2 (evaluatie) via een deterministische 20/80-geslagen steekproef.
Peer-Model Pool: Een heterogene pool van 11 modellen uit 7 leveranciersfamilies (OpenAI, Anthropic, Google DeepMind, DeepSeek, Moonshot, Qwen, MiniMax), vastgepind op een specifieke bevriesdatum (29-04-2026) om reproduceerbaarheid te garanderen.
Delegatie-interface: De orkestrator-agent opereert met een tool call_model(name, subtask, budget_usd) om subtaken te delegeren. Een optionele tool read_profile(model) stelt de orkestrator in staat om gestructureerde beschrijvingen van peers op te halen.
Annotatielaag: Een bevroren 7-vaardigheids-taxonomie (bijv. adherentie aan tool-call-schema's, state-tracking in multi-turn, informatieverwerving) en een deterministische, regelgebaseerde stap-tagger. Deze laag wijst vaardigheden toe aan trajectstappen zonder oordeel van een LLM, waardoor procesniveau-evaluatie mogelijk wordt van of een delegatie naar een peer is gestuurd die goed geschikt was voor de specifieke subtaak-vaardigheid.
Metriekeenset: Een multi-assenprofiel dat de volgende aspecten bestrijkt:
- Outcome-metrics: Kwaliteit van de eindtaak, kosten en latentie.
- Proces-metrics: Delegatiepercentage, routing-fideliteit-bij- $k$ (hoe vaak de agent de top- $k$ beste peers kiest voor een gegeven vaardigheid), leverancierszelfpreferentie en een counterfactuele-delegatieplafond.

Referentie-interventies

Om het substraat te karakteriseren, instantiëren de auteurs vijf referentievoorwaarden:

Blind: Geen peer-informatie; delegeren uitsluitend op basis van priors.
Aware-C1/C2/C3: Vooraf geladen peer-beschrijvingen die zijn opgebouwd via (C1) verzorgde rubrieken, (C2) deterministische statistieken uit Fase-1-traces, of (C3) samenvattingen van een dubbele LLM-rechter buiten de pool. Deze worden gekoppeld aan read_profile-toegang op aanvraag.
Aware-Tool-Only: Identiek aan C2, maar dan met de vooraf geladen beschrijving onderdrukt, waardoor het effect van het leveringskanaal (tool op aanvraag versus vooraf geladen prompt) wordt geïsoleerd.

Belangrijkste Bijdragen

Het Benchmark-substraat: Een herbruikbaar kader bestaande uit een vast takenpakket, peer-pool, delegatie-interface, annotatielaag en multi-assen metriekeenset, specifiek voor emergente delegatie.
Referentie-interventieset: Een reeks baselines (C1, C2, C3 en de ablatie van het leveringskanaal) om vergelijkingen te initiëren voor toekomstige orkestratiemethoden.
Empirische Karakterisering: Een uitgebreide scan over 11 modellen, 3 benchmarks en 5 voorwaarden ( $N=23.375$ taakinstanties) die aantoont dat procesniveau-metrics orkestratiesignalen detecteren die door alleen outcome-metrics worden gemist.
Artifact-release: Het substraat, de annotatielaag, 33 profielkaarten, het analysekanaal en 220 uitvoerarchieven zijn vrijgegeven om reproduceerbaar onderzoek mogelijk te maken.

Belangrijkste Resultaten

De experimentele scan leverde drie primaire bevindingen op:

Kwaliteit is Vlak over Voorwaarden: De gemiddelde kwaliteit van de eindtaak is statistisch niet te onderscheiden tussen de vier bewustzijnsvoorwaarden ( $|\beta| \le 0,010, p \ge 0,21$ ). Uitsluitend vertrouwen op kwaliteitsmetrics zou het orkestratiesignaal volledig missen.
Leveringskanaal Boven Inhoud: Routing-fideliteit varieert aanzienlijk.
- Toegang tot tools op aanvraag (aware-tool-only) verdubbelt de routing-precisie-bij-1 meer dan de blinde baseline (14,2% $\to$ 29,5%), terwijl kwaliteitspariteit en lagere gemiddelde kosten worden behouden.
- Vooraf geladen beschrijvingen vangen minder dan de helft van deze winst (C2: 20,8%, C3: 15,5%, C1: 7,5%).
- Dit geeft aan dat het mechanisme van informatielevering (opvraagbare tool versus statische prompt) kritischer is dan de specifieke inhoud van de peer-beschrijving.
Aanzienlijke Onbenutte Ruimte: Een counterfactueel-delegatieplafond (waarbij wordt aangenomen dat er perfect in één stap wordt gedelegeerd naar de beste peer uit Fase 1) plaatst perfecte prestaties 15–31 procentpunten boven de gemeten prestaties op elk pakket. Dit lokaliseert een grote kloof die toekomstige orkestratiemethoden moeten dichten.
Leverancierszelfpreferentie: Agenten vertonen een bias in de stijl van "LLM als rechter", waarbij ze vaker delegeren aan peers uit hun eigen leveranciersfamilie, met frequenties 1,5–3,7 $\times$ hoger dan toeval.

Betekenis en Claims

Het paper claimt dat DecisionBench het evaluatieparadigma verschuift van alleen outcome (kwaliteit) naar analyse op procesniveau (fideliteit, routeringsgedrag). De primaire betekenis ligt in het aantonen dat:

Procesmetrics essentieel zijn: Een orkestratiemethode kan de routing-fideliteit en kostenefficiëntie aanzienlijk verbeteren zonder dat dit zich direct vertaalt naar een hogere kwaliteit van de eindtaak in huidige setups.
Leveringsmechanismen tellen mee: Het "hoe" van peer-informatie (tools op aanvraag) is een sterkere drijver van delegatiekwaliteit dan het "wat" (inhoud van de beschrijving).
Aanzienlijke ruimte voor verbetering: De kloof tussen huidige prestaties en het counterfactuele plafond suggereert dat huidige orkestratiemethoden verre van optimaal zijn, met name voor agenten met gemiddelde capaciteiten.

De auteurs blijven bescheiden, met de opmerking dat de fideliteitswinsten nog niet zijn vertaald naar kwaliteitsverbeteringen, mogelijk vanwege lage delegatiefrequenties, gedeeltelijke signalen in peer-beschrijvingen of aandachtscrowding door vooraf geladen prompts. Zij stellen dat het dichten van deze kloof vereist dat vaker wordt gedelegeerd, dat er wordt gedelegeerd in meerdere stappen, of dat er rijker feedback wordt gegeven tijdens de taak—scenario's die DecisionBench is ontworpen om te evalueren.