🤖 AI

AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

Het artikel introduceert AgentFloor, een gestaffelde benchmark die aantoont dat kleine open-weight modellen effectief het merendeel van routinematige, kortetermijn tool-use taken in agentische workflows kunnen afhandelen, waarbij grote frontier-modellen slechts worden gereserveerd voor complexe langetermijnplanning, terwijl een vergelijkbare geaggregeerde prestatie wordt bereikt tegen lagere kosten.

Oorspronkelijke auteurs: Ranit Karmakar, Jayita Chatterjee

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ranit Karmakar, Jayita Chatterjee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke bezorgdienst runt. Elke keer als een klant een bestelling plaatst, moet je systeem tientallen kleine beslissingen nemen: "Controleer het adres", "Zoek de prijs op", "Bel het magazijn", "Druk het etiket af".

Lange tijd was de regel: "Gebruik onze duurste, superintelligente CEO voor elke enkele beslissing." Zelfs voor simpele zaken zoals "Controleer het adres" zou je de CEO inhuren. Het werkt, maar het kost een fortuin en kost veel tijd.

Het artikel AgentFloor stelt een simpele vraag: Hebben we de CEO echt voor elke enkele taak nodig? Of kunnen we een slimme, snelle en goedkope stagiair inhuren voor de routinetaken, en de CEO alleen bewaren voor de echt moeilijke problemen?

Om dit uit te zoeken, bouwden de onderzoekers een gigantische, 30-staps obstakelbaan (een benchmark) die ontworpen was om te testen hoe goed verschillende AI-"werknemers" hulpmiddelen kunnen gebruiken. Ze testten 16 verschillende AI-modellen van uiteenlopende grootte (van kleine "stagiairs" tot enorme "CEO's") tegen de huidige top-tier AI (GPT-5).

Hier is wat ze ontdekten, uitgelegd via een paar simpele analogieën:

1. De "Ladder" van Moeilijkheid

De onderzoekers organiseerden de taken in een ladder met 6 sporten. Naarmate je omhoog klimt, worden de banen moeilijker:

Sporten 1 & 2 (De Begane Grond): Simpele instructies en het gebruik van één hulpmiddel (zoals het opzoeken van een telefoonnummer).
Sporten 3 & 4 (Het Midden): Twee hulpmiddelen aan elkaar koppelen of een beslissing nemen op basis van een resultaat (zoals "Als de prijs hoog is, bel dan de manager").
Sporten 5 & 6 (De Top): Complexe planning waarbij je regels lang moet onthouden en veel stappen moet coördineren zonder verdwaald te raken.

2. De Resultaten: Wie Kan Wat Beklimmen?

Het onderzoek onthulde een duidelijke "vloer" waar kleine modellen stoppen met het kunnen uitvoeren van de taak.

De Begane Grond (Sporten 1 & 2): De kleine, goedkope modellen (de "stagiairs") zijn eigenlijk beter of net zo goed als de dure CEO. Ze kunnen simpele instructies volgen en enkele hulpmiddelen perfect gebruiken. Sterker nog, de kleine modellen waren zo snel en goedkoop dat ze dezelfde hoeveelheid werk konden doen voor 15 keer minder geld en 2,5 keer sneller.
De Middelste Sporten (Sporten 3 & 4): De kleine modellen doen nog steeds een uitstekende baan. Ze zitten zeer dicht bij de prestaties van de CEO. Het onderzoek kon niet zeggen dat ze met 100% statistische zekerheid exact gelijk waren, maar ze waren dicht genoeg om nuttig te zijn.
De Top (Sporten 5 & 6): Hier verschijnt de kloof. Wanneer de taak langetermijnplanning vereist en het onthouden van veel regels tegelijk, beginnen de kleine modellen te struikelen. Ze raken in de war, raken hun "stappen" op (zoals een hardloper die moe wordt), of beginnen hulpmiddelen te verzinnen die niet bestaan. De grote CEO (GPT-5) is hier nog steeds beter, maar zelfs de CEO is niet perfect; hij faalt nog steeds behoorlijk vaak bij deze allerzwaarste taken.

3. De "Magische Oplossing" Werkte Niet

De onderzoekers probeerden de kleine modellen een "spiekbriefje" (een speciale prompt) te geven om hen te helpen de hogere sporten te beklimmen, in de hoop dat dit hen even slim zou maken als de CEO.

Het Resultaat: Het werkte niet universeel. Een truc die één specifiek model hielp, maakte een ander model soms slechter. Het is alsof je een specifiek paar hardloopschoenen geeft aan een marathonloper; het kan die loper helpen, maar het kan iemand anders doen struikelen. Er is geen enkele "magische knop" die een klein model direct even slim maakt als een groot model voor complexe planning.

4. De Grote Conclusie: De "Slimme Routing"-Strategie

Het artikel stelt een nieuwe manier voor om AI-systemen te bouwen, wat ze routing noemen.

In plaats van de dure, trage, superintelligente AI voor alles te gebruiken, moet je een systeem bouwen dat fungeert als een slimme manager:

Stuur de makkelijke, routinematige banen (gegevens controleren, simpele opzoekingen) naar de kleine, goedkope modellen. Ze zijn snel, goedkoop en net zo goed in dit werk.
Reserveer de grote, dure AI alleen voor de zeldzame, complexe banen die diepe planning en langetermijngeheugen vereisen.

De Kernboodschap

Je hebt geen Ferrari nodig om naar de supermarkt te rijden; een betrouwbare fiets is sneller en goedkoper voor die rit.

Het artikel bewijst dat voor het overgrote deel van de "routinematige" AI-taken (zoals het controleren van een database of het gebruik van een enkel hulpmiddel), kleine, open-source modellen al goed genoeg zijn. Je hebt alleen de enorme, dure "frontier"-modellen nodig voor de allerhoogste tier van complexe planning, en zelfs dan zijn ze nog niet perfect.

Door de juiste "werknemer" voor de juiste baan te gebruiken, kunnen bedrijven een enorm bedrag aan geld besparen en hun systemen versnellen zonder kwaliteit te verliezen.

1. Probleemstelling

Productie-achtige agentische systemen doen vaak talloze modeloproepen per gebruikersverzoek. Een aanzienlijk deel van deze oproepen is kort, gestructureerd en routinematig (bijvoorbeeld opzoekingen, recordextractie, enkele inzendingen). Momenteel is de industriestandaard om al deze oproepen te routeren naar dure, grote "frontier"-modellen (bijvoorbeeld GPT-5).

De Kernvraag: Bestaande evaluaties beantwoorden niet direct welke delen van een agent-workflow echt frontier-intelligentie vereisen en welke kunnen worden afgehandeld door kleinere, open-weight modellen.
Het Gat: Single-turn benchmarks (bijvoorbeeld BFCL) negeren sequentiële afhankelijkheden, terwijl complexe multi-step suites (bijvoorbeeld SWE-Bench) verward worden door API-drift, web-grounding en data-contaminatie. Er is geen gecontroleerde kaart van waar kleine modellen presteren die overeenkomt met frontier-prestaties en waar ze afwijken.

2. Methodologie: De AgentFloor Benchmark

De auteurs introduceren AgentFloor, een deterministische benchmark van 30 taken die is ontworpen om cognitieve eisen in toolgebruik te isoleren.

Structuur: De benchmark is georganiseerd als een zestraps vaardigheidsladder (A0 tot E), waarbij elke tree precies één nieuwe cognitieve eis introduceert:
- A0: Instructievolging (geen tools).
- A: Eenmalige tool-uitvoering.
- B: Sequentiële koppeling van 2 tools (output van Tool 1 voedt Tool 2).
- C: Conditionele vertakking op basis van tussenresultaten.
- D: Synthese uit meerdere bronnen met herstel bij conflicten.
- E: Langetermijnplanning onder persistente constraints (8–12 stappen).
Omgeving: Taken worden uitgevoerd in een vaste, abstracte tool-omgeving met een in-memory fixture-database. Er zijn geen bestandssystemen, live API's of tijdvariabele staten, waardoor omgevingsruis en pretraining-contaminatie worden geëlimineerd.
Geëvalueerde Modellen: 16 open-weight modellen variërend van 0,27B tot 32B parameters (inclusief Gemma, Qwen, Mistral, Granite, Ministral) naast GPT-5.
Evaluatieprotocol:
- Runs: 16.542 gescoorde runs.
- Scoring: Binair Pass/Fail gebaseerd op vier families van checkers (overeenkomst eindantwoord, validatie inzending, trajecttevredenheid en geen verboden gedragingen zoals gehallucineerde tools).
- Statistische Strenge: Gebruik van gepaarde bootstrap-analyses (10.000 resamples) en de Two-One-Sided Test (TOST) voor equivalentie bij een vooraf geregistreerde marge van ±10 procentpunten (pp).
- Foutentaxonomie: Falen wordt geclassificeerd in een strikte cascade (F1: Gehallucineerde tool, F4: Stappenbudget uitgeput, F5: Vroegtijdige opzegging, enz.).

3. Belangrijkste Bijdragen

AgentFloor Benchmark: Een gecontroleerde, deterministische ladder van 30 taken die specifieke cognitieve eisen in agentisch toolgebruik isoleert en verstorende factoren zoals API-drift verwijdert.
Vaardigheids- en Kostenkaart: Een vooraf geregistreerde vergelijking die aantoont dat het beste open-weight model (Gemma 4:26b) aggregaat-pariteit bereikt met GPT-5, terwijl het aanzienlijk goedkoper en sneller is.
Falen-modes Analyse: Een gedetailleerde analyse die onthult dat de "langetermijnkloof" niet universeel is; verschillende modellen falen om verschillende redenen (bijvoorbeeld opgebrand stappenbudget versus vroegtijdige opzegging), wat betekent dat interventies modelspecifiek zijn in plaats van universeel.

4. Belangrijkste Resultaten

A. Aggregaat Pariteit en Kostenefficiëntie

Prestaties: Over alle 30 taken heen is Gemma 4:26b statistisch equivalent aan GPT-5 (gepaard $\Delta = +0,4$ pp, 90% CI $[-4,0, +5,1]$ ).
Kosten: Bij overeenkomende aggregaatnauwkeurigheid (~60% TCR) is Gemma 4:26b 15× goedkoper dan GPT-5 op self-hosted Macs en 3× goedkoper op cloud-GPU's.
Latentie: Gemma 4:26b is 2,5× sneller per geslaagde taak dan GPT-5.
Pareto-Frontier: Open-weight modellen bezetten de volledige Pareto-frontier van kosten per geslaagde taak bij elk gemeten betrouwbaarheidspunt.

B. Tree-voor-Tree Uitsplitsing

A0 (Instructie): Open-weight modellen (bijvoorbeeld Gemma 4:26b) presteren strikt beter dan GPT-5 (100% vs 80%). Falen van GPT-5 was vaak te wijten aan over-parafrazeren van technische vocabulaire.
A (Enkele Tool): Open-weight modellen zijn formeel equivalent aan GPT-5.
B, C, D (Koppeling, Vertakking, Synthese): Puntschattingen liggen dicht bij GPT-5 (binnen 9 pp), maar steekproefgroottes waren onvoldoende om formeel equivalentie te certificeren bij de ±10 pp-marge.
E (Langetermijnplanning): Dit is de enige tree waar GPT-5 strikt superieur is (10% slagingspercentage vs. 0% voor Gemma 4:26b). Echter, bereikt geen enkel model "praktijk-relevante" betrouwbaarheid (>80%) op deze tree.

C. De "Kloof" en Modelgrootte

Kleine Modellen Volstaan voor Routine Werk: Voor trees A0 en A zijn modellen zo klein als 0,6B–4B parameters voldoende om betrouwbaarheidstargets van 80–90% te halen.
De B→C Overgang: Er is een scherpe daling in prestaties bij de overgang van sequentiële koppeling (B) naar vertakking (C). Geen enkel zero-shot open-weight model in het corpus haalde de betrouwbaarheidsbar van 80% op trees C, D of E.
Niet-monotoon Schalen: Prestaties schalen niet strikt met het aantal parameters. Bijvoorbeeld, een 4B-model (Nemotron) presteerde beter dan een 26B-model op Tree D, en een 14B-model werd gedomineerd door zijn 8B-broer in dezelfde familie.

D. Interventie-analyse (Waarom de Kloof Bestaat)

De auteurs testten interventies om de Tree E-kloof te dichten, maar vonden geen universele oplossing:

Expliciete-Inzending Prompt: Tilde Ministral-3:8b op een specifieke taak van 0% naar 100%, maar had nul effect op GPT-5 of Gemma 4:26b.
Verdubbeling Stappenbudget: Hielp GPT-5 bij één specifieke taak (E1) maar was nul op andere.
Redeneringsmodus: Het uitschakelen van redeneren hielp het 32B Qwen-model op Tree B, maar schaadde de 8B- en 14B-versies.
Gestructureerde Prompts (Plan/Execute/Submit): Deze "voor de hand liggende" universele hefboom verslechterde de prestaties bij alle geteste modellen, waardoor ze wel planden maar faalden in het uitvoeren.
Falen-Signaturen:
- GPT-5 faalt primair via F5 (Vroegtijdige Opzegging): Het plant maar geeft op.
- Gemma 4:26b faalt via F4 (Stappen Uitgeput) en F1 (Gehallucineerde Tools): Het raakt zijn stappen op of verzonnen tools.
- Conclusie: Omdat de faalmechanismen verschillen, kan één enkele interventie beide niet oplossen.

5. Betekenis en Ontwerpprincipes

Het paper biedt een concrete, datagedreven gids voor routing van agentische systemen:

Routeren Routine naar Kleine Modellen: De overgrote meerderheid van agentoproepen (A0, A, en waarschijnlijk B) kan worden afgehandeld door kleine, open-weight modellen (<5B parameters) met geen meetbaar verlies in nauwkeurigheid en enorme winsten in kosten en latentie.
Frontier Bewaren voor Langetermijn: Frontier-modellen moeten strikt worden gereserveerd voor de smalle klasse taken die aanhoudende coördinatie en constraint-tracking vereisen (Tree E), hoewel zelfs daar de betrouwbaarheid laag blijft.
Interventies zijn Modelspecifiek: Er is geen "zilveren kogel" prompt of architectuur-aanpassing die langetermijnplanning universeel oplost. Routingstrategieën moeten worden afgestemd op de specifieke faalmodi van het gekozen model.

Eindconclusie: De "ladder van toolgebruik" heeft een duidelijke grens. Kleine open-weight modellen zijn al voldoende voor de brede basis van gestructureerd, kort-horizon agentisch werk, wat de standaardimplementatiestrategie van alles routeren naar frontier-modellen uitdaagt.