💻 computer science

Brief Is Better: Non-Monotonic Chain-of-Thought Budget Effects in Function-Calling Language Agents

Deze studie toont aan dat bij function-Calling agents een zeer korte Chain-of-Thought (32 tokens) de nauwkeurigheid aanzienlijk verbetert door een routeringseffect, terwijl langere redeneringen de prestaties juist verslechteren, wat leidt tot de ontwikkeling van de gestructureerde FR-CoT-methode die hallucinaties volledig elimineert.

Oorspronkelijke auteurs: Xuan Qi

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan Qi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Kort is beter: Waarom "te veel nadenken" je robot-agent dwarszit

Stel je voor dat je een slimme robot hebt die voor jou boodschappen moet doen. Je geeft hem een lijstje: "Koop melk, brood en eieren." De robot moet nu beslissen welke winkel hij bezoekt en wat hij precies moet vragen aan de kassa.

In de wereld van kunstmatige intelligentie (AI) denken onderzoekers vaak: "Hoe meer de robot nadenkt voordat hij handelt, hoe slimmer hij is." Ze laten de robot dus minutenlang "nadenken" (in het jargon: Chain-of-Thought of CoT) voordat hij de daadwerkelijke actie uitvoert.

Maar dit nieuwe onderzoek van Tsinghua Universiteit laat zien dat dit idee volledig verkeerd is voor robots die werkjes moeten doen. Sterker nog: te veel nadenken maakt ze dommer.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het "Te veel nadenken"-probleem

Stel je voor dat je een vriend vraagt om een route te plannen naar een restaurant.

Scenario A (Geen nadenken): Je vriend kijkt direct op de kaart en zegt: "Ik ga naar de Italiaanse plek." (Soms goed, soms fout).
Scenario B (Kort nadenken): Je vriend denkt even na: "Oké, we willen Italiaans. De Italiaanse plek is dichtbij." Hij kiest dan de juiste plek. Dit werkt het beste.
Scenario C (Te veel nadenken): Je vriend begint urenlang na te denken. Hij bedenkt dat de Italiaanse plek misschien gesloten is, dat hij misschien liever sushi had, dat de weg vaststaat, en dat hij eigenlijk wel eens naar de bakkerij had moeten gaan. Uiteindelijk, na al dat gedoe, is hij zo in de war dat hij per ongeluk naar de verkeerde plek rijdt, of zelfs een restaurant bedenkt dat niet eens bestaat.

De bevinding: De onderzoekers lieten hun AI-agenten nadenken met verschillende "tijdsbudgetten" (hoeveel woorden ze mochten gebruiken om na te denken).

0 woorden nadenken: De robot raakt vaak de verkeerde winkel.
Kort nadenken (32 woorden): De robot pakt de juiste winkel. De prestatie springt omhoog met 45%.
Lang nadenken (256 woorden): De robot wordt weer dommer, zelfs dommer dan toen hij helemaal niet nadenkte! Hij begint te hallucineren (dingen verzinnen die niet bestaan) of kiest de verkeerde optie omdat hij te veel twijfelt.

2. Waarom gebeurt dit? (De "Route-verwarring")

Waarom werkt lang nadenken zo slecht?
De onderzoekers keken naar de fouten.

Bij korte nadenk-periode helpt het vooral om de juiste knop te vinden. Het is alsof de robot zegt: "Oké, ik moet 'berekenen' doen, niet 'printen'." Dit is de belangrijkste stap.
Bij lange nadenk-periode begint de robot te dwalen. Hij denkt: "Misschien moet ik 'berekenen' doen, maar wacht, wat als ik 'printen' moet? Nee, misschien 'scannen'? Oh, ik heb een idee voor een nieuwe knop die 'telepathie' heet!"

Hoe langer hij nadenkt, hoe meer hij uit het veld slaat. Hij vergeet de originele opdracht en verzint dingen die er niet zijn. Het is alsof je een spoorzoekerswedstrijd doet: als je te lang naar de grond blijft staren, loop je de weg kwijt.

3. De Oplossing: FR-CoT (De "Naam-eerst" methode)

Omdat de onderzoekers zagen dat het probleem vaak was dat de robot de verkeerde knop koos, bedachten ze een slimme truc: FR-CoT.

In plaats van de robot vrij te laten om te nadenken, dwingen ze hem om eerst de naam van de knop te noemen, voordat hij verder nadenkt.

De regel: "Noem eerst de knop, dan pas de details."
Voorbeeld: De robot moet zeggen: "Ik kies de knop BerekenOppervlakte. De zijden zijn 3, 4 en 5."

Dit werkt als een anker. De robot kan niet meer gaan dromen over een knop die niet bestaat, omdat hij zich eerst moet vastklampen aan een echte knop.

Resultaat: De robot maakt nooit meer de fout om een knop te verzinnen. Hij is net zo slim als bij het korte nadenken, maar dan zonder de gevaarlijke hallucinaties.

4. Wat betekent dit voor de toekomst?

Deze studie leert ons drie belangrijke dingen:

Kort is krachtig: Voor robots die werkjes moeten doen (zoals API's aanroepen of apps bedienen), is een korte, scherpe gedachtegang (ongeveer 8 tot 32 woorden) veel beter dan een lang, uitgebreid betoog.
Niet alles is meer: In de wiskunde of creatief schrijven helpt lang nadenken vaak. Maar bij het kiezen van een specifieke actie uit een lijstje, is "overdenken" juist funest.
De "Stop" is belangrijk: Sommige modellen stoppen vanzelf met nadenken als ze het antwoord hebben. Andere modellen (zoals de Qwen-modellen in dit onderzoek) blijven maar doorgaan tot ze hun limiet hebben bereikt, zelfs als het antwoord al duidelijk was. Dat "doorgaan" is wat hen dom maakt.

Conclusie in één zin:
Als je een AI-agent een klus laat doen, geef hem dan een korte, duidelijke aanwijzing en laat hem niet urenlang twijfelen; anders raakt hij de weg kwijt en verzint hij dingen die niet bestaan. Kort nadenken is de nieuwe slimheid.

Titel: Korter is Beter: Niet-monotone Effecten van Chain-of-Thought Budgetten in Taak-uitvoerende Taalagenten

Auteurs: Xuan Qi (IIIS, Tsinghua University)
Datum: 3 april 2026

1. Probleemstelling

Taalagenten die tools en API's gebruiken (function calling), vertrouwen vaak op Chain-of-Thought (CoT) redenering om de juiste functie en argumenten te selecteren uit een vooraf gedefinieerde set. De heersende aanname in de praktijk is dat "meer redeneren beter is": agenten krijgen vaak een groot token-budget (bijv. 512 tokens) om te denken voordat ze een actie uitvoeren.

Dit paper daagt deze aanname uit. De onderzoekers stellen de vraag: Wat is het optimale aantal CoT-tokens per beslissingsstap voor een function-calling agent? Er is weinig begrip van de relatie tussen de lengte van de redenering en de nauwkeurigheid in gestructureerde tool-gebruiksscenario's.

2. Methodologie

De auteurs voeren een systematische studie uit om het effect van het CoT-budget op de nauwkeurigheid te analyseren.

Dataset: Berkeley Function Calling Leaderboard (BFCL) v3 Multiple-function benchmark (200 taken). Elke taak biedt 2-4 kandidaat-functies; de agent moet de juiste functie kiezen en de argumenten in JSON-formaat invullen.
Modellen:
- Hoofdmodel: Qwen2.5-1.5B-Instruct (resource-beperkt, instructie-volgend).
- Validatiemodellen: Qwen2.5-7B-Instruct (schaaleffect) en Phi-3-mini-4k-instruct (architectuuroverdracht).
Experimenteel Protocol:
- Er worden zes token-budgetten ( $d$ ) getest: 0, 32, 64, 128, 256, 512.
- $d=0$ : Direct antwoord (geen CoT).
- $d>0$ : De agent denkt stap-voor-stap (maximaal $d$ tokens) en genereert daarna de JSON-functie-aanroep.
- Alle generaties gebruiken greedy decoding.
Analyse:
- Nauwkeurigheidsmetingen met 95% betrouwbaarheidsintervallen (bootstrapping).
- Drie-weg foutendecompositie: (a) Hallucinaties (functienaam niet in kandidatenlijst), (b) Verkeerde selectie van een geldige functie, (c) Verkeerde argumenten bij de juiste functie.
- "Oracle"-analyse: Bepalen van het minimale budget ( $d^*$ ) dat nodig is voor een correct antwoord per taak.
- Entropie-analyse ( $H_0$ ): Meten van de onzekerheid van het model over de functiekeuze voordat er geredeneerd wordt, om te zien of dit een signaal kan zijn voor wanneer CoT helpt.

3. Kernbevindingen en Resultaten

A. Niet-monotone Relatie (Het "Kort is Beter"-effect)

De resultaten tonen een opvallend niet-monotoon patroon:

Korte redenering ( $d=32$ ): Leidt tot een drastische verbetering. Voor Qwen2.5-1.5B stijgt de nauwkeurigheid van 44,0% (geen CoT) naar 64,0% (+45% relatieve verbetering).
Uitgebreide redenering ( $d=256$ ): De prestaties verslechteren drastisch en zakken zelfs onder het niveau van "geen CoT" naar 25,0%. Dit is statistisch significant slechter dan de baseline ( $p<0.001$ ).
Optimum: Een fijnmazige scan toont aan dat het echte optimum zelfs nog korter is: 8–16 tokens.

B. Foutenmechanisme: Waarom faalt lange redenering?

Een gedetailleerde analyse van de fouten onthult waarom langere redenering schadelijk is:

Bij $d=0$ : De dominante fout is het verkeerd selecteren van een geldige functie uit de kandidatenlijst (30,5%).
Bij $d=32$ : Korte CoT fungeert als een "functie-routingsstap". Het aantal verkeerde selecties van geldige functies daalt naar 1,5%. De redenering helpt het model de juiste route te kiezen.
Bij $d=256$ : Er treedt een "dubbel falen" op:
1. Misleiding: Het model keert terug naar het selecteren van de verkeerde geldige functie (stijgt naar 28,0%).
2. Hallucinatie: Het model genereert functienamen die niet in de kandidatenlijst staan (stijgt naar 18,0%).
  Conclusie: Lange redenering leidt tot actieve misleiding en confabulatie, niet slechts tot formatfouten.

C. Oracle-analyse

88,6% van de oplosbare taken vereist maximaal 32 tokens redenering (gemiddeld 27,6 tokens).
Een vast budget van 32 tokens recupereert het grootste deel van de voordelen van een ideale "Oracle-strategie" (die per taak het perfecte budget kiest) tegen minimale rekenkosten.

D. Cross-Model Validatie

Qwen2.5-7B: Bevestigt het patroon, maar met een nog ernstiger ineenstorting bij lange budgets (piekt bij 82,5% bij $d=32$ , daalt naar 18,0% bij $d=256$ ).
Phi-3-mini: Bevestigt dat korte CoT ( $d=32$ $d = 32$ ) het beste is (piekt bij 86,0%). Echter, Phi-3 daalt niet onder de baseline bij lange budgets (blijft bij 66,5% bij $d=256$ $d = 256$ ).
- Mechanistische verklaring: Phi-3 heeft een hoge natuurlijke "EOS" (End-of-Sequence) rate (68% bij $d=256$ ), wat betekent dat het model stopt met redeneren voordat het budget op is. Qwen2.5 vult het budget altijd volledig op (0% EOS), wat leidt tot "overthinking" en kwaliteitsverlies.

4. Propositie: Function-Routing CoT (FR-CoT)

Geïnspireerd door de bevinding dat korte CoT vooral helpt bij het "routen" naar de juiste functie, stellen de auteurs FR-CoT voor.

Methode: Een gestructureerde prompt-template die het model dwingt om direct aan het begin van de redenering een geldige functienaam te kiezen:
```
Function: [naam] / Key args: [...]
```
Resultaten:
- FR-CoT bereikt dezelfde nauwkeurigheid als vrije korte CoT ( $d=32$ ).
- Cruciaal: Het reduceert functiehallucinatie naar 0,0%.
- Het werkt zonder fine-tuning, zonder grammatica-constraints en zonder budget-tuning.
- Vergelijking met "Constrained Decoding" (log-prob forcing): FR-CoT presteert significant beter op het 7B-model (+19,5% nauwkeurigheid), omdat het vermijdt dat het model in een "distributional shift" terechtkomt door geforceerde prefixen.

5. Betekenis en Implicaties

Paradigmaverschuiving: Het paper weerlegt de aanname dat "meer test-tijd compute" (langer redeneren) altijd beter is voor gestructureerde tool-use. Voor function calling geldt: korte, gerichte redenering is superieur.
Systeemontwerp: Agenten moeten niet standaard lange redeneringsvensters toewijzen. Een vast budget van 8–32 tokens of het gebruik van FR-CoT is de aanbevolen standaard. Dit bespaart rekenkracht en verhoogt de betrouwbaarheid.
Architectuuroverschrijdend: Het effect is robuust over verschillende modelgroottes en -architecturen, hoewel de ernst van de "collapse" bij lange budgets afhangt van het natuurlijke stopgedrag (EOS) van het model.
Praktische Richtlijn: Voor function-calling agents moet de standaardinstelling een kort CoT-budget zijn (of FR-CoT) om fouten in functierouting te minimaliseren en hallucinaties te voorkomen, in plaats van te vertrouwen op uitgebreide redenering.

Conclusie: In gestructureerde tool-use omgevingen is "Brief is Better". Lange redeneringsketens leiden tot actieve misleiding en hallucinaties, terwijl een zeer kort venster (8-32 tokens) fungeert als een effectieve routeringsstap die de nauwkeurigheid maximaliseert.