Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
Deze vooraf geregistreerde benchmarkstudie toont aan dat de formulering van prompts en het ontwerp van de harness de redeneringskosten van grote programmeeragenten aanzienlijk opblazen — vaak met een factor 2,4 tot 30 — zonder de taaksucces te verbeteren, waarbij specifieke instructies zoals "ontwikkel meerdere benaderingen" en bepaalde harness-architecturen de primaire drijfveren van deze inefficiëntie zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotassistent inhuurt om een kapotte broodrooster te repareren. Je wilt niet alleen dat de robot de broodrooster repareert; je wilt dat hij eerst nadenkt over hoe hij hem moet repareren. In de wereld van kunstmatige intelligentie worden deze "denkstappen" reasoning tokens genoemd. Net zoals een mens aantekeningen kan maken, dingen doorstreept en verschillende ideeën kan uitproberen voordat hij een puzzel oplost, besteden deze AI-modellen tijd en geld aan "overwegen" voordat ze je een antwoord geven.
Maar hier komt de adder onder het gras: je betaalt voor elke gedachte die de robot heeft, zelfs voor de gedachten die hij weggooit. Als je de robot vraagt om "heel hard na te denken" of "vijf verschillende manieren te proberen", kan hij dat precies doen, waarbij hij je budget verbrandt zonder de broodrooster beter te repareren dan wanneer je simpelweg had gevraagd om "de broodroster te repareren". Dit artikel verkent een vreemde hoek van de informatica waar onderzoekers optreden als detectives, proberen te achterhalen welke woorden in jouw instructies de robot geld laten verspillen en welke woorden hem op een strak budget houden. Ze gokken niet zomaar; ze voeren duizenden gecontroleerde experimenten uit om precies te zien hoeveel verschillende zinnen kosten.
Het Grote Prompt-experiment: Waarom Jouw Woorden Geld Kosten
Stel je voor dat je een vloot van zes verschillende superintelligente robotchefs hebt. Je wilt dat ze code schrijven (wat lijkt op een recept voor een computer) om 24 specifieke kookuitdagingen op te lossen. Maar er is een twist: je moet betalen voor elke gedachte die de chefs hebben terwijl ze aan het koken zijn. De onderzoekers wilden weten: Verandert de manier waarop je een bestelling schrijft hoe de chefs nadenken, en helpt dat nadenken daadwerkelijk om het gerecht lekkerder te maken?
Om dit te ontdekken, richtten ze een enorme, supergeorganiseerde keukenlaboratorium in. Ze gokten niet alleen; ze schreven hun regels op voordat ze begonnen met koken (dit wordt "preregistration" genoemd, zoals een menu opschrijven voordat je naar de supermarkt gaat). Ze gebruikten twee verschillende soorten keukenmanagers (genaamd "harnesses") om met de chefs te communiceren: de een was een directe, zakelijke manager, en de ander was een zeer praatende, gedetailleerde manager die bij elke bestelling een enorme hoeveelheid achtergrondinformatie meestuurde.
Dit is wat ze ontdekten na het draaien van meer dan 4.600 kooksessies:
1. De "Probeer Alles"-valstrik
De grootste geldverspiller? De robot de opdracht geven om "meerdere benaderingen te ontwikkelen en ze te vergelijken."
Het klinkt slim, toch? Zoals een goede chef drie sauzen proeft voordat hij er één kiest. Maar voor deze AI-robots was deze instructie een ramp. Het zorgde ervoor dat ze 2,4 tot 7,4 keer meer nadachten dan normaal. En het ergste van alles? Het eindresultaat (de code) was niet beter. Ze hebben gewoon extra geld verbrand om over opties na te denken die ze nooit hebben gebruikt. Het is alsof je een chef betaalt om drie verschillende recepten voor een sandwich te schrijven, ze allemaal te proeven, en je vervolgens dezelfde sandwich serveert als wanneer je simpelweg had gevraagd om "een sandwich".
2. De Magische Woorden die Niets Doen
Mensen zeggen vaak "denk stap voor stap" of "denk diep na" om betere resultaten te krijgen. De onderzoekers ontdekten dat voor deze programmeer-robots deze "diep nadenken" magische woorden pure verspilling waren. Ze lieten de robots 1,6 tot 2,2 keer langer nadenken zonder het resultaat te verbeteren. Het is alsover een rekenmachine de opdracht geven om "heel hard na te denken" voordat hij 2 + 2 optelt; het antwoord is hetzelfde, maar je betaalt voor de extra denktijd.
3. De "Bounded Efficiency" Hack
Aan de andere kant was er een geheim ingrediënt dat geld bespaarde. Als je de robot een strikte box gaf om in te werken — door hem precies te vertellen wat het doel was, wat de regels waren en wanneer hij moest stoppen — dacht hij juist minder. Eén robot halveerde zelfs zijn denktijd! Deze "bounded efficiency" template was gratis te gebruiken en maakte de robots sneller en goedkoper zonder de code te veranderen.
4. De Manager is Belangrijker dan de Chef
Een van de meest verrassende bevindingen was dat wie je inhuurt om de robot te managen belangrijker is dan de robot zelf.
Ze testten dezelfde robot met twee verschillende managers. Eén manager (PI.DEV) was efficiënt. De andere (Claude Code) was als een micromanager die bij elke boodschap een 12- tot 15-maal grotere "introductietoespraak" stuurde. Zelfs wanneer de robots het probleem perfect oplosten, kostte de micromanager-versie 5 tot 30 keer meer, puur vanwege de manier waarop het gesprek werd gevoerd. Het blijkt dat de "manager" (de software die de AI omhult) vaak het grootste deel van de rekening vormt, en niet de AI zelf.
5. De Illusie van de "Verborgen Korting"
De onderzoekers keken ook naar hoe de bedrijven voor deze robots rekenen. Ze ontdekten dat de bedrijven automatisch geld besparen door de "introductietoespraak" te onthouden die ze elke keer versturen. Dit bespaarde ongeveer 61% van de rekening. Maar de onderzoekers waarschuwden: Noem dit geen "efficiëntie". Het is gewoon een korting op hetzelfde oude werk. De robot heeft niet echt sneller of slimmer gewerkt; het bedrijf rekende je gewoon niet voor de onderdelen die het zich herinnerde.
6. Nieuwe Robots, Dezelfde Oude Trucs
Toen een gloednieuwe, supersnelle robot (Kimi-K3) werd uitgebracht, testten de onderzoekers deze onmiddellijk. Hoewel deze nieuwe robot van nature goedkoper is om te draaien, zorgden dezelfde slechte instructies (zoals "probeer meerdere benaderingen") ervoor dat hij 15 keer meer geld verspilde dan normaal. De les? Hoe slim of goedkoop de robot ook is, slechte instructies zullen altijd zorgen voor overbesteding.
De Kernboodschap
Dit paper bewijst dat hoe je een vraag stelt bepaalt hoeveel het kost, zelfs als het antwoord hetzelfde is.
- Vertel de robot niet om "veel benaderingen te proberen" of "diep na te denken", tenzij je dat ook echt nodig hebt.
- Geef hem wel duidelijke grenzen en een stopvoorwaarde.
- Onthoud dat de software die de robot beheert, je misschien meer kan kosten dan de robot zelf.
De onderzoekers hebben al hun data, code en testrecepten openbaar gemaakt. Ze willen dat iedereen weet dat in de wereld van AI-agents, minder "denk-theater" en duidelijkere instructies de beste manier zijn om geld te besparen en de klus te klaren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.