💬 NLP

Ask Early, Ask Late, Ask Right: When Does Clarification Timing Matter for Long-Horizon Agents?

Dit artikel introduceert een geforceerde-injectieframework om aan te tonen dat het optimale moment voor verduidelijking door AI-agenten taakafhankelijk is—specifiek moet doelverduidelijking plaatsvinden binnen de eerste 10% van de uitvoering, terwijl invoerverduidelijking waardevol blijft tot 50%—waarmee wordt blootgelegd dat huidige frontlijnmodellen falen in het stellen van vragen binnen deze empirisch bepaalde kritieke vensters.

Oorspronkelijke auteurs: Anmol Gulati, Hariom Gupta, Elias Lumer, Sahil Sen, Vamse Kumar Subbiah

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anmol Gulati, Hariom Gupta, Elias Lumer, Sahil Sen, Vamse Kumar Subbiah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent inhuurt om een complex huis voor je te bouwen. Je geeft hem een lijst met instructies, maar je laat per ongeluk een paar cruciale details weg.

De grote vraag die dit artikel stelt is: Wanneer moet de robot stoppen en om verduidelijking vragen?

Moet hij direct vragen voordat de eerste steen wordt gelegd? Moet hij wachten tot het dak halfhoog is? Of moet hij gewoon gokken en hopen op het beste?

De auteurs van dit artikel hebben dit getest door meer dan 6.000 experimenten te runnen met verschillende AI-modellen. Ze hebben niet gewacht tot de robots het zelf uitvonden; in plaats daarvan speelden ze "God" en dwongen ze de ontbrekende informatie op specifieke momenten tijdens het bouwproces te verschijnen om te zien hoeveel dat hielp.

Hier is wat ze ontdekten, simpel uitgelegd:

1. Het "Wat" is belangrijker dan het "Wanneer"

De meest verrassende ontdekking is dat er geen enkel "beste moment" is om een vraag te stellen. Het hangt volledig af van welke informatie ontbreekt. Denk eraan als verschillende soorten bouwfouten:

Het "Doel" (Wat bouwen we?): Dit is het meest cruciale stukje informatie.
- De Analogie: Stel je voor dat de robot een garage begint te bouwen omdat je dit niet hebt gespecificeerd, terwijl je eigenlijk een zwembad wilde.
- De Bevinding: Als de robot vraagt over het doel nadat hij al 10% van de fundering heeft gelegd, is het te laat. De schade is aangericht. De waarde van het vragen daalt direct tot bijna nul. Je moet het doel direct aan het begin verduidelijken.
De "Invoer" (Welke materialen hebben we?): Dit gaat over data of middelen.
- De Analogie: Stel je voor dat de robot begint met bouwen, maar je bent vergeten te vertellen of hij rode bakstenen of blauwe bakstenen moet gebruiken.
- De Bevinding: De robot kan een tijdje doorgaan, misschien zelfs de helft van de muren bouwen, voordat hij beseft dat hij de kleur moet weten. Verduidelijking hier is nog steeds zeer nuttig tot het 50%-punt van het project.
De "Beperkingen" (Welke regels moeten we volgen?):
- De Analogie: Stel je voor dat de robot een prachtig huis bouwt, maar je bent vergeten te vertellen dat geen enkel raam hoger dan 1,5 meter mag zijn.
- De Bevinding: Als de robot het hele huis bouwt en je vertelt hem dan de regel, moet hij misschien alles weer afbreken. Als je hem de regel halverwege vertelt, kan hij soms aanpassen, al is dat rommelig.

2. Het "Punt van Geen Terugkeer"

Het artikel vond dat voor "Doel"-vragen er een zeer smal venster is. Als je wacht tot de robot 10% klaar is, is het vragen "Wacht, wat bouwen we?" nutteloos. De robot heeft zich al vastgelegd op een pad, en het nu veranderen is te duur (in termen van verspilde tijd en moeite).

Voor "Invoer"-vragen is het venster breder. De robot kan een tijdje zelf verkennen en dingen uitzoeken, dus je hebt tot het halveringspunt de tijd om in te grijpen.

3. De Robots zijn Slecht in Timing

De onderzoekers keken ook hoe deze AI-robots zich gedragen wanneer ze vragen mogen stellen op een natuurlijke manier (zonder dat de onderzoekers de antwoorden forceren).

De Overvragers: Eén model (GPT-5.2) stelde constant vragen, maar vaak te laat. Het was als een bouwer die blijft vragen "Wat is de kleur van de verf?" nadat de muren al droog zijn.
De Ondervragers: Een ander model (Gemini) vroeg bijna nooit vragen, zelfs niet wanneer het duidelijk in de war was. Het bleef gewoon gokken.
De Realiteitscheck: Geen van de huidige top-robots weet op natuurlijke wijze het "ideale moment" om te vragen. Ze vragen óf te laat (wanneer het doel al vaststaat) óf helemaal niet.

4. De Kosten van Wachten

Het artikel mat "verspilde rekentijd", wat in feite de hoeveelheid werk is die de robot doet en die nutteloos blijkt omdat het gebaseerd was op een verkeerde gok.

Vroege Verduidelijking: Zeer weinig verspild werk.
Late Verduidelijking: Veel verspild werk. Hoe langer je wacht om het "Doel" te verduidelijken, hoe meer de robot het verkeerde ding bouwt en hoe meer tijd weggegooid wordt.

De Conclusie

Het artikel concludeert dat timing alles is, maar het hangt af van het onderwerp.

Als je twijfelt over het Doel, maak dan in de eerste paar seconden duidelijk wat je bedoelt.
Als je twijfelt over de Data, heb je iets meer tijd (tot halverwege).
Als je twijfelt over Regels, is het het beste om ze te zeggen voordat de robot begint, maar beter laat dan nooit.

Momenteel zijn AI-agenten slecht in het weten wanneer ze zich moeten melden. Ze moeten leren de juiste vragen op het juiste moment te stellen, anders blijven ze tijd verspillen met het bouwen van het verkeerde huis.

Technische Samenvatting: Vraag Vroeg, Vraag Laat, Vraag Goed

Probleemstelling

AI-agenten met een lange horizon voeren complexe workflows uit die honderden sequentiële acties omvatten. Wanneer gebruikersinstructies onvoldoende gespecificeerd zijn, staan agenten voor een kritieke beslissing: doorgaan onder onzekerheid of pauzeren om verduidelijking te vragen. Hoewel recente benchmarks bevestigen dat onvoldoende specificatie de prestaties verslechtert en dat verduidelijkingskanalen een gedeeltelijk herstel mogelijk maken, behandelt bestaand onderzoek verduidelijking als een binair vermogen (kan/kan niet vragen) in plaats van een temporair aspect.

Er ontbreekt empirisch inzicht over wanneer verduidelijking het meest waardevol is. Klassieke theorie over de waarde van informatie (VOI) en HCI-onderzoek naar onderbrekingen suggereren dat het voordeel van verduidelijking varieert afhankelijk van het tijdstip van de interventie. Echter, tot nu toe heeft geen enkel onderzoek gemeten hoe de waarde van verduidelijking verandert gedurende het uitvoeringstraject van een agent. Het kernprobleem dat wordt aangepakt, is het ontbreken van kwantitatieve vraagcurves voor het moment van verduidelijking over verschillende informatiedimensies (doel, invoer, beperking, context) en het gebrek aan bewijs of huidige frontlijnmodellen van nature vragen binnen empirisch optimale vensters.

Methodologie

De auteurs introduceren een forced-injection framework om het pure tijds-effect van verduidelijking te isoleren, onafhankelijk van het vermogen van een agent om ambiguïteit te detecteren.

Experimentele Opzet

Datasets: De studie maakt gebruik van 84 onvoldoende gespecificeerde taakvarianten afkomstig uit de LHAW-benchmark, die zich uitstrekken over drie verschillende agent-benchmarks:
- MCP-Atlas: Competentie in het gebruik van tools (36 varianten, 6–20 acties).
- TheAgentCompany: Enterprise-workflows (30 varianten, 6–49 acties).
- SWE-Bench Pro: Code-reparatietaken (18 varianten, 1–121 acties).
Modellen: Vier frontlijnmodellen werden geëvalueerd (GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash en DeepSeek V3.2 uitsluitend op MCP-Atlas), wat resulteerde in meer dan 6.000 experimentele runs.
Forced-Injection Protocol:
- Taken werden aangepast om specifieke informatiesegmenten (grondwahrheid) te verwijderen.
- Verduidelijkingen werden geïntroduceerd op gecontroleerde punten langs het traject: 10%, 30%, 50%, 70% en 90% van het door de orakel gekalibreerde actiebudget.
- De ask_user-tool werd tijdens deze runs uitgeschakeld om ervoor te zorgen dat verduidelijking uitsluitend via injectie arriveerde.
- Prestaties werden gemeten met Pass@3 (de waarschijnlijkheid van ten minste één succes in drie trials).
Natural Ask Protocol: Een aanvullende studie van 300 ongescripte sessies op TheAgentCompany-taken maakte de ask_user-tool mogelijk om natuurlijk verduidelijkingsgedrag te observeren, waarbij vraagfrequentie en het tijdstip van de eerste vraag werden geregistreerd.
Metrieken:
- Pass@3: Primaire succesmetriek.
- Verspilde Rekenkracht: Het aandeel pre-injectie-acties dat afwezig is in de orakel- (volledig gespecificeerde) trace, dienend als bovengrens voor verwerpelijk werk.
- Punt van Geen Terugkeer: Het laatste injectietijdstip waarbij de prestaties significant boven de baseline zonder verduidelijking uitkomen.
- Cross-Model Consistentie: Kendall's $\tau$ rangcorrelatie om te bepalen of tijds-effecten inherent zijn aan de taken of afhankelijk van het model.

Belangrijkste Bijdragen

Dimensie-afhankelijke Timingprofielen: De studie stelt vast dat de waarde van verduidelijking niet uniform "eerder is beter" is, maar sterk afhankelijk is van de informatiedimensie:
- Doelverduidelijking: Sterk vooraan geladen. De waarde daalt scherp na 10% van de uitvoering. Bij MCP-Atlas daalt Pass@3 van 0,78 (bij 10%) naar 0,39 (bij 70%), waarbij het effectief alle voordeel ten opzichte van de baseline verliest.
- Invoerverduidelijking: Toont een geleidelijke daling. De waarde blijft behouden tot ongeveer 50% van het traject, aangezien agenten invoer deels kunnen afleiden via verkenning van de omgeving.
- Beperkingsverduidelijking: Het voordeel hangt af van het bestaan van een orakelkloof. In gevallen met een kloof neemt de waarde af met vertraging, maar daalt deze zelden onder de baseline zonder verduidelijking (wat suggereert dat late beperkingsinformatie nog steeds beter is dan niets, maar minder effectief dan vroeg).
- Contextverduidelijking: Het bewijs is gemengd door beperkte steekproefgroottes, maar vroege injectie toont sterke potentiële voordelen.
Kwantificering van de "Vraag"-kloof: De studie kwantificeert de misalignering tussen het huidige modelgedrag en empirisch optimale vensters.
- GPT-5.2: Vraagt te veel (52% vraagfrequentie) maar vraagt te laat voor doeltaken (gemiddeld tijdstip 43%, ruim voorbij het optimale venster van 10%).
- Claude Sonnet 4.5: Vraagt selectief (23% frequentie) op een gemiddeld tijdstip van 50%, wat suboptimaal is voor doelen maar redelijk voor invoer.
- Gemini 3 Flash: Vraagt nooit (0% frequentie), waardoor alle potentiële voordelen van verduidelijking worden gemist.
- Cruciaal: geen enkel huidig frontlijnmodel vraagt van nature binnen het empirisch optimale venster voor enige dimensie.
Taak-intrinsieke Tijds-effecten: Cross-model correlaties (Kendall's $\tau$ variërend van 0,78 tot 0,87 voor modellen die taakdekking delen) bevestigen dat deze timingprofielen grotendeels inherent zijn aan de taken zelf, en niet artefacten van specifieke modelarchitecturen.
Kosten van Vertraging: De studie biedt een kwantitatieve maatstaf voor "verspilde rekenkracht", waarbij blijkt dat verspild werk gestaag groeit met injectievertraging. Bijvoorbeeld, bij TheAgentCompany stijgt verspilde rekenkracht van 0% bij 10% injectie naar 21,7% bij 90% injectie.

Samenvatting Resultaten

Doelinformatie: Heeft een smal vroeg venster ( $\le$ 10%). Het uitstellen van verduidelijking voorbij dit punt resulteert in prestaties die niet te onderscheiden zijn van het nooit vragen.
Invoerinformatie: Blijft herstelbaar tot ongeveer 50% van het traject.
Beperkingsinformatie: Late injectie kan verstorend zijn als het vereist dat reeds ondernomen acties die in strijd zijn met de beperking, worden verzoend, hoewel het over het algemeen boven de baseline zonder verduidelijking blijft.
Geen Scherp Drempel: Het "punt van geen terugkeer" is over het algemeen continu in plaats van een scherpe afkap, behalve bij uitkomst-kritieke doel- en beperkingsvarianten waarbij een significant herstelpunt werd gedetecteerd bij 30% van het traject.
Modelgedrag: Huidige modellen vertonen strategieën variërend van overvragen (inefficiënt) tot nooit vragen, en slagen er niet in om zich aan te passen aan de vraagcurves die zijn afgeleid uit de forced-injection experimenten.

Betekenis en Beweringen

Het artikel claimt de eerste empirische VOI-curves voor verduidelijkingstijdstip te leveren in workflows van agenten met een lange horizon. De betekenis hiervan ligt in:

Fundamentele Data: Het leveren van de kwantitatieve "vraagcurves" die bestaande theoretische kaders (bijv. theorie van de waarde van informatie, metareasoning) vereisen maar eerder misten.
Ontwerpdoelen: Het vaststellen van concrete ontwerpdoelen voor timing-bewuste verduidelijkingbeleid, met name agenten adviseren om doelen te valideren binnen de eerste paar acties en invoervragen slechts iets langer uit te stellen (binnen het eerste half van het traject).
Methodologische Generalisatie: De forced-injection-methodologie wordt gepresenteerd als een generaliseerbare aanpak voor elke agent-benchmark met onvoldoende gespecificeerde taken om de temporale waarde van informatie te meten.

De auteurs merken bescheiden op dat deze studie de vraagzijde aanpakt (hoeveel prestaties profiteren van informatie op specifieke tijdstippen), maar de aanbodzijde niet oplost (hoe agenten ambiguïteit kunnen herkennen en op het juiste moment vragen). Zij positioneren hun werk als de noodzakelijke empirische basis voor het bouwen van de volgende generatie timing-bewuste agenten.