Technische Samenvatting: Onzekerheidsdecompositie voor Verhelderingszoeken in LLM-agenten

1. Probleemstelling

Interactieve Large Language Model (LLM) agenten opereren onder partiële observeerbaarheid, waarbij ze ondergespecificeerde natuurlijke taalinstructies ontvangen en door ruisgevoelige omgevingen navigeren. Kleine fouten in vroege redeneerstappen kunnen voortplanten, wat leidt tot zelfverzekerd onjuiste uitkomsten. Hoewel onzekerheidsschatting een standaard mitigatietool is, wordt betoogd dat bestaande kaders (specifiek de aleatorische/epistemische dichotomie) onvoldoende zijn voor interactieve agenten. Kirchhof et al. [13] en Kim et al. [14] stellen dat agenten behoefte hebben aan ondergespecificeerdingsbewuste onzekerheidsrepresentaties die zijn gedecomposed naar bron en communiceerbaar zijn naar gebruikers om proactieve capaciteiten zoals verhelderingszoeken (clarification seeking) mogelijk te maken.

Bovendien maken praktische implementatiebeperkingen — zoals black-box API-toegang, strikte latentiebudgetten en de afwezigheid van gelabelde trainingstrajecten — logprob-gebaseerde, multi-sampling en op training gebaseerde onzekerheidsmethoden onhaalbaar. Dit laat prompt-gebaseerde methoden (waarbij de agent onzekerheid als gestructureerde tekst uitgeeft) over als de enige levensvatbare benadering voor real-world deployment. Echter, bestaande prompt-gebaseerde methoden geven doorgaans een enkele scalaire betrouwbaarheidsscore uit, waardoor twee distincte bronnen van onzekerheid worden samengevoegd:

1. Taakmoeilijkheid: De actie is moeilijk uit te voeren (bijv. kiezen uit veel vergelijkbare producten).
2. Doelambiguïteit: De aanvraag van de gebruiker is ondergespecificeerd (bijv. "zoek een shirt" zonder kleur/maat).

Het samenvoegen van deze signalen verhindert dat de agent onderscheid kan maken tussen "voorzichtig voortgaan" en "om verheldering vragen".

2. Methodologie

Voorgestelde Decompositie

Het papier stelt een prompt-gebaseerde decompositie voor die de enkele betrouwbaarheidsschaal scheidt in twee distincte signalen die bij elke stap $t$ worden uitgegeven:

• Actiebetrouwbaarheid ($c_t$): De betrouwbaarheid van de agent dat de gekozen actie leidt tot taakvoltooiing, gegeven het huidige begrip. Dit weerspiegelt de scalaire betrouwbaarheid gebruikt in baselines.
• Verzoekonzekerheid ($u_t$): Een schatting van of het doel van de gebruiker volledig gespecificeerd is, variërend van 0 (volledig gespecificeerd) tot 1 (kritieke details ontbreken). Dit is verankerd op een driepuntsschaal:
  • $0$: Precies één correcte interpretatie.
  • $0.5$: Ten minste één parameter is open/niet vermeld.
  • $1$: Kritieke details ontbreken; vele geldige interpretaties bestaan.

Verhelderingstrigger

De methode introduceert een deterministisch routeringsmechanisme. Als $u_t \geq \theta$ (waarbij $\theta = 0.5$ is bij standaardinstelling), krijgt de agent de instructie om de speciale actie request_clarification uit te geven in plaats van een taakactie. Dit creëert een directe link tussen de onzekerheidsschatting en een observeerbaar gedrag, waardoor het systeem geëvalueerd kan worden als een binaire classifier voor ondergespecificeerdheid.

Historische Propagatie

Volgens het Uncertainty-Aware Memory (UAM) framework [21] worden zowel de onzekerheidswaarden ($u_t, c_t$) als hun natuurlijke taalverklaringen toegevoegd aan de interactiegeschiedenis $H_t$. Dit stelt opeenvolgende stappen in staat om te redeneren over geaccumuleerde verzoek-niveau onzekerheid en actiebetrouwbaarheid.

Baselines

De voorgestelde methode wordt vergeleken met twee prompt-gebaseerde baselines:

1. ReAct+UE: Een standaard ReAct-agent met een prompt-suffix die vraagt om een enkele betrouwbaarheidsscore en uitleg. Deze behoudt de onzekerheid niet in de geschiedenis.
2. Uncertainty-Aware Memory (UAM): Vergelijkbaar met ReAct+UE, maar propageert de betrouwbaarheidsscore en uitleg door de geschiedenis, waardoor de agent kan redeneren over de onzekerheid uit het verleden.

Benchmarks

Om verhelderingszoeken te evalueren, hebben de auteurs twee verhelderings-geaugmenteerde benchmarks geconstrueerd waarbij 50% van de taken opzettelijk ondergespecificeerd is:

• WebShop-Clarification: Attributen (bijv. kleur, materiaal) en optieclausules zijn verwijderd uit de instructies.
• ALFWorld-Clarification: Objecten of receptakels zijn willekeurig verwijderd uit het doel (bijv. "doe iets in de container").
  In deze varianten, indien de agent correct verheldering aanvraagt bij een ondergespecificeerde taak, wordt het oorspronkelijke doel onthuld en gaat de episode verder, wat zorgt voor een eerlijke meting van het succespercentage.

De evaluatie omvat ook standaard benchmarks (WebShop, ALFWorld, REAL) voor foutdetectie (het voorspellen van trajectfalen) en taaksuccespercentage.

3. Belangrijkste Bijdragen

1. Vergelijkende Analyse: Een systematische studie die aantoont dat praktische beperkingen prompt-gebaseerde methoden als de enige levensvatbare familie voor onzekerheid in black-box LLM-agenten overlaten, wat motiveert voor een diepere studie naar hun capaciteiten voor proactief gedrag.
2. Nieuwe Benchmarks: De introductie van WebShop-Clarification en ALFWorld-Clarification, die het mogelijk maken om verhelderingszoeken te evalueren als een binaire classificatietaak.
3. Decompositie Methode: Een louter prompt-gebaseerde methode die actiebetrouwbaarheid scheidt van verzoekonzekerheid, wat proactieve verheldering mogelijk maakt zonder training of modeltoegang.
4. Empirische Evaluatie: Een uitgebreide evaluatie over vijf LLM-backbones (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B) op zowel verhelderingszoekende als foutdetectietaken.

4. Resultaten

Verhelderingszoeken

De voorgestelde decompositie presteert significant beter dan de baselines in het identificeren van ondergespecificeerde taken:

• ALFWorld-Clarification: De voorgestelde methode verbetert de verhelderings-F1 met 73% ten opzichte van ReAct+UE en met 36% ten opzichte van UAM wanneer gemiddeld over de vijf backbones.
• WebShop-Clarification: De voorgestelde methode voert de lijst aan qua verhelderings-F1 op elke backbone.
• Generalisatie: De winst generaliseert naar verschillende modelfamilies, wat aangeeft dat de decompositie niet specifief is voor een enkele LLM-architectuur.

Foutdetectie

De decompositie offert het vermogen om fouten te detecteren (het voorspellen van trajectfalen) niet op:

• Over alle backbones en benchmarks heen bereikt de voorgestelde methode ROC-AUC scores voor foutdetectie die vergelijkbaar zijn met ReAct+UE en UAM.
• Op WebShop en REAL behaalt de voorgestelde methode de hoogste ROC-AUC voor last-step en gemiddelde aggregaties.

Taaksuccespercentage en Kalibratie

• Capaciteitsdilutie: Er werd een monotone daling in het taaksuccespercentage waargenomen naarmate de onzekerheidsinstrumentatie toenam: ReAct+UE (28.6%) > UAM (27.8%) > Voorgestelde methode (27.0%). De auteurs schrijven dit toe aan "capaciteitsdilutie", waarbij het vaste redeneerbudget wordt verdeeld tussen taakoplossing en meerdere onzekerheidsbeoordelingen.
• Overconfidence: Betrouwbaarheidsdiagrammen tonen systematische overconfidence aan bij alle methoden; voorspelde betrouwbaarheid overtreft consistent de geobserveerde succespercentages (ECE varieert van 0.24 tot 0.66).
• Aggregatiesensitiviteit: De keuze voor traject-niveau aggregatie (bijv. product, gemiddelde, last-step) heeft een significante impact op de foutdetectiescores. Opvallend genoeg fungeert product-aggregatie op ALFWorld eerder als een proxy voor de trajectlengte dan als een echt betrouwbaarheidssignaal, aangezien gefaalde trajecten systematisch langer zijn.

5. Betekenis en Claims

Het paper claimt dat de voorgestelde decompositie succesvol het concept van "ondergespecificeerdingsonzekerheid" operationaliseert als een aparte categorie, waarmee wordt ingegaan op de oproepen van Kirchhof et al. [13] en Kim et al. [14]. Door een toegewezen kanaal voor doelambiguïteit te bieden, kan de agent proactief verheldering zoeken in plaats van stilzwijgend te falen of voort te gaan met willekeurige interpretaties.

De auteurs zijn echter bescheiden over de beperkingen van het prompt-gebaseerde paradigma:

• Limieten van Prompt-gebaseerde Methoden: De waargenomen capaciteitsdilutie en systematische overconfidence zijn inherent aan de prompt-gebaseerde benadering, waarbij het model tegelijkertijd de taak moet oplossen en de eigen betrouwbaarheid moet beoordelen binnen een vast tokenbudget.
• Toekomstige Richting: Het paper betoogt dat de meest veelbelovende weg vooruit native onzekerheidsschatting is. In plaats van te prompten voor gedecomposeerde scores, zouden modellen getraind moeten worden (via RLHF, DPO of GRPO) om intern onderscheid te maken tussen taakmoeilijkheid en doelambiguïteit. Dit zou de noodzaak voor prompt-gebaseerde elicitatie elimineren, capaciteitsdilutie wegnemen en een gekalibreerde, natuurlijke taalcommunicatie van onzekerheid mogelijk maken.

Concluderend dient het werk als een proof of concept dat decompositie van onzekerheid nieuwe agent-capaciteiten mogelijk maakt, maar het stelt dat de volgende stap vereist dat deze mechanismen vanuit de prompt naar het model zelf worden verplaatst via alignment-training.