💬 NLP

Agentic Uncertainty Quantification

Dit artikel stelt een trainingsvrij Dual-Process Agentic Uncertainty Quantification (AUQ) framework voor dat verbaal geuite onzekerheid transformeert naar actieve controlesignalen via een Uncertainty-Aware Memory and Reflection systeem om foutpropagatie te voorkomen en efficiënte uitvoering dynamisch af te stemmen op gerichte deliberatie.

Oorspronkelijke auteurs: Jiaxin Zhang, Prafulla Kumar Choubey, Kung-Hsiang Huang, Caiming Xiong, Chien-Sheng Wu

Gepubliceerd 2026-01-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaxin Zhang, Prafulla Kumar Choubey, Kung-Hsiang Huang, Caiming Xiong, Chien-Sheng Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Hallucinatie-spiraal"

Stel je een AI-agent voor als een gids die een groep leidt door een complexe, onbekende stad (een langdurige redeneertaak).

Soms maakt de gids vroegtijdig een kleine fout — misschien leest hij een verkeerd straatnaambordje of vergeet hij waar het noorden is. In een normaal gesprek zou dit slechts een grappige verspreking zijn. Maar in een lange, meerstaps taak is dit gevaarlijk. Omdat de gids op basis van die verkeerde richting blijft doorlopen, leidt hij de hele groep dieper een doodlopende weg in. Hij begint zelfs redenen te verzinnen waarom hij juist deze kant op moet gaan om de fout te rechtvaardigen.

Het paper noemt dit de "Spiraal van Hallucinatie". Eén kleine fout sneeuwt dicht en de AI wordt zo overtuigd van zijn foute pad dat hij niet eens doorheeft dat hij verdwaald is totdat het te laat is.

De Oude Manieren: Waarom Ze Niet Werkten

Voordat dit paper verscheen, probeerden onderzoekers twee hoofdwegen om dit op te lossen, maar beide hadden gebreken:

De "Passieve Sensor" (Uncertainty Quantification): Dit is als het "Check Engine"-lampje in een auto. Het vertelt je dat er iets mis is, maar het stopt de auto niet echt of repareert de motor. De AI weet dat hij onzeker is, maar rijdt gewoon door.
De "Blinde Reflector" (Self-Reflection): Dit is als een bestuurder die elke 10 seconden stopt om te vragen: "Rijd ik wel correct?", zelfs als de weg vrij is. Dit verspilt tijd en energie. Bovendien, als de bestuurder al in de war is, kan hij zichzelf ervan overtuigen dat hij gelijk heeft ("Ik weet zeker dat dit de juiste afslag is!") en zo cirkels blijven rijden.

De Nieuwe Oplossing: Het "Dual-Process" Framework (AUQ)

De auteurs stellen een nieuw systeem voor genaamd AUQ (Agentic Uncertainty Quantification). Ze lenen een idee uit de psychologie (Daniel Kahneman's Thinking, Fast and Slow) en splitsen het brein van de AI op in twee verschillende modi die samenwerken als een Navigator en een Veiligheidsbeambte.

Systeem 1: De "Geheugenversterkte Intuïtie" (Het Snelle Pad)

De Analogie: Stel je een wandelaar voor die een logboek bij zich draagt. Elke keer dat hij een stap zet, schrijft hij niet alleen op waar hij heen ging, maar ook hoe zeker hij was van die stap en waarom hij dat zo voelde.
Hoe het werkt: In plaats van alleen te onthouden "Ik ging linksaf", onthoudt de AI: "Ik ging linksaf, maar ik was slechts 60% zeker omdat de kaart wazig was."
De Magie: Omdat de AI zijn eigen logboek blijft lezen, wordt hij van nature voorzichtiger als hij een patroon van "lage vertrouwens"-items ziet. Hij hoeft niet te worden verteld dat hij moet stoppen; het geheugen van zijn eigen twijfel werkt als een zachte rem, wat voorkomt dat hij blindelings in een foutheid stort.

Systeem 2: De "Gerichte Reflectie" (Het Langzame Pad)

De Analogie: Dit is de Veiligheidsbeambte die pas ingrijpt wanneer het logboek van de wandelaar een kritiek probleem aangeeft.
Hoe het werkt: Als het betrouwbaarheidsscore van de AI onder een bepaalde lijn zakt (bijv. "Ik ben minder dan 80% zeker"), komt de Veiligheidsbeambte in actie. Maar hier is de sleutel: de Beambte zegt niet alleen "Probeer het opnieuw". De Beambte kijkt naar de specifieke notitie die de wandelaar schreef ("Ik ben onzeker omdat de kaart wazig is") en zegt: "Oké, laten we een betere kaart vinden of een lokale bewoner vragen."
Het Resultaat: De AI stopt, denkt diep na en genereert een paar verschillende opties. Hij kiest de optie die het meeste zin heeft en het meest zelfvertrouwen geeft. Pas daarna gaat hij verder.

Waarom Dit Een Groot Ding Is

Het paper testte dit systeem op drie zeer verschillende soorten "steden":

ALFWorld: Een virtueel huis waar de AI objecten moet verplaatsen (zoals een videogame).
WebShop: Een gesimuleerde webshop waar de AI specifieke producten moet vinden met lastige beschrijvingen.
Deep Research: Een taak waarbij de AI een gedetailleerd, PhD-niveau onderzoekspaper moet schrijven over een complex onderwerp.

De Resultaten:

Minder Fouten: De AI maakte minder fouten omdat hij zijn eigen twijfels vroegtijdig oppikte.
Betere Efficiëntie: De AI verspilde geen tijd aan reflecteren bij eenvoudige stappen. Hij vertraagde alleen wanneer hij daadwerkelijk in de war was.
Zelfbewustzijn: De AI werd veel beter in weten wanneer hij iets wist en wanneer hij dat niet wist. Hij stopte met het doen alsof hij een expert was wanneer hij eigenlijk aan het gokken was.

De Kernboodschap

Het paper betoogt dat voor AI werkelijk betrouwbaar te zijn, het niet alleen "slim" moet zijn, maar ook zelfbewust. Door "onzekerheid" te veranderen van een passief gevoel naar een actief controlesignaal (zoals een rempedaal of een schakelaar), kan de AI een balans vinden tussen snelheid en veiligheid. Het handelt snel wanneer het zeker is, en stopt om diep na te denken wanneer dat niet het geval is, waardoor de "Spiraal van Hallucinatie" wordt voorkomen voordat het de hele reis verpest.

Belangrijke Opmerking: Het paper stelt expliciet dat dit een training-vrije aanpak is. Ze hebben de AI niet opnieuw geleerd hoe hij moet denken; ze hebben hem alleen een betere manier gegeven om zijn bestaande brein te gebruiken door te veranderen hoe hij tegen zichzelf praat en zijn twijfels onthoudt.

Technische Samenvatting: Agentic Uncertainty Quantification (AUQ)

1. Probleemstelling

Autonome AI-agenten hebben indrukwekkende capaciteiten getoond in langdurige redeneringen en het gebruik van tools. Hun betrouwbaarheid wordt echter ernstig aangetast door de "Spiraal van Hallucinatie", een fenomeen waarbij kleine epistemische fouten in de vroege redeneerstappen onomkeerbaar door het contextvenster voortplanten, wat de daaropvolgende planning richting falen bevoordeelt. Dit wordt verergerd door de "Vloek van Recursie", waarbij agenten opereren in dynamische omgevingen zonder grondwaarheid (ground-truth labels), wat het moeilijk maakt om onderscheid te maken tussen correcte en incorrecte paden.

Bestaande benaderingen kampen met een kritiek dilemma:

Passieve Onzekerheidskwantificering (UQ): Huidige UQ-methoden fungeren als sensoren die risico's diagnosticeren (bijv. via betrouwbaarheidsscores), maar missen mechanismen om deze actief op te lossen.
Blinde Zelfreflectie: Bestaande reflectiemechanismen triggeren vaak incessant of doelloos correcties zonder toegang tot de grondwaarheid, wat leidt tot computationele inefficiëntie of het "sycophancy-effect", waarbij modellen rechtvaardigingen voor hun fouten hallucineren.

De kernuitdaging is het overbruggen van de kloof tussen het detecteren van onzekerheid en het handelen naar aanleiding daarvan om foutpropagatie te voorkomen, terwijl de executie-efficiëntie behouden blijft.

2. Methodologie: Dual-Process Agentic UQ (AUQ)

De auteurs stellen een verenigd, training-vrij framework voor genaamd Dual-Process Agentic UQ (AUQ). Dit framework transformeert verbaalde onzekerheid in actieve, bidirectionele controlesignalen, waarbij het gedrag van de agent wordt ontkoppeld in twee complementaire mechanismen geïnspireerd door de dual-process theorie van cognitie (Systeem 1 en Systeem 2).

Systeem 1: Uncertainty-Aware Memory (UAM) – Forward Propagation

Systeem 1 dient als het "Snelle Pad", ontworpen om Cognitieve Continuïteit te handhaven en blind besluitvormingsgedrag te voorkomen.

Mechanisme: In plaats van te vertrouwen op opaak logit-waarschijnlijkheid, wordt de agent geprompt om een verbaalde betrouwbaarheidsscore ( $\hat{c}_t \in [0, 1]$ ) en een semantische verklaring ( $\hat{e}_t$ ) te genereren naast zijn actie.
Geheugenstructuur: De agent onderhoudt een Uncertainty-Aware Memory ( $M_t$ ) die expliciet de tuple $(o_i, a_i, \hat{c}_i, \hat{e}_i)$ bijhoudt voor elke stap, in plaats van alleen observaties en acties.
Functie: Door $\hat{e}_i$ (de verklaring van de onzekerheid) in het contextvenster te behouden, onderdrukt het aandachtmechanisme van de Transformer op natuurlijke wijze overmatige zelfverzekerdheid. Dit creëert een "Zachte Cognitieve Beperking" die onzekerheid voorwaarts voortplant, waardoor de agent wordt aangemoedigd om te verschuiven van exploitatie (hoge-commitment acties) naar exploratie (informatieverzameling) wanneer eerdere stappen onzeker waren.

Systeem 2: Uncertainty-Aware Reflection (UAR) – Inverse Calibration

Systeem 2 fungeert als het "Trage Pad", dat alleen wordt geactiveerd wanneer dat nodig is om Inverse Onzekerheidskalibratie uit te voeren.

Triggerconditie: Systeem 2 wordt geactiveerd wanneer de zelf-geëvalueerde betrouwbaarheid van de agent $\hat{c}_t$ onder een betrouwbaarheidsdrempel $\tau$ valt (typisch $0,8$ tot $0,95$).
Rationale Cue: De verbaalde verklaring $\hat{e}_t$ van Systeem 1 dient als een specifieke diagnostische beperking. De reflectieprompt instrueert het model expliciet om "de zorgen aan te pakken die worden genoemd in: $\hat{e}_t$ ."
Consistentie-Gewogen Selectie: De agent genereert $N$ parallelle reflectietrajecten (Best-of-N). In plaats van alleen de hoogste betrouwbaarheid te selecteren, berekent het een Consistentie-Gewogen Score ( $S_{cons}$ ) die antwoorden beloont die zowel een hoge betrouwbaarheid als een semantische consistentie over de samples vertonen.
Adaptieve Geheugenexpansie: Als reflectie er niet in slaagt de onzekerheid op te lossen (score blijft onder $\tau$ ), triggert de agent een Context Retrieval operatie, waarbij de volledige historie ( $M_{full}$ ) wordt geladen om opnieuw te evalueren, zodat kostbare long-context verwerking alleen wordt gebruikt wanneer lokale redenering faalt.

Het Dual-Process Beleid

Het framework integreert deze systemen via een schakelfunctie $S(h_t)$ .

Als $\hat{c}_t \ge \tau$ : Voert de agent de Systeem 1 actie direct uit (minimale kosten).
Als $\hat{c}_t < \tau$ : Activeert de agent de Systeem 2 loop, verwerpt het initiële voorstel en voert de gecorrigeerde actie uit. De opgeloste onzekerheid wordt vervolgens teruggeschreven naar het geheugen, waardoor de correctie naar toekomstige stappen wordt gepropageerd.

3. Belangrijkste Bijdragen

Formele Ontkoppeling van Agentic UQ: Het artikel kadert de betrouwbaarheid van agenten als twee complementaire wiskundige problemen: Forward Uncertainty Propagation (het voorkomen dat fouten verstevigen in de historie) en Inverse Uncertainty Calibration (het gebruiken van inference-time compute om afwijkingen te corrigeren). Dit is het eerste werk dat agentbetrouwbaarheid bekijkt vanuit deze specifieke dual-process lens.
Nieuw Dual-Process Architectuur: De introductie van UAM (Systeem 1) en UAR (Systeem 2) creëert een training-vrij framework dat efficiënte executie dynamisch balanceert met diepe deliberatie. Het introduceert een traject-niveau evaluatiemetriek die is afgestemd op langdurige betrouwbaarheid.
Empirische Validatie: Het framework wordt gevalideerd over diverse domeinen:
- ALFWorld: Belichaamde besluitvorming.
- WebShop: Ruisende webnavigatie.
- DeepResearch Bench: Open-ended, PhD-niveau onderzoekstaken.

4. Experimentele Resultaten

De auteurs rapporteren uitgebreide experimenten waarbij AUQ wordt vergeleken met baselines zoals ReAct, Reflexion, Self-Reflection en CoT-SC over diverse LLM's (waaronder GPT-4o, GPT-5.1, Gemini-2.5-Pro, Qwen3 en DeepSeek-V3.1).

Kalibratie: AUQ bereikt superieure Trajectory-ECE (T-ECE) en Brier Scores. Specifiek dempt het Forward (UAM) component effectief overmatige zelfverzekerdheid, terwijl het Inverse (UAR) component onzekerheid oplost, wat leidt tot een betere kalibratie dan beide componenten afzonderlijk.
Prestaties:
- ALFWorld: AUQ behaalde een succespercentage van 74,3%, waarmee het de beste baseline (CoT-SC op 69,5%) en ReAct (63,6%) verslaat.
- WebShop: AUQ behaalde een succespercentage van 42,9%, aanzienlijk hoger dan de baselines.
- DeepResearch: AUQ behaalde een state-of-the-art Overall Score van 52,09 op de RACE rubric, waarmee het sterke closed-source baselines (bijv. Gemini-2.5-Pro op 49,71) en open-source concurrenten verslaat.
Efficiëntie: Ondanks de overhead van reflectie vertoont AUQ een superieure Pareto-efficiëntie. Door lage betrouwbaarheid vroegtijdig te detecteren, voorkomt het de agent van het verspillen van tokens aan lange, vruchteloze hallucinatie-loops die gebruikelijk zijn bij ReAct. De "Kosten per Succes" is lager voor AUQ.
Robuustheid: AUQ vertoont een superieure weerstand tegen "vergeten" in beperkte geheugenvensters vergeleken met ReAct, aangezien de opgeslagen onzekerheid-metadata ( $\hat{c}, \hat{e}$ ) de risicostaten inkapselt, zelfs wanneer de oorspronkelijke observatielog wordt afgekapt.

5. Betekenis en Claims

Het artikel stelt dat AUQ een belangrijke stap is naar betrouwbare agenten door onzekerheid te transformeren van een passieve indicator naar een actief controlesignaal.

Geprincipeerd Framework: De auteurs beweren dat dit het eerste werk is dat agentbetrouwbaarheid formeel ontkoppelt in forward propagation en inverse kalibratie, waarmee het verder gaat dan post-hoc diagnose naar runtime preventie.
Training-Vrij: De aanpak vereist geen fine-tuning of parameterupdates, waardoor het toepasbaar is op een breed scala aan frontier-modellen (inclusief black-box API's) door gebruik te maken van verbaalde betrouwbaarheid.
Dynamische Resource Allocatie: Het framework implementeert succesvol "Adaptive Risk Budgeting", waarbij dure reflectieve compute alleen wordt toegewezen aan stappen met een hoge onzekerheid, waardoor de kloof tussen passieve UQ en actieve agentic controle wordt overbrugd.

De auteurs erkennen beperkingen en merken op dat het framework afhankelijk is van het vermogen van het onderliggende LLM om onzekerheid uit te drukken (wat afneemt bij kleinere modellen) en dat het extra inference-latentie introduceert, hoewel zij aanvoeren dat dit wordt gecompenseerd door het voorkomen van verspilde falen-loops. Zij benadrukken dat hoewel AUQ de kalibratie verbetert, menselijk toezicht essentieel blijft voor domeinen met een hoog risico.