💬 NLP

ReDAct: Uncertainty-Aware Deferral for LLM Agents

Het paper introduceert ReDAct, een methode waarbij LLM-agenten beslissingen alleen aan een duur, betrouwbaar groot model doorgeven wanneer een goedkoop klein model onzekerheid vertoont, waardoor de kosten aanzienlijk dalen zonder in te leveren op de kwaliteit van de beslissingen.

Oorspronkelijke auteurs: Dzianis Piatrashyn, Nikita Kotelevskii, Kirill Grishchenkov, Nikita Glazkov, Ivan Nasonov, Ilya Makarov, Timothy Baldwin, Preslav Nakov, Roman Vashurin, Maxim Panov

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dzianis Piatrashyn, Nikita Kotelevskii, Kirill Grishchenkov, Nikita Glazkov, Ivan Nasonov, Ilya Makarov, Timothy Baldwin, Preslav Nakov, Roman Vashurin, Maxim Panov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

ReDAct: De Slimme Assistent die Weten wanneer hij Hulp moet Inroepen

Stel je voor dat je een zeer slimme, maar soms wat onzeker robot hebt die voor je boodschappen doet. Deze robot heeft twee "hersenen" (of eigenlijk twee AI-modellen) in zijn hoofd:

De Snelle, Goedkope Assistent: Dit is een klein, snel en goedkoop model. Het kan de meeste dingen heel goed, maar soms twijfelt het of maakt het een foutje. Omdat het goedkoop is, willen we dit model zo veel mogelijk gebruiken.
De Grote, Duurmeester: Dit is een enorme, superkrachtige AI. Deze maakt bijna nooit fouten, maar hij is ook ontzettend duur om te laten werken (alsof je een dure consultant per minuut betaalt).

Het Probleem: De "Hallucinatie" in een Kettingreactie
In een gewone tekstchat maakt een foutje van de kleine assistent niet veel uit; je zegt gewoon "nee, dat bedoel ik niet" en gaat verder. Maar in een interactieve wereld (zoals een videospelletje of een robot die in een huis werkt) is dat anders.

Stel je voor dat de robot in een huis moet zoeken naar een sleutel. Als hij per ongeluk de verkeerde deur opent, is die deur dichtgeklapt en kan hij niet terug. Die ene fout vernietigt de hele missie. Dit noemen we een kettingreactie van fouten: één kleine slip-up maakt de rest van de reis onmogelijk.

De Oplossing: ReDAct (Redeneren - Uitstellen - Handelen)
De auteurs van dit papier hebben een slimme truc bedacht, genaamd ReDAct. Het werkt als een slimme manager die weet wanneer hij de dure expert moet bellen.

Het proces ziet er zo uit:

Redeneren: De kleine, goedkope assistent kijkt naar de situatie en bedenkt een plan. "Ik ga naar de keuken."
Twijfel-check (De Uncertainty Check): Voordat hij iets doet, vraagt de manager aan de assistent: "Hoe zeker ben je?"
- De assistent kijkt naar zijn eigen "onzekerheidsmeter". Als hij zich 100% zeker voelt, zegt hij: "Ik ga het doen!" en voert hij de actie uit.
- Maar als de meter in het rood springt (bijvoorbeeld: "Ik heb een slecht gevoel over deze actie, wat als er lava is?"), zegt de manager: "Stop! Ik bel de grote expert."
Uitstellen (Deferral): De beslissing wordt dan overgedragen aan de dure, grote AI. Die denkt even na en geeft het definitieve, veilige commando.
Handelen: De actie wordt uitgevoerd.

Waarom is dit zo slim?
De onderzoekers hebben dit getest in complexe spelletjes (zoals ALFWorld, waar je huishoudelijke klusjes moet doen, en MiniGrid, een doolhof).

Het resultaat: Ze hebben ontdekt dat ze de dure AI maar in 15% van de gevallen nodig hebben.
De analogie: Stel je voor dat je een dure gids hebt voor een bergtocht. Je hoeft die gids niet bij elke stap te vragen "is deze steen veilig?". Je vraagt het alleen op de gevaarlijke, mistige plekken waar je zelf niet zeker bent. Op de makkelijke, zonnige paden loop je gewoon zelf.
De winst: Door alleen die 15% van de "gevaarlijke momenten" aan de dure expert te geven, halen ze bijna precies hetzelfde succespercentage als wanneer ze alleen de dure expert hadden gebruikt. Maar ze besparen hierdoor enorm veel geld (in dit geval: rekenkracht en kosten).

De Belangrijkste Leerplek
Een verrassende ontdekking was wanneer je moet twijfelen.

Het helpt niet om te vragen: "Ben je zeker van je redenering?" (De assistent kan een heel mooi verhaal bedenken, maar toch de verkeerde keuze maken).
Het helpt wel om te vragen: "Ben je zeker van je actie?" (De keuze om nu naar links of rechts te gaan).

Conclusie
ReDAct is als het hebben van een slimme schakelaar. Je gebruikt de goedkope, snelle motor voor het meeste werk, maar schakelt automatisch over op de krachtige, dure motor op de momenten dat het echt fout kan gaan. Zo krijg je het beste van twee werelden: lage kosten én hoge betrouwbaarheid, zonder dat je hele missie door één kleine fout in duigen valt.

Titel: ReDAct: Uncertainty-Aware Deferral for LLM Agents

Auteurs: Dzianis Piatrashyn et al. (MBZUAI, Ocapital, NUST MISIS, etc.)
Status: Preprint (onder review)

1. Het Probleem

LLM-gebaseerde agenten worden steeds populairder voor complexe, sequentiële besluitvormingsproblemen in interactieve omgevingen (zoals tekstuele omgevingen en grid-based games). Een fundamenteel probleem is dat LLM's de neiging hebben tot "hallucinaties" (het genereren van onjuiste informatie).

In statische taken (zoals vragen beantwoorden) kan een fout soms geïsoleerd blijven. In sequentiële omgevingen (bijvoorbeeld ALFWorld of MiniGrid) zijn echter de gevolgen van een enkele fout vaak onomkeerbaar:

De toestand van de agent verandert onherroepelijk.
Fouten cumuleren en kunnen de hele trajectie (episode) verpesten (bijv. een agent die op een lavablok stapt of het verkeerde object pakt).

Hoewel grotere LLM's minder vaak hallucineren, zijn ze aanzienlijk duurder in gebruik (hoge per-token kosten). Het gebruik van alleen een groot model voor elke stap is kostenefficiëntie-technisch onhaalbaar, terwijl het gebruik van alleen een klein, goedkoop model leidt tot een hoge foutkans. Er is een mechanisme nodig dat de agent in staat stelt om onbetrouwbare beslissingen te herkennen en deze dynamisch over te dragen aan een groter, betrouwbaarder model.

2. Methodologie: ReDAct Framework

De auteurs stellen ReDAct (Reason-Defer-Act) voor, een raamwerk dat een agent uitrust met twee LLM's:

Een klein, goedkoop model ( $M_{small}$ ) dat standaard wordt gebruikt.
Een groot, betrouwbaar maar duur model ( $M_{large}$ ) dat als "fallback" dient.

Het werkingsprincipe:

Reasoning: De agent gebruikt het kleine model om een redenering te genereren over de huidige situatie (gebaseerd op het ReAct-framework).
Uncertainty Quantification (UQ): Vóórdat de actie wordt uitgevoerd, berekent het kleine model een onzekerheidsscore ( $u_t$ ) voor de voorgestelde actie.
Deferral (Uitstel): Als de onzekerheidsscore een vooraf gekalibreerde drempel ( $\tau$ ) overschrijdt, wordt de beslissing uitgesteld (deferred) naar het grote model. Het grote model genereert dan een nieuwe redenering en actie die onvoorwaardelijk wordt geaccepteerd.
Actie: Als de onzekerheid onder de drempel ligt, voert het kleine model de actie zelf uit.

Belangrijke technische keuzes:

Actie-niveau vs. Redenering-niveau: De auteurs onderzochten of onzekerheid het beste gemeten kan worden tijdens de redenering of bij de actie-selectie. Resultaten toonden aan dat actie-niveau UQ (gebaseerd op de kansverdeling van de gegenereerde actie) een veel betere discriminator is dan redenering-niveau UQ. Redenering is vaak vrijblijvend en moeilijk te kwantificeren, terwijl de keuze voor een specifieke actie in een omgeving directer risico's weerspiegelt.
Onzekerheidsmetrieken: Er werden verschillende information-theoretische maatstaven getest die direct gebruikmaken van de token-kansen van het kleine model (zonder extra generaties nodig te hebben):
- Sequence Probability (SP)
- Perplexity (PPL)
- Mean Token Entropy (MTE)
- Resultaat: Perplexity (PPL) bleek de meest effectieve metriek voor deferral.
Kalibratie: De drempelwaarde $\tau$ wordt gekalibreerd op een set van episodes om een gewenst gemiddeld aantal calls naar het grote model per episode te bereiken (bijv. 5 calls per episode).

3. Belangrijkste Bijdragen

ReDAct Framework: Een nieuw raamwerk voor sequentiële agenten dat individuele acties kan uitstellen van een klein naar een groot model op basis van voorspellende onzekerheid.
Validatie van Actie-niveau UQ: Het aantonen dat onzekerheidsmetrieken op actie-niveau (in plaats van redenering-niveau) de meest informatieve signalen geven voor deferral in interactieve omgevingen.
Kostenefficiëntie: Het bewijzen dat het uitstellen van slechts een klein deel van de beslissingen (ongeveer 15%) voldoende is om de prestaties van een uitsluitend groot-model-systeem te evenaren, maar tegen een fractie van de kosten.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee tekstuele omgevingen: ALFWorld (huishoudelijke taken) en MiniGrid (navigatie in roosters).

Prestaties:
- Op ALFWorld bereikte ReDAct met een klein model (Qwen3-80B) en Perplexity-based deferral een succesratio van 0.808 (met GPT-5.2 als groot model). Dit is vergelijkbaar met het gebruik van GPT-5.2 voor alle stappen (0.788), maar met slechts ~15% van de calls naar het grote model.
- Op MiniGrid (full-view) bereikte het systeem een succesratio van 0.950 met Qwen3-80B + GPT-5.2, opnieuw met slechts een klein percentage deferrals.
Kostenefficiëntie:
- Het uitstellen van beslissingen resulteerde in aanzienlijke kostenbesparingen. Bijvoorbeeld, op ALFWorld kostte het gebruik van alleen GPT-5.2 ongeveer $45, terwijl ReDAct (Qwen3-80B + GPT-5.2) de prestaties behaalde voor ongeveer $15-$16.
- De Pareto-front analyse toonde aan dat ReDAct de beste trade-off biedt tussen succesratio en kosten, vaak beter dan willekeurige deferral-strategieën.
Distributie van Calls:
- In tegenstelling tot willekeurige deferral (die uniform verdeeld is over de stappen), gebeurt deferral bij ReDAct voornamelijk in de latere stappen van mislukte episodes of in complexe situaties waar het kleine model "vastloopt" en onzeker wordt. Dit bevestigt dat de onzekerheidsscore effectief de moeilijkheidsgraad van de stap detecteert.

5. Betekenis en Conclusie

Het paper introduceert een praktische en kosteneffectieve oplossing voor het "hallucinati-probleem" van LLM-agenten in sequentiële taken. Door slimme, onzekerheid-gestuurde routing tussen modellen, kunnen systemen de robuustheid van grote modellen benutten zonder de hoge operationele kosten.

Kernpunten voor de toekomst:

Adaptieve schakeling: Het dynamisch schakelen tussen modellen binnen een agent is een veelbelovende richting voor kostenefficiënte implementaties.
Scalabiliteit: De methode is niet beperkt tot tekst; het concept kan worden uitgebreid naar multimodale omgevingen (bijv. visueel-taal agenten).
Beperkingen: De methode vereist toegang tot token-kansen (logprobs), wat niet altijd beschikbaar is via alle API's, en is momenteel getest op modellen van 70B+ parameters (kleinere modellen presteerden te slecht zonder fine-tuning).

Samenvattend biedt ReDAct een eenvoudige maar krachtige strategie om de betrouwbaarheid van LLM-agenten te maximaliseren terwijl de kosten worden geminimaliseerd, door het "slimme" uitstellen van beslissingen alleen wanneer het echt nodig is.