🤖 AI

ASK in the Dark: Uncertainty-Gated LLM Assistance under Partial Observability

Dit artikel introduceert ASK+, een framework dat reinforcement learning-agenten in gedeeltelijk observeerbare omgevingen verbetert door ineffectieve kale prompts te vervangen door trajectbewuste context en chain-of-thought redenering, waardoor kleine taalmodellen in staat worden gesteld om betekenisvolle, onzekerheid-gestuurde begeleiding te bieden die vanilla-benaderingen aanzienlijk overtreft en efficiënt schaalt zonder grote modellen te vereisen.

Oorspronkelijke auteurs: Juarez Monteiro, Nathan Gavenski, Guilherme Lima, Francisco Galuppo, Odinaldo Rodrigues, Adriano Veloso

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juarez Monteiro, Nathan Gavenski, Guilherme Lima, Francisco Galuppo, Odinaldo Rodrigues, Adriano Veloso

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een videogame speelt waarbij je alleen een kleine cirkel licht rondom je personage kunt zien. Alles buiten die cirkel is pikzwart. Je weet niet of er een muur, een schatkist of een monster slechts een paar stappen verderop staat. Dit is wat computerwetenschappers partiële observeerbaarheid noemen.

In dit artikel proberen de auteurs een probleem op te lossen: hoe help je een computer-"speler" (een AI-agent) om goede beslissingen te nemen wanneer hij niet het hele plaatje kan zien?

Het Probleem: De "Blinde" Speler en de "Amnesische" Gids

De auteurs gebruiken twee soorten AI:

De Speler (RL Agent): Een robot die getraind is om het spel te spelen. Hij is goed in wat hij weet, maar als het spel licht verandert (zoals een deur die verplaatst wordt), raakt hij in de war omdat hij zich alleen herinnert wat hij op dit moment ziet.
De Gids (Small Language Model - SLM): Een slimme, deskundige assistent (zoals een mini-ChatGPT) die algemene regels over de wereld kent. Deze kan redeneren: "Als ik een sleutel zie, heb ik waarschijnlijk een deur nodig."

De Mislukte Poging (Vanilla ASK):
Voorheen probeerden onderzoekers de Gids te laten helpen wanneer de Speler "onzeker" was. Ze bouwden een systeem genaamd ASK.

De Opstelling: De Speler kijkt naar het donkere scherm en zegt: "Ik weet niet zeker wat ik moet doen."
De Fout: De onderzoekers lieten de Gids exact hetzelfde kleine, donkere cirkeltje zien dat de Speler zag.
Het Resultaat: De Gids was net zo blind als de Speler. Hij kon de oplossing niet ontdekken omdat hij geen context had. Hij zou alleen zeggen: "Doe wat je denkt dat het beste is," wat in feite niets betekende. De Gids was als een rondleidende gids die in een donkere kamer naast je staat, zonder zelf de kaart te kunnen zien.

De Oplossing: ASK+ (De "Geheugen-Versterkte" Gids)

De auteurs realiseerden zich dat de Gids niet "dom" was; hij kreeg simpelweg niet genoeg informatie. Ze creëerden ASK+, wat dit probleem oplost door te veranderen wat ze aan de Gids laten zien.

In plaats van de Gids alleen het huidige donkere scherm te tonen, geeft ASK+ hem een Reisverslag. Dit verslag bevat:

De Kaart: Een gedeeltelijk onthulde kaart die laat zien waar de speler is geweest.
De Geschiedenis: Een lijst met zetten die de speler al heeft uitgevoerd.
De Context: "Je bent in een kamer, je hebt een sleutel gevonden en je hebt geprobeerd een vergrendelde deur te openen."

De Analogie:
Denk aan de Speler als een wandelaar in een mistig bos.

Vanilla ASK: De wandelaar vraagt aan een vriend: "Wat moet ik doen?" De vriend staat vlak naast hem in de mist en ziet niets. De vriend zegt: "Ik weet het ook niet, beslis zelf."
ASK+: De wandelaar vraagt aan een vriend: "Wat moet ik doen?" Maar deze keer heeft de vriend een rugzak vol aantekeningen. De aantekeningen zeggen: "We zijn bij de startplaats begonnen, tien minuten naar het noorden gelopen, een rode rots gevonden en nu staan we voor een klif." Met deze geschiedenis kan de vriend zeggen: "Ah, je bent bij de klif! Sla linksaf, er is een pad dat je gemist hebt."

Hoe het werkt (De "Onzekerheidspoort")

Het systeem gebruikt een slim "poortwachter"-mechanisme:

De Speler probeert een zet te doen.
Het systeem controleert: "Is de Speler in de war?" (Dit meten ze met een wiskundig signaal genaamd entropie).
Als de Speler zelfverzekerd is: Gaat hij gewoon door. Geen hulp nodig.
Als de Speler in de war is: Wordt de poort geopend en wordt de Gids om hulp gevraagd.
De Gids, die nu het Reisverslag (de kaart en de geschiedenis) vasthoudt, denkt zorgvuldig na en zegt: "Ga eigenlijk niet die kant op. Ga hierheen in plaats daarvan."

De Resultaten: Kleine Breinen, Grote Overwinningen

De auteurs testten dit op drie verschillende "games":

FourRooms: Navigeren door een doolhof.
DoorKey: Een sleutel vinden om een deur te openen.
HigherLower: Kaartwaardes raden op basis van geheugen.

Belangrijkste Bevindingen:

Context is King: Het "Reisverslag" (de prompt) was het belangrijkste onderdeel. Zonder dit deed de Gids niets. Met dit verslag corrigeerde de Gids de fouten van de Speler.
Klein is Mooi: Ze testten een "kleine" Gids (2 miljard parameters) en een "grotere" Gids (4 miljard parameters). Verrassend genoeg presteerde de kleinere Gids net zo goed als de grotere. Dit bewijst dat het geven van de juiste informatie (de prompt) belangrijker is dan het groter maken van de AI zelf.
Succespercentages:
- In het doolhofspel steeg het succes van 53% naar 70%.
- In het sleutel/deur-spel steeg het succes van 89% naar 93%.
- In het kaartspel haalde de Gids de best mogelijke prestatie.

De Kernboodschap

Het artikel betoogt dat we geen enorme, dure AI-modellen nodig hebben om robots te helpen games in het donker te spelen. We moeten de AI alleen niet behandelen als iemand met een blinddoek op, maar haar een geheugenboek geven. Door de AI te laten zien waar ze is geweest en wat ze heeft gezien, kan zelfs een kleine, slimme assistent een robot naar de overwinning leiden.

De auteurs concluderen dat de mislukking van de oude methode niet kwam doordat de AI niet slim genoeg was, maar omdat de AI een puzzel moest oplossen terwijl er een blinddoek om haar ogen zat. Zodra ze de blinddoek afhaalden (door context toe te voegen), werkte het systeem perfect.

Technische Samenvatting: ASK in de Duisternis

Probleemstelling

Reinforcement learning (RL) agenten die opereren onder partiële observeerbaarheid (POMDP's) moeten handelen op basis van incomplete informatie, waarbij ze vaak vertrouwen op egocentrische observaties die er niet in slagen om onderscheid te maken tussen verschillende onderliggende toestanden. Hoewel kleine taalmodellen (SLM's) beschikken over brede redeneerprioriteiten die dergelijke agenten zouden kunnen sturen, is het integreren van hen in partiële observeerbare omgevingen moeilijk gebleken. Vorig werk, specifits het ASK-framework, maakte gebruik van onzekerheid-gestuurde queries om SLM's te raadplegen alleen wanneer de voorspellende entropie van een RL-beleid een drempelwaarde overschreed. Echter, in partiële observeerbare omgevingen faalde de standaard ASK in het verbeteren van de prestaties, waarbij het overschrijvingspercentage (overwrite rate) nabij nul lag. De SLM werd weliswaar geraadpleegd, maar week bijna nooit af van de suggestie van het beleid, waardoor het fungeerde als een passieve validator in plaats van een actieve corrector. De auteurs hypothetiseren dat dit falen voortkomt uit een context-bottleneck: de "kale egocentrische prompt" bood onvoldoende globale context voor de SLM om zijn redeneercapaciteiten uit te oefenen, in plaats van een beperking in de capaciteit van het model zelf.

Methodologie: ASK+

Het paper stelt ASK+ voor, een uitbreiding van het ASK-framework die is ontworpen om de context-bottleneck in POMDP's op te lossen. De kerninnovatie ligt in het transformeren van de SLM-prompt van een statische observatie naar een stateful, traject-bewuste interface.

1. Stateful Prompting

In tegen tegenstelling tot de standaard ASK, die de SLM bevraagt met enkel de huidige observatie, construeert ASK+ een prompt ($Pr$) die het volgende bevat:

Gedeeltelijk onthulde kaart: Afgeleide omgevingskenmerken en lokale actievooruitzichten om ruimtelijke inferentie mogelijk te maken.
Episodisch geheugen: Een geschiedenis van bezochte posities en actiegeschiedenis die gedurende de episode is opgebouwd ( $\sigma$ ).
Gestructureerd redeneren: Een beperkt "chain-of-thought"-mechanisme waarbij de SLM een budget (10 tokens) krijgt voor doelbewuste berekening voordat de actie wordt uitgegeven.

2. Onzekerheid-gestuurde Querying

Het systeem behoudt het onzekerheid-gating mechanisme van ASK, maar past dit toe op de verrijkte context:

Onzekerheidssignaal: Het RL-beleid (PPO) gebruikt Monte Carlo (MC) Dropout om de totale voorspellende entropie ( $H(o)$ ) te schatten via $N$ stochastische forward passes. Dit signaal vangt zowel aleatorische onzekerheid (echte observatie-ambiguïteit) als epistemische onzekerheid (onvoldoende trainingsdekking) op.
Gating Logica: Als $H(o) \geq \tau$ (een drempelwaarde die via Bayesiaanse optimalisatie is afgestemd), wordt de SLM geraadpleegd. Als de respons van de SLM geldig is, overschrijft deze de actie van het beleid ( $a'$ ); anders voert het beleid zijn standaardactie uit ( $a$ ).

3. Architectuur

RL Beleid: Een standaard actor-critic PPO-beleid dat onafhankelijk is getraind zonder interactie met de SLM. Het blijft klein en gericht op in-distributie toestanden.
SLM Consultant: Gebruikt Qwen3.5 modellen (2B en 4B parameters) zonder fine-tuning. Het systeem vertrouwt op de vooraf getrainde wereldkennis van de SLM om hoog-onzekere toestanden te behandelen die het RL-beleid niet kan oplossen.

Belangrijkste Bijdragen

Diagnose van de Context-Bottleneck: De auteurs identificeren dat het falen van onzekerheid-gestuurde assistentie in POMDP's te wijten is aan onvoldoende prompting-context, en niet aan modelcapaciteit. Ze demonstreren dat het bieden van traject-bewuste context de SLM transformeert van een passieve redundantiecheck naar een informatieve consultant.
ASK+ Framework: Zij introduceren een stateful prompting strategie die de SLM voorziet van kaarten, bezochte posities en actiegeschiedenis, wat het model in staat stelt om over trajecten te redeneren in plaats van over geïsoleerde snapshots.
Validatie van Onzekerheidssignalen: Het paper stelt vast dat totale voorspellende entropie een informatief signaal blijft voor selectieve querying in POMDP's, en effectief actie-onzekerheid meet zelfs wanneer de staat-onzekerheid hoog is.
Model Schaal vs. Prompt Design: Empirische resultaten tonen aan dat prompt design en selectieve gating dominanter zijn voor prestaties dan de schaal van het model, waarbij het 2B parameter model het 4B parameter model evenaart of overtreft in alle omgevingen.

Experimentele Resultaten

De auteurs evalueerden ASK+ over drie complementaire partiële observeerbare omgevingen: FourRooms (ruimtelijke gronding), DoorKey (sequentiële subtaken) en HigherLower (temporeel geheugen/kaart tracking).

Prestatiewinsten:
- FourRooms: Het succespercentage steeg van 53% (PPO) en 55% (standaard ASK) naar 70% (ASK+).
- DoorKey: Het succespercentage verbeterde van 89% (PPO) en 89-92% (standaard ASK) naar 93% (ASK+).
- HigherLower: De nauwkeurigheid bereikte 73,7%, wat overeenkomt met de SLM-only upper bound en beter is dan PPO (72%).
Overschrijvingspercentages (Overwrite Rates): De standaard ASK vertoonde overschrijvingspercentages nabij nul (0.00–0.01), wat bevestigt dat het zelden het beleid corrigeerde. ASK+ behaalde non-zero overschrijvingspercentages (0.01–0.06), wat aangeeft dat de SLM werkelijk corrigerende begeleiding bood.
Model Efficiëntie: Qwen3.5-2B presteerde consequent gelijk aan of beter dan Qwen3.5-4B, wat bevestigt dat het schalen van modelparameters minder kritiek is dan het optimaliseren van de promptstructuur en het gating-mechanisme.
Robuustheid tegen Suboptimale Beleids: ASK+ demonstreerde het vermogen om zwakke PPO-checkpoints te compenseren. In scenario's waar het PPO-beleid slecht getraind was, nam de interventieratio (IR) toe, en ASK+ herstelde de prestaties aanzienlijk, wat suggereert dat het systeem functioneert als een algemeen bruikbare corrigerende laag.

Betekenis en Claims

Het paper claimt dat onzekerheid-gestuurde SLM-assistentie fundamenteel levensvatbaar is onder partiële observeerbaarheid, mits de SLM voldoende context krijgt om te redeneren. De primaire bijdrage is niet een nieuw RL-algoritme of een groter model, maar een prompt engineering strategie die de latente redeneercapaciteiten van kleine modellen in ambigue omgevingen ontsluit.

De auteurs stellen dat de "kale egocentrische prompt" het kritieke falenpunt was van eerdere benaderingen. Door deze contextkloof te dichten, stelt ASK+ kleine modellen in staat om effectieve consultants te zijn, die fouten in het beleid corrigeren in ruimtelijke en sequentiële taken zonder dat grote modellen of het hertrainen van het onderliggende beleid nodig is. Het werk suggereert dat voor partiële observeerbare taken, redeneercapaciteit kan worden benut door prompt design en selectieve gating in plaats van door de modelgrootte op te schalen.

De evaluatie is afgebakend tot drie specifieke omgevingen om een bewijs van concept (proof of concept) te leveren. De auteurs merken op dat toekomstig werk de impact van rijkere POMDP's, de invloed van verouderde geschiedenis (stale history) en het potentieel van het fine-tunen van SLM's op egocentrische views kan verkennen om de bijdragen van het gating-mechanisme verder te isoleren.