Technische Samenvatting: Vraag de wereld voordat je handelt: Budgeted Environment Probing voor World-Model Kalibratie

1. Probleemstelling

Langdurige taalagenten (bijv. ReAct, Reflexion, LATS) onderhouden een impliciet of expliciet intern wereldmodel om besluitvorming te sturen. Een kritieke foutmodus ontstaat wanneer dit interne model "afdrijft" van de werkelijke omgevingsstatus door exogene veranderingen of niet-geobserveerde mutaties. Zodra de agent plant op basis van een verouderde premisse, verschijnen daaropvolgende fouten als slechte eindacties, terwijl de werkelijke oorzaak eerder in de belief state (overtuigingsstaat) lag.

De kernuitdaging is dat de omgeving de ontbrekende informatie bevat om deze overtuigingen te corrigeren, maar het raadplegen ervan kostbaar is. Elke interactie met de omgeving (een "probe") verbruikt een stap uit de beperkte planningshorizon, wat direct concurreert met taakverhogende acties. Een agent die te weinig probt, handelt zelfverzekerd op basis van verouderde overtuigingen; een agent die te veel probt, put zijn budget uit om de wereld te verifiëren in plaats van de taak uit te voeren. Bestaande methoden behandelen interactie met de omgeving vaak uitsluitend als een middel om de taak voort te zetten of vertrouwen op onbetrouwbare zelfgerapporteerde zekerheid (die misgekalibreerd kan zijn) om te beslissen wanneer er een query moet plaatsvinden.

2. Methodologie: EnvProbe

De auteurs introduceren EnvProbe, een gebudgetteerde probing-operator ontworpen voor agenten met expliciete, gestructureerde belief-tabellen. In tegenstelling tot retrieval augmentation of gebruikersqueries, behandelt EnvProbe de omgeving zelf als de bron van bewijs, waarbij het selecteert welk reeds gevuld belief-veld moet worden geverifieerd voordat de volgende taakactie wordt gecommitteerd.

2.1 Scoremechanisme

Bij elke planningsstap wijst EnvProbe een probe-score $\rho_i(t)$ toe aan elk belief-veld $i$ op basis van vier genormaliseerde componenten:

1. Criticaliteit ($c_i$): Afgeleid van taak-belangrijkheidswichten.
2. Staleness ($s_i(t)$): De schatting van de agent over hoe lang het veld ongecontroleerd is gebleven.
3. Verbaliseerde Onzekerheid ($u_i(t)$): $1 - \text{confidence}$, de zelfgerapporteerde onzekerheid van het model.
4. Dependency Role ($d_i(t)$): Geeft aan of het veld een directe blocker, een transitieve afhankelijkheid of ongerelateerd is aan de volgende geplande actie.

De score is gedecomposeerd in een structureel deel ($\rho_{str} = c + d$) afgeleid van de taakgrafiek en de actie-trace, en een zelfrapportage-deel ($\rho_{self} = s + u$) afgeleid van de interne staat van het model.

2.2 Algoritmen

• EnvProbe-Simple: Een greedily drempelwaarde-beleid dat het hoogst scorende veld probt als de score een drempel overschrijdt (1.5) en het probe-budget nog beschikbaar is.
• EnvProbe-Judge: Een variant waarbij een secundair "judge"-model de topkandidaten en de belief-tabel beoordeelt om een binaire override te bieden, waarbij wordt getest of een contextuele criticus extra signaal toevoegt bovenop de expliciete score.
• Ablaties: Varianten omvatten het verwijderen van zelfrapportage-termen (Structural-only) of het gebruik van uncertainty-only beleid om de bijdrage van elke component te isoleren.

2.3 Theoretisch Kader

Het artikel formaliseert een Type-Gestratificeerde Probe-Actie Theorie, waarbij onderscheid wordt gemaakt tussen:

• Procedurele Beliefs: Actie-afhankelijke staten (bijv. tool-afhankelijkheden, subdoelen). Deze zijn vaak informatief via actie-traces.
• Spatiële Beliefs: Exogene staten (bijv. objectlocaties, grafiekranden). Deze laten vaak zwakke sporen achter in de geschiedenis van de agent.

De theorie stelt een Probe-Action Frontier vast: een Pareto-trade-off waarbij het vergroten van de belief-accuratesse via probing noodzakelijkerwijs het aantal beschikbare stappen voor taakuitvoering vermindert. De auteurs bewijzen dat de waarde van probing afhangt van de "marginale selectiekwaliteit" van de scorefunctie en dat zelfgerapporteerde onzekerheid als een "anti-signaal" kan fungeren wanneer het model zelfverzekerd maar foutief is.

3. Belangrijkste Bijdragen

1. EnvProbe Operator: Een gebudgetteerd mechanisme voor taalagenten om gestructureerde wereldmodellen actief te repareren door de omgeving te bevragen over specifieke belief-velden.
2. Type-Gestratificeerde Analyse: Een wiskundige verantwoording die de scheiding tussen belief-reparatie en taak-actie verplaatsing verklaart, waarbij wordt aangetoond dat structurele signalen betrouwbaarder zijn dan zelfgerapporteerde onzekerheid, met name voor spatiële beliefs.
3. Diagnostische Omgevingen & Metrieken: Gecontroleerde omgevingen (ObjectStateWorld, ToolDAGWorld, GraphNavWorld) die de gouden veldstatussen blootleggen, waardoor de nauwkeurigheid van de wereldstatus en de "collapse onset" (het begin van de instorting) gemeten kunnen worden, onafhankelijk van het uiteindelijke taaksucces.
4. Empirisch Bewijs: Demonstratie dat structurele probe-scores de terminale belief-fout verminderen, terwijl zelfgerapporteerde onzekerheid vaak probes verkeerd toewijst, vooral in procedurele contexten.

4. Experimentele Resultaten

Experimenten werden uitgevoerd in drie omgevingen met variërende mutatiesnelheden (lage, medium, hoge stress).

• Procedurele Taken (ToolDAGWorld):

  • EnvProbe-Simple verbeterde de eindstatus van de wereld-accuratesse met +11,76% vergeleken met periodieke probing.
  • Structurele signalen ($c+d$) waren de primaire drijvers van succes. Het verwijderen van de verbaliseerde onzekerheid ($u$) verbeterde de belief-accuratesse verder (naar 0,488) maar verminderde het taaksucces aanzienlijk (dalend naar 8,2%), wat bevestigt dat onzekerheid een ruisend signaal is dat kan leiden tot overmatig proberen.
  • De "Structural-only" variant bereikte de hoogste geobserveerde belief-accuratesse (0,491) terwijl het taaksucces vergelijkbaar bleef met het volledige scoremodel.

• Spatiële Taken (GraphNavWorld, ObjectStateWorld):

  • De winsten waren kleiner (+3,79%) maar betrouwbaar.
  • Zelfgerapporteerde onzekerheid bood weinig voordeel omdat exogene ruimtelijke veranderingen zwakke sporen achterlaten in de actiegeschiedenis.
  • Structurele signalen bleven effectief, hoewel de Pareto-frontier inklapte in een dominantierelatie waarbij structurele methoden andere methoden overtroffen in zowel accuratesse als taaksucces.

• Collapse Dynamics (Instortingsdynamiek):

  • In spatiële episodes ging de drift van de wereldstatus gemiddeld +2,42 stappen vooraf aan de ineenstorting van de actie-geldigheid, wat het nut van vroege probing valideert.
  • In procedurele episodes kon een enkele foutieve precondition de volgende actie ongeldig maken voordat de geaggregeerde accuratesse daalde, wat de noodzaak voor gerichte, afhankelijkheidsbewuste probing benadrukt.

• Calibratie van Zelfvertrouwen:

  • De "Confident-Wrong" ratio was extreem hoog ($\approx 94\%$), wat betekent dat de agent vaak zeer zelfverzekerd was over onjuiste overtuigingen. Uncertainty-only beleid faalde door ontwerp bij het proberen van deze velden, wat leidde tot slechte prestaties.

5. Betekenis en Claims

Het artikel claimt dat EnvProbe een principiële manier biedt om interactie met de omgeving te behandelen als een schaars kalibratie-middel in plaats van enkel een taakverhogend mechanisme.

• Betekenis: Het werk daagt de aanname uit dat zelfgerapporteerd vertrouwen een betrouwbare gids is voor informatieverzameling in langdurige agenten. In plaats daarvan pleit het voor type-bewuste probingstrategieën die prioriteit geven aan structurele taak-signalen (afhankelijkheden en criticaliteit) boven interne onzekerheidsschattingen.
• Bescheiden Claims: De auteurs stellen expliciet dat EnvProbe geen nieuwe POMDP-solver is, maar een empirische en theoretische karakterisering van wanneer door LLM's afgeleide probe-scores betrouwbaar zijn. Ze erkennen dat zelfs met optimale probing (Oracle-Probe), de wereldstatus-accuratesse niet 1.0 bereikt, wat impliceert dat veiligheidskritische implementaties nog steeds waarborgen nodig hebben buiten dit mechanisme.
• Praktische Implicatie: Voor agenten waarbij downstream planners de gerepareerde belief-state consumeren, zijn structurele probe-scores superieur. Echter, als het bindende doel taakvoltooiing is, moet het probe-budget zorgvuldig worden afgestemd om te voorkomen dat het noodzakelijke taakacties verdringt.

Het artikel concludeert dat de "juiste" probe-rate niet vaststaat, maar afhangt van het downstream doel (gekalibreerde overtuigingen versus voltooide taken) en de specifieke aard van het type belief.