Technische Samenvatting: Critic Experience Bank (CEB)

Probleemformulering

Large Language Model (LLM) agenten opereren steeds vaker in externe omgevingen (web, mobiele GUI's, shells) waar acties de staat veranderen waarop alle daaropvolgende beslissingen afhangen. In deze settings kan een enkele foutieve stap het interactiebudget verspillen of onomkeerbare bijwerkingen veroorzaken lang voordat een uiteindelijke taalfalen wordt geobserveerd. Bij consequentie is het succes van de uiteindelijke taak daarom een onvoldoende betrouwbaarheidssignaal voor implementatie.

De kernuitdaging die wordt aangepakt is stap-niveau vertrouwensschatting: de noodzaak om een gekalibreerde waarschijnlijkheid te produceren dat een voorgestelde actie productief zal zijn voordat deze wordt uitgevoerd. Bestaande methoden voor vertrouwensschatting (bijv. token logits, verbaal geuite vertrouwensniveaus, consistentiecontroles) zijn primair ontworpen voor respons-niveau scoring. Ze evalueren een enkele voorgestelde stap op basis van de directe context, maar houden geen rekening met de gevolgen van de uitvoering—specifiek, of soortgelijke acties in soortgelijke situaties de taak daadwerkelijk hebben gevorderd nadat de omgeving heeft gereageerd. Deze structurele kloof leidt tot instabiele kalibratie naarmate de interactie ontvouwt, aangezien standaardsignalen niet zuiverstroombaar zijn van statische responsgeneratie naar dynamische agent-executie.

Methodologie: Critic Experience Bank (CEB)

De auteurs stellen de Critic Experience Bank (CEB) voor, een training-vrije, zelf-evoluerende critic-framework die is ontworpen om tijdens de inferentiefase te opereren zonder ground truth stap-labels of trainbare verifiers.

Kernmechanisme

CEB breidt een vaste LLM-critic uit met een geheugenbank van achteraf gelabelde executie-ervaringen. Het framework werkt op de premisse dat agenten vaak recurrente beslissingen tegenkomen in gerelateerde contexten. In plaats van elke recursie uitsluitend te beoordelen vanuit de huidige query, haalt de critic precedenten op uit zijn eigen eerdere oordelen en de geobserveerde gevolgen daarvan.

De pipeline bestaat uit twee fasen:

1. Online Scoring: Bij elke stap $t$ stelt de agent een actie $a_t$ voor op basis van de taak $q$, de huidige staat $s_t$, en de historie $h_{<t}$. Voordat de uitvoering plaatsvindt, schat de bevroren LLM-critic de vertrouwensscore $\hat{z}_t$ in. Hiervoor wordt de critic geprompt met de huidige context en contrastieve voorbeelden die uit de Experience Bank zijn opgehaald. Deze voorbeelden worden opgehaald met behulp van een samengestelde sleutel (taak, staat, actie) en bevatten zowel productieve ($B^+$) als onproductieve ($B^-$) eerdere records. De prompt bevat ook een herhalingsvlag om korte loops te detecteren.
2. Hindsight Update: Nadat een traject $\tau$ is voltooid, observeert een "hindsight LLM" ($g_\phi$) de volledige sequentie van staten, acties en observaties. Deze stemt (via meerderheidsstemming over $V$ samples) over de vraag of elke stap productief was, en genereert zo pseudo-labels $\hat{y}_t$. Deze records, die de staat-samenvatting, de actie, de observatie, het pseudo-label en de oorspronkelijke pre-executie score van de critic bevatten, worden aan de bank toegevoegd.

Belangrijkste Ontwerpkenmerken

• Zelf-evoluerend: De gewichten van de critic blijven bevroren; het gedrag evolueert uitsluitend door de uitbreidende context van opgehaalde ervaringen.
• Contrastieve Retrieval: De bank is gesplitst in productieve en onproductieve sets. De critic krijgt expliciet voorbeelden te zien van vergelijkbare acties die slaagden en vergelijkbare acties die faalden, waardoor het kan kalibreren op basis van consequenties.
• Geen Training Vereist: De methode vereist geen fine-tuning van de actor of critic en geen toegang tot ground truth stap-labels tijdens de implementatie.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel definieert stap-niveau vertrouwensschatting voor LLM-agenten formeel als de taak van het schatten van de productiviteit van een actie vóór uitvoering, wat verschilt van standaard respons-niveau vertrouwen.
2. CEB Framework: Introductie van een training-vrij critic-framework dat gebruikmaakt van achteraf gelabelde executie-ervaringen uit eerdere trajecten om een vaste LLM-critic aan te vullen.
3. Empirische Superioriteit: Demonstratie dat CEB superieure kalibratie bereikt (Expected Calibration Error - ECE, Brier score) en ranking (AUC) over drie diverse agent-benchmarks (Mind2Web, AMEX, InterCode-Bash) en drie critic backbones (GPT-4.1, GPT-5.4, Qwen3-Next).

Experimentele Resultaten

De evaluatie beslaat webnavigatie, mobiele GUI-besturing en shell-interactie taken.

• Kalibratieprestaties: CEB presteerde consequent beter dan alle training-vrije baselines (inclusief Perplexity, Mean Entropy, Verbalized Confidence, P(True), en CoT).
  • Op de InterCode-Bash dataset met GPT-4.1 verminderde CEB de ECE met 54% ten opzichte van de sterkste baseline.
  • Op Mind2Web met GPT-5.4 behaalde CEB een ECE van 0,176, wat aanzienlijk lager is dan de op één na beste baseline (0,396 voor P(True)).
  • CEB behield de beste prestaties over alle dataset–critic combinaties in termen van ECE, Brier score en AUC.
• Robuustheid tegen Labeldefinities: Het voordeel van CEB bleef bestaan, zelfs wanneer gebruik werd gemaakt van permissieve "LLM-als-judge" labels die alternatieve geldige paden erkennen, wat aangeeft dat de methode geen artefact is van strikte referentie-matching.
• Component Ablatie: Het volledig verwijderen van de experience bank veroorzaakte de grootste prestatieverslechtering, wat bevestigt dat eerdere executie-uitkomsten cruciaal zijn voor herkalibratie. De contrastieve aard van de bank (het zien van zowel successen als mislukkingen) werd geïdentificeerd als de belangrijkste component.
• Zelf-evoluerend Gedrag: Naarmate de taakstroom vorderde en de bank vulde met achteraf gelabelde data, nam de kalibratiefout van CEB aanzienlijk af vergeleken met een statische critic, wat aantoont dat het systeem verbetert over tijd zonder gewichtsupdates.
• Downstream Nut: In taken met selectieve executie (het uitstellen van stappen met een laag vertrouwen voor menselijke beoordeling), identificeerde CEB foutieve stappen effectiever dan baselines, wat leidde tot hogere uiteindelijke taaksuccespercentages wanneer een vast budget voor reviews werd toegepast.

Betekenis en Claims

Het artikel claimt dat CEB een kritieke kloof aanpakt in de implementatie van LLM-agenten: de noodzaak van betrouwbare, stap-niveau vertrouwensschatting voordat een actie de omgeving verandert. Door gebruik te maken van de eigen interactiegeschiedenis van de agent als bewijs voor kalibratie, stelt CEB een vaste critic in staat om zijn scoringgedrag dynamisch aan te passen.

De auteurs benadrukken dat deze aanpak bijzonder waardevol is in implementaties waarbij:

• De actor en de critic vaste API-modellen zijn.
• Ground truth stap-labels niet beschikbaar zijn.
• Het trainen van nieuwe verifiers onhaalbaar is.

De resultaten suggereren dat de opgehaalde executie-ervaring een signaal biedt dat superieur is aan huidige respons-stijl vertrouwensmethoden, wat een praktisch pad biedt naar veiligere en betrouwbaardere autonome agenten in complexe, staat-veranderende omgevingen. Het artikel concludeert dat het primaire voordeel van CEB temporeel is (het accumuleren van bewijs over tijd) in plaats van superviserend (het vertrouwen op betere labels), waardoor de eigen fouten en successen van de agent effectief worden omgezet in een prior voor toekomstige besluitvorming.