Technische Samenvatting: E-valuator: Betrouwbare Agentverificators met Sequentiële Hypothetetoetsing

Probleemstelling

Agente AI-systemen voeren reeksen acties (trajecten) uit om gebruikersprompten op te lossen. Hoewel verificatiemodellen (zoals procesbeloningsmodellen of beoordelende LLM's) heuristische scores leveren om de kwaliteit van deze trajecten te evalueren, ontbreken er strikte statistische garanties. Specifiek leidt het gebruik van verificatorscores om te beslissen of een traject als mislukt moet worden gemarkeerd, niet tot controle van de falseleralarmrate (FAR)—de waarschijnlijkheid dat een succesvol traject onterecht wordt afgewezen. Dit is van kritiek belang in hoog-risicodomeinen (zoals autonome laboratoria, genbewerking) waar foutieve afwijzingen kostbaar zijn. Bovendien vereisen bestaande benaderingen vaak dure fine-tuning van verificators of witte-bak-toegang tot modelgewichten, en worstelen ze met het vroegtijdig detecteren van fouten in lange, variabele lengte trajecten zonder buitensporige rekenkosten.

Methodologie

De auteurs introduceren e-valuator, een lichtgewicht statistische wrapper die elke black-box verificatorscore omzet in een beslissingsregel met bewezen FAR-controle. De methode formuleert het probleem als een sequentiële hypothetetoetsing taak:

• Nulhypothese ($H_N$): Het traject is succesvol ($Y=1$).
• Alternatieve hypothese ($H_A$): Het traject is niet succesvol ($Y=0$).

De methode werkt in drie hoofdfasen:

1. Framework voor Sequentiële Hypothetetoetsing

Het doel is het construeren van een reeks teststatistieken $(M_t)_{t=1}^T$ gebaseerd op de verificatorscores $S_{[1:t]}$ die tot stap $t$ zijn waargenomen. Een traject wordt afgewezen (gemarkeerd als niet succesvol) als $M_t$ op enig punt $t$ een drempel $c_\alpha$ overschrijdt. Het primaire doel is om te waarborgen dat:
$$\Pr_{H_N} [\exists t \in [T] : M_t > c_\alpha] \leq \alpha$$
waarbij $\alpha$ het door de gebruiker gespecificeerde fouteniveau is.

2. Log-Optimale Teststatistiek (Dichtheidsverhoudingen)

Om de kracht van de toets te maximaliseren (het snel detecteren van fouten), construeren de auteurs $M_t$ als een dichtheidsverhouding tussen de verdeling van scores voor niet-succesvolle trajecten ($p_0$) en succesvolle trajecten ($p_1$):
$$M_t = \frac{p_0(S_{[1:t]})}{p_1(S_{[1:t]})}$$
Dit proces is een e-proces (specifiek een testmartingaal onder $H_N$). De auteurs bewijzen dat deze dichtheidsverhoudingsprocessen log-optimale zijn, wat betekent dat ze in verwachting sneller bewijs verzamelen tegen de nulhypothese dan elk ander e-proces. Aangezien $p_0$ en $p_1$ onbekend zijn, leert e-valuator een schatting $\hat{M}_t$ met behulp van een kalibratieset. Dit wordt bereikt via classifier-gebaseerde schatting van dichtheidsverhoudingen, waarbij een classifier $\hat{g}_t$ de waarschijnlijkheid van succes voorspelt $P(Y=1|S_{[1:t]})$, en de verhouding wordt afgeleid met behulp van de regel van Bayes.

3. PAC-drempelstelling voor FAR-controle

Omdat de dichtheidsverhoudingen worden geschat (wat potentiële fouten introduceert) en trajecten willekeurige lengtes hebben, kunnen standaarddrempels (zoals $1/\alpha$) geen FAR-controle garanderen. De auteurs stellen een Probably-Approximately-Correct (PAC) drempelstellingsprocedure voor:

• Een kalibratieset van succesvolle trajecten wordt gebruikt om de maximale statistiek $M^{(i)} = \max_t M_t$ te berekenen voor elk traject.
• De drempel $c_\alpha$ wordt ingesteld op een bovengrens met hoge waarschijnlijkheid van de $(1-\alpha)$-kwantiel van deze maximums, bepaald via een binomiale staartgrens.
• Dit waarborgt dat met een waarschijnlijkheid van ten minste $1-\delta$, de empirische FAR wordt gecontroleerd op niveau $\alpha$, zelfs met geschatte dichtheidsverhoudingen.

Belangrijkste Bijdragen

1. Bewezen FAR-controle: Het artikel biedt een framework om elke black-box verificator om te zetten in een beslissingsregel met strikte garanties op de falseleralarmrate, waarmee een kritieke kloof wordt gedicht bij het inzetten van betrouwbare agenten.
2. Log-optimale sequentiële toetsing: Door gebruik te maken van dichtheidsverhoudingen als e-proces, bereikt de methode de snelst mogelijke accumulatie van bewijs tegen niet-succesvolle trajecten, waardoor vroegtijdige beëindiging van falende paden mogelijk wordt.
3. PAC-drempelstelling voor geschatte processen: De auteurs ontwikkelen een drempelstellingsprocedure die geldig blijft zelfs wanneer de onderliggende dichtheidsverhoudingen uit data worden geleerd, in plaats van analytisch bekend zijn.
4. Lichtgewicht implementatie: De methode vereist minimale rekenkracht (draaiend op een standaard laptop) en vereist noch fine-tuning van de agent of de verificator, noch witte-bak-toegang tot modelgewichten.

Experimentele Resultaten

De auteurs hebben e-valuator geëvalueerd over zes datasets (GSM8k, MATH, AIME, HotpotQA, MedQA, MMLU-Pro) en drie agenten (Aviary, OctoTools, Claude Sonnet 4) met behulp van diverse verificators.

• FAR-controle: In tegenstelling tot ruwe verificators, gekalibreerde verificators of Randomized Ville-baselines, handhaafde e-valuator consistent de empirische falseleralarmrate onder de gewenste drempel $\alpha$ over alle datasets. Andere methoden schonden de FAR-beperking regelmatig.
• Statistische kracht: Onder de methoden die de FAR succesvol controleerden, bereikte e-valuator de hoogste kracht (percentage correct gemarkeerde niet-succesvolle trajecten). Bijvoorbeeld, op de MATH-dataset bij $\alpha=0.4$, bereikte e-valuator een kracht van 0,78 terwijl de FAR werd gecontroleerd op 0,31, terwijl de ruwe verificator een kracht van 0,84 bereikte maar de FAR opblies tot 0,60.
• Token-efficiëntie: Door fouten eerder te detecteren (kortere gemiddelde looptijd onder $H_A$), verminderde e-valuator het tokenverbruik aanzienlijk. Op de MATH-dataset herstelde het 86% van de oorspronkelijke nauwkeurigheid met slechts 84% van de tokens, terwijl basismethoden >98% van de tokens vereisten om vergelijkbare nauwkeurigheid te bereiken.

Betekenis en Claims

Het artikel claimt dat e-valuator een lichtgewicht framework biedt om de kloof te overbruggen tussen heuristische verificatorscores en statistisch betrouwbare beslissingsregels. De betekenis ligt in het mogelijk maken van de inzet van betrouwbare agenten in hoog-risicosectoren waar falseleralarmen strikt gecontroleerd moeten worden. De auteurs benadrukken dat e-valuator aanvullend is op toekomstige verbeteringen van verificators; naarmate de kwaliteit van verificators verbetert, zullen de beslissingsregels van e-valuator van nature een hogere kracht opleveren terwijl dezelfde strikte FAR-garanties worden gehandhaafd. Het werk claimt niet het probleem van het genereren van correcte trajecten op te lossen, maar biedt eerder een robuust mechanisme voor het bewaken en beëindigen ervan wanneer ze waarschijnlijk zullen falen.