🤖 AI

PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents

Het artikel introduceert PACE, een trainingsvrij, op elk moment geldig statistisch kader dat onbetrouwbare gulzige acceptatieregels in zelf-evoluerende agenten vervangt door een rigoureuze sequentiële hypothese toets om valse commits en prestatiedrift te voorkomen, terwijl de evaluatiekosten aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Zayx Shawn

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zayx Shawn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Zelfverbeterende" Robot die in de War Raakt

Stel je voor dat je een robot hebt die probeert op eigen kracht slimmer te worden. Elke dag schrijft hij een nieuwe versie van zijn eigen instructiehandleiding (zijn "prompt") en vraagt hij: "Is deze nieuwe versie beter dan de oude?"

Als de nieuwe versie iets hoger scoort op een kleine oefentoets, zegt de robot: "Ja! Hou deze!" en verwijdert hij de oude handleiding. Dit doet hij honderden keren.

Het Probleem: Het paper beargumenteert dat deze robot zichzelf eigenlijk bedriegt. Omdat de oefentoets klein en ruizig is (zoals een paar keer een muntje opgooien), denkt de robot vaak dat een toevallige uitschieter een echte verbetering is. Hij blijft wijzigingen aanbrengen die er goed uitzien op de oefentoets, maar die de robot in werkelijkheid slechter maken in zijn echte taak. Het is als een student die steeds zijn antwoorden op een toets verandert omdat hij zich even gelukkig voelt, om uiteindelijk alles fout te hebben.

De auteurs noemen dit "p-hacking" (een statistische term voor het vinden van valse patronen in data). De robot is aan het "churnen": hij verandert zichzelf constant zonder reden, waardoor hij steeds verder afdrijft van intelligentie.

De Oplossing: PACE (De Slimme Poortwachter)

De auteurs stellen een nieuwe regel voor genaamd PACE (Paired Anytime-valid Commit Evaluation). Zie PACE als een strenge, eerlijke scheidsrechter die tussen de robot en zijn nieuwe ideeën in staat.

In plaats van alleen naar de score te kijken, gebruikt PACE een slim wedspel om te beslissen of een verandering echt is.

De Analogie: Het Muntje-opgooien-wedspel

Stel je voor dat de robot een nieuwe instructie voorstelt. De scheidsrechter (PACE) kijkt niet alleen naar de eindscore. In plaats daarvan organiseert hij een head-to-head wedstrijd:

Hij neemt de Oude Robot en de Nieuwe Robot.
Hij laat ze exact dezelfde 100 wiskundeproblemen oplossen.
Hij negeert de problemen waarbij beiden het goed hadden of beiden het fout hadden (gelijke stand).
Hij geeft alleen om de problemen waarbij de één het goed had en de ander het fout.

Nu begint de scheidsrechter met een wedspel:

De scheidsrechter begint met $1,00.
Elke keer dat de Nieuwe Robot een probleem wint van de Oude Robot, zet de scheidsrechter een klein beetje van dat geld in en verdubbelt de winst.
Elke keer dat de Oude Robot wint, verliest de scheidsrechter deze inzet.

De Regel:

Als de Nieuwe Robot gewoon aan het gokken is (geen echte verbetering), zullen de winsten en verliezen elkaar opheffen en het geld rond de $1,00 blijven schommelen.
Als de Nieuwe Robot echt beter is, zal hij vaker winnen en groeit het geld snel.
De Beslissing: De scheidsrechter laat de robot de nieuwe instructie alleen houden als het geld groeit naar een enorm bedrag (bijv. $20). Dit bewijst dat de robot niet alleen geluk heeft, maar ook echt beter is.

Als de robot door zijn vragen heen is en het geld is nog niet genoeg gegroeid, zegt de scheidsrechter: "Niet goed genoeg," en wijst de verandering af.

Waarom dit Beter is dan de Oude Methode

Het paper testte dit op verschillende AI-modellen (Qwen2.5) bij het oplossen van wiskunde- en wetenschapstaken. Dit was de uitkomst:

De Oude Methode (Greedy): De robot hield elke verandering aan die de score een klein beetje omhoog bracht.
- Resultaat: Hij voerde ongeveer 13 tot 20 wijzigingen per run uit.
- De Catch: 72% tot 100% van die wijzigingen waren nep! Ze zagen er goed uit op de kleine test, maar waren in werkelijkheid slecht.
- Gevolg: De robot werd in de loop van de tijd slechter, vooral de kleinere, kwetsbaardere modellen. Hij was constant van gedachten aan het veranderen zonder reden.
De Nieuwe Methode (PACE): De robot hield alleen wijzigingen aan die de strenge wedtest doorstonden.
- Resultaat: De robot deed bijna geen enkele wijziging wanneer er geen echte verbetering was.
- De Catch: Hij miste de echte verbeteringen niet. Wanneer er een echt betere instructie verborgen zat in de ruis, vond PACE deze en behield het.
- Gevolg: De robot bleef stabiel. Hij dreef niet af en werd niet slechter. Hij bespaarde ook geld (rekenkracht) omdat hij stopte met testen zodra hij het antwoord wist.

Belangrijkste Punten in Gewone Mensentaal

De Stille Zwakte: Iedereen focust op hoe je nieuwe ideeën voor de robot genereert. Dit paper zegt dat het echte probleem is hoe we beslissen om ze te behouden. De beslisregel was te losjes.
Ruis vs. Signaal: Kleine tests zijn ruizig. Een "Greedy" robot verwart ruis (toeval/geluk) met een signaal (echte vaardigheid). PACE filtert de ruis eruit.
Veiligheid Eerst: PACE garandeert dat de kans dat een slechte verandering wordt geaccepteerd zeer laag is (vastgesteld door de gebruiker, zoals 5%). Dit doet het elke keer dat er een beslissing wordt genomen, niet alleen gemiddeld.
Efficiëntie: Omdat PACE stopt met testen zodra het bewijs duidelijk is (ofwel "definitief beter" of "niet goed genoeg"), gebruikt het feitelijk minder testvragen dan de greedy methode, die blindelings alles test.

Samenvatting

Het paper laat zien dat zelf-evoluerende agenten momenteel gevoelig zijn voor het "hallucineren" van verbeteringen omdat ze te veel vertrouwen op ruizige, kleine tests. Door de simpele "hou de instructie als de score stijgt"-regel te vervangen door een statistische wedpartij (PACE), kunnen we voorkomen dat de robot nutteloze wijzigingen maakt, terwijl hij nog steeds kan leren wanneer hij écht slimmer wordt. Het verandert een chaotisch, afdrijvend proces in een stabiel en betrouwbaar proces.

Technische Samenvatting: PACE – Anytime-Valid Acceptatietests voor Zelf-Evolverende Agenten

1. Probleemdefinitie: Het "Stille Zwakke Punt" van Zelf-Evolutie

Zelf-evolverende agenten werken door iteratief wijzigingen voor te stellen aan hun eigen prompts, vaardigheden of workflows, en te beslissen of ze deze wijzigingen implementeren op basis van prestatiescores. Terwijl aanzienlijk onderzoek zich heeft gericht op het verbeteren van de proposer (het mechanisme dat kandidaten genereert), is de acceptor (de regel die beslist of er wordt gecommitteerd) grotende-els over het hoofd gezien.

De standaard acceptatieheuristiek is "greedy" (hebberig): een kandidaat-wijziging wordt geïmplementeerd indien en slechts indien de score op een kleine, uit de weg gehouden ontwikkelingsset ( $D$ ) beter is dan de huidige versie (incumbent). Het artikel identificeert een kritieke statistische fout in deze aanpak:

Ongecontroleerde Adaptieve Meervoudige Testen: De agent past de acceptatieregel honderden keren toe tegen dezelfde ruisgevoelige ontwikkelingsset.
P-Hacking van de Agent: Omdat de ontwikkelingsset klein is en hergebruikt wordt, is de score een ruisgevoelige schatting van de werkelijke prestatie. Door herhaaldelijk tegen deze ruis te testen, voert de agent effectief "p-hacking" op zichzelf uit, wat leidt tot false commits (wijzigingen die de ruisgevoelige schatting door toeval verbeterden, maar de werkelijke prestatie niet verbeteren) en harmful commits (wijzigingen die de prestaties actief verslechteren).
Gevolgen: Dit leidt tot "churn" (verloop), waarbij de agent zichzelf constant aanpast, wegdrift van de optimale prestaties en degradeert, met name in stochastische omgevingen of bij kleinere modellen.

2. Methodologie: PACE (Paired Anytime-valid Commit Evaluation)

De auteurs stellen PACE voor, een training-vrije, statistische "commit gate" die de acceptatiebeslissing herformuleert als een sequentiële hypothesetest.

Kernmechanisme

Gepaard Evaluatie (Paired Evaluation): In plaats van de absolute scores van de huidige versie ( $c_t$ ) en de kandidaat ( $c'_t$ ) op de ontwikkelingsset te vergelijken, evalueert PACE ze op identieke instanties. Het negeert gelijke gevallen (waar beiden correct of beiden fout zijn) en focust op discordante paren (waar de één correct is en de ander fout). Dit volgt een McNemar-stijl vergelijking, waardoor de werkelijke verbetering van de kandidaat wordt geïsoleerd van de moeilijkheidsgraad van de instantie.
Testen door Wedden (E-process): PACE maakt gebruik van een e-proces (een niet-negatieve martingale) om bewijs te accumuleren.
- Het proces begint met "vermogen" $E_0 = 1$ .
- Voor elk discordant paar wedt het proces een fractie $\lambda$ van het huidige vermogen op het feit dat de kandidaat correct is.
- Het vermogen wordt bijgewerkt als: $E \leftarrow E \cdot (1 + \lambda(2w - 1))$ , waarbij $w=1$ als de kandidaat het paar wint en $w=0$ als hij verliest.
- Onder de nulhypothese (de kandidaat is niet beter), blijft het verwachte vermogen 1. Als de kandidaat werkelijk beter is, groeit het vermogen.
Anytime-Valid Stopregel: De agent implementeert de kandidaat onmiddellijk wanneer het geaccumuleerde vermogen $E$ $E$ een drempelwaarde $1/\alpha$ $1/ α$ overschrijdt (waarbij $\alpha$ $α$ de door de gebruiker ingestelde foutkans is, bijv. 0,05).
- Optioneel Stoppen: De test blijft geldig, zelfs als de evaluatie voortijdig stopt zodra de drempelwaarde wordt overschreden.
- Afwijzing: Als het evaluatiebudget is uitgeput zonder de drempelwaarde te overschrijden, wordt de kandidaat afgewezen.

Theoretische Garantie

PACE biedt een per-kandidaat garantie: voor elke individuele kandidaat is de kans dat een niet-verbeterende wijziging wordt geïmplementeerd begrensd door $\alpha$ , ongeacht wanneer de test stopt (optioneel stoppen). Dit is verschillend van run-level familywise error control; het zorgt ervoor dat elke individuele beslissing statistisch solide is, wat de accumulatie van valse positieven gedurende de levensduur van de agent voorkomt.

3. Belangrijkste Bijdragen

Diagnose: Het artikel identificeert formeel de "greedy" acceptatieregel als ongecontroleerde adaptieve meervoudige testen, en voorspelt en demonstreert empirisch hoge percentages false en harmful commits.
Methode (PACE): Een eenvoudige, ongeveer 10 regels tellende algoritmische wrapper die de commit-stap omzet in een anytime-valid sequentiële test. Het vereist geen training en verbruikt alleen gepaarde correctheid-uitkomsten, waardoor het agnostisch is voor de interne mechanica van de proposer.
Empirisch Bewijs: Uitgebreide evaluatie op Qwen2.5-agenten (0.5B–3B) over rekenkundige taken (GSM8K, SVAMP) en wetenschappelijke taken (ARC-Challenge).

4. Experimentele Resultaten

De auteurs evalueerden PACE in twee regimes: een Gecontroleerd Regime (met een bekende gunstige edit verborgen tussen ruis) en een Stochastisch Regime (geen reële winst beschikbaar, alleen steekproefruis).

Gecontroleerd Regime (Bekende Winst)

Greedy: Implementeerde 3–3,4 wijzigingen per run. 30–42% waren false commits; 10–33% waren harmful.
PACE: Implementeerde exact de ene echte verbetering (0% false, 0% harmful).
Prestatie: PACE mat de helden-out nauwkeurigheidswinst van de greedy-methode, maar met aanzienlijk lagere variantie (bijv. bij 3B: $+0,74 \pm 0,04$ voor PACE versus $+0,54 \pm 0,30$ voor greedy).
Kosten: PACE verminderde de evaluatiekosten met ~18% door vroegtijdig te stoppen wanneer het bewijs doorslaggevend was.

Stochastisch Regime (Geen Reële Winst)

Greedy: Implementeerde 13–21 spookachtige wijzigingen per run (72–100% false). Bij de meest fragiele agent (0.5B) degradeerde deze churn de werkelijke nauwkeurigheid met 4,9 punten.
PACE: Implementeerde vrijwel niets (0–0,3 per run), waardoor de baseline nauwkeurigheid behouden bleef.
Vergelijking: Andere statistische baselines (fixed- $n$ gepaarde tests, online-FDR) misten ofwel de reële winst in gecontroleerde settings, of faalden om ruis even effectief te onderdrukken als PACE in stochastische settings.

Sensitiviteit en Generalisatie

Robuustheid: PACE handhaafde 0% false commits over een brede sweep van $\alpha$ (0,01–0,10) en ontwikkelingssetgroottes ( $n=20$ tot $80$).
Generalisatie: De resultaten hielden stand over verschillende taken (SVAMP, ARC-Challenge) en modelformaten, wat bevestigt dat het probleem inherent is aan de acceptatieregel onder ruisgevoelige evaluatie, en niet specifiek is voor een enkele taak.

5. Betekenis en Claims

Het artikel positioneert de acceptor als de cruciale, over het hoofd geziene component van zelf-evoluerende loops.

Betrouwbaarheid boven Ruwe Winst: De primaire waarde van PACE is niet noodzakelijkerwijs het verhogen van de gemiddelde nauwkeurigheidswinst (wat de greedy-methode soms wel evenaart), maar het elimineren van het neerwaartse risico van degradatie en instabiliteit veroorzaakt door ruis.
Controle per Beslissing: Het artikel claimt expliciet een per-beslissing false-commit grens ( $\le \alpha$ ), en niet een run-level familywise bound. Het beargumenteert dat het controleren van elke beslissing onafhankelijk voldoende is om de cumulatieve fouten te voorkomen die worden gezien bij de greedy-aanpak.
Bescheidenheid: De auteurs erkennen beperkingen:
- De garantie is voorwaardelijk aan de gepaarde nulhypothese; het controleert niet de power om zeer kleine winsten te detecteren (die mogelijk worden afgewezen als ze de drempelwaarde niet binnen het budget overschrijden).
- De methode is gedemonstreerd voor prompt-niveau evolutie voor een enkele modelfamilie (Qwen2.5); hoewel de interface algemeen is, wordt systeem-brede algemeenheid beargumenteerd in plaats van bewezen.
- PACE kan geen verbeteringen certificeren die de ontwikkelingsset zelf niet kan detecteren.

Concluderend stelt het artikel dat betrouwbare zelf-evolutie evenzeer afhangt van een statistisch rigoureuze acceptor als van een capabele proposer. PACE biedt een eenvoudige, training-vrije methe om te voorkomen dat agenten "churnen" op ruis, waardoor zelf-modificatie leidt tot echte verbetering in plaats van statistische drift.