Technisch Resumé: Wanneer is een Agent-evaluatie voorbij?

Probleemstelling

Huidige frameworks voor agent-evaluatie scoren modellen doorgaans op basis van de staat die zichtbaar is op het moment dat een run wordt gestopt (het "eindpunt"). Deze aanpak gaat ervan uit dat het eindpunt gelijktidig twee cruciale condities vaststelt: uitkomstfinaliteit (het resultaat is definitief en kan niet meer veranderen) en cross-unit scheiding (de huidige run is onafhankelijk van voorgaande of toekomstige runs).

Het artikel betoogt dat deze twee condities onafhankelijk zijn en vaak niet worden voldaan op het eindpunt.

1. Uitkomstfinaliteit: Een run kan stoppen terwijl asynchrone operaties (bijv. vertraagde schrijfacties, achtergrondprocessen) nog in afwachting zijn. Het scoren van de staat vóórdat deze operaties voltooid zijn, kan leiden tot onjuiste labels (bijv. een taak als mislukt markeren terwijl een vertraagde schrijfactie succesvol zou zijn geweest, of vice versa).
2. Cross-unit scheiding: Als de omgeving de staat behoudt tussen runs (bijv. gedeelde databases, persistente accounts of niet-opgeruimde artefacten), kan een vorige run de startcondities of de uitkomst van een daaropvolgende run wijzigen. Dit schendt de aanname dat proeven onafhankelijk en identiek verdeeld (i.i.d.) zijn, waardoor geaggregeerde metrieken (zoals $pass@k$) ongeldig worden.

Bestaande audits controleren vaak op fouten in benchmarks of resetmechanismen, maar slagen er niet in om te onderscheiden tussen een gescoorde uitkomst die slechts "onvoltooid" is versus een uitkomst waarbij de verbinding tussen runs niet is verrekend.

Methodologie

De auteur hanteert een drieledige aanpak om deze kwesties te onderzoeken:

1. Theoretisch Kader (Het Voltooiingsargument):
   Het artikel ontwikkelt een logisch kader dat onderscheid maakt tussen het eindpunt (wanneer interactie stopt) en voltooiing (wanneer de uitkomst definitief is en de grenzen beveiligd zijn). Het definieert het bewijs dat nodig is om een definitief label te rechtvaardigen versus het behandelen van runs als afzonderlijke proeven.

2. Gecontroleerd Replay-experiment:
   Met behulp van AgentDojo 0.1.35 heeft de auteur een systeem geconstrueerd om grenskeuzes te isoleren.

   • Setup: Een standalone runner speelde vaste tool-calls en operatieschema's af. Een lokale HTTP-service simuleerde asynchrone vertragingen (0, 25, 100, 250 ms) en staat-persistentie.
   • Variabelen: De studie varieerde de timing van scoring (snapshot op het eindpunt versus wachten op de terminale staat) en staatbeheer (gedeelde staat versus genamed staat versus geverifieerde reset).
   • Metrieken: Het experiment mat de discrepantie tussen eindpunt-labels en terminale labels (finaliteit) en de frequentie van cross-run blootstelling (scheiding).

3. Documentatie-review:
   De auteur heeft de publieke documentatie en papers van tien prominente agent-benchmarks beoordeeld: WebArena, WorkArena, OSWorld, SWE-bench, tau-bench, ToolSandbox, TheAgentCompany, RE-Bench, Cybench en AgentCanary.

   • Criteria: Er werd gecodeerd voor expliciete verklaringen over run-definities, stopregels, staat-persistentie, resetmechanismen en bewijs voor het behandelen van runs als afzonderlijke proeven.
   • Beperkingen: De review richtte zich op wat expliciet gerapporteerd werd, niet op het afleiden van niet-vermeldde eigenschappen.

Belangrijkste Bijdragen

1. Conceptueel Onderscheid: Uitkomstfinaliteit vs. Cross-Unit Scheiding

Het artikel stelt dat dit twee verschillende vereisten zijn die verschillende bewijslast vereisen:

• Uitkomstfinaliteit: Vereist dat elke relevante operatie of gebeurtenis die de uitkomst zou kunnen veranderen, is opgelost, begrensd of bevestigd als geannuleerd.
• Cross-Unit Scheiding: Vereist dat geen enkele relevante route (gedeelde staat, credentials, artefacten) één run in staat stelt de condities of uitkomst van een andere run te beïnvloeden.
• Implicatie: Men kan finaliteit bereiken zonder scheiding (bijv. wachten tot een schrijfactie voltooid is, maar de bestanden toegankelijk laten voor de volgende run) en scheiding zonder finaliteit (bijv. runs isoleren, maar scoren voordat een vertraagde operatie voltooid is).

2. Het Voltooiingsargument

De auteur stelt een beslissingskader voor evaluatoren voor:

• Voor Definitieve Labels: Een succes/falen-label is alleen gerechtvaardigd als alle routes die de uitkomst kunnen veranderen geblokkeerd, gevolgd tot voltooiing, of strikt begrensd zijn. Anders moet de uitkomst als onopgelost worden gerapporteerd.
• Voor Afzonderlijke Proeven: Runs kunnen alleen als afzonderlijke analyse-eenheden worden geteld als alle routes tussen hen geblokkeerd zijn of bewezen onbekwaam zijn om de uitkomst te beïnvloeden. Als er een verbinding blijft bestaan, moeten de runs als een verbonden eenheid worden gemodelleerd of gegroepeerd.

3. Het Open-Effects Record

Het artikel stelt een nieuwe rapportagestandaard voor: een open-effects record. Dit record moet operaties of resources vermelden die na het eindpunt nog relevant zijn, hun huidige status, en of ze de gescoorde uitkomst kunnen veranderen of een andere run kunnen beïnvloeden.

Experimentele Resultaten

Bevindingen van de Gecontroleerde Replay

• Finaliteit: Bij niet-nul vertragingen verschilden de eindpunt-labels in 100% van de gevallen (150/150 proeven) van de terminale labels. Snapshot-scoring registreerde 50 successen, terwijl reconciliatie (wachten op voltooiing) 200 successen registreerde. Geverifieerde annulering identificeerde lopende schrijfacties correct als fouten.
• Scheiding: Onder gedeelde staat vertoonde 75% van de paren (150/200) blootstelling waarbij Run A de uitkomst van Run B veranderde. Deze blootstelling werd geëlimineerd (0/200) onder genamed staat, geverifieerde reset, of wanneer Run B vóór Run A werd uitgevoerd.
• Conclusie: Het eindpunt alleen kan de definitieve label of de analyse-eenheid niet rechtvaardigen. De scoringtijd en het staatbeheerbeleid bepalen direct de validiteit van het resultaat.

Bevindingen van de Documentatie-review

• Reset/Retentie: Expliciet gedocumenteerd in 8/10 protocollen; gedeeltelijk in 2/10.
• Onvoltooide Operaties: Veel minder consistent gerapporteerd. 6/10 protocollen exposeerden shells, browsers of services zonder te vermelden of afgeleide processen of vertraagde effecten zijn voltooid, geannuleerd of gecontroleerd vóór scoring.
• Bewijs voor Scheiding: Slechts 3/10 protocollen leverden expliciet bewijs voor het behandelen van runs als afzonderlijke observaties. Zeven beschreven resetprocedures maar slaagden er niet in om de scope van de middelen volledig te vermelden of hoe de succesvolle restauratie werd geverifieerd.
• Gap: Geen enkel protocol documenteerde consistent de tijdsperioden waarover relevante effecten de uitkomst konden veranderen.

Significantie en Claims

Het artikel claimt dat huidige evaluatiepraktijken vaak het einde van de interactie verwarren met het einde van de causale keten van de taak. De significantie ligt in:

1. Correctie van Metriek-validiteit: Het demonstreert dat zonder verificatie van finaliteit en scheiding, geaggregeerde metrieken (zoals pass rates) mogelijk een mengeling meten van taakprestaties en omgevingsartefacten.
2. Verfijning van Evaluatiegrenzen: Het betoogt dat de "evaluatiegrens" niet een enkel moment is, maar een reeks beslissingen over wanneer te stoppen, wanneer te scoren en hoe te scheiden.
3. Voorstel voor een Rapportagestandaard: Door het introduceren van het "open-effects record", biedt het artikel een concreet mechanisme voor evaluatoren om onopgeloste staten en persistente resources transparant te rapporteren, waardoor lezers de validiteit van de geclaimde resultaten kunnen beoordelen.

De auteur neemt een bescheiden standpunt in door te merken dat de documentatie-review beperkt is tot tien protocollen en dat de experimentele tellingen reflecties zijn van geconstrueerde condities in plaats van de frequentie van deze problemen in het bredere landschap van gepubliceerde benchmarks. De kern van het argument is dat een definitief label alleen gerechtvaardigd is wanneer alles dat de geclaimde uitkomst nog kan veranderen, is opgelost, begrensd of behouden als onzekerheid.