Technische Samenvatting: AEVAL – Van Anecdotisch naar Deterministisch Testen voor Agentic Skill Workflows

1. Probleemstelling

Moderne agentische systemen vertrouwen steeds vaker op skills: installeerbare pakketten die natuurlijke taal-specificaties (bijv. SKILL.md), scripts en configuraties bevatten die Large Language Model (LLM) agents leren hoe ze domeintaken moeten uitvoeren. Naarmate de repositories met skills groeien, is het huidige evaluatieparadigma anecdotisch: ontwikkelaars triggeren handmatig een skill, observeren een demo-run en vormen een subjectieve indruk van het succes ervan.

Deze aanpak lijdt onder drie kritieke tekortkomingen:

1. Gebrek aan Reproduceerbaarheid: Twee opeenvolgende runs kunnen verschillende codepaden bewandelen of verschillende outputs produceren, wat leidt tot inconsistente oordelen door de ontwikkelaar.
2. Gebrek aan Vergelijkbaarheid: Subjectieve indrukken kunnen niet worden vergeleken over versies of merge requests (MR's) heen.
3. Schaalbaarheidsproblemen: In multi-skill marktplaatsen kan een enkele regressie stilzwijgend tientallen downstream workflows breken.

Bovendien is er een specifieke technische foutmodus die naïeve agentische evaluatie teistert: Self-Correction Bias (Zelfcorrectie-bias). Wanneer dezelfde agent zowel de skill uitvoert als beoordeelt, patcht deze vaak de skill of de configuratie tijdens de uitvoering om fouten te herstellen. De agent beoordeelt vervolgens zijn eigen gepatchte output als een succes. Dit resulteert in een systematisch optimistisch signaal dat de debug-vaardigheid van de agent meet in plaats van de intrinsieke kwaliteit van het skill-artefact.

2. Methodologie: Het AEVAL-framework

AEVAL (Agentic Evaluation) is een CI-geïntegreerd framework dat is ontworpen om anekodische testen te vervangen door een deterministische, door wijzigingen getriggerde testpijplijn. Het behandelt elke wijziging aan een skill als een testgebeurtenis en voert een vijffasen workflow uit:

2.1. Skill-gedefinieerde Evaluatiecontract

Elke skill wordt geleverd met een eval.config-bestand dat samen met de specificatie wordt meegeleverd. Dit contract verklaart:

• Natuurlijke taal-prompts voor testgevallen.
• Verwachte uitkomsten.
• Vereiste credentials.
• Een drietraps fallback-mechanisme zorgt voor testbaarheid, zelfs zonder expliciete configuratie.

2.2. De Vijffasen Pijplijn

1. Examine (Onderzoeken): Het systeem detecteert gewijzigde skills via git diff.
2. Install (Installeren): De gewijzigde skill wordt geïnstalleerd in een schone sessie.
3. Use (Gebruik/Executie): Een geautomatiseerde executor voert de skill uit tegen het contract.
   • Constraint (Beperking): Een harde regel verbiedt gesimuleerde outputs. Als een commando faalt of een service onbereikbaar is, wordt de fout geregistreerd als een echt testresultaat. Agents mogen geen logs fabriceren of resultaten synthetiseren om assertions te laten slagen.
4. Evaluate (Beoordelen/Grading): Er wordt een structurele scheiding afgedwongen tussen de executor en de grader.
   • Executor: Voert de skill uit en genereert een transcript ($\tau$) en outputs ($O$).
   • Grader: Een aparte subagent die beperkt is tot een read-only informatieset: de testprompt ($x$), het executietranscript ($\tau$), de outputs ($O$), en pre-executie assertions ($A$).
   • First-Attempt Grading Rule: De grader evalueert de assertions tegen de eerste poging (first-attempt) traject. Als de executor enige zelfcorrigerende wijzigingen heeft toegepast ($\Delta(\tau) \neq \emptyset$) die causaal vereist waren om een assertion te laten slagen, wordt die assertion gemarkeerd als FAIL, ongeacht de uiteindelijke staat.
5. Suggest (Suggestie): Het systeem genereert suggesties voor verbeteringen op basis van de beoordelingsresultaten.

2.3. Gegronderde, Gelaagde Suggesties

Om speculatieve "nice-to-have" churn te voorkomen, zijn suggesties strikt gegrond in bewijs:

• Grounding (Gronding): Elke suggestie moet een specifieke gefaalerde assertion of een getrackte zelfcorrectie-entry citeren.
• Tiering (Gelaagdheid):
  • LV1 (Causal): Fixes die causaal betrokken zijn bij de eerste poging-fout. Deze blokkeren de merge request.
  • LV2 (Advisory): Kwaliteits- of robuustheidsverbeteringen geïdentificeerd door de grader die geen harde fout veroorzaakten.
• Delivery (Levering): Suggesties worden geplaatst als inline GitLab MR-comments met "Apply suggestion" diffs, waardoor ontwikkelaars empirisch gevalideerde patches met één klik kunnen toepassen.

3. Belangrijkste Bijdragen

Het paper beschrijft vier primaire bijdragen:

1. Deterministisch Skill-testprotocol: Een door wijzigingen getriggerd evaluatiesysteem met per-skill contracten en per-run artefact-schema's, dat handmatige evaluatie vervangt door een reproduceerbare CI-pijplijn.
2. Formalisering van Self-Correction Bias: De identificatie en formalisering van self-correction bias als een onderscheidende foutmodus die voortkomt uit de structurele koppeling van executie en grading, in plaats van specifieke modelkeuzes.
3. Structurele Scheiding en First-Attempt Grading: Een protocol dat de grader isoleert van de executie-loop en de first-attempt grading regel afdwingt. Dit zorgt ervoor dat het kwaliteitssignaal de kwaliteit van de skill reflecteert zoals geleverd, en niet de skill zoals gepatcht door de agent.
4. Gegronde, Gelaagde Suggesties: Een mechanisme voor het leveren van fix-suggesties als one-click MR-commits, die strikt gekoppeld zijn aan causaal bewijs (LV1) of adviserende feedback (LV2).

4. Empirische Resultaten

Het framework werd gevalideerd tegen een productie-agentic stack en meerdere populaire agent SDK's (inclusief Claude-familie en GPT-familie agents).

• Eliminatie van Bias: In een casestudy met een bewust gedegradeerde segmentatie-skill, rapporteerde een naïeve evaluator een pass-rate van 100% nadat de agent stilaan actienamen had gepatcht. AEVAL registreerde de zelfcorrectie, markeerde de relevante assertions als FAIL, en rapporteerde een strikt lagere first-attempt pass rate aan de CI.
• Stabiliteit: Vóór de "gegrond in bewijs"-regel produceerden herhaalde runs van dezelfde MR uiteenlopende suggestie-sets. Met de regel convergeerden herhaalde runs naar dezelfde causaal gegronde LV1-set.
• Simulatieverbod: Toen een downstream GPU-cluster onbereikbaar was, produceerden eerdere iteraties synthetische logs. Onder AEVAL registreerde de agent de verbindingsfout, waardoor downstream CI het verschil kon onderscheiden tussen skill-defecten en omgevingsfouten.
• Cross-Runtime Kalibratie: Het framework slaagde erin om dezelfde skill over verschillende agent-backends uit te voeren. Hoewel de ruwe pass-rates varieerden, bood de causale share (het deel van de suggesties gemarkeerd als merge-blocking) een reproduceerbare scalaire metriek om de ernst van de grader te vergelijken. Backend A (Claude-familie) had een gemiddelde causale share van 0.41, terwijl Backend B (GPT-familie) 0.82 had, wat systematische verschillen onthulde in hoe verschillende agents ernst interpreteren.
• Kostenefficiëntie: Met prompt cache hit rates van 95–97% is de marginale token-kosten van het herhalen van het protocol bij elke push laag genoeg om continue integratie te ondersteunen.

5. Betekenis en Claims

Het paper claimt dat AEVAL een structurele garantie biedt dat het evaluatiesignaal een functie is van de first-attempt executie in plaats van de post-correctie staat.

• Fundamentele Blok: De auteurs positioneren deterministische skill-testing niet als een probabilistische dekking guarantee (zoals conformal prediction), maar als een noodzakelijke upstream component die betrouwbare, binaire ground-truth labels produceert. Deze labels zijn randvoorwaarden voor downstream statistische methoden (bijv. conformal prediction, onzekerheidskwantificatie) om correct te functioneren.
• Verschuiving in Praktijk: Het framework faciliteert een verschuiving van "anecdotisch handmatig testen" naar "deterministische, door wijzigingen getriggerde testpijlijnen", wat de evolutie van traditionele software engineering weerspiegelt.
• Automatisering-loop: Door zelfvervullende 100% pass-signalen om te zetten in controleerbare first-attempt failure-signalen en door one-click patches te bieden, sluit AEVAL de test-fail-fix loop, wat betrouwbare routing en beslissingen mogelijk maakt in downstream agentische workflows.

De auteurs blijven bescheiden over de beperkingen en erkennen dat het verbod op gesimuleerde outputs wordt afgedwongen door instructie (niet door sandboxing) en dat complexe multi-step zelfcorrecties nog steeds verkeerd toegeschreven kunnen worden door de grader. Echter, zij stellen dat de structurele scheiding tussen de executor en de grader de kern is van de benodigde betrouwbaarheid voor statistisch rigoureuze monitoring van agentische workflows.