💻 computer science

Learning Correct Behavior from Examples: Validating Sequential Execution in Autonomous Agents

Dit artikel introduceert een nieuw algoritme dat de sequentiële gedragingen van autonome agenten valideert door gegeneraliseerde ground truth-modellen te leren uit slechts 2–10 uitvoeringstraces, waarbij dominatoranalyse en multimodale grote taalmodellen worden ingezet om hoge nauwkeurigheid te bereiken bij het detecteren van bugs en het uitvoeren van verklaarbare validatie in uiteenlopende domeinen.

Oorspronkelijke auteurs: Reshabh K Sharma, Gaurav Mittal, Yu Hu

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Reshabh K Sharma, Gaurav Mittal, Yu Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar lichtjes chaotische, robotassistent leert hoe je een kop koffie zet.

In de oude tijden, als je wilde controleren of de robot het werk goed had gedaan, moest je een streng regelboek schrijven: "Eerst, pak de mok. Dan, druk op de knop. Dan, wacht precies 3 seconden. Dan, giet." Als de robot de mok pakte, op de knop drukte en in 2 seconden schonk omdat de machine die dag sneller was, zou je strenge regelboek schreeuwen: "FOUT! Je hebt niet 3 seconden gewacht!" en de robot laten zakken, zelfs als de koffie perfect is.

Dit is het probleem met het testen van moderne AI-agenten. Ze zijn flexibel. Soms nemen ze een afkorting; soms wachten ze langer. Ze volgen niet elke keer exact hetzelfde pad, zelfs niet als ze het werk correct uitvoeren.

Dit paper introduceert een nieuwe manier om deze agenten te testen die minder lijkt op een streng regelboek en meer op een slimme mentor.

Het Kernidee: Leren van "Goede Dagen"

In plaats van regels te schrijven, vraagt het systeem de agent om de taak slechts 2 tot 10 keer succesvol uit te voeren. Het observeert deze "goede dagen" en bouwt een mentale kaart op van wat moet gebeuren versus wat kan veranderen.

Denk eraan als het observeren van een groep vrienden die een stad doorkruisen om bij een specifiek restaurant te komen:

Vriend A neemt de metro, stapt uit bij het centraal station, loopt door het park en komt aan.
Vriend B neemt een bus, stapt twee blokken verder uit, loopt langs een bakkerij en komt aan.
Vriend C neemt de metro, stapt uit bij het centraal station, loopt door het park, maar stopt om zijn schoenveter te strikken voordat hij aankomt.

Een strenge tester zou zeggen: "Vriend B heeft gefaald omdat hij niet de metro nam!" of "Vriend C heeft gefaald omdat hij stopte!"

Maar dit nieuwe systeem is slimmer. Het bekijkt alle drie de routes en realiseert zich:

De Essentiële Stops (De "Dominator"-boom): Iedereen moet thuis beginnen en moet bij het restaurant eindigen. Dit zijn de niet-onderhandelbare controlepunten.
De Optionele Stops: Het park, de bakkerij en het schoenveter-strikken zijn slechts variaties. Ze zijn leuk om te hebben, maar niet vereist.

Hoe Het Werkt (De Drie Stappen)

1. Het "Fotoalbum" (Opvangen van Sporen)
Het systeem maakt screenshots (of neemt acties op) van de agent die de taak een paar keer correct uitvoert. Het zet deze om in een stroomschema, zoals een "Kies je Eigen Avontuur"-boek waar elke route die werkte wordt vastgelegd.

2. De "Slimme Samenvoeging" (Het Patroon Vinden)
Dit is het magische deel. Het systeem gebruikt twee tools om uit te zoeken wat er toe doet:

Het Oog (Visuele Metrieken): Het bekijkt de screenshots. Als twee schermen 99% identiek lijken, behandelt het ze als dezelfde stap.
Het Brein (LLM-analyse): Soms lijken schermen verschillend maar betekenen ze hetzelfde (bijvoorbeeld, een venster is iets groter, of de tijd op de klok is veranderd). Het systeem vraagt een krachtig AI-taalmodel: "Zijn deze verschillen belangrijk, of slechts cosmetisch?" Als de AI zegt: "Nee, het is gewoon een ander lettertype", negeert het systeem het.

Door deze paden te samenvoegen, bouwt het systeem een "Dominator-boom". Dit is een vereenvoudigde kaart die alleen de kritieke mijlpalen toont die elke succesvolle poging heeft doorlopen. Het filtert ruis eruit (zoals laadschermen die soms verschijnen maar niet bij andere keren).

3. De "Controlelijst" (Valideren van Nieuwe Runs)
Wanneer de agent de taak opnieuw probeert, controleert het systeem niet of het exact hetzelfde pad heeft gevolgd. In plaats daarvan vraagt het: "Heb je alle kritieke mijlpalen in de juiste volgorde geraakt?"

Als de agent de "Hoofdvenster" oversloeg en direct naar "Resultaten" ging, zegt het systeem: "FAAL." (Je hebt een kritieke stop gemist).
Als de agent het "Laadscherm" oversloeg (wat optioneel is), zegt het systeem: "SLAAG." (Je hebt het werk efficiënt gedaan).

Waarom Dit Belangrijk Is

Het paper testte dit op een computeragent die een code-editor moest openen en tekst moest zoeken.

De Oude Manier (Zelfrapportage): De agent zou vaak zeggen: "Ik heb het gedaan!" zelfs als het faalde, of zeggen: "Ik heb gefaald!" terwijl het eigenlijk slaagde, omdat het verward raakte door timingproblemen. Het was slechts ongeveer 82% accuraat.
De Nieuwe Manier: Door de "Dominator-boom" te gebruiken die geleerd was van slechts 3 succesvolle voorbeelden, bereikte het systeem 100% accuraatheid. Het kon onderscheid maken tussen wanneer de agent daadwerkelijk de software verbrak (een productbug) en wanneer de agent gewoon struikelde door een trage internetverbinding (een agentprobleem).

De Conclusie

Dit paper presenteert een tool die een AI leert zichzelf te beoordelen. In plaats van duizenden voorbeelden of een star regelboek nodig te hebben, leert het het "skelet" van een correcte taak van slechts een handvol goede voorbeelden. Het begrijpt dat hoewel de reis kan variëren, de bestemming en de belangrijkste mijlpalen hetzelfde moeten blijven. Dit maakt het testen van autonome agenten veel betrouwbaarder en minder vatbaar voor valse alarmen.

Technische Samenvatting: Leren van Correct Gedrag uit Voorbeelden voor Autonome Agenten

Probleemstelling

Naarmate autonome agenten (bijvoorbeeld computergebruiksagenten, coderingsagenten) geavanceerder worden, vormt het valideren van hun sequentiële gedrag een aanzienlijke uitdaging vanwege niet-determinisme. In tegenstelling tot traditionele software volgen autonome systemen zelden exact dezelfde reeks toestanden en acties tussen uitvoeringen. Variaties ontstaan door tijdsverschillen, omgevingsfactoren en legitieme alternatieve paden (bijvoorbeeld het al dan niet verschijnen van een laadscherm, of verschillende UI-paden die hetzelfde doel bereiken).

Bestaande validatiebenaderingen kampen in deze context met kritieke beperkingen:

Assertie-gebaseerde testen: Vereisen handmatige specificatie voor elke controle, missen visuele statusproblemen en kunnen geen omgaan met alternatieve paden.
Opname en herhaling: Breekbaar; faalt bij minimale weergaveverschillen of tijdsvariaties.
Visuele regressietesten: Vergelijkt screenshots geïsoleerd zonder inzicht in de uitvoeringsflow of semantische betekenis.
Machine learning-orakels: Vereisen duizenden trainingsvoorbeelden en missen verklaarbaarheid.

Het kernprobleem is het onderscheid maken tussen aanvaardbare variaties (niet-essentiële toestanden) en werkelijke fouten (overgeslagen essentiële toestanden) zonder handmatige specificatie.

Methodologie

Het artikel stelt een nieuw algoritme voor dat automatisch een gegeneraliseerd grondwahrheidsmodel leert uit een klein aantal succesvolle uitvoeringssporen (2–10) en nieuwe uitvoeringen tegen dit model valideert. De aanpak bestaat uit drie fasen:

Fase 1: Opslag en Constructie van een Prefix Tree

Het systeem verzamelt uitvoeringssporen van bekende correcte runs. Elke spoor bevat sequentiële statusobservaties (bijvoorbeeld screenshots voor UI-agenten) en acties (bijvoorbeeld klikken, toetsaanslagen). Deze sporen worden omgezet in Prefix Tree Acceptors (PTA's), gerichte grafen waarbij knopen observeerbare toestanden vertegenwoordigen en randen acties.

Fase 2: Samenvoegen en Generaliseren

Deze fase voegt meerdere PTA's samen om niet-determinisme te hanteren en essentiële versus optionele toestanden te identificeren.

Multi-tier Status-equivalentiedetectie: Om te bepalen of verschillende screenshots dezelfde logische status vertegenwoordigen, gebruikt het systeem een drie-trapsbenadering:
- Trap 1 (Visuele Metrieken): Gebruikt perceptuele hashing, Structural Similarity Index (SSIM) en pixelveranderingsratio's.
- Trap 2 (Semantische Analyse): Als visuele metrieken dubbelzinnig zijn, voert een multimodaal Groot Taalmodel (LLM) een zij-aan-zij vergelijking uit om semantisch betekenisvolle verschillen (bijvoorbeeld formulierfouten) te onderscheiden van irrelevante verschillen (bijvoorbeeld vensterdecoraties, tijdstempels).
- Trap 3 (Slim Samenvoegen): Construeert een geünificeerde graaf die takken vastlegt voor alternatieve paden (bijvoorbeeld met/zonder laadscherm) en convergentiepunten.
Dominator-extractie: Met behulp van dominator-analyse uit de compilertheorie identificeert het systeem toestanden die andere "domineren" (d.w.z. elk pad van de initiële status naar een specifieke status moet door de dominator gaan). Door terug te traceren vanaf terminale toestanden naar de initiële status, extrahert het systeem een dominatorboom die uitsluitend essentiële toestanden bevat (bijvoorbeeld "Hoofdvenster", "Zoekdialoog") terwijl optionele variaties (bijvoorbeeld "Laadscherm") worden gefilterd.

Fase 3: Validatie via Topologische Subsequentie-afstemming

Wanneer een nieuwe testspoor binnenkomt, controleert het systeem of zijn reeks toestanden een topologische subsequence bevat die overeenkomt met een pad in de geleerde dominatorboom.

Afstemmingslogica: Als de referentietoestanden $A \to B \to C \to D$ zijn en de testspoor is $A \to X \to B \to Y \to C \to D$ , dan is het een OVEREENSTEMMING omdat de essentiële toestanden in de juiste volgorde verschijnen, waarbij $X$ en $Y$ worden behandeld als toegestane extra's.
Metrieken: Het systeem berekent dekking ( $\frac{\text{overeenkomende toestanden}}{\text{totaal referentietoestanden}}$ ) en controleert of de terminale status overeenkomt.
Output: Resultaten zijn SLAGEN of MISSLAGEN, vergezeld van verklaarbare metrieken (dekkingpercentage, ontbrekende toestanden) in plaats van black-box classificaties.

Belangrijkste Bijdragen

Drie-fase Algoritme: Een nieuwe integratie van Prefix Tree Acceptors en dominator-analyse om automatisch essentiële versus optionele toestanden te identificeren uit 2–10 voorbeeldsporen.
Multi-tier Equivalentiedetectie: Een hybride systeem dat visuele metrieken combineert met semantische analyse van multimodale LLM's om robuust om te gaan met niet-deterministisch gedrag en functionele equivalentie te onderscheiden van visuele ruis.
Topologische Subsequentie-afstemming: Een validatiemechanisme dat uitvoeringscorrectheid verifieert terwijl het aanvaardbare variaties tolereert, en verklaarbare dekkingmetrieken biedt.

Experimentele Resultaten

De auteurs voerden een gecontroleerde casestudy uit met een synthetisch scenario voor bugdetectie in een VS Code-extensie met 28 agentuitvoeringen (3 voor training, 25 voor testen).

Nauwkeurigheid: Het systeem behaalde 100% nauwkeurigheid bij het detecteren van productbugs (11/11), agentproblemen (3/3), valse successen (1/1) en gemiste bugs (1/1).
Vergelijking: In vergelijking met een baseline waarbij de Computer Use Agent (CUA) zelf succes/mislukking rapporteert, presteerde de voorgestelde aanpak aanzienlijk beter dan de baseline:
- Nauwkeurigheid: 100% vs. 82,2% (+17,8pp).
- Recall: 100% vs. 60,0% (+40,0pp).
- F1-score: 100% vs. 69,8% (+30,2pp).
Root Cause Analyse: Het systeem toonde het vermogen om te onderscheiden tussen "agent-uitvoeringsfouten" en "productbugs", met een F1-score van 52,2% bij het identificeren van scenario's "geen bug" (waar de agent struikelde maar het product in orde was), terwijl de CUA-baseline deze scenario's volledig niet identificeerde (0% F1-score).

Betekenis en Claims

Het artikel beweert dat betrouwbare gedragsvalidatie voor autonome agenten geen enorme trainingscorpora, breekbare exact-match specificaties of handmatige asserties vereist. Door te leren van slechts een paar succesvolle sporen, doet het systeem het volgende:

Verlaagt Opzetkosten: Elimineert de behoefte aan honderden of duizenden trainingsvoorbeelden die door ML-gebaseerde orakels worden vereist.
Biedt Verklaarbaarheid: Genereert interpreteerbare dominatorbomen en nauwkeurige dekkingmetrieken, in tegenstelling tot black-box ML-classificators.
Hanteert Niet-determinisme: Tolereert succesvol aanvaardbare variaties (zoals laadschermen) terwijl essentiële structurele gedragingen worden afgedwongen, waardoor een belangrijke zwakte van opname-en-herhaling en visuele regressietools wordt aangepakt.
Brede Toepasbaarheid: Hoewel gedemonstreerd op UI-testen, beweren de auteurs dat de aanpak toepasbaar is op coderingsagenten (validatie van ontwikkelingspatronen), robotische procesautomatisering (compliance-checkpoints) en versterkend leren (filteren van trainingsdata).

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van visuele statusrepresentatie (minder effectief voor backenddiensten), de behoefte aan succesvolle sporen (kan niet alleen van fouten leren) en de afhankelijkheid van LLM's voor semantische equivalentie. Zij stellen echter dat deze aanpak een praktische, low-shot en interpreteerbare mechanisme biedt om de betrouwbaarheid van autonome agenten in complexe productieomgevingen te waarborgen.