🤖 AI

Automata from Agent Traces: Failure and Next-Step Prediction

Dit artikel stelt een methode voor om executietracés van LLM-agenten te reduceren tot compacte, model-agnostische eindige toestandsautomaten die effectief de gedeelde gedragstopologie vastleggen, wat superieure voorspelling van de volgende stap en vroege detectie van fouten mogelijk maakt voor veiligheidsauditing en runtime-monitoring.

Oorspronkelijke auteurs: Seonglae Cho, Franklin Cardenoso Fernandez, Umar Mohammed, Zekun Wu, Kleyton Da Costa, Ilham Wicaksono, Adriano Koshiyama

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seonglae Cho, Franklin Cardenoso Fernandez, Umar Mohammed, Zekun Wu, Kleyton Da Costa, Ilham Wicaksono, Adriano Koshiyama

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin kunstmatige intelligentie-agenten niet langer slechts chatbots zijn die vragen beantwoorden, maar autonome werkers die op zichzelf complexe problemen kunnen oplossen. Deze digitale werknemers kunnen het web doorzoeken, computercode schrijven en debuggen, klantenservice-aanvragen beheren en zelfs desktopsoftware besturen. Ze werken door een groot doel op te splitsen in een lange keten van kleinere stappen, waarbij ze over elke stap nadenken en actie ondernemen. Maar naarmate deze agenten bekwaamere worden, worden ze ook moeilijker te begrijpen. Hun interne besluitvormingsprocessen zijn vaak een black box, en wanneer ze falen, is het moeilijk te zeggen of ze in een lus vastzitten, een simpele fout maken, of afdwalen naar een chaotisch pad dat nergens toe leidt. Voor bedrijven en onderzoekers die deze systemen inzetten, vormt deze ondoorzichtigheid een groot veiligheidsrisico. Zonder een duidelijke kaart van hoe deze agenten zich gedragen, is het bijna onmogelijk om fouten te detecteren voordat ze schade veroorzaken of te voorspellen wanneer een agent op het punt staat te falen.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om het gedrag van deze autonome agenten in kaart te brengen, door hun rommelige, ongestructureerde acties om te zetten in een helder, compact blauwdruk. In plaats van te proberen de complexe redenering in de hersenen van de agent te begrijpen, richtten de onderzoekers zich op het externe spoor van acties dat de agent achterlaat. Ze behandelden duizenden van deze actiesporen als één enkele dataset en stelden een eenvoudige vraag: kunnen we een verborgen structuur vinden die verklaart hoe deze agenten van de ene stap naar de volgende bewegen? Door de sequentie van acties te analyseren — zoals het zoeken naar informatie, het bewerken van een bestand of het praten met een gebruiker — ontdekten ze dat hun gedrag, ondanks de schijnbare willekeur van de keuzes van de agenten, een verrassend rigide en voorspelbaar patroon volgt. De onderzoekers bouwden een eindige automaat (finite-state machine), wat in essentie een stroomdiagram is dat elke mogelijke route die een agent kan nemen, vastlegt. Dit stroomdiagram is geen gok; het is een wiskundige reconstructie van het werkelijke gedrag van de agent, gedestilleerd uit gegevens uit de echte wereld.

De meest opvallende ontdekking is hoe klein en efficiënt deze stroomdiagrammen zijn. Zelfs voor agenten die duizenden verschillende taken uitvoeren, vonden de onderzoekers dat hun gedrag gecomprimeerd kon worden in een kaart met slechts een handvol toestanden, variërend van zeven tot drieënveertig afzonderlijke stappen. Dit is een enorme reductie in complexiteit. Om dit in perspectief te plaatsen: stel je voor dat je probeert de volledige lay-out van een uitgestrekte stad te beschrijven door elke straat en elk gebouw op te sommen; de onderzoekers vonden in plaats daarvan een manier om de verkeersstroom van de stad te beschrijven met behulp van slechts een paar belangrijke kruispunten en de regels voor hoe auto's tussen hen bewegen. In hun tests waren deze compacte kaarten in staat om de eerdere acties van de agenten te herhalen met een AUC van 0,997. Dit hoge niveau van nauwkeurigheid suggereert dat de structuur van het werk van een agent minder wordt bepaald door het taalmodel dat de agent aandrijft, en meer door de hulpmiddelen die de agent mag gebruiken en de taken die hem worden gegeven.

Deze structurele kaart doet meer dan alleen het verleden beschrijven; het dient als een krachtig instrument om de toekomst te voorspellen. Omdat de kaart de logische flow van het werk van de agent vastlegt, kan deze worden gebruikt om te zien wanneer een agent van het rechte pad afwijkt. De onderzoekers lieten zien dat door te observeren hoe een agent door deze kaart beweegt, zij konden voorspellen of een taak zou slagen of falen lang voordat de taak voltooid was. In sommige gevallen kon het systeem een falende uitvoering identificeren wanneer de agent pas een kwart van zijn werk had gedaan, wat vroegtijdige interventie mogelijk maakte. Dit is een significante verbetering ten opzichte van eerdere methoden die vaak wachtten tot het einde om succes of falen te beoordelen. De kaart bleek ook beter in het voorspellen van de volgende stap die een agent zou nemen dan andere bestaande technieken, wat een duidelijker beeld geeft van wat de agent waarschijnlijk als volgende zal doen op basis van waar hij zich momenteel in zijn workflow bevindt.

De onderzoekers testten hun methode op twaalf verschillende datasets die een breed scala aan activiteiten beslaan, van coderen en webnavigatie tot klantenservice en desktopbeheer. In elk geval produceerde de methode een compacte, betrouwbare kaart die andere benaderingen overtrof. In tegenstelling tot oudere technieken die vaak te complexe modellen met duizenden onnodige toestanden creëerden, of modellen die te simpel waren om nuttig te zijn, vond deze aanpak het ideale evenwicht. Het creëerde een model dat klein genoeg was om snel en gemakkelijk te analyseren, maar gedetailleerd genoeg om de nuances van het gedrag van de agent te vatten. De constructie van deze kaarten ging ongelooflijk snel en duurde slechts milliseconden om te bouwen, wat betekent dat ze in realtime gebruikt kunnen worden om agenten te monitoren terwijl ze werken.

De implicaties van dit werk reiken verder dan alleen het veiliger maken van agenten. Door te onthullen dat het gedrag van deze complexe systemen wordt beheerst door een eenvoudige, onderliggende structuur, hebben de onderzoekers een nieuwe manier geboden om kunstmatige intelligentie te auditeren en te begrijpen. Deze structuur is niet afhankelijk van het specifieke type AI-model dat wordt gebruikt; het houdt stand bij verschillende modellen en verschillende soorten taken. Dit suggereert dat de beperkingen van de omgeving en de beschikbare hulpmiddelen van de agent de primaire drijfveren van zijn gedrag zijn, in plaats van de interne logica van de AI zelf. Voor ontwikkelaars en veiligheidsauditors biedt dit een praktische, model-agnostische manier om agenten te monitoren, fouten vroegtijdig te detecteren en ervoor te zorgen dat deze autonome systemen binnen veilige en voorspelbare grenzen opereren. Het werk demonstreert dat zelfs de meest complexe en ogenschijnlijk chaotische gedragingen van moderne AI-agenten kunnen worden teruggebracht tot een duidelijke, begrijpelijke en beheersbare set regels.

Technische Samenvatting: Automata uit Agent-traces

Probleemstelling

LLM-gebaseerde agents voeren complexe, meerstaps-taken uit door redeneren af te wisselen met tool-aanroepen, waarbij ze uitvoeringstraces genereren die vaak lang en ongestructureerd zijn. Deze opaciteit belemmert veiligheidsaudits, debugging en monitoring tijdens de runtime. Bestaande benaderingen voor gedragsanalyse werken doorgaans op basis van een individuele trace, vertrouwen op filters die alleen succes meten, of vereisen handmatige specificatie van workflows. Hierdoor slagen ze er niet in om de gedeelde cross-run topologie te vatten die de link legt tussen de voorspelling van de volgende stap en de voorspelling van falen. Bovendien is het leren van eindige automata uitsluitend uit positieve voorbeelden theoretisch onmogelijk (Gold, 1967; Angluin, 1980), en bestaande algoritmen voor automata-leren (bijv. RPNI, EDSM) produceren vaak massieve, overfitte toestandsruimten wanneer negatieve voorbeelden ontbreken.

De kernuitdaging is het terugwinnen van een compacte, structurele representatie van agentgedrag uit een corpus van uitvoeringstraces met behulp van enkel positieve voorbeelden, wat zowel voorspellende modellering als monitoring van de veiligheid tijdens de runtime mogelijk maakt zonder handmatige interventie.

Methodologie

De auteurs stellen een deterministische, hyperparameter-vrije constructie van een eindige toestandsmachine (Finite State Machine, FSM) voor op basis van agent-traces. De methode maakt gebruik van de observatie dat LLM-agents opereren binnen een begrensde set van tools en acties, wat resulteert in kleine activiteitsalfabetten (6–42 symbolen) en sterke sequentiële regelmaat.

1. Activiteitsextractie

Traces worden omgezet in sequenties van symbolen uit een eindig alfabet $\mathcal{A}$ met behulp van een deterministische extractiefunctie $\phi$ . De functie geeft prioriteit aan:

Tool calls: Het extraheren van de functienaam.
Action tags: Het extraheren van actielabels (bijv. [ACTION]).
Command extraction: Het extraheren van het eerste commando-token uit codeblokken.
Als er geen regel matcht, valt de activiteit terug op een rol-inhoud type (bijv. assistant:text).

2. FSM-constructie

De constructie verloopt in drie stappen (Algoritme A.1):

Prefix Tree: Alle activiteitssequenties worden in een trie ingevoegd. Elk uniek prefix representeert een onderscheidende toestand. Dit levert perfecte trainingsfitness op, maar een $O(\sum T_i)$ aantal toestanden.
Last-Activity Merge: Toestanden worden samengevoegd op basis van een "last-activity right congruence". Twee toestanden $q$ en $q'$ worden samengevoegd als de activiteit op de rand die hen binnenkomt identiek is ( $\kappa(q) = \kappa(q')$ ). Dit reduceert de toestandsruimte tot $|\mathcal{A}| + 1$ toestanden (één per activiteit plus de initiële toestand), wat een deterministische "directly-follows" automaton creëert.
Rare-Transition Filtering: Transities die exact één keer zijn waargenomen, worden verwijderd, tenzij zij de enige voortzetting zijn vanuit hun bronstaat. Dit filtert eenmalige zijpaden weg terwijl de kern van de gedrags-topologie behouden blijft.

3. Theoretische Garanties

Fitness Behoud: Stelling 2 bewijst dat de merge-operatie de trainingsfitness behoudt; elke trace die door de prefix tree wordt geaccepteerd, wordt ook geaccepteerd door de samengevoegde FSM.
Determinisme en Compactheid: Stelling 3 stelt vast dat de resulterende FSM deterministisch is met $|\mathcal{A}| + 1$ toestanden. De constructie is een deterministische functie van het corpus, wat reproduceerbaarheid garandeert.
Convergentie: Proposition 5 biedt een convergentiegarantie: gegeven $N$ traces, is de geëxtraheerde FSM met hoge waarschijnlijkheid gelijk aan de populatie "directly-follows" automaton, mits transities met een minimale frequentie voorkomen.

4. Voorspelling en Monitoring

Next-Step Predictie: Probabiliteiten $P(a_t | q_t)$ worden geschat op basis van transitietellingen binnen de FSM-toestanden, gladgestreken via Laplace of absolute discounting.
Falen Voorspellen: Het systeem extraheert per-toestand kenmerken (bezoekfrequentie, berichtlengte, foutpercentages) en trace-niveau anomalie-kenmerken (cross-entropie, verrassing). Een gradient-boosted classifier gebruikt deze kenmerken om succes/falen te voorspellen.
Runtime Monitor: Een online monitor speelt traces af door de FSM, waarbij metrieken zoals de "cycle rate" (frequentie van het herbezoeken van toestanden) worden berekend. Het triggert vroegtijdige stopzetting wanneer een trace structureel afwijkt van succesvolle patronen (bijv. het terechtkomen in een strakke loop), zonder dat hiervoor een getraind ML-model voor de monitoringlogica nodig is.

Belangrijkste Resultaten

De methode werd geëvalueerd op twaalf publieke datasets over acht agent-domeinen (codering, webnavigatie, GUI, klantenservice, veiligheid), met alfabetgroottes variërend van 6 tot 42 symbolen.

Compactheid en Fitness: De geëxtraheerde FSM's zijn zeer compact en bevatten slechts 7–43 toestanden. Ze bereiken een test-replay fitness $\ge 0,997$ op alle datasets. Vergeleken met de RPNI-baseline bereikt de methode compressieratio's van 15 $\times$ tot 3.036 $\times$ (bijv. het reduceren van 59.510 RPNI-toestanden naar 25 FSM-toestanden op SWE-agent).
Next-Step Predictie: FSM-toestand context presteert beter dan Agent Workflow Memory (AWM) op alle acht datasets waar AWM werd geëvalueerd, met verbeteringen in top-1 nauwkeurigheid variërend van +0,8pp tot +25,3pp. Conditionering op de FSM-toestand vermindert de cross-entropie met 0,155 bits (21%) vergeleken met alleen de ruwe context.
Falen Voorspellen: Per-toestand gedragskenmerken bereiken een held-out AUROC tot 0,94 (tau2-bench telecom). De methode verslaat de MLP, GRU en Transformer baselines op 20 van de 21 dataset-architectuur paren.
Runtime Efficiëntie: FSM-constructie voltooit in 1–110 ms (versus 7.000–36.000 ms voor RPNI). Per-trace replay duurt 0,003–0,015 ms, wat real-time monitoring mogelijk maakt.
Early Stopping: De online monitor kan falende runs boven passerende runs rangschikken bij het 25% trace-checkpoint (rank-AUROC 0,66) en kan vroegtijdige stopzetting triggeren bij 32% voltooiing op SWE-agent, wat 68% van de resterende rekenkracht bespaart.
Generalisatie: Een enkele FSM gebouwd uit traces van vier verschillende LLM's bereikt een 1,000 fitness op elk model afzonderlijk, wat aangeeft dat de gedragstopologie meer gevormd wordt door de deployment harness en tool-beperkingen dan door de specifieke LLM.

Betekenis en Claims

Het artikel claimt dat LLM-agents, ondanks hun schijnbare complexiteit, compacte structurele abstracties toelaten. De primaire betekenis ligt in het bieden van een model-agnostisch structureel primitief dat vier verschillende taken verenigt — workflowgeheugen, next-step voorspelling, falen voorspelling en runtime monitoring — in één enkele, hyperparameter-vrije constructie.

Belangrijke claims zijn:

Structurele Primacy: De gedragstopologie wordt meer gevormd door het systeem (tools, prompts, taakverdeling) dan door de LLM, wat model-invariante monitoring mogelijk maakt.
Traceerbaarheid: Het begrensde activiteitsalfabet van agents maakt het probleem van leren uit positieve voorbeelden tractabel, wat resulteert in compacte, interpreteerbare FSM's die statistisch informatief zijn.
Efficiëntie: De methode vervangt vier op maat gemaakte pipelines door één structureel primitief dat in milliseconden opereert, wat het geschikt maakt voor inzet in veiligheidsaudits en runtime monitoring.
Interpreteerbaarheid: In tegenstelling tot HMM's of grote automata-leren algoritmen, corresponderen de toestanden in deze FSM direct met de laatste activiteit, wat per-toestand decompositie en interpreteerbare analyse van faalmodi mogelijk maakt (bijv. identificeren dat falen vaak manifesteert als het vastlopen in specifieke loops in plaats van het verkennen van nieuwe toestanden).

De auteurs noemen beperkingen, waaronder het feit dat de FSM de "directly-follows closure" van geobserveerde traces accepteert (niet de genererende taal zelf) en dat de activiteitsextractiefunctie minimale domeinkennis vereist. Zij benadrukken echter dat de structurele beperkingen robuust zijn over verschillende extractie-granulariteiten en dat de aanpak een inzetbare substantie biedt voor veiligheids- en gedragsanalyse.