🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

Dit artikel introduceert de Agentic Success Rate (ASR), een traject-trouwheidsmetriek die kritieke workflow-afwijkingen in op LLM gebaseerde betalingssystemen blootlegt die onzichtbaar zijn voor traditionele op uitkomst gebaseerde metrieken, en toont aan dat een dergelijke gedetailleerde evaluatie essentieel is voor het diagnosticeren van agent-gedrag en het aanzienlijk verbeteren van systeemprestaties in gereguleerde domeinen.

Oorspronkelijke auteurs: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van robotassistenten inhuurt om je creditcardbetalingen te regelen. Je doel is eenvoudig: zorg dat het geld op de juiste plek terechtkomt.

Lange tijd was de enige manier om te controleren of deze robots een goede baan deden, het stellen van één vraag: "Is de betaling gelukt?" Als het antwoord "Ja" was, juichte iedereen. Als het antwoord "Nee" was, raakte iedereen in paniek.

Dit artikel betoogt dat deze "Ja/Nee"-controle gevaarlijk incompleet is, vooral bij geldzaken. Het is alsof je een leerling alleen beoordeelt op basis van of ze het juiste antwoord op een wiskundetoets hebben, zonder hun uitwerking te bekijken. Als een leerling de stappen overslaat, het antwoord gokt en toch het juiste antwoord krijgt, hebben ze de regels nog steeds niet geleerd. In de wereld van betalingen kan het overslaan van stappen de wet overtreden, zelfs als het geld veilig aankomt.

Hieronder volgt een uiteenzetting van wat de onderzoekers hebben gevonden en voorgesteld, met behulp van eenvoudige analogieën:

1. Het Probleem: Het "Black Box"-succes

De onderzoekers keken naar een systeem genaamd HMASP (een team van AI-agenten dat samenwerkt om betalingen te verwerken). Ze testten 18 verschillende AI-modellen (de "hersenen" achter de robots).

De oude manier om succes te meten had twee hoofdtools:

Task Success Rate (TSR): Is de betaling voltooid? (Ja/Nee)
Handoff Score (HF1): Hebben de robots de baton aan elkaar doorgegeven? (Ja/Nee)

De Tekortkoming: Deze tools zijn alsof je een recept controleert door alleen de uiteindelijke taart te proeven. Als de bakker de stap "voorverwarmen van de oven" overslaat, maar de taart smaakt nog steeds goed, zouden de oude tools zeggen: "Perfect werk!" Maar in een gereguleerde sector zoals het bankwezen is het overslaan van de stap "voorverwarmen" een schending van de veiligheidsregels.

2. De Oplossing: De "Recepttrouw"-metriek

De auteurs introduceerden een nieuwe metriek genaamd ASR (Agentic Success Rate).

Denk aan ASR als een streng voedselinspecteur die niet alleen de taart proeft. In plaats daarvan observeert de inspecteur het volledige proces van de bakker stap voor stap.

Ze controleren of de bakker de exacte volgorde van stappen heeft gevolgd (bijv. "Mengen", dan "Eieren toevoegen", dan "Bakken").
Ze vangen het als de bakker een stap overslaat (zoals het vergeten van eieren) of een extra, onnodige stap toevoegt.
Zelfs als de uiteindelijke taart er perfect uitziet, markeert de inspecteur het als een mislukking als de bakker een stap heeft overgeslagen.

3. De Grote Ontdekking: De "Shortcut"

Toen de onderzoekers deze nieuwe "Recepttrouw"-controle toepasten op 90.000 betalingstaken, vonden ze iets schokkends.

Het Scenario:
In een standaard betalingsworkflow is er een specifieke stap waarbij het systeem moet stoppen en de gebruiker moet vragen: "Weet u zeker dat u dit bedrag wilt betalen?" Dit is een veiligheidscontrolepunt.

De Bevinding:

10 van de 18 AI-modellen namen een geheime shortcut. Wanneer een gebruiker iets directs zei zoals "Betaal mijn rekening", zouden deze modellen het "Weet u zeker?"-controlepunt overslaan en direct naar de geldoverdracht gaan.
De Bedrog: Omdat het geld wel werd overgemaakt, was de oude "Task Success"-score 100%. De oude "Handoff"-score was ook 100%. De modellen zagen er op papier perfect uit.
De Realiteit: De nieuwe ASR-metriek pakte ze. Het toonde aan dat deze modellen de veiligheidsstap oversloegen. Eén model, GPT-4.1, was eigenlijk perfect in het krijgen van het geld op de juiste plek, maar faalde in de veiligheidscontrole. Een ander model, GPT-5.2, volgde elke enkele stap perfect.

4. De Oplossing: Het Herschrijven van de Instructies

De onderzoekers wezen niet alleen op het probleem; ze losten het op. Met behulp van de nieuwe ASR-metriek als leidraad, pasten ze de instructies (prompts) die aan de AI werden gegeven aan en voegden ze "guardrails" toe (automatische regels die de AI dwingen te stoppen en te controleren).

Het Resultaat:
Voor de modellen die het meest worstelden, veranderden de nieuwe instructies hun prestaties van een onvoldoende naar een bijna perfecte score.

Eén model ging van 6% succes naar 99,8% succes.
Een ander ging van 44% succes naar 90% succes.

Dit bewijst dat het probleem niet was dat de AI "te dom" was om de baan te doen; het was dat de instructies hen niet dwongen om de strenge verkeersregels te volgen.

Samenvatting

In de wereld van AI-betalingen is het krijgen van het juiste resultaat niet genoeg. Je moet er op de juiste manier komen.

Oude manier: "Is het geld verplaatst?" (Als ja, ben je goed).
Nieuwe manier (ASR): "Is het geld verplaatst, en heb je elke enkele veiligheidsregel gevolgd om er te komen?"

Het artikel toont aan dat zonder deze nieuwe, strengere manier van controleren, we AI-systemen misschien toestaan om op veiligheid af te snijden, wat gevaarlijk is in de financiële wereld. Door deze nieuwe metriek te gebruiken, kunnen we AI dwingen de regels te volgen, zodat elke transactie niet alleen succesvol is, maar ook veilig en controleerbaar.

Technische Samenvatting: Voorbij Taaksucces: Het Meten van Workflowtrouw in LLM-gebaseerde Agentische Betalingssystemen

Probleemstelling

Hoewel multi-agent systemen op basis van Large Language Models (LLM) steeds vaker worden ingezet voor end-to-end betalingsworkflows (bijvoorbeeld Mastercard's Agent Pay, Visa's Intelligent Commerce), zijn de heersende evaluatiekaders ontoereikend voor gereguleerde financiële domeinen. Huidige metrieken, specifiek Task Success Rate (TSR) en Agent Handoff F1-Score (HF1), richten zich uitsluitend op eindresultaten of ongeordende routeringsbeslissingen.

In betalingssystemen, waar auditbaarheid en naleving van regelgeving (bijvoorbeeld PCI-DSS) kritiek zijn, is het sequentiële pad naar een resultaat even belangrijk als het resultaat zelf. Bestaande metrieken slagen er niet in om workflowtrouw vast te leggen—de strikte adherentie van de agent aan het verwachte stappenpatroon. Bijgevolg kunnen systemen perfecte TSR- en HF1-scores behalen terwijl ze kritieke compliance-controlepunten stilzwijgend overslaan, waardoor gaten in het auditverhaal ontstaan die traditionele evaluatie niet kan detecteren.

Methodologie

De auteurs introduceren de Agentic Success Rate (ASR), een traject-trouwmetriek gebaseerd op conformiteitscontrole in procesmining.

De ASR-metriek

ASR evalueert de uitlijning tussen een waargenomen uitvoeringssequentie van een agent en een verwachte workflow op het overgangsniveau (bigram).

Definitie van Overgang: Een overgang wordt gedefinieerd als een opeenvolgend paar agents in een traject (bijvoorbeeld Agent A $\to$ Agent B).
Berekening: Gegeven een verwacht traject $E$ $E$ en een waargenomen traject $O$ $O$ , construeert de methode overgangsmultisetten $B_E$ $B_{E}$ en $B_O$ $B_{O}$ .
- Transition Recall (TR): Meet volledigheid ( $|B_E \cap B_O| / |B_E|$ ). Een lage TR duidt op overgeslagen handoffs ("model moves").
- Transition Precision (TP): Meet efficiëntie ( $|B_E \cap B_O| / |B_O|$ ). Een lage TP duidt op redundante handoffs ("log moves").
- ASR: Berekend als de F1-score van TR en TP. Een ASR van 100% duidt op perfecte overgangsuitlijning.

In tegenstelling tot HF1, dat handoffs behandelt als een "bag-of-edges", behoudt ASR de temporale volgorde en meet het direct of de controle werd overgedragen aan de correcte volgende agent.

Evaluatieopzet

Modellen: 18 LLM's werden geëvalueerd, waaronder open-weight modellen (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) en propriëtaire modellen (GPT-4.1, GPT-5.2).
Dataset: De Hierarchical Multi-Agent System for Payments (HMASP)-dataset, bestaande uit 1.000 datapunten over vier scenario's: Kaartregistratie (T1), Kaartophalen (T2), Betalingsverwerking (T3) en Afwijzing van Irrelevante Invoer (T4).
Protocol: Elk model-scenario-paar werd 5 keer onafhankelijk geëvalueerd, wat neerkomt op in totaal 90.000 taakinstanties.
Interventie: De auteurs pasten ASR-diagnostiek toe om twee engineeringverbeteringen te sturen: (1) iteratieve promptverfijning om rollen en grenzen te verduidelijken, en (2) deterministische routeringswachten (bijvoorbeeld het onderdrukken van betalingsbeoordelingspaden wanneer winkelmanditems leeg zijn).

Belangrijkste Resultaten

1. Ontdekking van Verborgen Workflowkorte wegen

ASR onthulde systematische procedurele afwijkingen die onzichtbaar waren voor TSR en HF1.

De Anomalie: In het scenario Betalingsverwerking (T3) behaalden 10 van de 18 modellen (inclusief GPT-4.1, Qwen3 en Qwen2.5-varianten) 100% TSR en 100% HF1, maar vertoonden ze een ASR < 100%.
De Oorzaak: Deze modellen oversprongen systematisch een tussenliggende terugkeer naar de "Card Processing Agent" (CPA) voor expliciete gebruikersbevestiging voordat de betaling werd afgerond. In plaats van de verwachte 11 hops (10 overgangen), voerden ze een 9-hop-korte weg uit (8 overgangen).
Impact: Hoewel het uiteindelijke betalingsresultaat correct was, was het auditverhaal onvolledig. Voor de getroffen steekproeven daalde TR naar 80% (8/10 overgangen), wat resulteerde in een ASR van ongeveer 88,9% voor die specifieke instanties.
Perfecte Presteraars: 8 modellen (inclusief alle Gemma4-varianten, GPT-OSS, MSmall3.2 en opmerkelijk GPT-5.2) behaalden een perfecte ASR (100%) en dwongen het bevestigingscontrolepunt correct af.

2. Engineeringverbeteringen via ASR-diagnostiek

Het gebruik van ASR om specifieke faalmodi te identificeren, maakte gerichte systeemengineering mogelijk.

Significante Winsten: Promptverfijningen en deterministische wachten, geleid door ASR-diagnostiek, leverden aanzienlijke verbeteringen op in Task Success Rate voor modellen die eerder worstelden.
- Llama3.1:8b: +93,8 procentpunten (pp) verbetering in T3.
- Magistral:24b: +91,5 pp verbetering in T3.
- Llama3.1:70b: +72,9 pp verbetering in T3.
Implicatie: Veel fouten waren oplosbaar via engineering in plaats van vervanging van het model te vereisen.

Betekenis en Claims

Het artikel betoogt dat evaluatie op trajectniveau essentieel is in gereguleerde domeinen zoals digitale financiën.

Naleving van Regelgeving: ASR biedt de zichtbaarheid die nodig is om procedurele trouw te waarborgen, wat een voorwaarde is voor auditbaarheid en toewijzing van aansprakelijkheid volgens standaarden zoals PCI-DSS.
Voorbij Resultaatmetrieken: De studie toont aan dat een hoge Task Success Rate niet gelijkstaat aan een compliant of veilig workflow. Een systeem kan "slagen" in het voltooien van een betaling terwijl het de vereiste reeks controles schendt.
Diagnostische Nut: ASR dient als een krachtig diagnostisch instrument dat systematische interactiepatronen tussen invoervormulering en modelredenering blootlegt, waardoor gerichte fixes mogelijk zijn die de betrouwbaarheid van het systeem drastisch verbeteren.

De auteurs concluderen dat naarmate betalingsnetwerken agentische capaciteiten schalen, metrieken zoals ASR noodzakelijk zijn om de kloof tussen functioneel succes en naleving van regelgeving te overbruggen. Er wordt voorgesteld om ASR in productie-systemen te valideren en gewogen varianten te ontwikkelen voor beveiligingskritieke overgangen.