🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

Dieser Beitrag stellt die Agentic Success Rate (ASR) vor, eine Metrik zur Trajektorientreue, die kritische Workflow-Abweichungen in auf LLM basierenden Zahlungssystemen aufdeckt, die für traditionelle ergebnisbasierte Metriken unsichtbar sind, und zeigt, dass eine derart granulare Evaluierung für die Diagnose des Agentenverhaltens und die signifikante Verbesserung der Systemleistung in regulierten Domänen unerlässlich ist.

Ursprüngliche Autoren: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Roboterassistenten ein, um Ihre Kreditkartenzahlungen zu bearbeiten. Ihr Ziel ist einfach: Sicherstellen, dass das Geld den richtigen Weg nimmt.

Lange Zeit war der einzige Weg zu prüfen, ob diese Roboter einen guten Job machten, eine einzige Frage zu stellen: „Ist die Zahlung durchgegangen?" Wenn die Antwort „Ja" lautete, jubelte jeder. Wenn die Antwort „Nein" lautete, geriet jeder in Panik.

Dieses Papier argumentiert, dass diese „Ja/Nein"-Prüfung gefährlich unvollständig ist, besonders wenn es um Geld geht. Es ist wie ein Schüler nur danach zu benoten, ob er die richtige Antwort in einem Mathtest hatte, ohne seine Lösungsschritte anzusehen. Wenn ein Schüler die Schritte überspringt, die Antwort rät und sie dennoch richtig hat, hat er die Regeln trotzdem nicht gelernt. In der Welt der Zahlungen können übersprungene Schritte gegen das Gesetz verstoßen, selbst wenn das Geld sicher ankommt.

Hier ist eine Aufschlüsselung dessen, was die Forscher herausfanden und vorschlugen, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Black-Box"-Erfolg

Die Forscher betrachteten ein System namens HMASP (ein Team von KI-Agenten, die zusammenarbeiten, um Zahlungen zu verarbeiten). Sie testeten 18 verschiedene KI-Modelle (die „Gehirne" hinter den Robotern).

Der alte Weg, Erfolg zu messen, verfügte über zwei Hauptwerkzeuge:

Task Success Rate (TSR) / Erfolgsrate der Aufgabe: Ist die Zahlung abgeschlossen? (Ja/Nein)
Handoff Score (HF1): Haben die Roboter den Staffelstab aneinander übergeben? (Ja/Nein)

Der Fehler: Diese Werkzeuge sind wie das Prüfen eines Rezepts, indem man nur den fertigen Kuchen probiert. Wenn der Bäcker den Schritt „Ofen vorheizen" übersprungen hat, der Kuchen aber trotzdem gut schmeckte, würden die alten Werkzeuge sagen: „Perfekte Arbeit!" Doch in einer regulierten Branche wie dem Bankwesen ist das Überspringen des Schritts „Vorheizen" ein Verstoß gegen Sicherheitsvorschriften.

2. Die Lösung: Die Metrik „Rezepttreue"

Die Autoren führten eine neue Metrik namens ASR (Agentic Success Rate / Agentische Erfolgsrate) ein.

Stellen Sie sich ASR als einen strengen Lebensmittelinspektor vor, der nicht nur den Kuchen probiert. Stattdessen beobachtet der Inspektor den gesamten Prozess des Bäckers Schritt für Schritt.

Sie prüfen, ob der Bäcker die exakte Reihenfolge der Schritte befolgte (z. B. „Mischen", dann „Eier hinzufügen", dann „Backen").
Sie fangen es auf, wenn der Bäcker einen Schritt übersprungen hat (wie das Vergessen, Eier hinzuzufügen) oder einen zusätzlichen, unnötigen Schritt eingefügt hat.
Selbst wenn der fertige Kuchen perfekt aussieht, bewertet der Inspektor es als Fehler, wenn der Bäcker einen Schritt übersprungen hat.

3. Die große Entdeckung: Der „Abkürzungsweg"

Als die Forscher diese neue „Rezepttreue"-Prüfung auf 90.000 Zahlungsaufgaben anwendeten, stießen sie auf etwas Schockierendes.

Das Szenario:
In einem Standard-Zahlungsworkflow gibt es einen spezifischen Schritt, bei dem das System anhalten und den Benutzer fragen muss: „Sind Sie sicher, dass Sie diesen Betrag zahlen möchten?" Dies ist ein Sicherheitscheckpunkt.

Die Entdeckung:

10 von 18 KI-Modellen nahmen einen geheimen Abkürzungsweg. Wenn ein Benutzer etwas Direktes sagte wie „Zahle meine Rechnung", übersprangen diese Modelle den Checkpunkt „Sind Sie sicher?" und gingen direkt zur Geldüberweisung.
Die Täuschung: Da das Geld tatsächlich überwiesen wurde, lag die alte „Task Success"-Bewertung bei 100 %. Auch die alte „Handoff"-Bewertung lag bei 100 %. Die Modelle sahen auf dem Papier perfekt aus.
Die Realität: Die neue ASR-Metrik fing sie. Sie zeigte, dass diese Modelle den Sicherheitsschritt übersprangen. Ein Modell, GPT-4.1, war tatsächlich perfekt darin, das Geld an den richtigen Ort zu bringen, scheiterte aber am Sicherheitscheck. Ein anderes Modell, GPT-5.2, befolgte jeden einzelnen Schritt perfekt.

4. Die Korrektur: Die Anweisungen umschreiben

Die Forscher wiesen das Problem nicht nur nach; sie behoben es. Unter Verwendung der neuen ASR-Metrik als Leitfaden passten sie die Anweisungen (Prompts) an, die der KI gegeben wurden, und fügten „Sicherheitsgitter" hinzu (automatische Regeln, die die KI zwingen, anzuhalten und zu prüfen).

Das Ergebnis:
Für die Modelle, die am meisten Schwierigkeiten hatten, verwandelten die neuen Anweisungen ihre Leistung von einer Durchfallnote in eine nahezu perfekte Punktzahl.

Ein Modell ging von 6 % Erfolg auf 99,8 % Erfolg.
Ein anderes ging von 44 % Erfolg auf 90 % Erfolg.

Dies beweist, dass das Problem nicht darin bestand, dass die KI „zu dumm" war, um den Job zu erledigen; es lag daran, dass die Anweisungen sie nicht zwangen, die strengen Verkehrsregeln einzuhalten.

Zusammenfassung

In der Welt der KI-Zahlungen reicht es nicht aus, das richtige Ergebnis zu erzielen. Man muss den richtigen Weg dorthin gehen.

Alter Weg: „Ist das Geld bewegt worden?" (Wenn ja, ist alles in Ordnung).
Neuer Weg (ASR): „Ist das Geld bewegt worden, und haben Sie jede einzelne Sicherheitsregel befolgt, um dorthin zu gelangen?"

Das Papier zeigt, dass wir ohne diese neue, strengere Prüfmethode KI-Systemen möglicherweise erlauben, bei der Sicherheit Abkürzungen zu nehmen, was in der Finanzwelt gefährlich ist. Durch die Verwendung dieser neuen Metrik können wir die KI zwingen, die Regeln einzuhalten und sicherstellen, dass jede Transaktion nicht nur erfolgreich, sondern auch sicher und überprüfbar ist.

Technische Zusammenfassung: Über den Aufgaben-Erfolg hinaus: Messung der Workflow-Integrität in LLM-basierten agentischen Zahlungssystemen

Problemstellung

Während Multi-Agenten-Systeme auf Basis von Large Language Models (LLM) zunehmend für durchgängige Zahlungsworkflows eingesetzt werden (z. B. Mastercards Agent Pay, Visas Intelligent Commerce), sind die vorherrschenden Evaluierungsrahmen für regulierte Finanzdomänen unzureichend. Die aktuellen Metriken, insbesondere die Task Success Rate (TSR) und der Agent Handoff F1-Score (HF1), konzentrieren sich ausschließlich auf Endergebnisse oder ungeordnete Routing-Entscheidungen.

In Zahlungssystemen, in denen Nachvollziehbarkeit und regulatorische Compliance (z. B. PCI-DSS) entscheidend sind, ist der sequenzielle Pfad zu einem Ergebnis ebenso wichtig wie das Ergebnis selbst. Bestehende Metriken erfassen nicht die Workflow-Integrität – die strikte Einhaltung der erwarteten Schrittfolge durch den Agenten. Folglich können Systeme perfekte TSR- und HF1-Werte erzielen, während sie kritische Compliance-Prüfpunkte stillschweigend überspringen und Lücken im Prüfpfad hinterlassen, die eine traditionelle Evaluierung nicht erkennen kann.

Methodik

Die Autoren führen die Agentic Success Rate (ASR) ein, eine Metrik zur Trajektorien-Integrität, die auf dem Konformitäts-Checking des Process Mining basiert.

Die ASR-Metrik

Die ASR bewertet die Übereinstimmung zwischen einer beobachteten Agenten-Ausführungssequenz und einem erwarteten Workflow auf Übergangsebene (Bigramm).

Definition Übergang: Ein Übergang ist definiert als ein aufeinanderfolgendes Paar von Agenten in einer Trajektorie (z. B. Agent A $\to$ Agent B).
Berechnung: Gegeben eine erwartete Trajektorie $E$ $E$ und eine beobachtete Trajektorie $O$ $O$ , konstruiert die Methode Übergangs-Multimengen $B_E$ $B_{E}$ und $B_O$ $B_{O}$ .
- Transition Recall (TR): Misst die Vollständigkeit ( $|B_E \cap B_O| / |B_E|$ ). Ein niedriger TR deutet auf übersprungene Übergabeaktionen hin („model moves").
- Transition Precision (TP): Misst die Effizienz ( $|B_E \cap B_O| / |B_O|$ ). Eine niedrige TP deutet auf redundante Übergabeaktionen hin („log moves").
- ASR: Berechnet als F1-Score von TR und TP. Ein ASR-Wert von 100 % zeigt eine perfekte Übergangsausrichtung an.

Im Gegensatz zu HF1, das Übergabeaktionen als „Bag-of-Edges" behandelt, bewahrt die ASR die zeitliche Reihenfolge und misst direkt, ob die Kontrolle an den richtigen nächsten Agenten übergeben wurde.

Evaluierungssetup

Modelle: 18 LLMs wurden evaluiert, darunter Open-Weight-Modelle (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) und proprietäre Modelle (GPT-4.1, GPT-5.2).
Datensatz: Der Hierarchical Multi-Agent System for Payments (HMASP)-Datensatz, bestehend aus 1.000 Datenpunkten in vier Szenarien: Kartenregistrierung (T1), Kartenabruf (T2), Zahlungsabwicklung (T3) und Ablehnung irrelevanter Eingaben (T4).
Protokoll: Jedes Modell-Szenario-Paar wurde 5-mal unabhängig evaluiert, was insgesamt 90.000 Aufgabeninstanzen ergibt.
Intervention: Die Autoren wandten ASR-Diagnosen an, um zwei ingenieurtechnische Verbesserungen zu leiten: (1) iterative Prompt-Verfeinerung zur Klärung von Rollen und Grenzen und (2) deterministische Routing-Guards (z. B. Unterdrückung von Zahlungsprüfpfaden, wenn der Warenkorb leer ist).

Hauptergebnisse

1. Entdeckung versteckter Workflow-Abkürzungen

Die ASR deckte systematische Verfahrensabweichungen auf, die für TSR und HF1 unsichtbar waren.

Das Anomalie: Im Szenario Zahlungsabwicklung (T3) erreichten 10 von 18 Modellen (einschließlich GPT-4.1, Qwen3 und Qwen2.5-Varianten) 100 % TSR und 100 % HF1, zeigten jedoch ASR < 100 %.
Die Ursache: Diese Modelle übersprangen systematisch eine Zwischenrückkehr zum „Card Processing Agent" (CPA) für eine explizite Benutzerbestätigung vor dem endgültigen Abschluss der Zahlung. Anstatt der erwarteten 11 Hops (10 Übergänge) führten sie einen 9-Hop-Shortcut (8 Übergänge) aus.
Auswirkung: Obwohl das endgültige Zahlungsergebnis korrekt war, war der Prüfpfad unvollständig. Für die betroffenen Proben sank der TR auf 80 % (8/10 Übergänge), was für diese spezifischen Instanzen zu einem ASR von ca. 88,9 % führte.
Perfekte Performer: 8 Modelle (darunter alle Gemma4-Varianten, GPT-OSS, MSmall3.2 und bemerkenswerterweise GPT-5.2) erreichten eine perfekte ASR (100 %) und setzten den Bestätigungs-Prüfpunkt korrekt durch.

2. Ingenieurtechnische Verbesserungen durch ASR-Diagnosen

Die Nutzung der ASR zur Identifizierung spezifischer Fehlermodi ermöglichte gezieltes System-Engineering.

Signifikante Gewinne: Prompt-Verfeinerungen und deterministische Guards, geleitet durch ASR-Diagnosen, erbrachten erhebliche Verbesserungen der Task Success Rate für zuvor problematische Modelle.
- Llama3.1:8b: +93,8 Prozentpunkte (pp) Verbesserung in T3.
- Magistral:24b: +91,5 pp Verbesserung in T3.
- Llama3.1:70b: +72,9 pp Verbesserung in T3.
Implikation: Viele Fehler waren durch Engineering behandelbar, anstatt einen Modellwechsel zu erfordern.

Bedeutung und Behauptungen

Die Arbeit argumentiert, dass eine Evaluierung auf Trajektorienebene in regulierten Domänen wie dem digitalen Finanzwesen unerlässlich ist.

Regulatorische Compliance: Die ASR bietet die notwendige Sichtbarkeit, um Verfahrensintegrität sicherzustellen, was eine Voraussetzung für Nachvollziehbarkeit und Zuweisung der Haftung gemäß Standards wie PCI-DSS ist.
Über Ergebnismetriken hinaus: Die Studie zeigt, dass eine hohe Task Success Rate nicht gleichbedeutend mit einem konformen oder sicheren Workflow ist. Ein System kann beim Abschluss einer Zahlung „erfolgreich" sein, während es die erforderliche Prüfreihenfolge verletzt.
Diagnostischer Nutzen: Die ASR dient als leistungsfähiges Diagnosewerkzeug, das systemische Interaktionsmuster zwischen Eingabeformulierung und Modell-Reasoning aufdeckt und gezielte Korrekturen ermöglicht, die die Systemzuverlässigkeit drastisch verbessern.

Die Autoren schließen, dass mit dem Skalieren agentischer Fähigkeiten in Zahlungsnetzwerken Metriken wie die ASR notwendig sind, um die Lücke zwischen funktionalem Erfolg und regulatorischer Compliance zu schließen. Als zukünftige Arbeit wird vorgeschlagen, die ASR in Produktionssystemen zu validieren und gewichtete Varianten für sicherheitskritische Übergänge zu entwickeln.