🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

Ce papier présente le Taux de Succès Agentique (ASR), une métrique de fidélité de trajectoire qui révèle des déviations critiques dans les flux de travail des systèmes de paiement basés sur les LLM, invisibles aux métriques traditionnelles fondées sur le résultat, démontrant qu'une telle évaluation granulaire est essentielle pour diagnostiquer le comportement des agents et améliorer significativement les performances du système dans des domaines réglementés.

Auteurs originaux : Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez une équipe d'assistants robots pour gérer vos paiements par carte de crédit. Votre objectif est simple : s'assurer que l'argent va au bon endroit.

Pendant longtemps, la seule façon de vérifier si ces robots faisaient du bon travail était de poser une seule question : « Le paiement a-t-il été effectué ? » Si la réponse était « Oui », tout le monde applaudissait. Si la réponse était « Non », tout le monde paniquait.

Ce document soutient que cette vérification « Oui/Non » est dangereusement incomplète, surtout lorsqu'il s'agit d'argent. C'est comme noter un élève uniquement sur le fait qu'il a trouvé la bonne réponse à un test de mathématiques, sans examiner son travail. Si un élève saute les étapes, devine la réponse et l'obtient juste, il n'a toujours pas appris les règles. Dans le monde des paiements, sauter des étapes peut enfreindre la loi, même si l'argent arrive en toute sécurité.

Voici une décomposition de ce que les chercheurs ont découvert et proposé, en utilisant des analogies simples :

1. Le Problème : Le Succès de la « Boîte Noire »

Les chercheurs ont examiné un système appelé HMASP (une équipe d'agents IA travaillant ensemble pour traiter les paiements). Ils ont testé 18 modèles d'IA différents (les « cerveaux » derrière les robots).

L'ancienne façon de mesurer le succès reposait sur deux outils principaux :

Taux de réussite des tâches (TSR) : Le paiement a-t-il été terminé ? (Oui/Non)
Score de transfert (HF1) : Les robots se sont-ils passé le témoin ? (Oui/Non)

Le Défaut : Ces outils sont comme vérifier une recette en ne goûtant que le gâteau final. Si le boulanger a sauté l'étape de « préchauffage du four » mais que le gâteau a quand même bon goût, les anciens outils diront : « Excellent travail ! » Mais dans une industrie réglementée comme la banque, sauter l'étape du « préchauffage » constitue une violation des règles de sécurité.

2. La Solution : La Métrique de « Fidélité de la Recette »

Les auteurs ont introduit une nouvelle métrique appelée ASR (Taux de réussite des agents).

Pensez à l'ASR comme à un inspecteur alimentaire strict qui ne se contente pas de goûter le gâteau. Au lieu de cela, l'inspecteur observe tout le processus du boulanger, étape par étape.

Ils vérifient si le boulanger a suivi l'ordre exact des étapes (par exemple, « Mélanger », puis « Ajouter les œufs », puis « Cuire »).
Ils détectent si le boulanger a sauté une étape (comme oublier d'ajouter des œufs) ou ajouté une étape supplémentaire et inutile.
Même si le gâteau final semble parfait, si le boulanger a sauté une étape, l'inspecteur le marque comme un échec.

3. La Grande Découverte : Le « Raccourci »

Lorsque les chercheurs ont appliqué ce nouveau contrôle de « Fidélité de la Recette » à 90 000 tâches de paiement, ils ont découvert quelque chose de choquant.

Le Scénario :
Dans un flux de travail de paiement standard, il existe une étape spécifique où le système doit s'arrêter et demander à l'utilisateur : « Êtes-vous sûr de vouloir payer ce montant ? » Il s'agit d'un point de contrôle de sécurité.

La Découverte :

10 modèles sur 18 prenaient un raccourci secret. Lorsqu'un utilisateur disait quelque chose de direct comme « Payez ma facture », ces modèles sautaient le point de contrôle « Êtes-vous sûr ? » et passaient directement au transfert d'argent.
La Tromperie : Parce que l'argent a bien été transféré, l'ancien score de « Réussite de la tâche » était de 100 %. L'ancien score de « Transfert » était également de 100 %. Les modèles semblaient parfaits sur le papier.
La Réalité : La nouvelle métrique ASR les a pris en flagrant délit. Elle a montré que ces modèles sautaient l'étape de sécurité. Un modèle, GPT-4.1, était en fait parfait pour acheminer l'argent au bon endroit mais a échoué au test de sécurité. Un autre modèle, GPT-5.2, a suivi chaque étape parfaitement.

4. La Correction : Réécrire les Instructions

Les chercheurs n'ont pas seulement pointé le problème ; ils l'ont résolu. En utilisant la nouvelle métrique ASR comme guide, ils ont ajusté les instructions (prompts) données à l'IA et ajouté des « garde-fous » (règles automatiques qui obligent l'IA à s'arrêter et à vérifier).

Le Résultat :
Pour les modèles qui peinaient le plus, les nouvelles instructions ont transformé leur performance d'une note d'échec à un score presque parfait.

Un modèle est passé de 6 % de réussite à 99,8 % de réussite.
Un autre est passé de 44 % de réussite à 90 % de réussite.

Cela prouve que le problème n'était pas que l'IA était « trop bête » pour faire le travail ; c'est que les instructions ne l'obligeaient pas à suivre les règles strictes de la route.

Résumé

Dans le monde des paiements par IA, obtenir le bon résultat ne suffit pas. Vous devez y arriver de la bonne manière.

Ancienne méthode : « L'argent a-t-il bougé ? » (Si oui, c'est bon).
Nouvelle méthode (ASR) : « L'argent a-t-il bougé, et avez-vous suivi chaque règle de sécurité pour y parvenir ? »

Le document montre que sans cette nouvelle façon plus stricte de vérifier, nous pourrions laisser les systèmes d'IA prendre des raccourcis sur la sécurité, ce qui est dangereux dans le monde financier. En utilisant cette nouvelle métrique, nous pouvons obliger l'IA à suivre les règles, garantissant que chaque transaction est non seulement réussie, mais aussi sûre et auditable.

Résumé technique : Au-delà de la réussite de la tâche : Mesure de la fidélité du flux de travail dans les systèmes de paiement agentic basés sur les LLM

Énoncé du problème

Alors que les systèmes multi-agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés pour des flux de travail de paiement de bout en bout (par exemple, Agent Pay de Mastercard, Intelligent Commerce de Visa), les cadres d'évaluation actuels sont insuffisants pour les domaines financiers réglementés. Les métriques actuelles, à savoir le taux de réussite de la tâche (TSR) et le score F1 de transfert d'agent (HF1), se concentrent exclusivement sur les résultats finaux ou les décisions de routage non ordonnées.

Dans les systèmes de paiement, où l'auditabilité et la conformité réglementaire (par exemple, PCI-DSS) sont critiques, le chemin séquentiel menant à un résultat est aussi important que le résultat lui-même. Les métriques existantes échouent à capturer la fidélité du flux de travail – l'adhésion stricte de l'agent à la séquence attendue des étapes. Par conséquent, les systèmes peuvent atteindre des scores parfaits de TSR et de HF1 tout en sautant silencieusement des points de contrôle de conformité critiques, créant des lacunes dans la piste d'audit que l'évaluation traditionnelle ne peut pas détecter.

Méthodologie

Les auteurs introduisent le taux de réussite agentic (ASR), une métrique de fidélité de trajectoire fondée sur la vérification de conformité du processus par data mining.

La métrique ASR

L'ASR évalue l'alignement entre une séquence d'exécution d'agent observée et un flux de travail attendu au niveau des transitions (bigrammes).

Définition de la transition : Une transition est définie comme une paire consécutive d'agents dans une trajectoire (par exemple, Agent A $\to$ Agent B).
Calcul : Étant donnée une trajectoire attendue $E$ $E$ et une trajectoire observée $O$ $O$ , la méthode construit des multiensembles de transitions $B_E$ $B_{E}$ et $B_O$ $B_{O}$ .
- Rappel de transition (TR) : Mesure l'exhaustivité ( $|B_E \cap B_O| / |B_E|$ ). Un TR faible indique des transferts sautés (« mouvements de modèle »).
- Précision de transition (TP) : Mesure l'efficacité ( $|B_E \cap B_O| / |B_O|$ ). Une TP faible indique des transferts redondants (« mouvements de journal »).
- ASR : Calculé comme le score F1 du TR et de la TP. Un ASR de 100 % indique un alignement de transition parfait.

Contrairement au HF1, qui traite les transferts comme un « sac d'arêtes », l'ASR préserve l'ordre temporel, mesurant directement si le contrôle a été transmis au bon agent suivant.

Configuration de l'évaluation

Modèles : 18 LLM ont été évalués, incluant des modèles à poids ouverts (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) et des modèles propriétaires (GPT-4.1, GPT-5.2).
Jeu de données : Le jeu de données du Système hiérarchique multi-agent pour les paiements (HMASP) comprenant 1 000 points de données répartis sur quatre scénarios : Enregistrement de carte (T1), Récupération de carte (T2), Traitement de paiement (T3) et Rejet des entrées non pertinentes (T4).
Protocole : Chaque paire modèle-scénario a été évaluée 5 fois indépendamment, totalisant 90 000 instances de tâches.
Intervention : Les auteurs ont appliqué des diagnostics ASR pour guider deux améliorations d'ingénierie : (1) un raffinement itératif des invites pour clarifier les rôles et les limites, et (2) des gardes de routage déterministes (par exemple, suppression des chemins d'examen de paiement lorsque les articles du panier sont vides).

Résultats clés

1. Découverte de raccourcis de flux de travail cachés

L'ASR a révélé des déviations procédurales systématiques invisibles pour le TSR et le HF1.

L'anomalie : Dans le scénario de traitement de paiement (T3), 10 modèles sur 18 (incluant les variantes GPT-4.1, Qwen3 et Qwen2.5) ont atteint 100 % de TSR et 100 % de HF1 mais ont présenté un ASR < 100 %.
La cause : Ces modèles ont systématiquement sauté un retour intermédiaire à l'« Agent de traitement de carte » (CPA) pour une confirmation explicite de l'utilisateur avant de finaliser le paiement. Au lieu des 11 sauts attendus (10 transitions), ils ont exécuté un raccourci de 9 sauts (8 transitions).
Impact : Bien que le résultat final du paiement ait été correct, la piste d'audit était incomplète. Pour les échantillons concernés, le TR est tombé à 80 % (8/10 transitions), résultant en un ASR d'environ 88,9 % pour ces instances spécifiques.
Performances parfaites : 8 modèles (incluant toutes les variantes Gemma4, GPT-OSS, MSmall3.2, et notamment GPT-5.2) ont atteint un ASR parfait (100 %), appliquant correctement le point de contrôle de confirmation.

2. Améliorations d'ingénierie via les diagnostics ASR

L'utilisation de l'ASR pour identifier des modes d'échec spécifiques a permis une ingénierie système ciblée.

Gains significatifs : Les raffinements d'invites et les gardes déterministes guidés par les diagnostics ASR ont produit des améliorations substantielles du taux de réussite de la tâche pour les modèles précédemment en difficulté.
- Llama3.1:8b : +93,8 points de pourcentage (pp) d'amélioration dans T3.
- Magistral:24b : +91,5 pp d'amélioration dans T3.
- Llama3.1:70b : +72,9 pp d'amélioration dans T3.
Implication : De nombreuses défaillances étaient abordables par l'ingénierie plutôt que par le remplacement du modèle.

Importance et revendications

L'article soutient que l'évaluation au niveau de la trajectoire est essentielle dans les domaines réglementés comme la finance numérique.

Conformité réglementaire : L'ASR fournit la visibilité nécessaire pour garantir la fidélité procédurale, qui est un préalable à l'auditabilité et à l'attribution de responsabilité selon des normes telles que PCI-DSS.
Au-delà des métriques de résultat : L'étude démontre qu'un taux de réussite de tâche élevé n'équivaut pas à un flux de travail conforme ou sûr. Un système peut « réussir » à compléter un paiement tout en violant la séquence requise de vérifications.
Utilité diagnostique : L'ASR sert d'outil de diagnostic puissant qui révèle des schémas d'interaction systématiques entre la formulation des entrées et le raisonnement du modèle, permettant des correctifs ciblés qui améliorent considérablement la fiabilité du système.

Les auteurs concluent que, à mesure que les réseaux de paiement étendent leurs capacités agentic, des métriques comme l'ASR sont nécessaires pour combler le fossé entre la réussite fonctionnelle et la conformité réglementaire. Des travaux futurs sont proposés pour valider l'ASR dans des systèmes de production et développer des variantes pondérées pour les transitions critiques pour la sécurité.