Résumé technique : Vers une détection de la fraude auditable

Énoncé du problème

Les institutions financières sont confrontées à un double défi en matière de détection de la fraude : la nécessité de monter en charge face à l'augmentation des volumes de transactions tout en maintenant une transparence, une documentation et une supervision humaine suffisantes. Bien que les systèmes d'IA agentiques soient de plus en plus proposés comme outils pour automatiser la collecte de preuves et la revue des alertes, il reste incertain si de tels agents améliorent la qualité de la décision au-delà des classificateurs sous-jacents sur lesquels ils reposent. De plus, il existe peu de preuves sur la manière dont les caractéristiques structurelles dérivées de graphes et les signaux d'anomalie se comportent spécifiquement sur les cas « difficiles » (ceux présentant des scores de classificateur intermédiaires) et sur la manière dont le désaccord entre un agent et un classificateur peut être exploité pour déterminer quand une revue humaine est nécessaire. Ce travail répond à ces lacunes en évaluant un pipeline de détection de la fraude par couches qui intègre une classification par boosting de gradient, des caractéristiques de graphe, un signal d'anomalie et un agent d'investigation basé sur un LLM borné.

Méthodologie

Données et prétraitement

L'étude utilise le jeu de données PaySim, un ensemble de données de transactions de monnaie mobile synthétique contenant plus de 6,3 millions de transactions. Une étape critique de prétraitement a consisté à identifier et à supprimer un raccourci de solde spécifique au simulateur. L'analyse a révélé que la différence entre la variation du solde du compte d'origine enregistrée et le montant de la transaction était presque déterministe pour les transactions frauduleuses en raison du processus de simulation. Pour éviter des performances de base gonflées, les champs de solde d'origine ont été exclus de l'ensemble des caractéristiques, tandis que les champs de solde de destination ont été conservés car ils ne présentaient pas le même artefact.

Architecture du système

Le pipeline proposé se compose de quatre étapes principales :

1. Ingénierie des caractéristiques (Feature Engineering) :
   • Caractéristiques tabulaires : Attributs de transaction corrigés (ex: montant, type, temporalité).
   • Caractéristiques de graphe : Dérivées d'un graphe de transactions où les comptes sont des nœuds et les transferts sont des arêtes. Les caractéristiques incluent des statistiques structurelles ingénierées (ex: degré du nœud, contreparties distinctes) et des plongements (embeddings) node2vec appris à partir du sous-graphe des comptes récurrents.
   • Signal d'anomalie : Un autoencodeur à classe unique entraîné uniquement sur les transactions légitimes. L'erreur de reconstruction est utilisée comme une caractéristique unique pour capturer les écarts par rapport au comportement normal.
2. Détection de base : Un ensemble d'arbres de décision boostés par gradient, XGBoost, sert de classificateur primaire. Il est entraîné sur les caractéristiques tabulaires corrigées et est compatible avec TreeSHAP pour l'attribution locale des caractéristiques.
3. Couche d'investigation agentique : Un agent LLM borné (Llama 3.3 70B) est activé uniquement pour les cas où le classificateur produit un score intermédiaire (0,2 à 0,8). L'agent accède à quatre outils :
   • Détails de la transaction.
   • Score du classificateur et les 5 principales attributions SHAP.
   • Contexte de graphe pour les comptes d'origine/destination.
   • Distances dans l'espace des caractéristiques par rapport aux cas de référence (fraude et légitime) les plus proches.
     L'agent doit inspecter au moins deux sources de preuves et produire un verdict structuré (Fraude, Pas de fraude, ou Escalade) avec une justification écrite.
4. Politique d'escalade : Une règle exploratoire signale les cas pour revue humaine si l'agent est en désaccord avec le classificateur et que le score du classificateur est extrême (≥0,65 ou ≤0,35).

Conception expérimentale

• Comparaison de modèles : Quatre variantes ont été évaluées sur un échantillon d'entraînement/test stratifié de 80/20 : Baseline Hard (tabulaire uniquement), Graph-Augmented, Autoencoder-Augmented, et Combined.
• Expérience de cercle contrôlé : Une expérience synthétique a introduit 40 cercles de fraude multi-comptes (5 comptes, 6 transferts chacun) pour tester la capacité des caractéristiques de graphe à détecter des schémas coordonnés que les modèles tabulaires pourraient manquer.
• Évaluation de l'agent : L'agent a été testé sur un échantillon équilibré de cas-témoins de 60 cas (30 fraudes, 30 légitimes) sélectionnés dans le sous-ensemble des scores intermédiaires. La performance a été comparée à un simple seuillage du score du classificateur (seuil = 0,5).

Résultats clés

Performance de détection

• Ensemble de test complet : Après correction du raccourci de solde, la baseline tabulaire dure (hard baseline) a obtenu la précision moyenne la plus élevée (0,7677). Ni les caractéristiques de graphe ni le signal de l'autoencodeur n'ont amélioré la performance sur l'ensemble du test ; de fait, la variante augmentée par le graphe a montré une légère baisse (0,7611).
• Sous-ensemble difficile : Au sein du sous-ensemble de cas recevant des scores intermédiaires (0,2–0,8), le modèle augmenté par l'autoencodeur a obtenu la précision moyenne la plus élevée (0,0138), surpassant la baseline (0,0062) et le modèle augmenté par le graphe (0,0086).
• Expérience de cercle contrôlé : Le modèle augmenté par le graphe a détecté avec succès les 39 transactions de test injectées provenant des cercles de fraude synthétiques, alors que la baseline dure n'en a détecté que 30 (rappel de 76,9 %). Cela indique que les caractéristiques structurelles ingénierées sont efficaces pour identifier les schémas récurrents multi-comptes, même si elles n'ont pas amélioré la performance globale sur les cas de fraude natifs de PaySim.

Performance de l'investigation agentique

• Précision : Sur l'échantillon de 60 cas, l'agent a atteint une précision de 65,0 % (39/60 corrects), tandis que le seuillage direct du score du classificateur a atteint 71,7 % de précision (43/60 corrects).
• Analyse du désaccord : L'agent était en désaccord avec le classificateur dans 8 cas. Dans 6 de ces 8 cas, l'agent a remplacé une décision correcte du classificateur par un verdict incorrect. Dans les 2 cas restants, il a corrigé une erreur du classificateur.
• Qualité de la justification : Malgré des décisions incorrectes, l'agent a produit des justifications écrites cohérentes et plausibles dans chaque cas, privilégiant souvent de manière erronée la distance par rapport aux cas de référence plutôt que le score du classificateur.
• Règle d'escalade : La règle exploratoire basée sur le désaccord a signalé 2 des erreurs de l'agent pour revue humaine sans signaler aucune décision correcte de l'agent dans cet échantillon, suggérant que le désaccord peut servir de signal d'escalade, bien que ce résultat soit limité par la petite taille de l'échantillon.

Signification et affirmations

L'article conclut que les composants d'un système de fraude par couches n'apportent de la valeur que sous des conditions spécifiques, et qu'une justification plausible produite par un agent d'investigation n'est pas une preuve d'une meilleure décision.

1. Valeur conditionnelle des signaux : Les caractéristiques de graphe et les signaux d'anomalie n'améliorent pas universellement la détection. Leur utilité est conditionnelle : les signaux de l'autoencodeur peuvent aider à classer la fraude dans les cas incertains, tandis que les caractéristiques de graphe sont critiques pour détecter les schémas coordonnés multi-comptes (cercles de fraude) que les attributs de transactions individuelles manquent.
2. Limites de l'investigation agentique : L'accès à un contexte supplémentaire (valeurs SHAP, données de graphe, cas de référence) et la capacité à générer des justifications structurées n'ont pas permis à l'agent LLM de surpasser le classificateur sous-jacent. En fait, l'agent a fréquemment introduit des erreurs tout en maintenant un haut degré de confiance et de cohérence. Cela suggère que les agents agissant comme des « réorganisateurs » des sorties de modèles existants ne peuvent pas intrinsèquement améliorer la qualité de la décision.
3. Auditabilité vs Exactitude : L'étude distingue l'auditabilité (la capacité à reconstruire le processus de décision) de l'exactitude. Une erreur auditable reste une erreur. La valeur de l'agent dans cette architecture est présentée comme une couche d'investigation et de documentation bornée qui prépare les preuves pour la revue humaine, plutôt que comme un décideur autonome.
4. L'escalade comme mécanisme de contrôle : Le désaccord entre l'agent et le classificateur, combiné à des scores de classificateur forts, peut servir de signal transparent pour l'escalade vers une revue humaine, bien que cela nécessite une validation sur des données indépendantes.

Les auteurs soulignent que ces conclusions sont basées sur des données synthétiques et un protocole expérimental spécifique. Ils appellent à une validation future sur des données de transactions réelles avec des découpages temporels et des études utilisateurs auprès d'analystes de fraude pour déterminer si de tels systèmes améliorent l'efficacité opérationnelle ou la qualité de la revue dans des environnements de production.