Résumé Technique : Transformer Contrastif Temporel pour la Détection de la Criminalité Financière

1. Énoncé du Problème

Les institutions financières font face à un double mandat dans la surveillance des transactions : détecter la fraude aux paiements en temps réel et identifier des schémas indicatifs de blanchiment d'argent (LBC). Bien que ces deux problèmes impliquent la détection de comportements anormaux au sein de séquences d'événements financiers, les normes actuelles de l'industrie reposent fortement sur des systèmes distincts basés sur des règles ou des modèles d'apprentissage supervisé évaluant les transactions largement de manière isolée. Ces approches classiques souffrent de deux limitations principales :

1. Généralisation : Les caractéristiques conçues à la main et les règles basées sur des seuils peinent à s'adapter aux schémas adverses évolutifs, nécessitant une maintenance manuelle continue.
2. Pénurie et Hétérogénéité des Données : Les données étiquetées dans les contextes de fraude et de LBC sont rares et fortement déséquilibrées, limitant l'efficacité des approches entièrement supervisées. De plus, les données de transaction sont intrinsèquement hétérogènes, combinant des identifiants catégoriels, des valeurs monétaires continues, des intervalles temporels et des agrégats dérivés, rendant la construction de représentations unifiées difficile.

L'article postule que les comportements de fraude et de blanchiment se manifestent comme des schémas structurés et séquentiels se déroulant dans le temps plutôt que comme des anomalies isolées, nécessitant des modèles capables de capturer le contexte temporel sans dépendre de labels rares.

2. Méthodologie : Le Transformer Contrastif Temporel (TCT)

Les auteurs proposent le Transformer Contrastif Temporel (TCT), un cadre d'apprentissage de représentations auto-supervisé conçu pour mapper des séquences de transactions vers des vecteurs d'incorporation compacts en utilisant des données non étiquetées. L'architecture intègre deux composantes complémentaires :

2.1 Architecture

• Backbone Transformer de Fusion Temporelle (TFT) : Le modèle utilise l'architecture TFT, détournée de la prévision multi-horizon vers l'apprentissage de représentations. Il comprend :
  • Réseau de Sélection de Variables (VSN) : Attribue des poids d'importance souples aux caractéristiques d'entrée, permettant au modèle de sélectionner de manière adaptative les variables pertinentes.
  • Encodage Temporel Hiérarchique : Une structure récurrente à deux étapes. Un encodeur à court terme (LSTM/GRU) traite des sous-séquences locales pour capturer des dynamiques fines. Un encodeur à long terme traite ensuite des résumés de ces sous-séquences pour modéliser des tendances à plus long terme.
  • Séparation Statique-Dynamique : Pour empêcher le modèle d'apprendre des raccourcis basés sur l'identité statique de l'entité (par exemple, des attributs clients spécifiques) plutôt que sur l'évolution comportementale, l'implémentation actuelle exclut les caractéristiques statiques de l'objectif contrastif, se concentrant exclusivement sur les caractéristiques transactionnelles dynamiques.

2.2 Objectif d'Entraînement : Codage Prédictif Contrastif (CPC)

Le modèle est entraîné en utilisant un objectif auto-supervisé de Codage Prédictif Contrastif.

• Mécanisme : L'encodeur génère un vecteur de contexte à partir de sous-séquences de transactions passées. Une fonction de projection projette ce contexte vers une représentation latente future.
• Fonction de Perte : Le modèle est entraîné à distinguer le véritable état latent futur (paire positive) d'un ensemble d'échantillons négatifs (états futurs provenant d'autres séquences dans le mini-lot) en utilisant la perte InfoNCE.
• Objectif : Cet objectif maximise l'information mutuelle entre le contexte et les états latents futurs, forçant l'encodeur à apprendre des structures temporelles prédictives et des dynamiques comportementales sans cibles étiquetées.

2.3 Application en Aval

Après le pré-entraînement, les paramètres de l'encodeur sont figés. Les incorporations résultantes sont utilisées comme caractéristiques d'entrée pour un classifieur supervisé à gradient boosté (XGBoost) afin de générer des scores de risque pour la détection de fraude. Les incorporations peuvent également être utilisées dans des méthodes de détection d'anomalies non supervisées.

3. Contributions Clés

• Proposition de Cadre : Introduction du TCT, un cadre novateur combinant l'architecture TFT avec des objectifs CPC spécifiquement pour les séquences de transactions financières.
• Approche Auto-supervisée : Démonstration d'une méthode pour apprendre des représentations temporelles à partir de vastes quantités de données de transactions non étiquetées, répondant à la pénurie de données de fraude/LBC étiquetées.
• Évaluation Empirique : Une évaluation rigoureuse des incorporations apprises par rapport à des bases de référence fortes et conçues par des experts dans un contexte réaliste de détection de la criminalité financière.

4. Résultats Expérimentaux

L'étude a été menée sur un jeu de données réel de paiements de détail comprenant des millions de transactions. Les modèles ont été évalués en utilisant l'AUC-ROC sur un ensemble de test retenu.

• Performance des Incorporations Seules : Les incorporations TCT, utilisées isolément avec un classifieur XGBoost, ont atteint une AUC-ROC de 0,8644. Cela indique que le modèle capture avec succès une structure temporelle non triviale et des signaux comportementaux.
• Performance de la Référence : Une référence forte utilisant 30 caractéristiques comportementales conçues par des experts (fréquence des transactions, récence, nouveauté, etc.) a atteint une AUC-ROC de 0,9245.
• Performance Combinée : Lorsque les incorporations TCT ont été concaténées avec les caractéristiques conçues par les experts, le modèle résultant a atteint une AUC-ROC de 0,9205.
• Analyse :
  • L'ajout des incorporations apprises n'a pas produit d'amélioration mesurable par rapport à la référence forte basée sur les caractéristiques (une légère diminution de 0,004 AUC, interprétée comme négligeable étant donné la division unique).
  • L'analyse de la courbe ROC a montré un comportement global quasi identique entre la référence et le modèle combiné, avec de légères déviations locales.
  • L'analyse de l'espace d'incorporation (UMAP) a révélé que les représentations apprises capturent implicitement des schémas structurels (tels que des clusters comportementaux liés à l'âge) sans supervision explicite, et que les transactions frauduleuses présentent une variabilité plus élevée dans l'espace d'incorporation par rapport aux transactions légitimes.

5. Signification et Revendications

L'article maintient une position modeste et réaliste concernant ses résultats :

• Parité comme Progrès : La signification principale n'est pas la réalisation immédiate de gains de performance à l'état de l'art, mais la démonstration que les représentations temporelles auto-supervisées peuvent approcher le pouvoir prédictif des caractéristiques conçues par les experts. Atteindre la parité avec une référence forte et conçue manuellement en utilisant uniquement des représentations apprises est présenté comme une étape intermédiaire significative.
• Chevauchement des Représentations : L'absence de valeur additive lors de la combinaison des incorporations avec des caractéristiques conçues suggère que les représentations apprises actuelles chevauchent largement les abstractions de caractéristiques existantes. Le modèle capture les mêmes signaux comportementaux que les experts ont déjà encodés manuellement.
• Orientation Future : Les résultats positionnent le TCT comme une direction prometteuse pour réduire la dépendance à l'ingénierie manuelle des caractéristiques. Les auteurs soutiennent que bien que l'approche ne soit pas encore prête pour la production, elle valide la viabilité de l'apprentissage de signaux temporels à partir de données non étiquetées. Un travail futur est identifié comme nécessaire pour affiner les objectifs d'entraînement, intégrer l'extraction de négatifs difficiles et incorporer des structures relationnelles (basées sur des graphes) pour débloquer une valeur additive au-delà des caractéristiques conçues actuellement.

En conclusion, l'article établit que l'apprentissage de représentations temporelles auto-supervisé est une voie viable vers l'automatisation de l'ingénierie des caractéristiques dans la détection de la criminalité financière, même si l'itération actuelle n'a pas encore surpassé la performance de l'expertise de domaine établie.