TransactionGPT

Le papier présente TransactionGPT, un modèle fondation innovant basé sur une architecture 3D-Transformer entraîné sur des milliards de transactions réelles, qui surpasse les modèles de production existants dans la détection d'anomalies et la génération de trajectoires tout en offrant une efficacité supérieure aux grands modèles de langage pour les tâches prédictives sur les données de paiement.

L'essentiel

🌟 TransactionGPT : Le "Super-Intendant" des Paiements

Imaginez que Visa possède une bibliothèque gigantesque contenant des milliards de livres. Mais ce ne sont pas des romans : ce sont les histoires de vie de millions de personnes, écrites sous forme de petits tickets de caisse (les transactions). Chaque ticket dit : "J'ai acheté un café à Paris le mardi matin, puis un livre à New York le soir".

Le problème ? Ces livres sont écrits dans une langue très complexe, mélangée, avec des chiffres, des codes secrets et des dates. Les ordinateurs classiques ont du mal à lire tout ça et à deviner la suite de l'histoire.

C'est là qu'intervient TransactionGPT (TGPT). C'est un nouveau type d'intelligence artificielle (un "modèle de fondation") entraîné spécifiquement pour comprendre et prédire ces histoires d'achats.

🧱 Comment ça marche ? L'Analogie du Chef Cuisinier en 3 Dimensions

Pour comprendre la technologie derrière TGPT, imaginez un chef cuisinier qui doit préparer un plat complexe. Il ne peut pas juste mélanger tous les ingrédients au hasard. Il a besoin d'une organisation précise.

L'équipe de Visa a créé une architecture spéciale appelée 3D-Transformer. Voici comment on peut l'imaginer :

1. La Dimension 1 : Le Chroniqueur (Le Temps)

   • L'analogie : C'est comme un scénariste qui regarde la chronologie des événements. "D'abord le café, ensuite le livre, puis le cinéma".
   • Le rôle : Il comprend la séquence. Il sait que si vous achetez un billet d'avion, vous allez probablement réserver un hôtel ensuite. Il regarde l'ordre des choses.

2. La Dimension 2 : L'Expert des Détails (Les Métadonnées)

   • L'analogie : C'est un détective qui examine chaque ticket individuellement. "Ce café coûte 4€, il est à Paris, le vendeur s'appelle 'Café de la Paix'".
   • Le rôle : Il analyse les détails internes de chaque achat (le montant, la date, le lieu) pour comprendre le contexte immédiat.

3. La Dimension 3 : Le Spécialiste des Données (Les Fonctionnalités)

   • L'analogie : C'est un analyste financier qui regarde les chiffres cachés derrière le ticket. "Est-ce que ce montant est inhabituel pour ce type de magasin ? Y a-t-il des risques de fraude ?"
   • Le rôle : Il traite les données techniques spécifiques à des tâches précises (comme détecter une fraude).

Le Génie du système : Le "Token Virtuel"
Le vrai défi, c'est de faire parler ces trois experts ensemble sans qu'ils se crient dessus ou perdent du temps.

• L'image : Imaginez que les trois experts doivent envoyer un message à un chef final. Mais l'un envoie un mot, l'autre un pavé de texte, et le troisième un graphique. C'est le chaos !
• La solution de TGPT : Ils utilisent des "Jetons Virtuels". C'est comme un traducteur magique qui transforme le pavé de texte et le graphique en une série de petits mots-clés standardisés (des jetons) que le chef final peut lire facilement. Cela permet de tout fusionner sans ralentir la machine.

🚀 À quoi ça sert dans la vraie vie ?

Ce modèle n'est pas juste théorique. Il est utilisé pour deux choses principales :

1. Le Détective de Fraude (Détection d'anomalies)

   • L'histoire : Si vous achetez une glace en France à 10h, et qu'une heure plus tard, quelqu'un essaie d'acheter un yacht en Australie avec votre carte, TGPT s'alarme immédiatement.
   • Le résultat : Le papier dit que TGPT est 22 % plus efficace que les systèmes actuels de Visa pour repérer ces comportements bizarres. C'est comme passer d'un gardien de sécurité qui dort à un gardien qui a des yeux partout.

2. Le Voyant de l'Avenir (Génération de transactions)

   • L'histoire : Si vous aimez manger dans des restaurants italiens le week-end, TGPT peut prédire que vous allez probablement en visiter un prochain week-end.
   • Le résultat : Il peut deviner quel magasin vous allez fréquenter ensuite avec une grande précision, même s'il y a des millions de choix possibles.

⚡ Pourquoi c'est mieux que les autres IA ?

Vous avez peut-être entendu parler des IA de type "Chat" (comme les grands modèles de langage).

• Le problème : Ces IA sont comme des bibliothécaires qui savent tout sur les mots, mais qui sont lents et coûteux pour lire des tableaux de chiffres. Les faire lire des millions de tickets de caisse serait comme essayer de lire un dictionnaire pour trouver un prix de baguette.
• L'avantage de TGPT : C'est un spécialiste. Il est 300 fois plus rapide et utilise beaucoup moins de puissance de calcul que les grands modèles de langage pour faire la même tâche sur les paiements. C'est une Ferrari de course, pas un camion de déménagement.

🎯 En résumé

TransactionGPT, c'est comme donner à Visa un cerveau surpuissant qui a lu des milliards d'histoires de vie. Grâce à sa structure en 3 dimensions et son traducteur magique (les jetons virtuels), il comprend non seulement ce que vous achetez, mais aussi quand, où et pourquoi.

Il permet de protéger votre argent contre les voleurs (fraude) et de comprendre vos habitudes pour mieux vous servir, le tout en allant plus vite et moins cher que les technologies précédentes. C'est une avancée majeure pour rendre le monde des paiements plus intelligent et plus sûr.

Résumé technique

1. Problématique et Contexte

Le papier aborde le défi de la modélisation des données de transactions de paiement à l'échelle mondiale. Bien que les modèles de fondation (Foundation Models) basés sur l'architecture Transformer aient révolutionné le traitement du langage naturel (NLP) et la vision par ordinateur, leur application aux données de paiement reste limitée.

Les défis spécifiques aux données de paiement (MMTT) :
Les données de transactions sont décrites comme ayant une structure Multi-Modal-Temporelle-Tabulaire (MMTT). Contrairement aux séries temporelles classiques (valeurs scalaires) ou aux données textuelles, une transaction contient :

• Hétérogénéité : Des champs numériques (montant, heure), catégoriels (ID commerçant, catégorie) et des vecteurs de fonctionnalités dérivées.
• Complexité structurelle : Les transactions proviennent de multiples sources et comportent des métadonnées riches mais peu sémantiques pour un modèle linguistique standard.
• Contraintes industrielles : Nécessité de faible latence, d'efficacité computationnelle et de capacité à gérer des milliards de transactions pour des tâches variées (détection d'anomalies, génération, classification).

Les modèles existants (LLM, modèles tabulaires, modèles de séries temporelles) sont soit inefficaces, soit incapables de capturer les dynamiques complexes de ce type de données spécifiques.

2. Méthodologie : TransactionGPT (TGPT)

Les auteurs proposent TransactionGPT, un modèle de fondation entraîné sur des milliards de transactions réelles. L'architecture centrale est un Transformeur 3D innovant, conçu pour encoder hiérarchiquement les trois dimensions des données : les métadonnées, les fonctionnalités (features) et la séquence temporelle.

A. Architecture Évolutive (1D vers 3D)

Le modèle a évolué à travers plusieurs itérations pour mieux capturer les interactions :

• TGPT-1D : Un seul Transformeur temporel pour les dépendances entre transactions, avec un bloc MLP pour les champs internes.
• TGPT-2D : Ajout d'un Transformeur pour encoder les interactions entre les champs de métadonnées d'une même transaction.
• TGPT-3D : Introduction d'un troisième Transformeur dédié aux fonctionnalités (features) spécifiques aux tâches en aval. Cela permet de gérer les exigences contradictoires d'embedding : les métadonnées (ex: ID commerçant) ont une cardinalité élevée nécessitant de grands embeddings, tandis que les fonctionnalités dérivées ont une cardinalité faible et nécessitent de petits embeddings.

B. Le Mécanisme de Fusion de Modalités : Virtual Token Layer (VTL)

Le défi majeur est de fusionner des embeddings de dimensions très différentes sans exploser la complexité computationnelle ni créer de goulot d'étranglement d'information.

• Solution : Les auteurs introduisent le Virtual Token Layer (VTL).
• Fonctionnement : Le VTL transforme un ensemble d'embeddings (ex: les features) en un nombre arbitraire de "tokens virtuels". Il utilise un canal linéaire (combinaison linéaire via softmax pour préserver l'information) et un canal non-linéaire (MLP pour l'expressivité).
• Avantage : Cela permet d'ajuster la bande passante d'information entre les différents Transformeurs (Feature -> Metadata -> Temporel) tout en maintenant une efficacité computationnelle. Deux variantes sont proposées :
  • TGPT-3D-MTF : Fusion tardive (omet les features historiques pour la génération).
  • TGPT-3D-FMT : Fusion précoce via VTL (intègre les features historiques et futures), offrant la meilleure performance.

C. Entraînement et Objectifs

• Données : Entraîné sur des milliards de transactions réelles de Visa, en respectant la confidentialité (pas d'informations personnelles identifiables).
• Objectifs :
  • Auto-supervisé : Prédire les champs clés des transactions futures (délai, montant, commerçant, MCC) pour apprendre les dynamiques temporelles.
  • Supervisé : Joint optimization avec des tâches de classification en aval (ex: détection d'anomalies).
• Techniques d'optimisation : Utilisation d'embeddings compositionnels pour réduire la taille des tables d'embedding (ex: millions de commerçants), "weight tying" pour les têtes de prédiction, et attention locale pour gérer les longues séquences.

3. Contributions Clés

1. Modèle de fondation pour les paiements : TGPT est le premier modèle de fondation conçu spécifiquement pour les données MMTT, capable de comprendre et de générer des trajectoires de transactions.
2. Architecture 3D-Transformer : Une conception novatrice utilisant trois Transformeurs interconnectés pour encoder séparément mais efficacement les métadonnées, les features et la séquence temporelle.
3. Mécanisme de Tokenisation Virtuelle (VTL) : Une méthode nouvelle pour fusionner des modalités hétérogènes, résolvant le compromis entre la préservation de l'information et l'efficacité computationnelle.
4. Évaluation à grande échelle : Benchmarking exhaustif sur des tâches industrielles critiques (détection d'anomalies, génération de trajectoires) comparé à des modèles de production et à des LLMs.

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois jeux de données distincts couvrant la génération de transactions, la détection d'anomalies et la prédiction de catégories de commerçants (MCC).

• Détection d'Anomalies : TGPT-3D-FMT a surpassé le modèle de production actuel de Visa de 22 % (amélioration relative) sur une métrique critique de détection d'anomalies. Il a également dépassé les modèles basés sur des LLMs finetunés.
• Génération de Transactions : Le modèle prédit avec précision les futurs commerçants (Recall@1 > 30% parmi 3 millions d'options) et les catégories (MCC). L'ajout de features via l'architecture 3D améliore significativement la précision par rapport aux architectures 1D/2D.
• Efficacité vs LLM : Sur la tâche de prédiction de MCC, TGPT-2D (56M de paramètres) surpasse Llama2-7B (7B de paramètres) avec 92 % de paramètres en moins et une vitesse d'inférence 300 fois plus rapide (0,27 ms contre 84,9 ms).
• Apprentissage de Représentation : Les visualisations UMAP montrent que les embeddings appris par TGPT capturent efficacement la proximité géographique et les similarités de comportement des commerçants (ex: clustering par ville ou par aéroport).

5. Signification et Impact

Ce travail marque une avancée significative dans l'application des modèles de fondation au secteur financier :

• Preuve de concept industrielle : Il démontre qu'il est possible de construire des modèles de fondation performants sur des données tabulaires complexes et massives, au-delà du texte et de l'image.
• Efficacité opérationnelle : En surpassant les LLMs génériques en précision et en vitesse, TGPT offre une solution viable pour le déploiement en temps réel dans des systèmes de paiement critiques.
• Guide pour la recherche : Le papier fournit des lignes directrices pratiques sur l'architecture (choix des Transformeurs, fusion de modalités, gestion de la cardinalité) pour les chercheurs travaillant sur des données transactionnelles ou tabulaires temporelles.

En résumé, TransactionGPT établit un nouvel état de l'art pour la modélisation des données de paiement, combinant une architecture innovante (3D-Transformer + VTL) avec une validation rigoureuse sur des données réelles à grande échelle, offrant des gains majeurs en détection de fraude et en compréhension du comportement des consommateurs.