Multi-Scale Adaptive Neighborhood Awareness Transformer For Graph Fraud Detection

Cet article propose MANDATE, un transformateur multi-échelle adaptatif qui améliore la détection de fraude sur les graphes en atténuant les biais inductifs des GNN grâce à un codage de position multi-échelle, des stratégies d'embedding différenciées pour les connexions homophiles et hétérophiles, et une fusion d'embedding pour les graphes multi-relationnels.

L'essentiel

Imaginez que vous êtes un détective privé dans une immense ville virtuelle (un réseau social ou une plateforme bancaire). Votre travail est de repérer les escrocs parmi des millions de citoyens honnêtes.

Jusqu'à présent, les détectives utilisaient une méthode appelée GNN (Réseaux de Neurones Graphiques). C'était comme si le détective ne parlait qu'à ses voisins immédiats pour se faire une idée.

• Le problème : Si un escroc vit dans un quartier où tout le monde est un escroc, le détective pense que c'est un quartier normal ! De plus, le détective ne peut pas voir ce qui se passe de l'autre côté de la ville, il manque la vue d'ensemble.

Voici comment les auteurs de ce papier, Jiaqi Lv et son équipe, ont créé un nouveau super-détective nommé MANDATE. Voici comment ça marche, expliqué simplement :

1. Le Détective avec des "Lunettes Magiques" (Encodage Multi-échelle)

Imaginez que le détective MANDATE porte des lunettes spéciales qui lui permettent de voir non seulement son voisin immédiat, mais aussi le voisin du voisin, et le voisin du voisin du voisin, jusqu'à l'autre bout de la ville.

• L'analogie : Au lieu de juste regarder qui est assis à la table voisine, MANDATE regarde qui est dans la pièce, dans le bâtiment, dans la rue et dans la ville entière.
• Pourquoi c'est génial : Cela lui permet de repérer des schémas globaux. Un escroc peut sembler normal localement, mais son "ombre" (ses connexions lointaines) trahit son identité.

2. La Distinction entre "Copains" et "Inconnus" (Attention aux Types de Liens)

Dans ce monde virtuel, il y a deux types de relations :

• Les "Copains" (Homophilie) : Les gens qui se ressemblent et s'entraident (comme des amis qui partagent les mêmes goûts).
• Les "Inconnus" ou "Méfiants" (Hétérophilie) : Les gens qui se connectent mais qui sont très différents, ou qui essaient de se cacher.

Les anciens détectives traitaient tout le monde de la même façon, ce qui était une erreur. MANDATE, lui, utilise deux stratégies différentes :

• Pour les copains, il écoute ce qu'ils disent, car ils se ressemblent.
• Pour les inconnus, il ne se contente pas d'écouter ; il utilise un petit cerveau artificiel (un réseau de neurones) pour comprendre pourquoi ils sont connectés, même si ça semble étrange. C'est comme si le détective disait : "Tiens, ce type ne ressemble pas à son ami, il faut que je creuse plus profondément."

3. Le Chef d'Orchestre pour les Relations Multiples (Fusion des Relations)

Souvent, les gens ont plusieurs types de relations en même temps : ils sont amis sur Facebook, collègues au travail, et clients sur Amazon.

• L'analogie : Imaginez que MANDATE reçoit des rapports de trois différents services de renseignement (Police, Douanes, Renseignement militaire). Au lieu de les lire séparément, il les fusionne tous en un seul rapport ultra-complet.
• Le résultat : Il ne se fie pas à une seule source d'information. Il combine toutes les "relations" pour avoir une image parfaite de la personne.

Le Résultat ?

Les auteurs ont testé MANDATE sur trois terrains de jeu réels (des données de Yelp, d'Amazon et de la finance).

• Le verdict : MANDATE a battu tous les autres détectives, y compris les plus avancés. Il a réussi à attraper beaucoup plus d'escrocs (meilleur taux de détection) tout en évitant de confondre les innocents.

En résumé :
MANDATE est comme un détective qui a arrêté de se fier uniquement à ce que lui disent ses voisins immédiats. Il a maintenant des lunettes pour voir loin, un cerveau pour comprendre les relations étranges, et un système pour tout rassembler. C'est une méthode plus intelligente pour traquer la fraude dans un monde de plus en plus connecté.

Résumé technique

1. Problématique

La détection de fraude sur les graphes (GFD) est essentielle pour identifier les comportements malveillants dans les réseaux financiers, les médias sociaux et les plateformes de commerce électronique. Bien que les réseaux de neurones à graphes (GNN) aient montré un grand potentiel grâce à leur capacité à représenter les données structurées, ils souffrent de deux biais inductifs inhérents qui limitent leur efficacité dans ce domaine :

1. L'hypothèse d'homophilie : Les GNN supposent souvent que les nœuds connectés partagent des attributs et des étiquettes similaires. Or, dans la fraude, les connexions peuvent être hétérophiles (les fraudeurs se connectent à des entités normales ou d'autres fraudeurs de manière complexe), ce qui rend l'agrégation de voisinage standard contre-productive.
2. La capacité limitée de modélisation globale : Les mécanismes de passage de messages locaux des GNN peinent à capturer les motifs de fraude à l'échelle mondiale ou les interactions à longue distance dans le graphe.

De plus, les méthodes existantes tentant de corriger l'hétérophilie (comme l'élimination d'arêtes ou des filtres passe-haut) risquent de détruire des informations structurelles cruciales ou de faire des hypothèses trop rigides sur la propagation de l'information.

2. Méthodologie : MANDATE

Les auteurs proposent MANDATE (Multi-scale Adaptive Neighborhood Awareness Transformer), une architecture basée sur les Transformers conçue pour atténuer ces biais. L'approche repose sur trois piliers principaux :

A. Encodage de Position Multi-échelle (Multi-scale Positional Encoding)

Contrairement aux encodages de position statiques, MANDATE encode les informations de position à différentes distances (k-hop) depuis le nœud central.

• Stratégie : L'encodage de position $p(u_i)$ est défini comme une séquence $S_p(u_i)$ contenant les informations de position pour les 1, 2, ..., K voisins.
• Implémentation : L'information de position est représentée par une matrice de marche aléatoire (Random Walk) $\tilde{W}^k$. Le modèle apprend des paramètres $\theta_k$ via un MLP pour approximer des matrices de propagation de graphes généralisées (similaires aux scores PageRank), permettant de capturer des informations de portée variable de manière adaptative.

B. Encodage de Position Conscient du Voisinage (Neighborhood Awareness Positional Embedding)

Le modèle traite différemment les connexions homophiles et hétérophiles pour mieux gérer la distribution des fraudeurs :

• Connexions Homophiles : Pour les nœuds similaires, l'information est propagée directement en pondérant les attributs des voisins par la probabilité de distance $\phi_k$.
• Connexions Hétérophiles : Pour les nœuds dissimilaires, l'agrégation directe est inefficace. Le modèle utilise un réseau de neurones (MLP) qui concatène l'information de position et les attributs du nœud pour apprendre automatiquement ces corrélations complexes.
• Fusion et Contrainte d'Orthogonalité : Les embeddings des deux types de connexions sont concaténés. Pour éviter la redondance d'information entre les embeddings de différents ordres (k-hop), une contrainte d'orthogonalité (via une fonction de perte cosinus) est appliquée pour garantir que chaque ordre de profondeur apporte une information unique.

C. Stratégie de Fusion d'Embedding Multi-relation

Pour les graphes multi-relationnels (où plusieurs types de relations existent entre les nœuds) :

• Fusion des attributs : Une attention multi-têtes apprend des poids adaptatifs ($\alpha_r$) pour fusionner les embeddings spécifiques à chaque relation.
• Fusion des positions : Les embeddings de position de toutes les relations sont concaténés, permettant au modèle d'apprendre l'influence relative de chaque type de relation sur la structure globale.

3. Contributions Clés

1. Atténuation du biais d'homophilie : En distinguant explicitement les stratégies d'encodage pour les liens homophiles et hétérophiles, le modèle évite la dilution des signaux de fraude.
2. Modélisation Globale Multi-échelle : L'utilisation d'un encodage de position dynamique et multi-échelle, couplé au mécanisme d'attention des Transformers, permet de capturer des motifs de fraude à longue distance que les GNN locaux manquent.
3. Gestion des Graphes Multi-relationnels : Une stratégie de fusion adaptative qui préserve les spécificités de chaque type de relation tout en les intégrant dans une représentation unifiée.
4. Réduction de la redondance : L'application de contraintes d'orthogonalité sur les embeddings de différentes profondeurs améliore l'efficacité de l'apprentissage des caractéristiques structurelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données de référence : YelpChi, Amazon et T-Finance.

• Performance Globale : MANDATE surpasse systématiquement les méthodes de l'état de l'art (y compris CARE-GNN, H2-FDetector, BWGNN, et les modèles basés sur les Transformers existants) sur les métriques AUC, F1-macro et Gmean.
  • Sur YelpChi, MANDATE atteint un AUC de 0.9473 (contre 0.9320 pour le second meilleur, PMP) et améliore le F1-macro de manière significative.
  • Sur Amazon et T-Finance, le modèle démontre une robustesse supérieure, avec des scores AUC dépassant 0.97 et 0.97 respectivement.
• Études d'Ablation :
  • L'encodage de position multi-échelle proposé surpasse les encodages PageRank classiques et les encodages à un seul saut (hop-1).
  • La fusion multi-relation améliore significativement les performances (gain d'au moins 3% en AUC sur YelpChi) par rapport à l'utilisation d'une seule relation, confirmant l'importance de la diversité relationnelle dans la détection de fraude.

5. Signification et Impact

Ce travail est significatif car il propose une alternative viable aux GNN traditionnels pour la détection de fraude, un domaine où l'hypothèse d'homophilie est souvent violée. En intégrant la puissance des Transformers (capacité de modélisation globale) avec une conscience structurelle fine (distinction homophilie/hétérophilie et multi-échelle), MANDATE résout le compromis entre la capture de motifs locaux et globaux.

L'approche démontre que l'adaptation des mécanismes d'attention aux spécificités des graphes de fraude (distribution de l'homophilie, relations multiples) est cruciale pour atteindre des performances de pointe, ouvrant la voie à des systèmes de détection plus robustes et adaptatifs dans les environnements financiers et sociaux complexes.