Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

Ce papier propose un cadre LLM enrichi par des connaissances de domaine qui intègre des insights structurés avec un processus de détection en deux étapes pour identifier efficacement les conversations trompeuses et classifier le dérive de concept comme bénin ou frauduleux, atteignant une précision de 98 % et une robustesse supérieure par rapport aux bases de référence en zéro-shot.

L'essentiel

Le Grand Problème : L'Escroc « Caméléon »

Imaginez que vous êtes un agent de sécurité dans une boîte de nuit très fréquentée (l'internet). Votre travail consiste à repérer les faux invités (les escrocs) qui tentent de se faufiler.

Par le passé, les escrocs étaient faciles à repérer car ils portaient des déguisements évidents. Mais aujourd'hui, les escrocs sont comme des caméléons. Ils commencent par parler normalement de la météo ou de la nourriture (conversation bénigne), puis ils changent soudainement de sujet pour tenter de voler votre carte de crédit ou vous tromper (fraude).

Ce changement soudain de sujet ou de ton est appelé « Dérive de Concept ».

• Le Problème : Parfois, des gens ordinaires changent aussi de sujet (par exemple, parler de la météo, puis demander un lift). Un agent de sécurité standard pourrait être confus, pensant qu'un changement de sujet normal est une arnaque, ou pire, manquer une arnaque parce qu'elle a commencé par une conversation normale.
• Les Anciens Outils : Les programmes informatiques traditionnels sont comme des agents qui ne mémorisent qu'une liste de « mots interdits ». Si un escroc utilise de nouveaux mots ou change de sujet, l'agent les manque.
• Le Nouvel Outil (LLM) : Les grands modèles de langage (LLM) sont comme des agents capables de lire et de comprendre des histoires complexes. Cependant, ils sont parfois confus, inventent des faits (hallucinations), ou ne connaissent pas les règles spécifiques de votre boîte de nuit.

La Solution : Le Système du « Guide Expert »

Les auteurs de ce document ont créé une équipe de sécurité en trois parties pour attraper ces escrocs caméléons. Ils n'ont pas simplement donné à l'IA un cerveau générique ; ils lui ont fourni un manuel d'instructions spécialisé (Connaissance du Domaine) pour l'aider à comprendre les astuces spécifiques utilisées par les escrocs.

Voici comment leur système fonctionne, étape par étape :

1. Le Premier Agent : Le Détecteur de « Faux Avis »

Avant de s'attaquer aux conversations complexes, ils ont testé le système sur des faux avis (comme de faux avis Yelp ou Amazon).

• L'Analogie : Imaginez un agent vérifiant une liste d'invités. Sans aide, l'agent pourrait penser qu'un avis très enthousiaste est simplement celui d'un client heureux.
• La Mise à Niveau : L'équipe a donné à l'agent une liste de contrôle de « signes suspects » (par exemple : « L'éloge est-il trop exagéré ? », « Cela ressemble-t-il à un robot ? », « Y a-t-il des mots-clés étranges ? »).
• Le Résultat : Lorsque l'agent disposait de cette liste de contrôle, il devenait beaucoup plus efficace pour repérer les faux. Par exemple, un modèle d'IA (Claude) est passé d'une justesse de 87 % à 95 % simplement en utilisant la liste de contrôle.

2. Le Deuxième Agent : L'Alarme « Dérive » (OCDD)

Une fois le système en train de surveiller une conversation en direct, il doit savoir si le sujet change.

• L'Analogie : Imaginez qu'une conversation est une rivière. Habituellement, l'eau coule doucement. Soudain, la rivière heurte un rocher et change de direction.
• L'Outil : Ils ont utilisé un outil statistique appelé OCDD (Détecteur de Dérive de Concept à Une Classe). Cet outil ne tente pas encore de comprendre le sens des mots ; il agit simplement comme un détecteur de mouvement. Si le « flux » de la conversation change trop brusquement, l'alarme se déclenche.

3. Le Troisième Agent : L'« Interprète Expert »

Lorsque l'alarme se déclenche, un deuxième agent plus intelligent (un deuxième LLM) intervient.

• Le Travail : Cet agent examine le changement soudain et demande : « Est-ce un changement de sujet inoffensif (comme parler de la météo) ou est-ce un piège (comme une tentative de hameçonnage) ? »
• L'Arme Secrète : Tout comme le premier agent, celui-ci possède également le manuel d'instructions spécialisé. Il sait que si quelqu'un demande soudainement votre carte de crédit après avoir parlé d'un emploi, c'est un schéma spécifique de fraude.
• Le Résultat : Ce système a réussi à distinguer un changement de sujet inoffensif d'une arnaque malveillante.

Les Résultats : Qui a Gagné la Partie ?

L'équipe a testé ce système en utilisant un ensemble de données de conversations réelles (SEConvo) et l'a comparé à des méthodes plus anciennes.

• Le Champion : Le modèle LLaMA (une IA open-source) a été le joueur vedette. Lorsqu'il a reçu le « manuel d'instructions spécialisé » (Connaissance du Domaine), il a atteint 98 % de précision. Il était bien meilleur que l'ancienne « équipe d'agents » (modèles d'apprentissage automatique traditionnels) qui n'obtenait que 82 % de justesse.
• La Leçon : Donner à l'IA des connaissances spécifiques sur la façon dont les escrocs se comportent l'a rendue beaucoup plus intelligente, plus fiable et plus facile à faire confiance que de simplement lui laisser deviner par elle-même.

Résumé

Considérez ce document comme un guide sur la façon de former un agent de sécurité.

1. Ne comptez pas uniquement sur la mémoire : Les vieux agents (apprentissage automatique traditionnel) oublient les nouvelles astuces.
2. Ne comptez pas uniquement sur l'intelligence brute : Les agents intelligents (LLM) peuvent se confondre ou inventer des choses.
3. Donnez-leur une triche : En fournissant à l'IA des règles et des schémas spécifiques sur la fraude (Connaissance du Domaine), elle devient un super-agent capable de repérer les escrocs subtils et caméléons que les autres manquent.

Le document prouve que lorsque vous combinez une IA intelligente avec la compréhension humaine des tactiques de fraude, vous obtenez un système hautement précis capable d'expliquer pourquoi il a attrapé un escroc.

Résumé technique

Résumé Technique : LLMs Améliorés par les Connaissances du Domaine pour la Détection de Fraude et de Dérive de Concept

1. Énoncé du Problème

La détection de conversations trompeuses sur des plateformes numériques dynamiques devient de plus en plus difficile en raison de l'évolution des modèles linguistiques et de la Dérive de Concept (DC). La dérive de concept désigne des changements sémantiques ou thématiques qui modifient le contexte ou l'intention des interactions au fil du temps. Ces changements peuvent obscurcir une intention malveillante ou imiter un dialogue normal, rendant la classification précise difficile.

Bien que les Modèles de Langage de Grande Taille (LLM) démontrent de solides performances dans les tâches de traitement du langage naturel, ils rencontrent des limitations significatives dans des scénarios à haut risque et sensibles :

• Ambiguïté Contextuelle : Difficulté à distinguer entre des changements de sujet réels (dérive bénigne) et des pivots manipulateurs (dérive adversaire).
• Hallucinations : Une tendance à générer des informations incorrectes en l'absence d'ancrage spécifique dans le domaine.
• Manque d'Adaptation : Les modèles d'Apprentissage Automatique (ML) traditionnels reposent sur des caractéristiques fixes et peinent à gérer la nature fluide et ambiguë des conversations multi-tours.
• Interprétabilité : La nature de « boîte noire » de nombreux modèles rend difficile la compréhension des raisons pour lesquelles une conversation a été signalée, une exigence critique pour la détection de fraude.

Les auteurs soutiennent que la détection de fraude et la dérive de concept ne doivent pas être traitées comme des tâches isolées, car les conversations frauduleuses impliquent fréquemment des changements subtils de ton ou d'intention qui ressemblent à des transitions bénignes.

2. Méthodologie

L'article propose un Cadre Dual-LLM Amélioré par les Connaissances du Domaine (KD) conçu pour modéliser conjointement la tromperie et la dérive. La méthodologie est exécutée en deux phases :

Phase I : Détection d'Avis Faux (Paramètres Statiques)

• Objectif : Valider la valeur des connaissances du domaine pour améliorer les performances des LLM dans la classification de contenu trompeur statique et mono-tour.
• Jeu de Données : Le jeu de données d'Avis Faux Yelp (20 000 avis : 15 000 réels, 5 000 faux).
• Approche :
  1. Découverte de Motifs : Une analyse initiale par LLM des données étiquetées a identifié des marqueurs linguistiques spécifiques des avis faux (par exemple, louanges exagérées, sentiment vague, formulations non naturelles, surutilisation de mots-clés tendance).
  2. Prompting Structuré : Ces motifs identifiés ont été encodés dans des invites structurées.
  3. Évaluation : Des LLM (ChatGPT, DeepSeek, LLaMA, Claude) ont été testés dans deux conditions : (1) Zero-shot (sans connaissances du domaine) et (2) Améliorés par les Connaissances du Domaine (KD).

Phase II : Détection de Fraude et de Dérive (Dialogues en Flux)

• Objectif : Détecter les conversations trompeuses multi-tours et classifier la nature des changements sémantiques.
• Jeu de Données : Le jeu de données SEConvo (400 conversations multi-tours : 40 pour l'entraînement, 360 pour le test).
• Architecture : Un pipeline à trois composants :
  1. Module KD-LLM 1 : Détecte si une conversation contient du contenu faux ou trompeur.
  2. Unité de Détection de Dérive (OCDD) : Un Détecteur de Dérive de Concept à Une Classe entraîné sur des conversations non malveillantes utilisant une Machine à Vecteurs de Support à Une Classe (SVM). Il identifie les déviations statistiques (changements sémantiques) dans le flux de dialogue.
  3. Module KD-LLM 2 : Si une dérive est détectée par l'OCDD, ce deuxième LLM interprète le changement en utilisant des indices spécifiques au domaine (par exemple, demandes d'informations personnellement identifiables, urgence, flatterie excessive) pour classifier la dérive comme soit Bénigne (par exemple, hors sujet, spam) soit Adversaire (par exemple, hameçonnage, manipulation).

3. Contributions Clés

L'article expose quatre contributions principales :

1. Cadre Dual-LLM Amélioré par les Connaissances du Domaine : Une architecture modulaire qui intègre des insights structurés du domaine dans un système dual-LLM pour détecter simultanément la fraude, identifier la dérive de concept et classifier les types de dérive — des tâches souvent traitées de manière isolée.
2. Pipeline de Détection en Trois Étapes : Un flux de travail structuré comprenant un KD-LLM pour le signalement initial de la tromperie, un OCDD pour la détection de changement sémantique, et un second KD-LLM pour la classification de la dérive. Cela améliore la robustesse et l'interprétabilité dans les dialogues en flux.
3. Impact des Invites Structurées du Domaine : Des preuves empiriques démontrant que l'intégration de connaissances spécifiques au domaine dans la conception des invites améliore considérablement les performances et l'explicabilité sur les jeux de données synthétiques (avis faux) et réels (SEConvo).
4. Évaluation Comparative Complète : Une évaluation extensive de plusieurs architectures de LLM (ChatGPT, Claude, LLaMA, DeepSeek) dans des configurations zero-shot et guidées par le domaine, identifiant les configurations optimales pour la détection de fraude et de dérive.

4. Résultats Expérimentaux

L'étude a évalué les performances selon plusieurs métriques (Précision, Rappel, F1-Score) en comparant les modèles avec et sans Connaissances du Domaine (KD) et par rapport à des bases de référence d'ensembles traditionnels.

• Phase I (Jeu de Données Yelp) :

  • Claude : Amélioration de 87 % à 95 % de précision avec KD.
  • DeepSeek : A montré des gains substantiels, passant de 56 % à 90 % de précision.
  • LLaMA : Amélioration modeste de 52 % à 58 %.
  • ChatGPT : Amélioration marginale (54 % à 56 %), suggérant une sensibilité aux variations de conception des invites.

• Phase II (Jeu de Données SEConvo) :

  • LLaMA s'est imposé comme le modèle le plus robuste, atteignant 98 % sur toutes les métriques (Précision, Rappel, F1-Score) avec KD, une amélioration significative par rapport à sa base de 90 %.
  • DeepSeek a amélioré son F1-Score de 73 % à 80 %.
  • Comparaison avec les Modèles d'Ensemble : Le cadre Dual-LLM amélioré par KD (LLaMA) a nettement surpassé un modèle d'ensemble traditionnel (kNN, SVM, Imp-Kmeans) qui a atteint 82 % de précision. L'approche LLM a fourni une profondeur sémantique supérieure et un raisonnement contextuel.

5. Importance et Revendications

Les auteurs affirment que leur travail démontre la viabilité de l'intégration des connaissances du domaine dans les flux de travail des LLM pour atteindre une haute précision et une interprétabilité dans des scénarios de détection complexes et en temps réel.

• Robustesse Améliorée : Le cadre gère efficacement l'interdépendance entre la tromperie et la dérive, réduisant les faux positifs causés par des changements de sujet bénins.
• Interprétabilité : En séparant la détection d'anomalies (OCDD) de l'interprétation sémantique (LLM-2), le système fournit un raisonnement clair pour ses classifications, comme illustré par des exemples de sorties identifiant des tactiques de hameçonnage spécifiques.
• Sensibilité des Modèles : Les résultats mettent en évidence que tous les LLM ne répondent pas de manière égale au prompting par domaine ; LLaMA et Claude ont montré les gains les plus significatifs, probablement en raison de leur entraînement sur des corpus centrés sur le dialogue et de leurs capacités de raisonnement au niveau des tokens.
• Limites : Les auteurs reconnaissent modestement que les LLM continuent de lutter avec l'ironie, les idiomes culturels et le langage émotionnellement ambivalent, ce qui peut entraîner des faux positifs. Ils notent également les coûts de calcul plus élevés par rapport aux modèles traditionnels, suggérant un travail futur sur la compression des invites ou des architectures hybrides légères.

L'article conclut que, bien que la latence et le coût soient des compromis, les gains en précision et en interprétabilité rendent cette approche adaptée à des applications à haut risque telles que la cybersécurité, les places de marché en ligne et les plateformes de service client.