OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

Cet article présente OpenSanctions Pairs, un benchmark massif d'appariement d'entités issu de données de sanctions internationales, démontrant que les modèles de langage (LLM) surpassent significativement les systèmes basés sur des règles en atteignant un taux F1 de près de 99 %, ce qui suggère que l'effort de recherche doit désormais se concentrer sur les composants de blocage et de regroupement plutôt que sur l'appariement par paires.

L'essentiel

🕵️‍♂️ Le Grand Jeu des Identités : Quand l'IA aide à traquer les sanctions

Imaginez que vous êtes un détective chargé de vérifier si une personne qui essaie d'ouvrir un compte bancaire est en réalité un criminel recherché par le monde entier. Le problème ? Les criminels utilisent des noms différents, écrivent leur nom dans des alphabets différents (cyrillique, chinois, arabe), et changent parfois un chiffre dans leur numéro d'identité.

C'est là que se situe le défi de l'appariement d'entités (ou Entity Matching) : décider si deux fiches de renseignements décrivent la même personne ou deux personnes différentes.

1. Le Problème : Un océan de données désordonnées

Jusqu'à présent, les chercheurs testaient leurs algorithmes sur des données "propres", comme des listes de produits Amazon ou des livres de bibliothèque. C'est comme s'entraîner à conduire sur un circuit de Formule 1 vide, puis s'attendre à réussir dans la circulation parisienne sous la pluie.

Dans le monde réel des sanctions internationales (les listes de gens interdits de faire des affaires), c'est le chaos :

• Des centaines de sources différentes (31 pays, 293 listes).
• Des noms écrits de 100 façons différentes.
• Des données manquantes ou erronées.

Les chercheurs de l'Université d'Oxford et d'OpenSanctions ont créé OpenSanctions Pairs, une nouvelle "piste d'entraînement" géante. Ils ont collecté 755 000 paires de fiches (comme des duels de détectives) annotées par des humains experts. C'est la première fois qu'un tel défi est rendu public.

2. La Solution : Les Anciens vs. Les Super-Héros (LLM)

L'équipe a comparé deux approches pour résoudre ces duels :

• L'approche "Vieux Policier" (Règles manuelles) : C'est l'ancien système utilisé en production. Il fonctionne avec une liste de règles strictes : "Si les noms sont pareils ET les dates de naissance sont pareilles, alors c'est la même personne."
  • Résultat : Il est très prudent. Il ne rate jamais un criminel, mais il accuse aussi beaucoup d'innocents (beaucoup de "faux positifs"). C'est comme un détective qui arrête tout le monde qui porte un manteau rouge.
• L'approche "Super-Héros IA" (Grands Modèles de Langage) : Ils ont testé des intelligences artificielles modernes (comme GPT-4o, Llama, DeepSeek) en leur donnant simplement les deux fiches à lire et en leur demandant : "Est-ce la même personne ?".
  • Résultat : Ces IA sont incroyablement douées. Elles comprennent le contexte, les nuances et les erreurs de frappe. Elles atteignent un taux de réussite de 98,95 %, battant largement l'ancien système (91,33 %).

3. Les Analogies pour comprendre les résultats

🧠 L'IA ne lit pas, elle "sent" les contradictions
Les chercheurs ont découvert un secret pour faire réussir l'IA. Au lieu de lui demander "Trouvez les ressemblances", ils lui ont dit : "Cherchez les contradictions".

• L'analogie : Imaginez que vous comparez deux CV. Au lieu de dire "Regardez tout ce qu'ils ont en commun", vous dites : "Si vous trouvez une seule différence majeure (comme un numéro de sécurité sociale différent), c'est deux personnes différentes. Sinon, c'est la même."
• Cette astuce a permis aux IA de devenir presque parfaites.

📉 Le plafond de verre
Les IA sont devenues si bonnes qu'elles approchent de la limite humaine. On ne peut pas vraiment faire mieux que ça sur la simple comparaison de deux fiches.

• L'analogie : C'est comme si un coureur de 100 mètres courait en 9,5 secondes. Améliorer sa technique de départ ne fera pas gagner beaucoup de temps. Le vrai défi n'est plus de courir plus vite, mais de ne pas se tromper de piste au départ.

⚠️ Les pièges de l'IA
Même les super-héros ont des faiblesses :

1. La traduction des alphabets : Si un nom est écrit en russe d'un côté et en anglais de l'autre, l'IA peut parfois hésiter.
2. L'erreur de frappe : Si une date de naissance a un "1" de plus ou de moins (une erreur humaine), l'IA peut penser qu'il s'agit de deux personnes différentes, alors que c'est la même personne avec une erreur de saisie.

4. Conclusion : Et maintenant ?

Ce papier nous dit deux choses importantes :

1. L'IA est prête : Pour la tâche de comparer deux fiches, les modèles actuels sont excellents et peuvent remplacer les méthodes anciennes et rigides.
2. Le vrai travail commence ailleurs : Puisque la comparaison est résolue, les chercheurs doivent maintenant se concentrer sur les étapes suivantes :
   • Le tri (Blocking) : Comment ne comparer que les fiches qui ont une chance d'être identiques, sans tout comparer à tout (ce qui serait trop lent).
   • Le regroupement (Clustering) : Si A est pareil à B, et B pareil à C, alors A, B et C forment un groupe.
   • La gestion du doute : Savoir quand dire "Je ne suis pas sûr, un humain doit vérifier".

En résumé :
Les chercheurs ont créé un nouveau terrain de jeu géant pour tester les détectives IA. Ils ont prouvé que les IA modernes sont devenues des experts incroyables pour repérer les doublons dans le chaos des sanctions internationales. La bataille pour la "comparaison" est gagnée ; la prochaine guerre se jouera sur l'organisation et la gestion de ces milliers de comparaisons.

Résumé technique

Voici un résumé technique détaillé de l'article « OpenSanctions Pairs: Large-Scale Entity Matching with LLMs » en français.

1. Problématique et Contexte

L'appariement d'entités (Entity Matching - EM), ou résolution d'entités, consiste à déterminer si deux enregistrements de données font référence à la même entité du monde réel. Bien que ce domaine soit crucial pour l'intégration de données, les benchmarks existants souffrent de limitations majeures :

• Simplicité des données : Ils proviennent majoritairement de l'e-commerce ou de la bibliographie, avec des schémas alignés, des attributs scalaires et des données monolingues.
• Écart avec la réalité : Ils ne reflètent pas les environnements complexes de production où l'appariement doit se faire sur des centaines de sources hétérogènes, avec des données bruitées, des valeurs manquantes, des alias et des noms dans différents scripts (ex: cyrillique, chinois, latin).

Le domaine des sanctions internationales illustre parfaitement ce défi opérationnel. Les institutions financières doivent vérifier leurs clients contre des listes de sanctions provenant de 31 pays et 293 sources différentes. Les erreurs d'appariement peuvent entraîner des amendes réglementaires colossales ou des dommages réputationnels. Cependant, jusqu'à présent, aucune benchmark public n'existait pour évaluer l'appariement d'entités sur des données de sanctions en raison de leur nature sensible.

2. Méthodologie et Dataset

Les auteurs, en collaboration avec OpenSanctions, ont créé OpenSanctions Pairs, le premier benchmark public à grande échelle dédié à ce domaine.

A. Construction du Dataset

• Volume : 755 540 paires d'entités étiquetées, couvrant plus d'un million d'entités uniques.
• Sources : Données agrégées de 293 sources hétérogènes dans 31 pays.
• Complexité : Les données incluent des noms multilingues, des translittérations, des champs à valeurs multiples (ensembles d'alias, d'adresses) et des attributs manquants.
• Étiquetage : Les labels proviennent de l'analyse humaine d'experts dans un flux de travail de déduplication. Il s'agit de jugements d'experts basés sur des preuves incomplètes (priorisant la précision) plutôt que d'une vérité terrain absolue.
• Distribution : 76,9 % de paires positives (match) et 23,1 % de paires négatives (non-match), reflétant une stratégie de blocage orientée vers la détection de matches probables.

B. Approches Évaluées

L'étude compare trois catégories de méthodes sur ce dataset :

1. Base de référence (Rule-Based) : L'algorithme RegressionV1 de la framework nomenklatura d'OpenSanctions. Il utilise 18 caractéristiques (similarité de noms, distance de Levenshtein, correspondance phonétique, dates, identifiants) et un modèle de régression logistique pré-entraîné.
2. LLMs Open-Source : Modèles déployables localement (Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B).
3. LLMs Propriétaires : Modèles via API (GPT-3.5, GPT-4o, GPT-5 Nano, GPT-5.2 Pro, Claude 3 Haiku/Sonnet/Opus).

C. Protocole Expérimental

• Prompting : Utilisation de prompts conçus manuellement et optimisés via DSPy MIPROv2 (optimisation bayésienne).
• Stratégie de Prompting : Le prompt clé adopte une approche de détection de conflits (contradictions) plutôt que de similarité. L'hypothèse est que l'absence de contradiction prouve l'identité, tandis que seules les contradictions explicites (dates, IDs) prouvent la différence.
• Métriques : Précision, Rappel, et surtout le F1-score, compte tenu du déséquilibre des classes et des coûts asymétriques des erreurs (un faux négatif en matière de sanctions est plus coûteux qu'un faux positif).

3. Résultats Clés

Les résultats montrent une supériorité marquée des LLMs par rapport aux méthodes traditionnelles :

• Performance des LLMs : Les modèles LLMs atteignent des scores F1 proches du plafond humain (98-99 %).
  • GPT-4o : 98,95 % F1.
  • DeepSeek-R1-Distill-Qwen-14B (Open-source) : 98,23 % F1.
  • GPT-5.2 Pro : 98,75 % F1.
• Comparaison avec la Base de Référence : La méthode basée sur les règles atteint un F1 de 91,33 %. Les LLMs surpassent donc la solution de production actuelle de plus de 7 points de F1.
• Analyse des Erreurs (Modes de défaillance) :
  • Système à règles : Taux de faux positifs élevé (14,1 %). Il a tendance à sur-apparier (high recall), ce qui est intentionnel pour ne rien manquer, mais génère beaucoup de travail de vérification humaine.
  • LLMs : Taux de faux positifs très faible (< 1 %). Leurs erreurs principales concernent les translittérations inter-scripts (ex: arabe/latin) et les incohérences mineures (erreurs de frappe de 1 unité sur une date ou un ID) qu'ils interprètent à tort comme des conflits.
• Impact de l'Optimisation et du Few-Shot :
  • L'optimisation automatique des prompts (MIPROv2) apporte des gains modestes mais constants (ex: +1,9 points pour Llama-3.1-8B).
  • L'ajout d'exemples in-context (few-shot) n'améliore pas les performances et peut même les dégrader, suggérant que les exemples introduisent des biais inductifs qui entrent en conflit avec la stratégie de décision apprise par le prompt.

4. Contributions Principales

1. Dataset OpenSanctions Pairs : Publication d'un benchmark massif et hétérogène (755k paires, 293 sources) issu de données réelles de sanctions, comblant un vide majeur entre la recherche académique et les besoins opérationnels de conformité.
2. Benchmarking des LLMs : Démonstration que les LLMs, même open-source et déployables localement, peuvent reproduire avec fiabilité les décisions d'experts humains, surpassant largement les systèmes basés sur des règles hérités.
3. Analyse des Limites et Orientation Future : Identification que l'appariement par paires (pairwise matching) atteint un plafond de performance pratique. Les auteurs suggèrent que les futurs efforts de recherche doivent se déplacer vers d'autres composants du pipeline de résolution d'entités :
   • Le blocage (blocking) pour réduire l'espace de recherche.
   • Le clustering (regroupement de multiples paires).
   • La gestion de l'incertitude et la revue assistée par l'humain.

5. Signification et Impact

Cette étude marque un tournant pour la résolution d'entités dans les environnements à haute exigence de conformité. Elle démontre que la tâche d'appariement binaire, autrefois considérée comme nécessitant une expertise humaine intensive, peut désormais être automatisée avec une précision quasi-humaine grâce aux LLMs.

Cependant, l'article met en garde contre une focalisation excessive sur l'optimisation des modèles d'appariement par paires, dont les gains sont désormais marginaux. L'impact réel réside dans la capacité à intégrer ces modèles dans des pipelines plus larges pour réduire les faux positifs (et donc la charge de travail des analystes) tout en maintenant un taux de détection élevé. Le dataset et les analyses fournis visent à encourager un déploiement plus sûr et plus efficace des systèmes automatisés dans les flux de travail de conformité réglementaire.