OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

Dit paper introduceert OpenSanctions Pairs, een groot benchmark voor entiteitsovereenstemming afgeleid van internationale sanctiedata, en toont aan dat LLMs een productieregelsysteem aanzienlijk overtreffen met F1-scores tot 98,95%, wat suggereert dat de focus moet verschuiven naar andere pijplijncomponenten zoals blokkeren en clustering.

De kern

Hier is een uitleg van het paper "OpenSanctions Pairs" in gewoon Nederlands, met behulp van alledaagse vergelijkingen om het begrijpelijk te maken.

🕵️‍♂️ Het Grote Probleem: De "Naam-Verwarring"

Stel je voor dat je een enorme bibliotheek beheert, maar dan niet met boeken, maar met mensen en bedrijven die wereldwijd op een "zwarte lijst" staan (sanctielijsten). Deze lijsten komen uit honderden verschillende landen, in verschillende talen en met verschillende schrijfwijzen.

Het probleem is als volgt:

• Iemand heet Ahmed in Egypte.
• Dezelfde persoon heet Ahmad in Syrië.
• In een ander land staat hij vermeld als A. Hamed.
• Soms missen er gegevens, soms zijn er typfouten, en soms hebben twee totaal verschillende mensen precies dezelfde naam.

De taak van een computer is nu om te zeggen: "Zijn dit dezelfde persoon of twee verschillende mensen?" Als de computer een fout maakt, kan dat twee dingen betekenen:

1. Te streng: Een onschuldige burger wordt ten onrechte opgepakt (een "valse melding").
2. Te slap: Een gevaarlijke crimineel ontsnapt aan de radar (een "gemiste melding"). In de wereld van sancties is het tweede veel gevaarlijker.

🤖 De Oude Manier vs. De Nieuwe Manier

De auteurs van dit paper hebben gekeken hoe we dit probleem oplossen.

1. De Oude Manier (De Strikte Regels)
Stel je voor dat je een oude, strenge bibliothecaris hebt die alleen werkt met een lijstje met regels: "Als de naam gelijk is en het geboortejaar binnen 2 jaar ligt, dan is het dezelfde persoon."

• Hoe het werkt: Deze computer (de "Rule-Based Baseline") is heel snel, maar hij is niet slim. Hij ziet alleen wat er letterlijk op het papier staat.
• Het resultaat: Hij is erg voorzichtig. Hij denkt dat bijna iedereen dezelfde persoon is als de naam een beetje lijkt. Hij maakt veel fouten door te veel mensen met elkaar te verwarren (hoge "valse positieven"). In de test scoorde hij een 91,3% op zijn "slimheidsmeter" (F1-score).

2. De Nieuwe Manier (De AI-Expert)
Nu hebben de auteurs moderne "Grote Taalmodellen" (LLMs) ingezet. Denk hierbij aan slimme AI's zoals GPT-4 of DeepSeek.

• Hoe het werkt: In plaats van alleen te kijken naar regels, leest deze AI de hele context. Hij denkt: "Oké, de namen lijken op elkaar, maar de vader van de eerste heet 'Muhammad' en de vader van de tweede heet 'Haji Muhammad'. En hun ID-nummers zijn totaal anders. Hoewel de namen lijken, zijn dit twee verschillende mensen."
• Het resultaat: Deze AI's zijn ongelooflijk goed in het zien van nuance. Ze halen scores tot 98,9%. Dat is bijna net zo goed als een menselijke expert die urenlang onderzoek doet.

🔍 De Grote Ontdekking: "We zijn er bijna"

De meest interessante conclusie van het paper is een beetje verrassend: Het is eigenlijk niet meer nodig om de AI's nog slimmer te maken voor deze specifieke taak.

De AI's zijn nu al zo goed in het vergelijken van twee namen, dat ze de grens hebben bereikt van wat er redelijkerwijs mogelijk is. Het is alsof je een racefiets hebt die al 99% van de topsnelheid haalt; meer kracht in de benen (of meer rekenkracht) helpt niet meer veel.

Wat betekent dit voor de toekomst?
De auteurs zeggen: "Stop met het perfectioneren van het vergelijken van twee namen. Dat is opgelost."
In plaats daarvan moeten we ons richten op de omgeving waarin die namen worden vergeleken:

• De Blokkering (Blocking): Hoe vinden we in een berg van 1 miljoen namen de paar duizend die we überhaupt moeten vergelijken? (Zoals het zoeken naar een naald in een hooiberg, maar dan slim).
• De Groepering (Clustering): Als we weten dat A=B en B=C, hoe weten we dan zeker dat A=C?
• De Menselijke Controle: Waar moet een mens nog even naar kijken omdat de AI twijfelt?

🧩 De Foutjes die de AI nog maakt

Zelfs de slimste AI maakt fouten, maar op een andere manier dan de oude computer:

1. Taalverwarring: Als een naam in het Arabisch wordt geschreven en dan in het Latijnse alfabet wordt omgezet, kan de AI soms denken dat het twee verschillende mensen zijn.
2. Kleine details: Soms ziet de AI een klein verschil (bijvoorbeeld een geboortedatum die één dag verschilt door een typfout) en denkt hij direct: "Nee, dit is een andere persoon!" terwijl het eigenlijk dezelfde persoon is.

🏁 Conclusie in het Kort

Dit paper is als een grote update voor de wereld van veiligheidscontrole:

1. We hebben een enorme, nieuwe testset gemaakt met echte sanctiedata (OpenSanctions Pairs).
2. Moderne AI's (LLMs) zijn veel beter dan de oude regelsystemen. Ze kunnen bijna net zo goed werken als menselijke experts.
3. Omdat de AI's nu al zo goed zijn in het vergelijken van twee namen, moeten we onze energie niet meer steken in het maken van "slimmere" vergelijkings-apps, maar in het beter organiseren van de hele processtroom (zoals het zoeken en groeperen van data).

Kortom: De AI is nu de perfecte "tweede man" die alle saaie vergelijkingen doet, zodat de menselijke experts zich kunnen focussen op de moeilijke, twijfelachtige gevallen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OpenSanctions Pairs: Large-Scale Entity Matching with LLMs" in het Nederlands.

Titel: OpenSanctions Pairs: Groot-schalig Entiteit Matching met LLM's

1. Het Probleem

Entiteit Matching (EM), ook wel entiteitsoplossing of recordkoppeling genoemd, is het proces om te bepalen of twee records verwijzen naar dezelfde real-world entiteit. Hoewel EM een kernonderdeel is van data-integratiepijplijnen, zijn bestaande benchmarks (zoals die voor e-commerce of bibliografische data) vaak beperkt tot schone, gestructureerde en monolinguale datasets met weinig heterogeniteit.

Deze benchmarks weerspiegelen niet de complexiteit van echte compliance-scenario's, zoals internationale sanctielijsten. In dit domein moeten financiële instellingen klanten screenen tegen lijsten van honderden bronnen uit verschillende landen. De uitdagingen zijn:

• Heterogeniteit: Data komt van 293 verschillende bronnen in 31 landen.
• Meertaligheid en Scripts: Namen en attributen verschijnen in verschillende scripts (bijv. Latijns, Cyrillisch, Chinees) en transliteraties.
• Datakwaliteit: Onvolledige attributen, ruis, aliasnamen en set-gebaseerde velden (een entiteit kan meerdere nationaliteiten of adressen hebben).
• Gebrek aan benchmarks: Er was tot nu toe geen publieke benchmark voor paar-voor-paar entiteit matching op sanctiedata, omdat deze data vaak proprietair of beperkt toegankelijk is.

2. Methodologie en Dataset

De auteurs hebben in samenwerking met OpenSanctions een nieuwe dataset en evaluatieframework ontwikkeld.

• Dataset (OpenSanctions Pairs):

  • Bestaat uit 755.540 gelabelde paren van entiteiten, afgeleid van de daadwerkelijke deduplicatiewerkflow van OpenSanctions.
  • Dekking: Meer dan 1 miljoen unieke entiteiten (Personen, Bedrijven, Organisaties) uit 293 bronnen.
  • Labelkwaliteit: De labels vertegenwoordigen expert-beslissingen van menselijke analisten onder onvolledige bewijslast (niet per se "ground truth", maar de beste beschikbare referentie). Het dataset is onbalans (76,9% positieve matches), wat de prioriteit weerspiegelt op precisie in compliance (liever een valse melding dan een gemiste sanctie).
  • Structuur: Elke entiteit heeft tot 132 eigenschappen, inclusief set-gebaseerde velden (meerdere namen, ID's).

• Experimenteel Ontwerp:

  • Baselines: Vergelijking tussen een bestaande, productie-gebruikte regelgebaseerde matcher (het nomenklatura RegressionV1 algoritme) en diverse Large Language Models (LLMs).
  • Modellen:
    • Open-source: Llama-3.1-8B en DeepSeek-R1-Distill-Qwen-14B.
    • Propriëtaire (gesloten): GPT-3.5 Turbo, GPT-4o, GPT-5 Nano, GPT-5.2 Pro, Claude 3 Haiku, Claude 3.7 Sonnet, Claude Opus 4.5.
  • Prompt Engineering: Gebruik van DSPy MIPROv2 voor automatische prompt-optimalisatie. De prompts zijn ontworpen met een "conflict-detectie" framing: in plaats van op overeenkomsten te zoeken, moet het model zoeken naar contradicties (bijv. verschillende ID's of geboortedata) om een match te ontkrachten.
  • Evaluatie: Gebruik van F1-score als primaire metriek vanwege de onbalans en de asymmetrische kosten van fouten in compliance.

3. Belangrijkste Resultaten

De resultaten tonen aan dat LLM's de regelgebaseerde systemen aanzienlijk overtreffen en de prestaties van menselijke experts benaderen.

• Prestatieverschil:

  • De regelgebaseerde baseline bereikte een F1-score van 91,33%. Deze had een hoge recall (99,42%) maar een lage precisie, wat resulteerde in veel valse positieven.
  • LLMs behaalden tot 98,95% F1 (GPT-4o) en 98,23% F1 (DeepSeek-R1-Distill-Qwen-14B).
  • Zelfs kleinere, lokaal deploybare modellen presteerden aanzienlijk beter dan de legacy systemen.

• Prompt Optimalisatie:

  • Automatische optimalisatie (MIPROv2) leverde consistente maar bescheiden winst op (bijv. +1,9 punten voor Llama-3.1-8B).
  • Few-shot learning (het toevoegen van voorbeelden in de prompt) gaf geen extra voordeel en kon de prestaties zelfs verlagen. Dit suggereert dat de instructies zelf al voldoende zijn en voorbeelden inductieve bias introduceren die de beslissingsstrategie verstoort.

• Foutanalyse (Failure Modes):

  • Regelgebaseerd: Neigt tot over-matchen (veel valse positieven) omdat het ontbreken van contradicties automatisch als een match wordt gezien.
  • LLMs: Falen voornamelijk bij transliteratie tussen scripts (bijv. Cyrillisch naar Latijns) en bij kleine inconsistenties in data (bijv. "off-by-one" fouten in ID's of datums). LLMs zijn echter beter in het herkennen van subtiele verschillen die regelgebaseerde systemen missen.

• Trend: Er is een duidelijke stijgende trend in F1-scores voor LLM's gekeken naar hun release-datum, van ~92% in 2023 naar ~99% in 2025. De prestaties naderen een praktisch plafond voor paar-voor-paar matching.

4. Bijdragen

1. OpenSanctions Pairs Dataset: De eerste grote, publieke benchmark voor entiteit matching op sanctiedata, met een orde van grootte meer data en heterogeniteit dan bestaande benchmarks.
2. Benchmarking van LLM's: Een grondige vergelijking die aantoont dat LLM's betrouwbare expert-beslissingen kunnen repliceren in complexe, meertalige compliance-scenario's.
3. Richting voor toekomstig onderzoek: De analyse toont aan dat paar-voor-paar matching niet langer de belangrijkste bottleneck is. De focus moet verschuiven naar andere onderdelen van de pijplijn, zoals blocking (kandidaten selecteren), clustering (entiteiten groeperen) en onzekerheidsmanagement.

5. Significantie en Conclusie

Dit paper is significant omdat het de kloof tussen academische benchmarks en operationele compliance-werkzaamheden dicht. Het bewijst dat taken die vroeger veel handwerk en domeinkennis vereisten, nu met minimale menselijke interventie kunnen worden geautomatiseerd met off-the-shelf LLM's.

De conclusie is dat de focus van onderzoek moet verschuiven van het verfijnen van paar-voor-paar modellen naar het optimaliseren van de hele entiteitsoplossingspijplijn. Omdat paar-voor-paar matching bijna menselijk niveau heeft bereikt, ligt de grootste meerwaarde nu in het effectief blokkeren van kandidaten, het clusteren van grote groepen entiteiten en het ontwerpen van systemen die omgaan met onzekerheid en menselijke review nodig hebben.

De code en dataset zijn beschikbaar gesteld via GitHub om verdere ontwikkeling in dit domein te stimuleren.