OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

Die Studie stellt OpenSanctions Pairs, einen großen Datensatz für das Entity Matching vor, und zeigt, dass große Sprachmodelle (LLMs) die bestehende regelbasierte Produktionslösung in Bezug auf die Genauigkeit deutlich übertreffen, was einen Paradigmenwechsel hin zu verbesserten Pipeline-Komponenten wie Blocking und Clustering nahelegt.

Das Wesentliche

Stell dir vor, du bist ein riesiger Bibliothekar, aber nicht für Bücher, sondern für Personen und Firmen aus der ganzen Welt. Deine Aufgabe ist es, herauszufinden: „Ist das hier wirklich dieselbe Person wie dort?"

Das klingt einfach, ist aber ein Albtraum. Warum? Weil ein und dieselbe Person auf einer Liste in Russland „Iwan Iwanow" heißt, auf einer Liste in China „Wang Wei" (in chinesischen Schriftzeichen) und auf einer US-Liste vielleicht nur „I. Iwanow" mit einem falschen Geburtsjahr. Dazu kommen noch Tausende von Listen, die sich überlappen, Lücken haben und voller Tippfehler stecken.

Genau dieses Problem haben die Autoren des Papers „OpenSanctions Pairs" angepackt. Hier ist die Geschichte ihrer Forschung, einfach erklärt:

1. Das Problem: Der riesige Nadelhaufen

Bisher gab es für Computer-Programme, die solche Namen vergleichen (man nennt das „Entity Matching"), nur sehr einfache Testaufgaben. Das war so, als würde man einem Schüler einen Mathe-Test mit nur zwei Zahlen geben, um ihn auf eine Prüfung vorzubereiten, bei der er Tausende von komplizierten Formeln lösen muss.

Die Forscher haben sich daher eine riesige, echte Datenbank aus Sanktionslisten (Listen von Personen, die wegen Terrorismus oder Korruption gesperrt sind) geschnappt.

• Die Menge: Über 750.000 Paare von Namen, die von echten Experten geprüft wurden.
• Die Vielfalt: Daten aus 31 Ländern, in 293 verschiedenen Formaten, mit Namen in lateinischen, kyrillischen und chinesischen Buchstaben.
• Der Clou: Die Daten sind „schmutzig". Namen sind falsch geschrieben, Daten fehlen, und manchmal sind zwei völlig verschiedene Leute fast gleichnamig.

2. Der Wettkampf: Der alte Roboter vs. Der moderne KI-Assistent

Die Forscher haben zwei Arten von Computern gegeneinander antreten lassen, um zu sehen, wer die besseren Entscheidungen trifft:

• Der alte Roboter (Regel-basiert): Das ist wie ein strenger Lehrer, der nur nach festen Regeln urteilt. Wenn der Name zu 90 % übereinstimmt, sagt er: „Ja, das ist dieselbe Person!" Das Problem: Er ist zu vorsichtig und verwechselt oft zwei verschiedene Leute, die zufällig gleich heißen (wie zwei Leute namens „Khalid Mehmood" aus Pakistan, die völlig unterschiedliche Väter und Ausweisnummern haben, aber der Roboter dachte, sie seien identisch).
• Der moderne KI-Assistent (LLMs): Das sind die großen Sprachmodelle (wie GPT-4o oder DeepSeek). Man kann sie sich wie einen super-intelligenten Detektiv vorstellen, der nicht nur auf Buchstaben schaut, sondern den Kontext versteht. Er weiß: „Oh, der Name ist gleich, aber die Ausweisnummer ist anders? Das sind zwei verschiedene Leute!"

3. Das Ergebnis: Der Detektiv gewinnt haushoch

Das Ergebnis war überraschend klar:

• Der alte Roboter hatte eine Trefferquote von etwa 91 %.
• Die modernen KI-Modelle kamen auf 98 % bis 99 %.

Das ist fast so gut wie die menschlichen Experten selbst! Die KI kann also die mühsame Arbeit des Vergleichens fast perfekt erledigen.

4. Die überraschende Lektion: Weniger ist mehr

Die Forscher haben auch getestet, ob sie der KI noch mehr Beispiele geben müssen (damit sie lernt, wie ein Schüler mit einem Lehrbuch).

• Überraschung: Es hat geholfen, die KI nur klarer zu instruieren („Achte auf Widersprüche, nicht auf Ähnlichkeiten!"), aber extra viele Beispiele einzufügen, hat oft sogar das Gegenteil bewirkt. Es war, als würde man einem erfahrenen Detektiv eine 100-seitige Anleitung geben, während er eigentlich nur einen klaren Hinweis braucht.

5. Was bedeutet das für die Zukunft?

Die wichtigste Erkenntnis ist diese: Das reine Vergleichen von zwei Namen ist jetzt gelöst. Die KI ist so gut geworden, dass wir hier nicht mehr viel verbessern können.

Statt also weiter an der „Nadel im Heuhaufen"-Suche zu feilen, sollten wir uns auf das größere Bild konzentrieren:

• Wie finden wir die Nadel im Heuhaufen, ohne den ganzen Haufen durchsuchen zu müssen? (Das nennt man „Blocking").
• Wie gruppieren wir Tausende von Namen zu einer einzigen Person? (Das nennt man „Clustering").
• Wo ist die KI unsicher, und wann brauchen wir einen Menschen, um nachzusehen?

Zusammenfassung in einer Metapher

Stell dir vor, du suchst nach einem bestimmten Auto in einer riesigen Garage voller Autos.

• Früher (Regel-basiert): Du hast einen Scanner, der nur auf die Farbe schaut. Er denkt, alle roten Autos sind dasselbe. Das ist schnell, aber falsch.
• Heute (KI): Du hast einen KI-Experten, der sich das Auto genau ansieht, die Fahrgestellnummer prüft und weiß, dass zwei rote Autos völlig unterschiedlich sind. Er ist fast perfekt.
• Die Zukunft: Da der Experte die Autos so gut identifizieren kann, müssen wir uns jetzt fragen: Wie bringen wir ihm bei, schneller durch die Garage zu laufen, ohne jedes Auto einzeln anzuschauen, und wie organisieren wir die Autos am Ende in die richtigen Hallen?

Fazit: Die KI hat den Job des „Namen-Vergleichers" gemeistert. Jetzt müssen wir ihr helfen, den Rest des Prozesses zu meistern, damit Sanktionen schneller und sicherer durchgesetzt werden können, ohne unschuldige Leute zu blockieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „OpenSanctions Pairs: Large-Scale Entity Matching with LLMs" auf Deutsch:

1. Problemstellung

Das Paper adressiert das Problem des Entity Matching (EM) bzw. der Entitätsauflösung im Kontext internationaler Sanktionslisten.

• Herausforderung: Finanzinstitute müssen Kunden gegen Sanktionslisten prüfen, um regulatorische Strafen zu vermeiden. Diese Listen stammen aus 31 Ländern und 293 heterogenen Quellen.
• Datenkomplexität: Die Daten weisen erhebliche Qualitätsprobleme auf: Mehrsprachigkeit, verschiedene Schriftsysteme (z. B. kyrillisch, lateinisch, chinesisch), Transliterationen, Alias-Namen, fehlende Attribute und mehrwertige Felder (z. B. mehrere Adressen oder Geburtsdaten).
• Lücke in der Forschung: Bestehende EM-Benchmarks basieren meist auf E-Commerce- oder bibliografischen Daten mit sauberen, strukturierten und monolingualen Attributen. Sie bilden die Realität der Sanktionsprüfung nicht ab. Zudem sind Sanktionsdaten oft proprietär, sodass es keine öffentlichen Benchmarks für dieses Szenario gab.
• Ziel: Entwicklung eines Benchmarks und Evaluierung moderner Methoden (insbesondere LLMs) gegenüber traditionellen regelbasierten Systemen unter realen Bedingungen.

2. Methodik und Datensatz

OpenSanctions Pairs (Der Datensatz)

Die Autoren haben den ersten großen, öffentlichen Benchmark für Entity Matching im Sanktionsbereich erstellt:

• Umfang: 755.540 gelabelte Paare, die über 1 Million eindeutige Entitäten abdecken.
• Quellen: 293 heterogene Datensätze aus 31 Ländern.
• Labeling: Die Labels stammen von menschlichen Analysten, die eine Deduplizierung durchgeführt haben. Wichtig ist, dass diese Labels Expertenentscheidungen unter unvollständiger Evidenz widerspiegeln (Priorität auf Präzision) und nicht als absolute „Ground Truth" zu verstehen sind.
• Verteilung: 76,9 % positive Paare (Match), 23,1 % negative Paare (kein Match).
• Struktur: Die Entitäten enthalten bis zu 132 Eigenschaften (Namen, Alias, Geburtsdatum, Nationalität, Adressen, IDs), oft als Mengen (Sets) dargestellt.

Experimentelles Setup

Die Autoren verglichen drei Kategorien von Methoden:

1. Regelbasiertes Basissystem: Der nomenklatura RegressionV1 Algorithmus (in Produktion im Einsatz). Er berechnet 18 Merkmale (Ähnlichkeit von Namen, Datumsvergleiche, ID-Überlappungen) und nutzt ein logistisches Regressionsmodell.
2. Open-Source LLMs: Llama-3.1-8B-Instruct und DeepSeek-R1-Distill-Qwen-14B. Diese wurden lokal auf GPU-Clustern inferiert.
3. Proprietäre (Closed-Source) LLMs: Verschiedene Modelle von OpenAI (GPT-3.5 bis GPT-5.2 Pro) und Anthropic (Claude 3 Haiku bis Opus 4.5) via API.

Prompt-Strategie:

• Framing: Statt Ähnlichkeit zu suchen, wurde das Problem als Konflikterkennung (Contradiction Detection) formuliert. Die Instruktion besagt: „Suche nach widersprüchlichen Beweisen (unterschiedliche IDs, Daten). Wenn keine Widersprüche gefunden werden, gehe von einem Match aus."
• Optimierung: Einsatz von DSPy MIPROv2 zur automatischen Optimierung der Prompts (Instruction-Variationen und Few-Shot-Beispiele).
• Evaluation: Stratifizierte Stichproben (10.000 und 1.000 Paare) mit F1-Score als primärer Metrik (wegen der Klassenungleichgewicht und der asymmetrischen Kosten von False Positives/Negatives im Compliance-Bereich).

3. Key Contributions (Hauptbeiträge)

1. Veröffentlichung von OpenSanctions Pairs: Ein Datensatz, der um eine Größenordnung größer und heterogener ist als bestehende Benchmarks, speziell für multilinguale und mehrschriftliche Umgebungen.
2. Benchmarking von LLMs: Nachweis, dass LLMs regelbasierte Systeme in diesem komplexen Szenario deutlich übertreffen und menschliche Expertenentscheidungen zuverlässig replizieren können.
3. Analyse von Fehlermustern: Identifikation komplementärer Fehlermodi zwischen regelbasierten Systemen und LLMs, was neue Wege für Ensemble-Methoden aufzeigt.
4. Richtungsweisung für die Forschung: Argumentation, dass das Paarweise-Matching (Pairwise Matching) in diesem Setting nahe an seiner praktischen Obergrenze angekommen ist und zukünftige Forschung sich auf Blocking, Clustering und Unsicherheitsmanagement konzentrieren sollte.

4. Ergebnisse

Leistung (F1-Score)

• Regelbasiert: Der nomenklatura RegressionV1 Baseline erreichte 91,33 % F1.
• Open-Source LLMs:
  • DeepSeek-R1-Distill-Qwen-14B erreichte 98,23 % F1 (Zero-Shot, optimiert).
  • Llama-3.1-8B erreichte 95,94 % F1 (Zero-Shot, optimiert).
• Proprietäre LLMs:
  • GPT-4o erreichte 98,95 % F1.
  • GPT-5.2 Pro erreichte 98,75 % F1.
• Fazit: Off-the-shelf LLMs übertreffen das Produktionssystem signifikant und nähern sich der Konsistenz menschlicher Experten an.

Prompt-Optimierung und Few-Shot

• MIPROv2 Optimierung: Führte zu konsistenten, aber moderaten Verbesserungen (z. B. +1,9 F1-Punkte bei Llama-3.1-8B).
• Few-Shot Learning: Das Hinzufügen von In-Context-Beispielen (2-8 Shots) brachte keinen zusätzlichen Nutzen und konnte die Leistung sogar verschlechtern. Dies deutet darauf hin, dass die Instruktionen bereits die Entscheidungslogik enthalten und Beispiele induktive Verzerrungen einführen, die mit der optimierten Anweisung konkurrieren.

Fehleranalyse (Failure Modes)

• Regelbasiert: Hohe False-Positive-Rate (Über-Matching). Das System ist darauf ausgelegt, keine Sanktionsfälle zu verpassen (hohe Recall), was zu vielen manuellen Nachprüfungen führt.
• LLMs:
  • Transliteration: Schwierigkeiten bei großen Unterschieden in der Schriftumwandlung (z. B. Arabisch zu Latein).
  • Kleine Inkonsistenzen: LLMs neigen dazu, bei kleinen Dateneingabefehlern (z. B. „Off-by-One" bei IDs oder Daten) zu negativ zu klassifizieren, da sie die Instruktion „Suche nach Konflikten" zu strikt auslegen.
• Synergie: Die Fehlermuster sind komplementär. Ein Ensemble-Ansatz (Regelbasiert für hohe Recall-Filterung, gefolgt von LLM für Re-Ranking) könnte beide Stärken nutzen.

Skalierung und Zeitverlauf

• Eine Analyse der F1-Scores über das Erscheinungsdatum der Modelle zeigt einen klaren Aufwärtstrend. Während frühe Modelle (2023) nur marginal besser waren als die Regelbasis, nähern sich Modelle Ende 2025/Anfang 2026 (GPT-5, Claude Opus) einem F1-Score von 98–99 % an.
• Der Abstand zur regelbasierten Basis hat sich von ~2 Punkten auf über 7 Punkte vergrößert.

5. Bedeutung und Fazit

Das Paper zeigt, dass das paarweise Entity Matching im Kontext von Sanktionen durch moderne LLMs weitgehend gelöst ist. Die Leistungsgrenze für reine Klassifikationsmodelle ist erreicht.

Implikationen für die Praxis und Forschung:

1. Automatisierung: Aufgaben, die bisher viel manuelle Expertise erforderten, können nun automatisiert werden, idealerweise in einem „Human-in-the-Loop"-Workflow.
2. Verschiebung des Fokus: Da das Paar-Matching nicht mehr der Flaschenhals ist, sollte sich die Forschung auf andere Pipeline-Komponenten konzentrieren:
   • Blocking: Effiziente Kandidatengenerierung.
   • Clustering: Zusammenführung von Entitäten über mehrere Paare hinweg.
   • Unsicherheitsmanagement: Umgang mit Fällen, in denen Modelle zögern oder widersprüchliche Daten vorliegen.
3. Datenqualität: LLMs können als effektive Detektoren für Datenqualitätsprobleme (z. B. Inkonsistenzen in IDs) dienen.

Zusammenfassend liefert das Paper nicht nur einen wertvollen neuen Datensatz, sondern auch einen Paradigmenwechsel: Weg von der Optimierung einzelner Matching-Modelle hin zur Optimierung des gesamten Entity-Resolution-Pipelines unter Nutzung der Stärken von LLMs.