💬 NLP

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts

Dieser Beitrag stellt Structure-Guided Entity Resolution (SGER) vor, ein zweiphasiges Curriculum-Fine-Tuning-Framework für Large Language Models, das state-of-the-art-Genauigkeit beim Abgleich komplexer, mehrsprachiger Personennamen erreicht und derzeit in großem Maßstab für die KYC-Compliance auf der Plattform von Dream11 eingesetzt wird.

Ursprüngliche Autoren: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Namen zweier Personen abzugleichen, doch die Namen sind auf chaotische, unordentliche Weise geschrieben. Eine Person könnte als „Rajesh Kumar" aufgeführt sein, eine andere als „Kumar Rajesh", eine dritte als „RajeshKumar" (ohne Leerzeichen) und eine vierte als „Rajeshbhai" (mit einem freundlichen Titel ergänzt). In einem so vielfältigen Land wie Indien, wo sich Namen je nach Region, Sprache und sogar danach ändern, wie ein Sachbearbeiter sie eingegeben hat, ist dies ein Albtraum für Computer.

Diese Arbeit stellt ein neues System namens SGER (Structure-Guided Entity Resolution) vor, das dieses Problem mit einer cleveren zweistufigen Trainingsmethode löst. So funktioniert es, einfach erklärt:

Das Problem: Das „unordentliche Namen"-Puzzle

In der Welt der „Know Your Customer" (KYC)-Prüfungen – bei denen Unternehmen vor dem Zulassen zum Spielen oder Eröffnen von Konten verifizieren, wer Sie sind – versagen Computer häufig.

Der alte Weg: Herkömmliche Computer verwenden einfache Regeln, wie etwa das Zählen, wie viele Buchstaben sich zwischen zwei Namen unterscheiden. Es ist, als würde man versuchen, ein Puzzle zu lösen, indem man nur die Farbe der Teile betrachtet und die Form ignoriert. Wenn jemand „Shubham" statt „Subham" schreibt, gerät der Computer in Verwirrung.
Der neue Weg (LLMs): Große Sprachmodelle (KI) sind intelligent, aber wenn man sie einfach fragt „Sind diese beiden Namen dieselbe Person?", raten sie manchmal falsch, weil sie die Grammatik der Namen nicht zuerst gelernt haben. Sie versuchen, die Struktur und die Antwort gleichzeitig zu lernen, was so ist, als würde man einen Schüler bitten, eine Thesis zu schreiben und gleichzeitig ein Matheproblem zu lösen.

Die Lösung: Eine zweiphasige „Schule" für KI

Die Autoren erstellten einen Lehrplan (einen Unterrichtsplan), um ihr KI-Modell, das auf einem System namens Llama 3 basiert, in zwei distincten Phasen zu unterrichten. Stellen Sie sich das wie die Schulung eines neuen Mitarbeiters vor:

Phase 1: Der „Name-Architekt"-Unterricht
Bevor die KI versucht, Namen abzugleichen, wird ihr beigebracht, diese zu zerlegen.

Die Aufgabe: Sie geben der KI einen unordentlichen Namen wie „Kirtan Singh Rathore".
Die Lektion: Die KI muss eine saubere, strukturierte Liste (wie eine JSON-Datei) ausgeben, die besagt: Vorname: Kirtan, Mittelname: Singh, Nachname: Rathore.
Die Analogie: Stellen Sie sich vor, Sie bringen einem Kind bei, einen durcheinander geworfenen Haufen Lego-Steine zu nehmen und sie in „Räder", „Fenster" und „Wände" zu sortieren, bevor es versucht, ein Auto zu bauen. Die KI lernt, dass „Singh" oft ein Mittelname oder ein Familienname ist und „Rathore" der Familienname ist, unabhängig von der Reihenfolge, in der sie erscheinen.

Phase 2: Der „Detektiv"-Unterricht
Jetzt, da die KI versteht, wie Namen aufgebaut sind, wird sie zur Detektivrolle befördert.

Die Aufgabe: Sie geben ihr zwei Namen (z. B. „Rajeshk" und „Rajesh Kumar") und fragen: „Sind dies dieselbe Person?"
Der Vorteil: Da die KI bereits weiß, wie man Namen aus Phase 1 zerlegt, muss sie die Struktur nicht gleichzeitig erraten, während sie die Entscheidung trifft. Sie kann sich rein auf den Abgleich konzentrieren.
Das Ergebnis: Sie wird unglaublich präzise darin, zu erkennen, dass „Rajeshk" nur ein Tippfehler oder eine Abkürzung von „Rajesh Kumar" ist.

Die Ergebnisse: Ein supergenaues System

Das Team testete dieses System an 50.000 realen Beispielen aus Indien, einem Land, das für einige der komplexesten und vielfältigsten Namenskonventionen der Welt bekannt ist.

Alte Methoden: Erzielten etwa 57 % bis 85 % Genauigkeit.
Standard-KI (ohne das zweistufige Training): Erzielte etwa 91 % Genauigkeit.
SGER (Das neue System): Erreichte 99,02 % Genauigkeit.

Das bedeutet, dass das System fast perfekt darin ist zu sagen, ob zwei Namen derselben Person gehören, selbst wenn die Namen falsch geschrieben, vertauscht oder ohne Leerzeichen sind.

Auswirkung in der Praxis: Dream11

Dies ist nicht nur eine Theorie; es funktioniert bereits. Das System ist bei Dream11 im Einsatz, der weltweit größten Fantasy-Sport-Plattform, die über 250 Millionen Nutzer bedient.

Davor: Wenn der Computer nicht sicher war, musste er den Fall zur manuellen Überprüfung an einen Menschen weiterleiten. Dies war langsam und teuer.
Danach: Die KI erledigt fast alles automatisch.
Der Nutzen: Das Unternehmen spart über 500.000 Dollar pro Jahr, da sie keine Menschen mehr bezahlen müssen, um diese Fälle zu prüfen, und legitime Nutzer sofort verifiziert werden, ohne warten zu müssen.

Zusammenfassung

Die Arbeit argumentiert, dass man, um KI gut bei einer spezifischen, unordentlichen Aufgabe (wie dem Abgleichen von Namen in Indien) zu machen, ihr nicht einfach Daten zuwerfen sollte. Stattdessen sollte man ihr zuerst die Regeln des Spiels (wie Namen strukturiert sind) beibringen und dann ihr beibringen, wie man das Spiel spielt (die Namen abgleicht). Dieser „Lehrplan"-Ansatz verwandelte eine gute KI in eine nahezu perfekte, die einen massiven Kopfschmerz für ein globales Unternehmen löste.

Technische Zusammenfassung: Strukturgeführte Entitätsauflösung (SGER)

Problemstellung

Die Entitätsauflösung (ER) in linguistisch und kulturell komplexen Umgebungen, insbesondere innerhalb indischer Identitätsdaten, stellt eine erhebliche Herausforderung für die „Know Your Customer" (KYC)-Compliance dar. Im Gegensatz zu stabilen Schlüsseln variieren Namen in diesen Kontexten aufgrund unterschiedlicher kultureller Konventionen, inkonsistenter Transliteration zwischen Schriftsystemen (z. B. Devanagari zu Latein) und häufiger Dateneingabefehler (Tippfehler, verschmolzene Tokens, fehlende Leerzeichen). Herkömmliche Methoden wie Editierdistanz, Jaro-Winkler und phonetische Kodierungen haben Schwierigkeiten mit diesen strukturellen Mehrdeutigkeiten, was zu hohen Raten an falsch positiven und falsch negativen Ergebnissen führt. Obwohl Large Language Models (LLMs) vielversprechend sind, zwingt das Standard-Fine-Tuning die Modelle oft dazu, gleichzeitig die Namensstruktur und Klassifikationsgrenzen zu erlernen, was zu suboptimaler Leistung in Domänen führt, in denen strukturelle Muster stark, aber implizit sind.

Methodik: Strukturgeführte Entitätsauflösung (SGER)

Die Autoren schlagen SGER vor, ein neuartiges Framework, das ein LLM (speziell Metas Llama 3 8B) mittels einer zweiphasigen Curriculum-Lernstrategie feinabstimmt. Dieser Ansatz entkoppelt das strukturelle Verständnis von der binären Matching-Aufgabe, um eine robuste interne Repräsentation von Namen aufzubauen.

Systemarchitektur

Basis-Modell: Llama 3 8B, gewählt aufgrund seines Gleichgewichts aus Genauigkeit, Kosteneffizienz und Open-Source-Reproduzierbarkeit.
Trainingsmechanismus: Überwachtes Fine-Tuning (SFT) mit Low-Rank Adaptation (LoRA) (Rank 4, Alpha 8) unter Verwendung von gemischter Präzision (fp16).

Phase 1: Verständnis der Namensstruktur

Ziel: Dem Modell die „innere Grammatik" von Namen beibringen.
Aufgabe: Abbildung eines rohen Namensstrings (z. B. „Kirtan Singh Rathore") auf ein strukturiertes JSON-Objekt, das first_name, middle_name und last_name enthält.
Daten: Ein Datensatz von ca. 10.000 manuell annotierten indischen Namen, erweitert um synthetische Variationen, um regionale und sprachliche Vielfalt abzudecken.
Ergebnis: Das Modell lernt, Namenskomponenten zu identifizieren und strukturelle Variationen zu handhaben (z. B. die Erkennung von „SinghKirtan" als verschmolzene Form), bevor es versucht, Paare zu matchen.

Phase 2: Binäres Namens-Matching

Ziel: Durchführung der nachgelagerten Aufgabe, zu bestimmen, ob zwei Namensvarianten dieselbe Person bezeichnen.
Initialisierung: Das Training beginnt vom Checkpoint der Phase 1.
Aufgabe: Binäre Klassifizierung („Ja" oder „Nein") basierend auf einem Paar von Namen.
Prompt-Design: Beinhaltet Anweisungen und Few-Shot-Beispiele, die gemeinsam mit Risikomanagement-Teams erstellt wurden, um reale Mehrdeutigkeiten (Abkürzungen, umgeordnete Komponenten, Höflichkeitsformen) widerzuspiegeln.
Daten-Augmentierung: Um Robustheit zu gewährleisten, wurden die Trainingsdaten (ursprünglich 20.000 Paare) durch drei Strategien, die von der Computer Vision inspiriert sind, auf über 50.000 Beispiele erweitert:
1. Paar-Tausch: Stellt Invarianz bezüglich der Reihenfolge sicher.
2. Komponenten-Permutation: Mischt Namteile, um gültige, aber neuartige strukturelle Beispiele zu erzeugen.
3. Zufällige Leerzeichenentfernung: Simuliert Dateneingabefehler durch das Verschmelzen von Tokens (z. B. „Kirtan Singh" $\to$ „KirtanSingh").

Hauptbeiträge

Curriculum-basiertes Framework: Die Arbeit stellt die erste empirische Validierung eines zweiphasigen Curriculum-Lern-Frameworks vor, das speziell für die entitätsbasierte Auflösung von Namen in komplexen, realen Umgebungen entwickelt wurde. Sie zeigt, dass die Trennung des strukturellen Lernens von der Klassifizierung im Vergleich zum einstufigen Fine-Tuning überlegene Leistung erzielt.
State-of-the-Art-Leistung: SGER erreicht 99,02 % Genauigkeit und einen F1-Score von 0,994 auf einem zurückgehaltenen Satz von 50.000 realen indischen KYC-Paaren.
Produktiveinsatz: Das System ist vollständig in der Produktionspipeline von Dream11 (mit über 250 Millionen Nutzern) deployed, verarbeitet bis zu 10.000 Anfragen pro Minute bei einer P99-Latenz von 120 Millisekunden.

Ergebnisse und vergleichende Analyse

Die Autoren bewerteten SGER gegen fünf Baselines auf einem disjunkten Validierungssatz:

Levenshtein-Ähnlichkeit: 0,726 F1 (Kämpft mit strukturellen Variationen).
BERT (Fine-Tuned): 0,806 F1.
GPT-4o (Few-Shot): 0,911 F1.
LLM (Few-Shot, Llama 3 8B): 0,839 F1.
LLM (Einstufiges SFT): 0,946 F1.
LLM (SFT + Augmentierung): 0,973 F1.
SGER (Zweistufig + Augmentierung): 0,994 F1.

Ablations-Ergebnisse:

Daten-Augmentierung: Erhöhte den F1-Score von 0,946 auf 0,973, indem verhindert wurde, dass das Modell Oberflächensmuster auswendig lernt, und die Generalisierung auf „Long-Tail"-Verzerrungen verbessert wurde.
Curriculum-Lernen: Die Hinzufügung des strukturellen Pre-Trainings in Phase 1 lieferte den finalen Schub auf 0,994, insbesondere zur Stabilisierung der Leistung bei Paaren mit mehreren gleichzeitigen Verzerrungen (z. B. abgekürzte, umgeordnete und verschmolzene Namen).

Fehleranalyse:
Die verbleibenden Fehler (<1 %) stammen hauptsächlich aus:

Mehrdeutigen phonetischen Fällen: Namen, die phonetisch ähnlich sind, aber aufgrund inkonsistenter Transliteration unterschiedlich geschrieben werden (z. B. „Saurabh" vs. „Sorab").
Komplexen zusammengesetzten Fehlern: Fälle, die gleichzeitig den Verlust von Leerzeichen, eine Umkehrung der Reihenfolge und OCR-Korruption beinhalten (z. B. „SubhamKshr" vs. „KishoreShubham").

Bedeutung und Auswirkung

Die Arbeit behauptet, dass SGER einen neuen Standard für die Entitätsauflösung in komplexen, mehrsprachigen Domänen setzt, indem sie demonstriert, dass curriculum-gesteuertes Training eine robuste, hochpräzise Matching-Leistung im großen Maßstab ermöglicht.

Operative Auswirkung: Der Einsatz hat die Notwendigkeit manueller Überprüfung von mehrdeutigen Fällen (die zuvor an Drittanbieter weitergeleitet wurden) eliminiert, was zu jährlichen Kosteneinsparungen von über 500.000 US-Dollar führt.
Compliance: Das System erreicht eine Präzision von 99,95 %, was falsch positive Verknüpfungen und die damit verbundenen regulatorischen Risiken in KYC-Workflows erheblich reduziert.
Skalierbarkeit: Der Ansatz beweist, dass spezialisierte Entitätsauflösungsaufgaben nicht zwangsläufig massive Modelle erfordern; ein bescheidenes 8-Milliarden-Parameter-Modell kann bei Führung durch ein strukturiertes Curriculum nahezu perfekte Genauigkeit erreichen.

Die Autoren schließen, dass diese Methodik, obwohl auf indische KYC-Daten fokussiert, allgemein auf andere Umgebungen anwendbar ist, die durch sprachliche Vielfalt, unregelmäßige Namenskonventionen und verrauschte Eingaben gekennzeichnet sind, wie z. B. globaler E-Commerce und grenzüberschreitende Betrugserkennung.