💬 NLP

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts

Dit artikel introduceert Structure-Guided Entity Resolution (SGER), een tweefasig curriculum-finetuningkader voor Large Language Models dat state-of-the-art nauwkeurigheid bereikt bij het matchen van complexe, meertalige persoonsnamen en momenteel op grote schaal wordt ingezet voor KYC-compliance op het Dream11-platform.

Oorspronkelijke auteurs: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de namen van twee mensen op elkaar af te stemmen, maar de namen zijn op een chaotische, slordige manier geschreven. De ene persoon staat misschien vermeld als "Rajesh Kumar", een andere als "Kumar Rajesh", een derde als "RajeshKumar" (zonder spatie) en een vierde als "Rajeshbhai" (met een vriendelijke titel toegevoegd). In een land zo divers als India, waar namen veranderen afhankelijk van de regio, de taal en zelfs hoe een ambtenaar ze heeft getypt, is dit een nachtmerrie voor computers.

Dit artikel introduceert een nieuw systeem genaamd SGER (Structure-Guided Entity Resolution) dat dit probleem oplost met een slimme trainingsmethode in twee stappen. Hieronder wordt uitgelegd hoe het werkt, in eenvoudige bewoordingen:

Het Probleem: De "Slordige Naam"-Puzzel

In de wereld van "Know Your Customer" (KYC)-controles – waarbij bedrijven verifiëren wie je bent voordat ze je toestaan spellen te spelen of rekeningen te openen – falen computers vaak.

De Oude Manier: Traditionele computers gebruiken eenvoudige regels, zoals tellen hoeveel letters verschillen tussen twee namen. Het is alsof je probeert een puzzel op te lossen door alleen naar de kleur van de stukjes te kijken en de vorm te negeren. Als iemand "Shubham" schrijft in plaats van "Subham", raakt de computer in de war.
De Nieuwe Manier (LLM's): Grote Taalmodellen (AI) zijn slim, maar als je ze gewoon vraagt "Zijn deze twee namen dezelfde persoon?", gokken ze soms verkeerd omdat ze eerst de grammatica van namen niet hebben geleerd. Ze proberen tegelijkertijd de structuur en het antwoord te leren, wat vergelijkbaar is met het vragen aan een student om tegelijkertijd een proefschrift te schrijven en een wiskundeprobleem op te lossen.

De Oplossing: Een Tweefasige "School" voor AI

De auteurs hebben een curriculum (een lesplan) ontwikkeld om hun AI-model, gebaseerd op het systeem Llama 3, in twee distincte fasen te onderwijzen. Denk hierbij aan het trainen van een nieuwe medewerker:

Fase 1: De "Naam-Architect"-Klas
Voordat de AI probeert namen op elkaar af te stemmen, wordt het geleerd om ze op te splitsen.

De Taak: Je geeft de AI een slordige naam zoals "Kirtan Singh Rathore".
De Les: De AI moet een nette, gestructureerde lijst (zoals een JSON-bestand) uitvoeren waarin staat: Voornaam: Kirtan, Middenaam: Singh, Achternaam: Rathore.
De Analogie: Stel je voor dat je een kind leert een rommelige stapel Lego-blokken te sorteren in "wielen", "ramen" en "muren" voordat je probeert een auto te bouwen. De AI leert dat "Singh" vaak een middenaam of familienaam is, en "Rathore" de familienaam, ongeacht de volgorde waarin ze verschijnen.

Fase 2: De "Detective"-Klas
Nu de AI begrijpt hoe namen zijn opgebouwd, wordt het gepromoveerd tot de rol van detective.

De Taak: Je geeft het twee namen (bijvoorbeeld "Rajeshk" en "Rajesh Kumar") en vraagt: "Zijn dit dezelfde persoon?"
Het Voordeel: Omdat de AI al weet hoe het namen moet ontleeden uit Fase 1, hoeft het niet tegelijkertijd de structuur te raden terwijl het de beslissing neemt. Het kan zich volledig richten op de matching.
Het Resultaat: Het wordt ongelooflijk nauwkeurig in het opsporen dat "Rajeshk" gewoon een typefout of afkorting is van "Rajesh Kumar".

De Resultaten: Een Super-Nauwkeurig Systeem

Het team testte dit systeem op 50.000 real-world voorbeelden uit India, een plek die bekendstaat om enkele van de meest complexe en gevarieerde naamgevingstradities ter wereld.

Oude Methoden: Haalden ongeveer 57% tot 85% nauwkeurigheid.
Standaard AI (zonder de tweestaps-training): Haalde ongeveer 91% nauwkeurigheid.
SGER (Het Nieuwe Systeem): Bereikte 99,02% nauwkeurigheid.

Dit betekent dat het systeem bijna perfect is in het bepalen of twee namen tot dezelfde persoon behoren, zelfs wanneer de namen verkeerd gespeld zijn, verwisseld zijn of spaties missen.

Real-world Impact: Dream11

Dit is niet zomaar een theorie; het werkt al. Het systeem is ingezet bij Dream11, het grootste fantasy-sportplatform ter wereld, dat meer dan 250 miljoen gebruikers bedient.

Voorheen: Wanneer de computer niet zeker was, moest het geval naar een mens worden gestuurd om handmatig te worden gecontroleerd. Dit was traag en duur.
Na: De AI regelt bijna alles automatisch.
Het Voordeel: Het bedrijf bespaart meer dan $500.000 per jaar omdat ze geen mensen hoeven te betalen om deze gevallen te controleren, en legitieme gebruikers worden direct geverifieerd zonder te hoeven wachten.

Samenvatting

Het artikel betoogt dat je, om AI goed te maken in een specifiek, rommelig werk (zoals het matchen van namen in India), niet zomaar data op het systeem moet gooien. In plaats daarvan moet je het eerst de regels van het spel leren (hoe namen zijn gestructureerd), en daarna leren hoe het het spel moet spelen (de namen matchen). Deze "curriculum"-benadering heeft een goede AI veranderd in een bijna perfecte, waarmee een enorme hoofdpijn voor een wereldwijd bedrijf is opgelost.

Technische Samenvatting: Structure-Guided Entity Resolution (SGER)

Probleemstelling

Entiteitsoplossing (Entity Resolution, ER) in taalkundig en cultureel complexe omgevingen, met name binnen Indiase identiteitsgegevens, vormt een aanzienlijke uitdaging voor Know Your Customer (KYC)-compliance. In tegenstelling tot stabiele sleutels variëren namen in deze contexten door diverse culturele conventies, inconsistente transliteratie tussen scripts (bijvoorbeeld van Devanagari naar Latijn) en frequente invoerfouten (typfouten, samengevoegde tokens, ontbrekende spaties). Traditionele methoden zoals edit-afstand, Jaro-Winkler en fonetische coderingen kampen met deze structurele ambiguïteiten, wat leidt tot hoge rates van vals-positieven en vals-negatieven. Hoewel Large Language Models (LLM's) veelbelovend zijn, dwingt standaard fine-tuning modellen er vaak toe om tegelijkertijd naamstructuur en classificatiegrenzen te leren, wat resulteert in suboptimale prestaties in domeinen waar structurele patronen sterk maar impliciet zijn.

Methodologie: Structure-Guided Entity Resolution (SGER)

De auteurs stellen SGER voor, een nieuw raamwerk dat een LLM (specifiek Meta's Llama 3 8B) fine-tunt met behulp van een tweefasige curriculum learning-strategie. Deze benadering ontkoppelt structureel begrip van de binaire matching-taak om een robuuste interne representatie van namen op te bouwen.

Systeemarchitectuur

Basismodel: Llama 3 8B, gekozen omwille van de balans tussen nauwkeurigheid, kostenefficiëntie en open-source reproduceerbaarheid.
Trainingsmechanisme: Supervised Fine-Tuning (SFT) met Low-Rank Adaptation (LoRA) (Rank 4, Alpha 8) met gemengde precisie (fp16).

Fase 1: Naamstructuurbegrip

Doel: Het model de "interne grammatica" van namen leren.
Taak: Een ruwe naamstring (bijvoorbeeld "Kirtan Singh Rathore") mappen naar een gestructureerd JSON-object met first_name, middle_name en last_name.
Data: Een dataset van ongeveer 10.000 handmatig geannoteerde Indiase namen, aangevuld met synthetische variaties om regionale en taalkundige diversiteit te dekken.
Resultaat: Het model leert naamcomponenten te identificeren en structurele variaties te hanteren (bijvoorbeeld "SinghKirtan" herkennen als een samengevoegde vorm) voordat het probeert paren te matchen.

Fase 2: Binaire Naammatching

Doel: De downstream-taak uitvoeren om te bepalen of twee naamvarianten naar dezelfde persoon verwijzen.
Initialisatie: Training begint vanaf het checkpoint van Fase 1.
Taak: Binaire classificatie ("Ja" of "Nee") op basis van een paar namen.
Prompt-ontwerp: Bevat instructies en few-shot voorbeelden die zijn ontworpen samen met risicobedrijfsoperatieteams om echte wereldwijde ambiguïteiten weer te geven (afkortingen, herschikte componenten, eerbewijzen).
Data-augmentatie: Om robuustheid te waarborgen, werd de trainingsdata (oorspronkelijk 20.000 paren) uitgebreid tot meer dan 50.000 voorbeelden met drie strategieën geïnspireerd door computer vision:
1. Paar Swapping: Zorgt voor orde-invariantie.
2. Component Permutatie: Schudt naamonderdelen om geldige maar nieuwe structurele voorbeelden te creëren.
3. Willekeurige Spatieverwijdering: Simuleert invoerfouten door tokens samen te voegen (bijvoorbeeld "Kirtan Singh" $\to$ "KirtanSingh").

Belangrijkste Bijdragen

Curriculum-gebaseerd Raamwerk: Het artikel introduceert de eerste empirische validatie van een tweefasige curriculum learning-raamwerk dat specifiek is toegespitst op naamgebaseerde entiteitsoplossing in complexe, real-world settings. Het toont aan dat het scheiden van structureel leren van classificatie superieure prestaties oplevert in vergelijking met single-stage fine-tuning.
State-of-the-Art Prestaties: SGER bereikt 99,02% nauwkeurigheid en een F1-score van 0,994 op een terughoudende set van 50.000 real-world Indiase KYC-paren.
Productie-implementatie: Het systeem is volledig ingezet in de productiepijplijn van Dream11 (voor meer dan 250 miljoen gebruikers), met verwerking van tot 10.000 verzoeken per minuut en een P99-latentie van 120 milliseconden.

Resultaten en Comparatieve Analyse

De auteurs evalueerden SGER tegen vijf baselines op een disjuncte validatieset:

Levenshtein Similariteit: 0,726 F1 (Kamp met structurele variaties).
BERT (Fine-Tuned): 0,806 F1.
GPT-4o (Few-Shot): 0,911 F1.
LLM (Few-Shot, Llama 3 8B): 0,839 F1.
LLM (Single-Stage SFT): 0,946 F1.
LLM (SFT + Augmentatie): 0,973 F1.
SGER (Twee Fasen + Augmentatie): 0,994 F1.

Ablatiebevindingen:

Data-augmentatie: Verhoogde F1 van 0,946 naar 0,973 door te voorkomen dat het model oppervlakkige patronen memoriseert en het generaliseren naar "long tail"-vervormingen te verbeteren.
Curriculum Learning: De toevoeging van structurele pre-training in Fase 1 zorgde voor de uiteindelijke boost naar 0,994, met name het stabiliseren van prestaties bij paren met meerdere gelijktijdige vervormingen (bijvoorbeeld afgekorte, herschikte en samengevoegde namen).

Foutanalyse:
De resterende fouten (<1%) stammen voornamelijk uit:

Ambiguïteit in Fonetische Gevallen: Namen die fonetisch vergelijkbaar zijn maar verschillend gespeld door inconsistente transliteratie (bijvoorbeeld "Saurabh" versus "Sorab").
Complexe Samengestelde Fouten: Gevallen waarbij gelijktijdig spatieverlies, omkering van volgorde en OCR-corruptie optreden (bijvoorbeeld "SubhamKshr" versus "KishoreShubham").

Betekenis en Impact

Het artikel beweert dat SGER een nieuwe standaard zet voor entiteitsoplossing in complexe, meertalige domeinen door aan te tonen dat curriculum-gestuurd training robuuste, hoogprecieze matching op schaal mogelijk maakt.

Operationele Impact: De implementatie heeft de noodzaak voor handmatige beoordeling van ambiguïteitsgevallen geëlimineerd (voorheen doorgestuurd naar derden), wat resulteert in meer dan 500.000 dollar aan jaarlijkse kostenbesparingen.
Compliance: Het systeem bereikt 99,95% precisie, wat de vals-positieven en de daarmee gepaard gaande regelgevingsrisico's in KYC-werkstromen aanzienlijk verlaagt.
Schaalbaarheid: De aanpak bewijst dat gespecialiseerde entiteitsoplossingstaken niet per se enorme modellen vereisen; een bescheiden model met 8 miljard parameters kan, wanneer het wordt geleid door een gestructureerd curriculum, bijna perfecte nauwkeurigheid bereiken.

De auteurs concluderen dat hoewel de focus ligt op Indiase KYC-gegevens, deze methodologie breed toepasbaar is op andere settings gekenmerkt door rijke taalkundige diversiteit, onregelmatige naamconventies en ruisachtige inputs, zoals wereldwijde e-commerce en grensoverschrijdende fraudeopsporing.