💬 NLP

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts

Questo articolo introduce la Risoluzione di Entità Guidata dalla Struttura (SGER), un framework di fine-tuning curricolare in due fasi per i Large Language Models che raggiunge una precisione all'avanguardia nell'abbinamento di nomi personali complessi e multilingue ed è attualmente implementato su larga scala per la conformità KYC sulla piattaforma di Dream11.

Autori originali: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Pubblicato 2026-05-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover abbinare i nomi di due persone, ma i nomi sono scritti in modo caotico e disordinato. Una persona potrebbe essere elencata come "Rajesh Kumar", un'altra come "Kumar Rajesh", una terza come "RajeshKumar" (senza spazio) e una quarta come "Rajeshbhai" (con un titolo amichevole aggiunto). In un paese diversificato come l'India, dove i nomi cambiano in base alla regione, alla lingua e persino a come un impiegato li ha digitati, questo è un incubo per i computer.

Questo articolo presenta un nuovo sistema chiamato SGER (Structure-Guided Entity Resolution) che risolve questo problema con un metodo di addestramento intelligente in due fasi. Ecco come funziona, spiegato in modo semplice:

Il Problema: L'Enigma del "Nome Disordinato"

Nel mondo dei controlli "Conosci il tuo Cliente" (KYC) — dove le aziende verificano chi sei prima di farti giocare o aprire conti — i computer spesso falliscono.

Il Vecchio Modo: I computer tradizionali usano regole semplici, come contare quante lettere sono diverse tra due nomi. È come cercare di risolvere un puzzle guardando solo il colore dei pezzi, ignorando la forma. Se qualcuno scrive "Shubham" invece di "Subham", il computer si confonde.
Il Nuovo Modo (LLM): I Modelli Linguistici di grandi dimensioni (AI) sono intelligenti, ma se semplicemente chiedi loro "Questi due nomi appartengono alla stessa persona?", a volte indovinano male perché non hanno prima imparato la grammatica dei nomi. Cercano di imparare la struttura e la risposta contemporaneamente, il che è come chiedere a uno studente di scrivere una tesi e risolvere un problema di matematica simultaneamente.

La Soluzione: Una "Scuola" in Due Fasi per l'AI

Gli autori hanno creato un curriculum (un piano di lezioni) per insegnare al loro modello AI, basato su un sistema chiamato Llama 3, in due fasi distinte. Pensaci come all'addestramento di un nuovo dipendente:

Fase 1: La Classe dell'"Architetto di Nomi"
Prima che l'AI tenti di abbinare i nomi, le viene insegnato a smontarli.

Il Compito: Dai all'AI un nome disordinato come "Kirtan Singh Rathore".
La Lezione: L'AI deve produrre un elenco ordinato e strutturato (come un file JSON) che dice: Nome: Kirtan, Secondo Nome: Singh, Cognome: Rathore.
L'Analogia: Immagina di insegnare a un bambino a prendere un mucchio disordinato di mattoncini Lego e a ordinarli in "ruote", "finestre" e "muri" prima di provare a costruire un'auto. L'AI impara che "Singh" è spesso un secondo nome o un cognome, e "Rathore" è il cognome, indipendentemente dall'ordine in cui appaiono.

Fase 2: La Classe del "Detective"
Ora che l'AI capisce come sono costruiti i nomi, viene promossa al ruolo di detective.

Il Compito: Le dai due nomi (ad esempio "Rajeshk" e "Rajesh Kumar") e chiedi: "Questi sono la stessa persona?"
Il Vantaggio: Poiché l'AI sa già come scomporre i nomi dalla Fase 1, non deve indovinare la struttura mentre prende la decisione. Può concentrarsi puramente sull'abbinamento.
Il Risultato: Diventa incredibilmente precisa nel rilevare che "Rajeshk" è solo un errore di battitura o un'abbreviazione di "Rajesh Kumar".

I Risultati: Un Sistema Super-Preciso

Il team ha testato questo sistema su 50.000 esempi reali provenienti dall'India, un luogo noto per avere alcune delle convenzioni di denominazione più complesse e variegate al mondo.

Metodi Vecchi: Hanno ottenuto circa il 57% - 85% di accuratezza.
AI Standard (senza addestramento in due fasi): Ha ottenuto circa il 91% di accuratezza.
SGER (Il Nuovo Sistema): Ha raggiunto un'accuratezza del 99,02%.

Ciò significa che il sistema è quasi perfetto nel determinare se due nomi appartengono alla stessa persona, anche quando i nomi sono scritti male, scambiati o privi di spazi.

Impatto Reale: Dream11

Non si tratta solo di teoria; sta già funzionando. Il sistema è implementato su Dream11, la più grande piattaforma al mondo di fantasy sports, che serve oltre 250 milioni di utenti.

Prima: Quando il computer non era sicuro, doveva inviare il caso a un umano per un controllo manuale. Questo era lento e costoso.
Dopo: L'AI gestisce quasi tutto automaticamente.
Il Vantaggio: L'azienda risparmia oltre 500.000 dollari all'anno perché non deve più pagare umani per controllare questi casi, e gli utenti legittimi vengono verificati istantaneamente senza dover aspettare.

Sintesi

L'articolo sostiene che per rendere l'AI brava in un lavoro specifico e disordinato (come l'abbinamento di nomi in India), non dovresti semplicemente scagliarle contro i dati. Invece, dovresti insegnarle le regole del gioco (come sono strutturati i nomi) prima, e poi insegnarle come giocare il gioco (abbinare i nomi). Questo approccio di "curriculum" ha trasformato un'AI buona in una quasi perfetta, risolvendo un enorme mal di testa per un'azienda globale.

Riepilogo Tecnico: Risoluzione delle Entità Guidata dalla Struttura (SGER)

Enunciato del Problema

La Risoluzione delle Entità (ER) in ambienti linguisticamente e culturalmente complessi, in particolare all'interno di dati di identità indiani, presenta una sfida significativa per la conformità Know Your Customer (KYC). A differenza di chiavi stabili, i nomi in questi contesti variano a causa di convenzioni culturali diversificate, traslitterazioni incoerenti tra diversi script (ad esempio, dal Devanagari al Latino) e frequenti errori di inserimento dati (errori di battitura, token fusi, spazi bianchi mancanti). I metodi tradizionali come la distanza di edit, Jaro-Winkler e le codifiche fonetiche faticano a gestire queste ambiguità strutturali, portando a tassi elevati di falsi positivi e falsi negativi. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) offrano promesse, il fine-tuning standard spesso costringe i modelli a imparare simultaneamente la struttura del nome e i confini di classificazione, risultando in prestazioni subottimali in domini dove i modelli strutturali sono forti ma impliciti.

Metodologia: Risoluzione delle Entità Guidata dalla Struttura (SGER)

Gli autori propongono SGER, un nuovo framework che esegue il fine-tuning di un LLM (specificamente Llama 3 8B di Meta) utilizzando una strategia di apprendimento curricolare in due fasi. Questo approccio disaccoppia la comprensione strutturale dal compito di matching binario per costruire una rappresentazione interna robusta dei nomi.

Architettura del Sistema

Modello Base: Llama 3 8B, scelto per il suo equilibrio tra accuratezza, efficienza dei costi e riproducibilità open-source.
Meccanismo di Addestramento: Fine-Tuning Supervisionato (SFT) con Adattamento a Basso Rango (LoRA) (Rango 4, Alpha 8) utilizzando precisione mista (fp16).

Fase 1: Comprensione della Struttura del Nome

Obiettivo: Insegnare al modello la "grammatica interna" dei nomi.
Compito: Mappare una stringa di nome grezza (ad esempio, "Kirtan Singh Rathore") in un oggetto JSON strutturato contenente nome, secondo nome e cognome.
Dati: Un dataset di circa 10.000 nomi indiani annotati manualmente, arricchito con variazioni sintetiche per coprire la diversità regionale e linguistica.
Esito: Il modello impara a identificare i componenti del nome e a gestire le variazioni strutturali (ad esempio, riconoscere "SinghKirtan" come una forma fusa) prima di tentare di abbinare le coppie.

Fase 2: Matching Binario dei Nomi

Obiettivo: Eseguire il compito a valle di determinare se due varianti di nome si riferiscono allo stesso individuo.
Inizializzazione: L'addestramento inizia dal checkpoint della Fase 1.
Compito: Classificazione binaria ("Sì" o "No") basata su una coppia di nomi.
Progettazione del Prompt: Include istruzioni ed esempi few-shot elaborati con i team operativi di gestione del rischio per riflettere le ambiguità del mondo reale (abbreviazioni, componenti riordinati, titoli onorifici).
Aumento dei Dati: Per garantire la robustezza, i dati di addestramento (originariamente 20.000 coppie) sono stati ampliati a oltre 50.000 esempi utilizzando tre strategie ispirate alla visione artificiale:
1. Scambio di Coppie: Garantisce l'invarianza all'ordine.
2. Permutazione dei Componenti: Mescola le parti del nome per creare esempi strutturali validi ma nuovi.
3. Rimozione Casuale degli Spazi: Simula errori di inserimento dati fondendo i token (ad esempio, "Kirtan Singh" $\to$ "KirtanSingh").

Contributi Chiave

Framework Basato sul Curriculum: Il documento introduce la prima validazione empirica di un framework di apprendimento curricolare in due fasi specificamente adattato per la risoluzione delle entità basata sui nomi in contesti complessi e reali. Dimostra che separare l'apprendimento strutturale dalla classificazione produce prestazioni superiori rispetto al fine-tuning in una singola fase.
Prestazioni all'Avanguardia: SGER raggiunge un'accuratezza del 99,02% e un punteggio F1 di 0,994 su un set di validazione tenuto in riserva di 50.000 coppie reali indiane KYC.
Implementazione in Produzione: Il sistema è completamente distribuito nella pipeline di produzione di Dream11 (servendo oltre 250 milioni di utenti), elaborando fino a 10.000 richieste al minuto con una latenza P99 di 120 millisecondi.

Risultati e Analisi Comparativa

Gli autori hanno valutato SGER contro cinque baseline su un set di validazione disgiunto:

Similarità Levenshtein: 0,726 F1 (Fatica con le variazioni strutturali).
BERT (Fine-Tuned): 0,806 F1.
GPT-4o (Few-Shot): 0,911 F1.
LLM (Few-Shot, Llama 3 8B): 0,839 F1.
LLM (SFT in Singola Fase): 0,946 F1.
LLM (SFT + Aumento): 0,973 F1.
SGER (Due Fasi + Aumento): 0,994 F1.

Risultati dell'Ablazione:

Aumento dei Dati: Ha aumentato l'F1 da 0,946 a 0,973 prevenendo la memorizzazione dei modelli superficiali da parte del modello e migliorando la generalizzazione alle distorsioni "a coda lunga".
Apprendimento Curricolare: L'aggiunta del pre-addestramento strutturale della Fase 1 ha fornito l'ultimo impulso fino a 0,994, stabilizzando in particolare le prestazioni su coppie con distorsioni multiple simultanee (ad esempio, nomi abbreviati, riordinati e fusi).

Analisi degli Errori:
I restanti errori (<1%) derivano principalmente da:

Casi Fonetici Ambigui: Nomi foneticamente simili ma scritti diversamente a causa di traslitterazioni incoerenti (ad esempio, "Saurabh" vs. "Sorab").
Errori Composti Complessi: Casi che coinvolgono perdita simultanea di spazi bianchi, inversione dell'ordine e corruzione OCR (ad esempio, "SubhamKshr" vs. "KishoreShubham").

Significato e Impatto

Il documento afferma che SGER stabilisce un nuovo standard per la risoluzione delle entità in domini complessi e multilingue, dimostrando che l'addestramento guidato dal curriculum abilita un matching robusto e ad alta precisione su larga scala.

Impatto Operativo: La distribuzione ha eliminato la necessità di revisione manuale dei casi ambigui (precedentemente instradati a fornitori terzi), risultando in un risparmio annuo di oltre 500.000 dollari.
Conformità: Il sistema raggiunge una precisione del 99,95%, riducendo significativamente i collegamenti falsi e i rischi normativi associati nei flussi di lavoro KYC.
Scalabilità: L'approccio dimostra che i compiti specializzati di risoluzione delle entità non richiedono necessariamente modelli massicci; un modello modesto da 8 miliardi di parametri, quando guidato da un curriculum strutturato, può raggiungere un'accuratezza quasi perfetta.

Gli autori concludono che, sebbene focalizzato sui dati KYC indiani, questa metodologia è ampiamente applicabile ad altri contesti caratterizzati da ricca diversità linguistica, convenzioni di denominazione irregolari e input rumorosi, come l'e-commerce globale e il rilevamento delle frodi transfrontaliere.