OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

Il paper introduce OpenSanctions Pairs, un ampio benchmark per l'abbinamento di entità derivato da dati reali sulle sanzioni internazionali, dimostrando che i modelli linguistici (LLM) superano significativamente i sistemi basati su regole e che le prestazioni stanno raggiungendo un limite pratico, suggerendo un futuro spostamento degli sforzi verso componenti della pipeline come il blocco e il clustering.

L'essenziale

Immagina di essere un archivista in una biblioteca gigantesca, ma invece di libri, hai a che fare con persone e aziende di tutto il mondo. Il tuo compito è capire se due schede diverse nella tua biblioteca parlano della stessa persona.

Questo è il problema che risolvono gli autori di questo articolo, intitolato "OpenSanctions Pairs". Ecco la spiegazione semplice, con qualche metafora per rendere tutto più chiaro.

1. Il Problema: La Biblioteca del Caos

Immagina di dover controllare se un cliente di una banca è una persona pericolosa (sanzionata). I dati arrivano da 293 fonti diverse (31 paesi), in lingue diverse, con nomi scritti in alfabeti diversi (cirillico, cinese, latino) e pieni di errori.

• La sfida: Due schede potrebbero avere lo stesso nome "Giovanni Rossi", ma uno è nato nel 1980 e l'altro nel 1982. Oppure, la stessa persona potrebbe essere chiamata "Ivan Petrov" in russo e "John Petrov" in inglese.
• Il rischio: Se sbagli, potresti bloccare un innocente (fastidioso) o, peggio, lasciar passare un criminale (disastroso).

Fino a poco tempo fa, per fare questo lavoro si usavano regole rigide (come un computer che dice: "Se il nome è uguale e la data di nascita è uguale, allora è la stessa persona"). Ma queste regole sono come un metronomo: funzionano bene solo se tutto è perfetto, ma si rompono appena c'è un po' di rumore o un errore di battitura.

2. La Soluzione: Il "Detective AI"

Gli autori hanno creato un nuovo "campo di allenamento" (un dataset) con 755.000 coppie di schede già etichettate da esperti umani. È come avere un libro di esercizi con le soluzioni corrette, ma basato sulla realtà caotica del mondo reale.

Hanno poi messo alla prova due tipi di "detective":

1. Il Vecchio Metodo (Regole): Come un impiegato che controlla solo se due numeri sono identici.
2. I Nuovi Detective (LLM - Intelligenza Artificiale): Modelli linguistici come GPT-4o o DeepSeek, che leggono le schede e usano il "buon senso".

3. La Gara: Chi vince?

Il risultato è stato sorprendente, come se un principiante avesse battuto un campione del mondo dopo anni di allenamento.

• Il Vecchio Metodo: Ha ottenuto un punteggio di 91,3%. Era buono, ma faceva molti errori: tendeva a dire "Sì, sono la stessa persona" anche quando non lo erano (falsi positivi), perché aveva paura di sbagliare e perdere un criminale.
• I Nuovi Detective (AI): Hanno raggiunto quasi il 99% di precisione!
  • GPT-4o (il modello più potente) ha fatto un lavoro quasi perfetto.
  • DeepSeek-R1 (un modello open-source che puoi scaricare e usare gratis) ha fatto quasi altrettanto bene.

La metafora: Immagina di dover riconoscere due persone in una folla.

• Il vecchio metodo guarda solo il cartellino del nome. Se c'è scritto "Mario", dice "È lui!", anche se Mario ha un occhio nero e l'altro no.
• L'AI guarda il cartellino, ma anche il modo in cui cammina, l'età, e se i nomi dei genitori corrispondono. Capisce che "M. Rossi" e "Mario Rossi" sono la stessa persona, ma che "Mario Rossi" e "Mario Bianchi" (anche se hanno la stessa data di nascita) sono diversi.

4. Cosa abbiamo imparato? (Le Sorprese)

Gli autori hanno scoperto alcune cose interessanti:

• L'AI è quasi perfetta: In questo compito specifico, l'AI ha raggiunto un livello così alto che migliorare ancora di più il "detective" non serve a molto. È come se avessi già trovato il modo perfetto per riconoscere le facce.
• Il vero problema non è il riconoscimento, ma il "setaccio": Se hai un miliardo di schede, non puoi farle leggere tutte all'AI (costerebbe troppo e ci vorrebbe troppo tempo). Il vero lavoro ora è creare un "setaccio" intelligente che scarti subito le schede che sicuramente non sono uguali, per poi far controllare all'AI solo quelle dubbie.
• L'AI vede gli errori umani: A volte l'AI si blocca su piccole differenze (es. "La data di nascita è il 1° gennaio invece del 2"). Questo non è un difetto dell'AI, ma un segnale che i dati originali erano sporchi o errati. L'AI sta agendo come un controllore di qualità.

5. Conclusione: Cosa cambia per il futuro?

Questo studio ci dice che non dobbiamo più preoccuparci di insegnare all'AI a riconoscere le persone, perché lo fa già benissimo.

Il futuro del lavoro non sarà "migliorare il detective", ma organizzare meglio l'archivio. Bisognerà concentrarsi su:

1. Come filtrare i dati prima di mostrarli all'AI (il "setaccio").
2. Come raggruppare le persone in famiglie (clustering).
3. Come gestire i casi in cui l'AI non è sicura e chiede aiuto a un umano.

In sintesi: abbiamo costruito un nuovo, enorme libro di esercizi per l'IA basato su dati reali. Abbiamo scoperto che le IA moderne sono diventate così brave a riconoscere le persone da superare di gran lunga i vecchi sistemi. Ora, il lavoro vero è capire come usare questo super-potere in modo efficiente e sicuro per proteggere il mondo dalle frodi.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "OpenSanctions Pairs: Large-Scale Entity Matching with LLMs" in lingua italiana.

1. Il Problema e il Contesto

L'Entity Matching (EM), o risoluzione delle entità, è il processo di determinare se due record si riferiscono alla stessa entità del mondo reale. Sebbene esistano benchmark consolidati (spesso derivati da e-commerce o bibliografie), questi falliscono nel rappresentare scenari reali complessi come quelli delle sanzioni internazionali.

In questo dominio, le sfide includono:

• Eterogeneità dei dati: Aggregazione di centinaia di fonti con schemi diversi.
• Multilinguismo e trascrizione: Nomi scritti in diversi script (es. cirillico, cinese, arabo) e varianti di trascrizione.
• Qualità dei dati: Presenza di valori mancanti, rumore, alias e attributi multi-valore.
• Costo degli errori: Nel contesto di conformità normativa (compliance), un falso negativo (non rilevare una persona sanzionata) comporta multe milionarie, mentre un falso positivo richiede solo una revisione umana.

Attualmente, non esisteva un benchmark pubblico su larga scala per l'EM sui dati delle sanzioni, e i sistemi di produzione si basavano su regole deterministiche o algoritmi statistici legacy.

2. Metodologia e Dataset: OpenSanctions Pairs

Gli autori, in collaborazione con OpenSanctions, hanno rilasciato OpenSanctions Pairs, il primo benchmark pubblico su larga scala per l'EM nel settore delle sanzioni.

• Scala e Composizione: Il dataset contiene 755.540 coppie di entità etichettate, derivanti da 293 fonti eterogenee in 31 paesi. Copre oltre 1 milione di entità uniche (Persone, Aziende, Organizzazioni).
• Etichettatura: Le etichette non sono "verità terreno" definitive, ma giudizi di esperti umani basati su evidenze incomplete, riflettendo la pratica reale di deduplicazione. Il dataset è sbilanciato a favore delle corrispondenze positive (76,9%) a causa della strategia di blocking che priorizza i candidati promettenti.
• Schemi: Le entità sono rappresentate come insiemi di attributi (nomi, alias, date, ID, indirizzi), spesso multi-valore e dipendenti dal tempo.

3. Sperimentazione e Modelli Valutati

Lo studio confronta tre categorie di approcci su un campione stratificato di 10.000 coppie:

1. Baseline Rule-Based: L'algoritmo RegressionV1 del framework nomenklatura di OpenSanctions, attualmente in produzione. Utilizza 18 feature (similarità del nome, confronto date, sovrapposizione ID) e un modello di regressione logistica.
2. LLM Open-Source: Modelli come Llama-3.1-8B-Instruct e DeepSeek-R1-Distill-Qwen-14B. Valutati in modalità zero-shot e few-shot, con ottimizzazione dei prompt tramite DSPy MIPROv2.
3. LLM Proprietari (Closed-Source): Modelli di punta come GPT-4o, GPT-5 Nano, GPT-5.2 Pro, Claude 3.7 Sonnet e Claude Opus 4.5.

Strategia di Prompting:
Il prompt di base è stato progettato per focalizzarsi sulla rilevazione di conflitti (contraddizioni) piuttosto che sulla similarità. La logica è: "Assumi che le entità siano le stesse a meno che non si trovino prove esplicite di differenze (es. ID diversi, date incompatibili)".

4. Risultati Chiave

• Superiorità degli LLM: I modelli LLM hanno superato significativamente la baseline rule-based.
  • Baseline Rule-Based: F1 = 91,33% (alta recall, ma molti falsi positivi).
  • GPT-4o: F1 = 98,95%.
  • DeepSeek-R1-Distill-Qwen-14B (Open-Source): F1 = 98,23%.
  • GPT-5.2 Pro: F1 = 98,75%.
• Prestazioni Umano-Limito: Le prestazioni degli LLM più avanzati si avvicinano alla consistenza osservata tra gli esperti umani, suggerendo che l'ottimizzazione del matching a coppie ha raggiunto un "tetto pratico" in questo contesto.
• Ottimizzazione dei Prompt: L'uso di DSPy MIPROv2 ha portato a miglioramenti consistenti ma modesti (es. +1,9 punti F1 per Llama-3.1-8B). Tuttavia, l'aggiunta di esempi in-context (few-shot) non ha migliorato le prestazioni e, in alcuni casi, le ha peggiorate, probabilmente introducendo bias induttivi che competono con la strategia di istruzione ottimizzata.
• Trade-off Dimensione/Velocità: I modelli open-source più grandi (DeepSeek-14B) offrono prestazioni leggermente superiori ma richiedono tempi di inferenza 3 volte maggiori rispetto a modelli più piccoli (Llama-8B).

5. Analisi degli Errori (Failure Modes)

L'analisi delle matrici di confusione rivela pattern di errore complementari:

• Sistema Rule-Based: Tende a sovra-mappare (alta recall, molti falsi positivi). È progettato per non perdere mai un match, lasciando la revisione all'umano.
• LLM: Tendono a sotto-mappare in casi difficili. I principali fallimenti riguardano:
  • Difficoltà nella translitterazione tra script diversi (es. cirillico vs latino).
  • Errori minori su date o ID ("off-by-one") che vengono interpretati come conflitti fatali, portando a falsi negativi.
• Implicazione: Un approccio ibrido che usa il sistema rule-based per il filtraggio iniziale (alta recall) e gli LLM per il riordinamento o la risoluzione dei casi ambigui potrebbe sfruttare i punti di forza di entrambi.

6. Contributi e Significato

1. Rilascio del Dataset: OpenSanctions Pairs è un benchmark di dimensioni e complessità senza precedenti, colmando il divario tra ricerca accademica e scenari operativi di compliance.
2. Dimostrazione di Automazione: Dimostra che l'EM nelle sanzioni può essere automatizzato con prestazioni vicine all'umano, riducendo drasticamente il carico di lavoro manuale.
3. Cambiamento di Paradigma di Ricerca: Poiché il matching a coppie è quasi risolto, il paper suggerisce che gli sforzi di ricerca futuri dovrebbero spostarsi verso altri componenti della pipeline di risoluzione delle entità:
   • Blocking (riduzione dello spazio di ricerca).
   • Clustering (raggruppamento di più record).
   • Gestione dell'incertezza e revisione assistita dall'umano.

Conclusione

Il paper conclude che l'uso di LLM "fuori dal box" (off-the-shelf) ha reso obsoleti i sistemi basati su regole per il matching a coppie nelle sanzioni, raggiungendo un livello di accuratezza che rende il matching a coppie un collo di bottiglia risolvibile. Il valore futuro risiede nell'integrazione di questi modelli in pipeline più ampie che gestiscano la complessità strutturale e l'incertezza dei dati reali.