A System for Name and Address Parsing with Large Language Models

Sintesi Tecnica: Un sistema per la scomposizione di nomi e indirizzi con modelli linguistici di grandi dimensioni (LLM)

Problematica
La trasformazione affidabile di testo non strutturato relativo a persone e indirizzi in dati strutturati rimane un collo di bottiglia critico nei sistemi informativi su larga scala. Sebbene i metodi tradizionali basati su regole e probabilistici funzionino bene su input puliti, spesso falliscono quando si trovano di fronte a dati rumorosi, multilingue o con formati incoerenti (ad esempio, delimitatori mancanti, errori tipografici e lingue miste). Al contrario, sebbene i modelli neurali e i Large Language Models (LLM) offrano una maggiore robustezza, essi mancano frequentemente di controllo deterministico, riproducibilità e rigorosa aderenza agli schemi di output, portando a errori strutturali o logici nei dati generati. La letteratura esistente spesso si affida al fine-tuning specifico per dominio, il che limita l'adattabilità tra diversi paesi e formati, o manca di livelli di validazione post-generazione per garantire la coerenza tra i campi.

Metodologia
Gli autori propongono un framework guidato dal prompting e centrato sulla validazione, progettato per convertire record di testo libero in uno schema coerente di 1 mostri 17 campi senza richiedere il fine-tuning del modello. Il sistema opera come una pipeline a quattro stadi utilizzando il modello Claude 4.0 Sonnet tramite AWS Bedrock, configurato con parametri di decodifica fissi per garantire la riproducibilità:

1. Normalizzazione dell'input: Il testo grezzo (da file o testo libero) viene sottoposto a pre-elaborazione per ridurre la variabilità. Ciò include la canonicalizzazione Unicode (NFKC), la rimozione di caratteri zero-width, la riduzione degli spazi bianchi e l'espansione delle abbreviazioni (ad es., "Ave" in "Avenue"). I token direzionali sono mappati su un set canonico e i suffissi ordinali vengono normalizzati.
2. Assemblaggio del Prompt: Un prompt compatto, basato su template, guida l'LLM. Include una specifica definizione del ruolo, un ordine rigoroso di 17 campi, regole esplicite (ad es., "non inventare dati", "usare stringhe vuote per i dati ignoti") ed esempi few-shot che coprono casi limite (ad es., numeri con trattino, direzionali pre/post). Il prompt è progettato per mantenere il modello in "modalità estrazione" piuttosto che in modalità generativa.
3. Inferenza Vincolata: Il modello elabora i record in batch fissi di 16. I parametri di decodifica sono strettamente controllati (Temperatura: 0.30, Top-p: 0.90) per favorire la coerenza rispetto alla creatività. Le sequenze di stop assicurano che l'output termini esattamente ai confini dei record. Se un controllo strutturale fallisce (ad es., numero errato di campi), viene tentato un singolo riprovo con vincoli più stretti.
4. Validazione Rigorosa ed Esportazione: Un livello di validazione deterministico opera post-generazione. Esso impone:
   • Controlli dello Schema: Verifica dell'esatto numero di campi e dei tipi di dati.
   • Canonicalizzazione: Mappatura dei valori su set ammissibili (ad es., codici statali USPS, tipi di strada in forma estesa).
   • Regole tra i Campi: Applicazione di vincoli del mondo reale, come la compatibilità tra codice postale (ZIP code) e stato.
     I record che falliscono la validazione vengono contrassegnati con motivazioni specifiche per una revisione assistita. Viene generato un punteggio di fiducia leggero basato sul superamento delle regole e sulla rarità dei token.

Contributi Chiave

• Pipeline Senza Fine-Tuning: Il sistema raggiunge un'elevata accuratezza di parsing senza la necessità di grandi corpora annotati o del riaddestramento di modelli specifici per il dominio, facendo affidamento invece su un prompting strutturato.
• Livello di Validazione Deterministico: Integrando un rigoroso passaggio di validazione basato su regole dopo la generazione dell'LLM, il sistema combina la flessibilità dei modelli generativi con l'affidabilità degli approcci basati su regole, garantendo l'aderenza allo schema e la coerenza logica.
• Riproducibilità e Trasparenza: Lo studio utilizza parametri sperimentali fissi (dimensione del batch, impostazioni di decodifica, template del prompt) in tutte le esecuzioni, affrontando la mancanza di riproducibilità spesso riscontrata nella ricerca di estrazione basata su LLM.
• Robustezza al Rumore: Il framework è progettato specificamente per gestire input eterogenei e rumorosi, inclusi dati multilingue e record incompleti, anziché fare affidamento esclusivamente su dati puliti specifici per i benchmark.

Risultati
Valutato su un corpus di 1.500 record unici persona-indirizzo (inclusi dati statunitensi, di Porto Rico, internazionali e dati sintetici rumorosi), il sistema ha dimostrato:

• Accuratezza Complessiva: Accuratezza per riga esatta del 99,8%, che rappresenta un miglioramento di 0,46 punti percentuali rispetto a un baseline basato su pattern (99,34%) e una riduzione del tasso di errore di circa il 23%.
• Prestazioni a Livello di Campo: I campi core (nomi, numeri civici, stati) hanno raggiunto un'accuratezza quasi massima (99,7%–99,9%). Anche i campi tradizionalmente variabili come direzionali e indicatori di unità sono rimasti sopra il 99%.
• Automazione: Il sistema ha elaborato automaticamente il 94% dei record precedentemente soggetti a eccezioni senza intervento manuale.
• Calibrazione della Fiducia: I punteggi di fiducia previsti si sono allineati bene con la correttezza empirica. I record con una fiducia superiore al 90% hanno mostrato un'accuratezza del 99,9%, consentendo ai processi a valle di dare priorità solo al piccolo sottoinsieme di record a bassa fiducia (4%) per la verifica.
• Analisi degli Errori: Il tasso di errore residuo dello 0,2% è stato attribuito principalmente alla formattazione irregolare che interrompe il riconoscimento dei pattern (45%) e ai fallimenti nella separazione dei record in testi non strutturati (35%).

Significatività e Rivendicazioni
L'articolo sostiene che la combinazione di prompting strutturato e validazione deterministica fornisca una soluzione robusta, interpretabile e scalabile per l'estrazione di informazioni strutturate. Gli autori affermano che questo approccio offre un'alternativa pratica ai modelli pesanti in termini di addestramento o specifici per il dominio, rendendo i sistemi di estrazione basati su LLM più sostenibili in ambienti di produzione dove precisione, coerenza e riproducibilità sono essenziali. Il lavoro dimostra che è possibile raggiungere un'elevata affidabilità senza riaddestramento, offrendo un percorso efficiente in termini di costi per l'estrazione di dati strutturati implementabili su larga scala.