From NER to Business Process Automation: Comparative Evaluation of CNN, LSTM, and Transformer Models for Address Intelligence

Ogni giorno, le aziende spostano montagne di carta e documenti digitali, dalle spedizioni di pacchi alla gestione delle iscrizioni degli studenti. Una parte critica di questo lavoro consiste nel leggere gli indirizzi. Mentre gli esseri umani possono dare un'occhiata a una nota scritta a mano disordinata o a una riga di testo digitata e sapere istantaneamente la città, lo stato e il codice postale, i computer spesso faticano. Per una macchina, una sequenza di parole è solo una serie di caratteri senza un significato intrinseco. Affinché le aziende possano automatizzare i loro flussi di lavoro — permettendo ai software di gestire i compiti senza l'aiuto umano — hanno bisogno di un modo per trasformare queste linee di testo non strutturate in dati ordinati e organizzati. È qui che entra in gioco un campo dell'intelligenza artificiale chiamato Riconoscimento di Entità Nominate (Named Entity Recognition). Pensatelo come un evidenziatore digitale che scansiona una frase e tagga parole specifiche come "città", "stato" o "paese". La sfida per gli ingegneri è trovare il tipo giusto di cervello digitale per fare questo evidenziaamento in modo rapido e accurato, specialmente quando gli indirizzi provengono da fonti diverse e appaiono molto differenti tra loro.

Un team di ricercatori della Bennett University in India si è posto l'obiettivo di risolvere questo specifico enigma. Volevano sapere quale dei cinque tipi più popolari di reti neurali — sistemi informatici progettati per imitare il modo in cui i cervelli umani imparano dai modelli — funzionasse meglio per scomporre gli indirizzi. Hanno testato tre distinte famiglie di modelli: quelli che cercano piccoli schemi locali; quelli che leggono il testo come una frase, tenendo traccia dell'ordine delle parole; e il tipo più recente e potente che comprende l'intero contesto di una frase tutto in una volta. I ricercatori non si sono limitati a guardare quale modello ottenesse il maggior numero di risposte corrette. Hanno anche misurato quanto tempo ogni modello impiegava per prendere una decisione, perché nel mondo reale dell'automazione aziendale, la velocità è importante quanto l'accuratezza. Hanno testato questi sistemi su due set di dati reali molto diversi: record di fornitori aerospaziali e un elenco massiccio di scuole pubbliche negli Stati Uniti.

Lo studio è iniziato alimentando questi modelli con migliaia di righe di indirizzi. I ricercatori sono stati attenti a garantire un test equo. Hanno diviso i dati in modo che i modelli venissero addestrati su alcuni indirizzi e testati su altri completamente diversi che non avevano mai visto prima, impedendo ai computer di memorizzare semplicemente le risposte. Hanno anche testato i modelli in condizioni diverse, fornendo a volte solo metà dei dati per imparare e altre volte l'intero set. Questo ha aiutato a capire quanto bene ogni sistema potesse imparare quando le informazioni erano scarse rispetto a quando erano abbondanti. L'obiettivo era trovare un sistema che potesse gestire la realtà disordinata dei dati aziendali senza rallentare l'intera operazione.

I risultati hanno delineato un quadro chiaro dei compromessi coinvolti. I modelli che si basavano sulla lettura del testo parola per parola in sequenza, noti come reti LSTM, hanno performato bene e sono stati più bravi a comprendere come le parole si relazionano tra loro rispetto ai modelli più semplici che cercavano solo schemi locali. Tuttavia, i risultati più potenti sono arrivati dai modelli basati sui transformer, che sono progettati per comprendere l'intero contesto di una frase tutto in una volta. Tra questi, un modello chiamato ELECTRA si è distinto come il più efficiente. Quando i ricercatori hanno fornito ai modelli l'intera quantità di dati a disposizione, ELECTRA ha identificato correttamente i componenti dell'indirizzo il 99,4% delle volte per i dati aerospaziali e il 99,6% delle volte per i dati scolastici.

Ciò che ha reso ELECTRA particolarmente prezioso non è stato solo il suo punteggio elevato, ma anche la sua velocità. Sebbene il modello più famoso e potente, BERT, avesse raggiunto un'accuratezza simile, impiegava significativamente più tempo per elaborare ogni indirizzo. Nei test, ELECTRA è stato circa sei volte più veloce di BERT, completando il suo lavoro in circa 56 millisecondi rispetto ai più di 300 millisecondi dell'altro. Questa differenza è cruciale per le aziende che devono elaborare migliaia di record in tempo reale. I ricercatori hanno scoperto che, sebbene i modelli più semplici e veloci fossero sufficienti per indirizzi molto standardizzati, non potevano eguagliare la precisione dei sistemi più avanzati quando i dati erano complessi. Viceversa, i sistemi più potenti erano spesso troppo lenti per compiti ad alto volume, a meno che non venisse scelto un modello come ELECTRA.

Lo studio ha anche rivelato che avere più dati ha aiutato tutti i modelli a migliorare, ma i modelli transformer avanzati ne hanno beneficiato maggiormente. Quando i ricercatori hanno fornito ai modelli il 100% dei dati disponibili invece di solo il 50%, l'accuratezza dei modelli top è salita ancora più in alto, mentre i modelli più semplici hanno registrato guadagni più modesti. Ciò suggerisce che per i compiti di analisi degli indirizzi più difficili, la maggiore potenza computazionale dei modelli avanzati vale l'investimento, a condizione che venga utilizzato un modello veloce come ELECTRA. I ricercatori hanno osservato che questi risultati sono specifici per i dati strutturati testati, che seguivano principalmente i formati di indirizzo nordamericani. Hanno avvertito che i risultati potrebbero apparire diversi se ai modelli venisse chiesto di leggere note scritte a mano disordinate o indirizzi di altri paesi con regole differenti.

In definitiva, questa ricerca fornisce una guida pratica per le aziende che cercano di automatizzare l'elaborazione dei dati. Dimostra che non esiste un unico modello "migliore" per ogni situazione. Se un'azienda ha bisogno di elaborare milioni di indirizzi standardizzati rapidamente, un modello più semplice e leggero potrebbe essere la scelta giusta. Se gli indirizzi sono complessi e richiedono una comprensione profonda, è necessario un modello transformer. Tuttavia, per coloro che cercano il meglio di entrambi i mondi — alta accuratezza e velocità — ELECTRA è emerso come il vincitore chiaro in questo confronto. Lo studio conferma che, sebbene l'intelligenza artificiale possa ora gestire questi compiti con un'accuratezza quasi perfetta, la chiave per un'automazione di successo risiede nella scelta dello strumento giusto per il compito specifico, bilanciando la necessità di precisione con la necessità di velocità.