Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation
Questo articolo dimostra che l'affinamento di modelli basati su transformer, specificamente XLM-RoBERTa, con l'aumento generativo dei dati migliora significativamente le prestazioni e la generalizzazione del Named Entity Recognition per testi in serbo cirillico pre-moderno a basse risorse, raggiungendo un punteggio F1 in-domain di circa 0,92 e stabilendo un modello raccomandato addestrato con il 50% di dati sintetici per una ricerca storica più ampia.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Negli angoli silenziosi della storia digitale, un ramo specializzato dell'informatica noto come elaborazione del linguaggio naturale sta lavorando per rendere il passato leggibile per le macchine. Questo campo insegna ai computer a comprendere il linguaggio umano, non solo come una sequenza di parole, ma come un sistema strutturato dove nomi specifici — persone, luoghi e gruppi — portano un significato distinto. Per le lingue moderne, questo compito è diventato straordinariamente accurato, permettendo ai software di scansionare istantaneamente articoli di notizie o feed dei social media ed estrarre ogni menzione di una città o di una persona specifica. Tuttavia, la stessa tecnologia fatica quando si trova di fronte a testi storici. Questi documenti utilizzano spesso ortografie e grammatiche che sono scomparse dal linguaggio quotidiano, e si trovano in quantità molto inferiori rispetto alla scrittura moderna. Quando la lingua è rara e i dati sono scarsi, i computer che eccellono con le notizie di oggi inciampano spesso sulle parole di secoli fa. Ciò crea una barriera per storici e archivisti che desiderano utilizzare strumenti digitali per esplorare le loro collezioni, poiché il software non riesce a distinguere in modo affidabile il nome di un re da un sostantivo comune in un documento medievale.
Un team di ricercatori si è posto l'obiettivo di colmare questo divario, insegnando a modelli informatici avanzati come riconoscere i nomi nei testi in cirillico serbo pre-moderni. Si sono concentrati su una sfida specifica: come rendere questi modelli abbastanza robusti da gestire documenti che non hanno mai visto prima, che potrebbero differire per ortografia, stile o periodo temporale rispetto agli esempi su cui sono stati addestrati. Per farlo, si sono rivolti a una tecnica chiamata aumento generativo dei dati. Invece di aspettare che gli storici etichettassero manualmente migliaia di nuovi documenti — un processo lento e costoso — i ricercatori hanno chiesto a un potente sistema di intelligenza artificiale di scrivere nuovi esempi di addestramento sintetici. Hanno guidato questa IA affinché imitasse lo stile dei documenti legali e dei carteggi medievali, creando migliavere di frasi finte che sembravano e suonavano come quelle reali, complete di etichette corrette per nomi e luoghi. Hanno poi testato due diversi tipi di modelli linguistici moderni, uno specializzato per la regione e un altro addestrato su molte lingue, per vedere quale potesse apprendere meglio da questo mix di dati reali e sintetici.
I ricercatori sono partiti con una collezione di documenti medievali autentici, inclusi privilegi reali e lettere del XIV secolo. Questi testi sono stati meticolosamente annotati da esperti umani che hanno segnato ogni istanza del nome di una persona, di un luogo o di un riferimento a un gruppo specifico di persone. Questa collezione originale era piccola, contenendo poco più di tremila frasi, una quantità di materiale limitata per addestrare un modello informatico sofisticato. Per espandere questa base, il team ha utilizzato un sistema di IA generativa per creare nuove frasi che seguissero gli stessi schemi dei testi originali. Hanno prodotto tre diverse versioni dei dati di addestramento: una in cui le frasi sintetiche costituivano il trenta percento del totale, un'altra in cui costituivano il cinquanta per cento, e una terza in cui gli esempi sintetici raddoppiavano la dimensione del dataset originale. Ciò ha permesso loro di testare se nutrire il computer con più esempi, anche se alcuni erano generati artificialmente, aiutasse il sistema a comprendere meglio le sfumature della lingua storica.
Quando il team ha testato questi modelli sugli stessi tipi di documenti su cui erano stati addestrati, i risultati sono stati impressionanti. Il modello addestrato con un mix di dati reali e sintetici, nello specifico la versione che includeva il trenta percento di esempi sintetici, ha raggiunto un alto livello di accuratezza, identificando correttamente nomi e luoghi nella stragrande maggioranza dei casi. Questa prestazione è stata significativamente migliore rispetto a un modello informatico di tipo più vecchio che si basava su diverse strutture matematiche. Tuttavia, la vera prova è arrivata quando i ricercatori hanno chiesto ai modelli di leggere documenti storici completamente nuovi, che non facevano parte del loro addestramento. Questi nuovi testi includevano un testamento del 1500, un manoscritto di una chiesa di Vienna scritto nel 1778 e un insieme di privilegi reali della metà del XIV secolo. Questi documenti rappresentavano epoche e stili di scrittura differenti, mettendo alla prova i modelli per vedere se avessero davvero imparato la lingua o se avessero semplicemente memorizzato gli esempi di addestramento.
I risultati hanno mostrato che i modelli addestrati su dati sintetici erano molto più adattabili dei sistemi più vecchi. Il modello che utilizzava il cinquanta per cento di dati sintetici si è rivelato il più affidabile in tutti i nuovi documenti, mantenendo un alto livello di accuratezza anche di fronte ai testi più antichi e stilisticamente diversi. Sebbene il modello addestrato con il trenta percento di dati sintetici fosse leggermente migliore sui testi familiari, la versione al cinquanta per cento gestiva i testi sconosciuti con maggiore coerenza. Ciò suggerisce che l'aggiunta di una quantità moderata di esempi sintetici aiuti il computer a costruire una comprensione più flessibile della lingua, permettendogli di riconoscere gli schemi anche quando l'ortografia o il contesto cambiano. I ricercatori hanno scoperto che i modelli erano particolarmente bravi nell'identificare i nomi delle persone, che apparivano frequentemente nei dati di addestramento, ma faticavano ancora leggermente con i nomi di luoghi e i riferimenti ai gruppi, che erano più rari e variabili.
Lo studio conclude che la generazione di esempi sintetici è uno strumento potente per insegnare ai computer a leggere i testi storici, ma non è una soluzione universale semplice. La quantità di dati sintetici è importante: troppo poca potrebbe non aiutare abbastanza, mentre troppa potrebbe introdurre rumore che confonde il modello. I risultati migliori sono derivati da un approccio equilibrato, in cui i dati sintetici hanno integrato i record storici reali senza sovrastarli. Rendendo pubblici sia i modelli addestrati che i dati utilizzati, i ricercatori hanno fornito un nuovo strumento per le discipline umanistiche digitali. Questo lavoro dimostra che, con la giusta combinazione di competenza storica e intelligenza artificiale moderna, possiamo iniziare a sbloccare i nomi e i luoghi nascosti all'interno di secoli di documenti manoscritti, rendendo il passato più accessibile sia agli studiosi che al pubblico curioso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.