Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text

Il linguaggio è spesso considerato come un flusso di suoni, ma per molti sistemi di scrittura, esso inizia come un flusso di simboli. Nella maggior parte delle scritture moderne, gli spazi o i segni di punteggiatura indicano al lettore dove termina una parola e dove inizia la successiva. Tuttavia, alcuni antichi sistemi di scrittura non utilizzano questi segnali visivi. Al contrario, presentano una linea continua di caratteri, lasciando al lettore il compito di capire dove si trovino le unità dotate di significato. Questa è la sfida affrontata dagli studiosi che studiano il tangut, una lingua che fu un tempo la scrittura ufficiale della dinastia Xixia in Cina, ma che è estinta da secoli. I testi sopravvissuti sono preziosi frammenti che offrono una finestra su un mondo perduto di storia e cultura, eppure rimangono difficili da leggere perché le parole non sono separate. Senza un modo per identificare automaticamente questi confini tra le parole, i computer non possono cercare, tradurre o analizzare efficacemente questi documenti storici.

Per decenni, i ricercatori si sono concentrati semplicemente sul riconoscimento dei singoli caratteri nei manoscritti tangut, trasformando le immagini di inchiostro sulla carta in testo digitale. Ma riconoscere un carattere è solo il primo passo; comprendere la lingua richiede di sapere quali caratteri appartengano insieme per formare una parola. Questo compito è eccezionalmente difficile perché non esistono più parlanti nativi con cui consultarsi, e i pochi esperti in grado di leggere il tangut devono affidarsi a una combinazione di contesto, pronuncia ricostruita e antichi dizionari per intuire dove inizino e finiscano le parole. La scarsità di conoscenze esperte e la mancanza di grandi biblioteche digitali rendono questo un problema di estrema scarsità di risorse, in cui gli strumenti abituali dell'intelligenza artificiale moderna spesso falliscono perché richiedono enormi quantità di dati etichettati per apprendere.

Un team di ricercatori ha ora intrapreso il primo passo sistematico verso la risoluzione di questo enigma, insegnando a un computer come segmentare le parole tangut utilizzando una guida umana molto limitata. Sono partiti da una piccola collezione accuratamente curata di 2.750 segmenti di testo, per un totale di quasi 32.000 parole, suddivisi manualmente da specialisti. Questo dataset, tratto da una scrittura buddista e da un'enciclopedia laica, ha servito da fondamento per il loro addestramento. Tuttavia, fare affidamento esclusivamente su questa esigua quantità di dati etichettati non sarebbe stato sufficiente per costruire un sistema robusto. Per superare questo ostacolo, i ricercatori hanno combinato tre distinte fonti di conoscenza: gli esempi etichettati dagli esperti, un dizionario tradizionale di parole tangut e una vasta collezione di testo tangut non etichettato che non era mai stato diviso in parole.

I ricercatori hanno progettato un sistema che tratta il dizionario non come un rigido libro di regole, ma come una fonte di suggerimenti. In molti casi, un singolo carattere può far parte di diverse voci di dizionario, creando una rete di possibilità sovrapposte. Inveve di costringere il computer a scegliere immediatamente un unico percorso, il sistema preserva tutti questi candidati potenziali. Utilizza poi un metodo di "calibrazione dell'affidabilità" per pesare questi suggerimenti. Osservando quanto spesso una voce del dizionario appare nel testo e quanto spesso corrisponde ai confini stabiliti dagli esperti, il sistema impara a fidarsi più o meno di alcune voci del dizionario. Ciò impedisce al computer di seguire ciecamente una voce del dizionario che potrebbe essere errata per il contesto specifico del manoscritto.

Per migliorare ulteriormente la propria comprensione, il sistema ha anche imparato dal testo non etichettato, che conteneva centinaia di migliaia di caratteri ma nessuna divisione in parole. Analizzando quanto spesso i caratteri apparivano vicini tra loro e quanto variavano i loro vicini, il sistema ha costruito una mappa statistica della lingua. Ha appreso che certe combinazioni di caratteri appaiono frequentemente insieme, suggerendo che formino una singola parola, mentre altre appaiono più casualmente, suggerendo un confine tra di esse. Questa intuizione statistica è stata combinata con una moderna rete neurale, un tipo di programma informatico progettato per riconoscere schemi, che è stata pre-addestrata sul testo non etichettato per comprendere il contesto dei caratteri prima ancora di vedere gli esempi etichettati.

I risultati di questo approccio sono stati significativi. Quando testato su porzioni di testo non viste, il sistema ha raggiunto un alto livello di precisione, identificando correttamente i confini delle parole in più del 91 percento dei casi. Questa prestazione è stata notevolmente superiore rispetto ai sistemi che si basavano solo sulla piccola quantità di dati etichettati o solo sul dizionario. Lo studio ha dimostrato che la combinazione di conoscenza esperta, suggerimenti del dizionario e schemi statistici dal testo non etichettato era essenziale; rimuendo uno qualsiasi di questi componenti, le prestazioni del sistema diminuivano. Il sistema si è anche dimostrato particolarmente bravo nel riconoscere parole che non apparivano negli esempi di addestramento, una sfida comune nelle lingue a basse risorse, utilizzando i modelli statistici e la conoscenza del dizionario per fare ipotesi istruite.

Uno dei risultati più importanti è stato che la capacità di generalizzazione del sistema dipendeva fortemente dal tipo di testo che stava leggendo. Sebbene funzionasse eccezionalmente bene sull'enciclopedia laica, che costituiva la maggior parte dei dati, era leggermente meno accurato sulla scrittura religiosa. Ciò suggerisce che il sistema stia ancora imparando ad adattarsi a diversi stili e vocabolari all'interno della lingua. I ricercatori hanno inoltre notato che, sebbene il sistema potesse identificare i confini delle parole con alta precisione, il compito di assegnare etichette grammaticali a quelle parole rimane un passaggio preliminare, poiché l'inventario dei tipi di parole è ancora in fase di perfezionamento da parte degli esperti.

Questo lavoro rappresenta una base cruciale per il futuro degli studi sul tangut. Integrando con successo le tecniche di apprendimento automatico moderno con le risorse linguistiche tradizionali, i ricercatori hanno creato uno strumento che può aiutare gli studiosi a elaborare e analizzare questi antichi testi in modo più efficiente. Il sistema non sostituisce la necessità di esperti umani, ma fornisce un potente ausilio capace di gestire il compito ripetitivo della segmentazione, permettendo ai ricercatori di concentrarsi su questioni storiche e linguistiche più profonde. Mentre il team continua ad ampliare i propri dati annotati e a perfezionare i propri modelli, spera di poter applicare infine questi metodi a una gamma più ampia di documenti, portando la lingua perduta della dinastia Xixia più vicina alla comprensione moderna.