A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Questo articolo presenta un corpus ad accesso aperto e lemmatizzato del Canone Pali di 1,6 milioni di token, caratterizzato da un apparato critico attraverso cinque tradizioni testuali, una gestione specializzata per sandhi e varianti metriche, e una lemmatizzazione ad alta copertura che consente compiti di linguistica computazionale avanzata precedentemente impraticabili per questa lingua meno dotata di risorse.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Il linguaggio è un essere vivente, ma le parole dei testi antichi spesso sembrano intrappolate dietro un vetro. Per gli studiosi che studiano le lingue classiche del mondo antico — come il sanscrito, il latino e il greco — i computer sono diventati strumenti potenti per sbloccare questi testi. Questi strumenti possono contare le parole, tracciare come i significi cambino nel tempo e persino mappare le relazioni grammaticali tra le parole in una frase. Tuttavia, esiste un significativo divario in questo progresso digitale. Mentre le grandi lingue classiche sono state completamente mappate dai computer, la lingua Pāli, che custodisce le sacre scritture del Buddismo Theravāda, è stata in gran parte lasciata indietro. I testi esistono in enormi quantità, ma rimangono difficili da leggere per le macchine perché le parole cambiano costantemente forma a seconda del loro ruolo nella frase, e spesso si fondono in modi che ne nascondono il vero significato. Senza un modo per scomporre queste parole nelle loro forme base di dizionario, i computer non possono comprendere le storie, la filosofia o la storia in esse contenute.
Dan Zigmond, uno studioso indipendente, ha costruito un ponte attraverso questo divario. Ha creato un enorme corpus lemmatizzato del Canone Pāli, la collezione completa delle scritture buddiste. In termini semplici, la "lemmatizzazione" è il processo di presa di ogni singola parola in un testo e della ricerca della sua forma originale, immutabile. Immaginate una biblioteca dove ogni libro è scritto in un codice in cui la parola "correre" potrebbe apparire come "correndo", "corse", "corre" o "corritore", e il computer vede queste come quattro parole completamente diverse. La lemmatizzazione è l'atto di dire al computer che tutte quelle variazioni sono in realtà solo la parola "correre". Il lavoro di Zigmond fa questo per l'intero Canone Pāli, una collezione che contiene circa 1,6 milioni di parole. Facendo ciò, ha trasformato un caos disordinato di testo antico in un database strutturato e ricercabile che i computer possono finalmente usare per imparare e analizzare.
La sfida di lavorare con il Pāli è che la lingua è incredibilmente complessa. Un singolo sostantivo può apparire in decine di forme diverse a seconda che sia il soggetto di una frase, l'oggetto o indichi possesso. Inoltre, la lingua utilizza un processo chiamato sandhi, in cui le parole alla fine di una frase si fondono armoniosamente con le parole all'inizio della successiva, cambiando spesso la loro ortografia per far fluire la frase in modo armonioso. Per un lettore umano, questo è naturale; per un computer, sembra una singola stringa di lettere irriconoscibile. Il progetto di Zigmond ha dovuto risolvere questi enigmi per ogni singola parola del canone. Non si è limitato a una sola versione del testo. Al contrario, ha raccolto cinque diverse edizioni storiche delle scritture, rappresentanti tradizioni dello Sri Lanka, della Birmania, della Thailandia e della dotazione accademica europea. Confrontando queste cinque versioni fianco a fianco, ha potuto individuare le differenze, correggere gli errori e creare un "apparato critico" — un registro dettagliato che mostra dove i manoscritti antichi discordano e quale lettura sia probabilmente la più corretta.
Il risultato di questo sforzo massiccio è un dataset in cui il 99,78 percento di ogni occorrenza di parola è stato identificato con successo e collegato alla sua radice di dizionario. Questo è un livello di copertura sbalorditivo per una lingua che non ha mai prima avuto una risorsa simile. La minuscola frazione rimanente di parole che il computer non è riuscito a risolvere consiste principalmente in termini poetici rari trovati nelle sezioni in versi dei testi, o composti complessi che i dizionari esistenti non hanno ancora descritto appieno. Il ricercatore ha scoperto che circa la metà di queste parole non risolte sono probabilmente parole Pāli legittime che devono semplicemente essere aggiunte al dizionario, mentre il resto sono variazioni causate dal metro poetico o da differenze di ortografia tra le regioni. Questa distinzione è cruciale perché ci dice esattamente dove il lavoro deve continuare. Il progetto ha anche rivelato che riducendo le migliaia di diverse forme superficiali di una parola alla sua singola radice, la dimensione totale del vocabolario dell'intero canone si contrae di oltre tre volte. Questa riduzione rende possibile l'uso di metodi statistici moderni per trovare schemi nel testo che erano precedentemente invisibili.
Con questa nuova risorsa, i ricercatori possono ora eseguire compiti che prima erano impossibili. Possono raggruppare i testi in base al loro vocabolario per vedere come le diverse parti del canone si relazionano tra loro. Possono addestrare i computer a comprendere la grammatica del Pāli, il che potrebbe portare eventualmente a macchine capaci di analizzare le frasi e mostrare come le parole si collegano tra loro, proprio come una mappa della struttura di una frase. Il lavoro permette anche confronti diretti con il sanscrito, la lingua da cui il Pāli è evoluto, aiutando gli studiosi a tracciare come le idee e le parole buddiste siano cambiate nel passaggio da una cultura all'altra. L'intero sistema, incluso il codice usato per costruirlo e i dati stessi, è stato rilasciato al pubblico, invitando altri studiosi a migliorarlo. Sebbene il progetto non includa ancora ogni possibile etichetta grammaticale o un controllo verificato da un essere umano per ogni singola parola, esso fornisce la base essenziale su cui sarà costruito tutto il lavoro digitale futuro su questi antichi testi. Trasforma il Canone Pāli da una collezione statica di vecchi libri in un dataset dinamico e vivo che il mondo moderno può finalmente esplorare.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.