Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

Il linguaggio è spesso considerato un ponte tra le persone, ma per la più antica tradizione letteraria continua del mondo, quel ponte ha mancato una sezione cruciale. Il sanscrito, la lingua sacra della filosofia indiana antica, custodisce una vasta biblioteca di testi che definiscono l'eredità spirituale e intellettuale di milioni di persone. Eppure, nell'era digitale moderna, questa lingua rimane in gran parte invisibile agli strumenti che traducono le lingue del mondo per noi. Mentre i computer possono ora tradurre conversazioni casuali o titoli di notizie con crescente facilità, essi faticano profondamente con le frasi dense, altamente strutturate e ricche di composti tipiche dei testi filosofici classici. Questa lacuna è particolarmente acuta per la filosofia Jain, una importante scuola di pensiero all'interno della tradizione indiana, dove il significato preciso di una singola parola può determinare la differenza tra un'intuizione spirituale e un malinteso. La sfida non riguarda solo la traduzione delle parole; si tratta di insegnare a una macchina un modo di pensare specifico e complesso, che è stato preservato in una lingua che pochi parlanti moderni leggono con fluidità.

Per affrontare questo problema, i ricercatori Tamanna Jain e Neeraj Raheja hanno sviluppato un sistema specializzato chiamato Arthasetu, progettato per tradurre i testi filosofici Jain classici dal sanscrito all'hindi. Il loro lavoro si concentra su un tipo specifico di intelligenza artificiale noto come sistema di traduzione automatica neurale. In termini semplici, si tratta di un programma per computer che impara a tradurre studiando migliaia di esempi di frasi in una lingua accoppiate con le loro corrette traduzioni in un'altra. I ricercatori hanno costruito il loro sistema per gestire le difficoltà uniche del sanscrito classico, che è ricco di parole composte lunghe e termini tecnici che non compaiono nel linguaggio quotidiano. Hanno testato il loro sistema su una collezione di testi che include il Tattvartha Sutra, un testo sacro fondamentale del Jainismo, e i suoi commentari di accompagnamento. L'obiettivo era quello di creare uno strumento che potesse eventualmente servire come assistente conversazionale per gli studenti e gli studiosi di filosofia Jain, aiutandoli a navigare in questi testi antichi con maggiore facilitità.

I ricercatori hanno iniziato raccogliendo e pulendo una massiccia collezione di coppie di frasi. Sono partiti da un nucleo centrale di quasi 10.000 frasi tratte direttamente da fonti filosofiche Jain. Per vedere se nutrire il computer con più dati potesse aiutare, hanno provato due diverse strategie di espansione. Nella prima, hanno mescolato i loro testi filosofici con quasi 80.000 frasi provenienti da fonti enciclopediche generali e contemporanee, creando un enorme dataset di quasi 90.000 frasi. Nella seconda, hanno aggiunto solo circa 5.000 frasi, ma queste erano state scelte con cura da altri testi filosofici e devozionali Jain, mantenendo l'intera collezione focalizzata sullo stesso argomento. I risultati di questo esperimento sono stati sorprendenti. Il dataset più grande e misto ha reso il sistema peggiore nel tradurre i specifici testi filosofici che doveva gestire. Quando testato sulle frasi specifiche del Jainismo, il sistema addestrato sui dati misti ha fornito prestazioni scarse. Al contrario, il sistema addestrato sulla più piccola collezione puramente filosofica ha performato significativamente meglio. Questo risultato suggerisce che, per campi altamente specializzati, una quantità minore di dati perfettamente rilevanti è più preziosa di una quantità massiccia di dati generali.

Il team ha anche indagato su come il computer debba scomporre le frasi per impararle. Una tecnica comune nei moderni sistemi di traduzione è quella di scomporre le parole in pezzi più piccoli, chiamati sub-parole, per aiutare il computer a gestire parole rare o complesse. Tuttavia, quando i ricercatori hanno applicato questo metodo al loro dataset specifico, non ha migliorato i risultati. Infatti, il sistema ha funzionato meglio quando ha imparato a tradurre intere parole così come apparivano. Ciò indica che per collezioni di testi più piccole, i trucchi standard utilizzati per i sistemi di traduzione generici e massivi potrebbero non essere necessari e potrebbero persino essere un ostacolo. I ricercatori hanno anche confrontato il loro sistema personalizzato con due importanti motori di traduzione preesistenti disponibili al pubblico. Uno era un servizio commerciale ampiamente utilizzato, l'altro era un grande modello open-source addestrato su centinaia di lingue. Sebbene il servizio commerciale sia stato il migliore in termini assoluti, il sistema personalizzato dei ricercatori ha superato significativamente il grande modello open-source nel compito specifico di tradurre questi testi filosofici. Ciò suggerisce che un sistema su misura per un dominio specifico può superare un modello massiccio e generalista che cerca di fare tutto in una volta.

Durante il loro lavoro, i ricercatori hanno anche scoperto un grave difetto nel modo in cui i sistemi di traduzione vengono talvolta testati. In una versione iniziale del loro processo di test, il sistema aveva una scorciatoia che gli permetteva di cercare le risposte direttamente dai dati di addestramento durante il test, invece di tradurre effettivamente il testo. Questo errore ha fatto apparire il sistema quasi perfetto, con un punteggio che suggeriva fosse corretto quasi ogni volta. Una volta rimossa questa scorciatoia, i punteggi sono scesi a un livello molto più realistico, rivelando le vere capacità del sistema. Questa scoperta evidenzia un rischio critico nella ricerca che coinvolge piccoli dataset: se il metodo di test non è controllato con cura, può produrre risultati erroneamente alti che non riflettono le prestazioni nel mondo reale. Per garantire che il sistema sia utile nella pratica, i ricercatori propongono un approccio ibrido per il futuro deployment. Questo design verificherebbe prima se la domanda dell'utente corrisponde a una frase nota nel loro database, restituendo istantaneamente una traduzione verificata. Se la domanda è nuova, il sistema utilizzerebbe poi le sue capacità di traduzione generativa per costruire una risposta. Questa combinazione di ricerca di fatti noti e generazione di nuove traduzioni mira a fornire sia velocità che accuratezza agli utenti che studiano questi testi antichi.

Il lavoro conclude che, sebbene il campo della traduzione automatica per il sanscrito sia ancora nelle sue fasi iniziali, concentrarsi sulle esigenze specifiche di un sottodominio come la filosofia Jain produce risultati migliori rispetto al tentativo di applicare soluzioni ampie e generali. I ricercatori hanno dimostrato che un dataset più piccolo e altamente focalizzato è più efficace di uno più grande e misto, e che i metodi standard per la scomposione delle parole potrebbero non sempre applicarsi a progetti più piccoli e specializzati. Hanno inoltre fornito un quadro chiaro e riproducibile per testare questi sistemi, assicurando che il progresso futuro sia misurato accuratamente. Rendendo trasparenti i loro dati e i loro metodi, sperano di incoraggiare ulteriore ricerca sulla traduzione delle lingue classiche del mondo, garantendo che queste voci antiche possano essere ascoltate chiaramente nel mondo moderno.