LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages

1. Il Problema

La traduzione di termini tecnici dall'inglese alle lingue indiane a risorse limitate (low-resource) rappresenta una sfida significativa. Le difficoltà principali includono:

• Scarsità di dati paralleli: La mancanza di corpora di traduzione di alta qualità tra l'inglese e le lingue indiane specifiche.
• Complessità strutturale: Le lingue indiane, in particolare quelle derivanti dal sanscrito, presentano strutture linguistiche complesse, come parole composte e regole di sandhi (modifiche fonetiche e morfologiche all'unione di parole).
• Necessità educativa: C'è un'urgenza nel creare materiali didattici accessibili nelle lingue regionali per supportare l'istruzione superiore in India, dove l'inglese rimane la lingua dominante ma non è quella madre per la maggior parte degli studenti.

2. Metodologia

Gli autori propongono un approccio innovativo che sfrutta l'ampia sovrapposizione lessicale tra le lingue indiane (sia indo-ariane che dravidiche) e il Sanskrito. La metodologia si articola in due fasi principali:

A. Segmentazione delle Parole Sanscrite (SWS) con CharSS

Per gestire la complessità delle parole composte e delle regole sandhi, il team ha sviluppato CharSS (Character-level Sanskrit Segmentation).

• Modello: Utilizza un modello Transformer a livello di caratteri (basato su ByT5), che elabora il testo come sequenze di byte/caratteri, evitando la necessità di tokenizzazione specifica per lingua.
• Funzionamento: Il modello prende una parola sanscrita composta (unigramma) e la segmenta in unità sub-lessicali significative.
• Output: Le parole segmentate sono concatenate con il simbolo + e delimitate da & (inizio) e $ (fine) per indicare con precisione i confini dei morfemi. Questo risolve le ambiguità legate alle modifiche sandhi.

B. Traduzione dei Termini Tecnici con Augmentation Sanscrita

Il cuore della proposta è l'uso di segmenti sanscriti derivati per arricchire l'input del modello di traduzione.

• Ispirazione: Sfrutta la ricchezza lessicale del Sanscrito e la sua influenza sulle lingue indiane moderne.
• Processo di Augmentation:
  1. Si parte da termini tecnici in inglese e dalle loro traduzioni in Hindi (lingua a risorse relativamente più abbondanti).
  2. Si normalizza il termine Hindi (gestendo l'anusvāra e altre regole grammaticali).
  3. Si rimuovono gli affissi specifici dell'Hindi per ottenere il lemma.
  4. Si applica il modello CharSS per segmentare il lemma sanscrito.
  5. Questi segmenti sanscriti vengono aggiunti come input supplementare al modello di traduzione neurale (NMT), insieme alla parola inglese originale.
• Obiettivo: Fornire al modello un contesto linguistico profondo che aiuti a disambiguare il significato del termine tecnico e a generare la traduzione corretta nella lingua target a risorse limitate, sfruttando la radice lessicale comune.

3. Contributi Chiave

1. Modello CharSS: Introduzione di un modello Transformer basato sui caratteri per la segmentazione delle parole composte sanscrite, che gestisce efficacemente le complessità sandhi superando i metodi precedenti.
2. Metodo di Augmentation Sanscrita: Proposta di una nuova strategia di input augmentation che utilizza dati Hindi (ricchi di risorse) per generare segmenti sanscriti, applicabili alla generazione di lessici tecnici per lingue a risorse limitate.
3. Validazione Sperimentale: Dimostrazione empirica che l'uso di input informati linguisticamente (tramite il Sanscrito) migliora significativamente la qualità della traduzione tecnica rispetto ai metodi basati solo sull'inglese.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset di termini tecnici (domini: Amministrazione, Biotecnologia, Chimica) verso 6 lingue indiane.

• Segmentazione (SWS): Il modello CharSS ha ottenuto prestazioni superiori rispetto ai baseline (come DD-RNN e Sandhi Prakarana) su dataset di benchmark (UoH+SandhiKosh), con guadagni assoluti del 4.86% nella precisione di localizzazione (LPA) e del 6.72% nella precisione di divisione (SPA).
• Traduzione dei Termini Tecnici:
  • Setting Standard: L'uso dell'input augmentato (NLLB + Sanskrit) ha portato a un miglioramento medio di 8.46 punti chrF++ rispetto al modello base (NLLB solo inglese).
  • Setting Zero-Shot: Anche quando il modello è stato addestrato su Hindi, Gujarati e Tamil e testato su lingue non viste (Marathi, Kannada, Odia), l'approccio con input sanscrito ha mostrato miglioramenti consistenti, con un guadagno medio di 6.79 punti chrF++.
  • Analisi Post-Hoc: La valutazione umana ha confermato che l'approccio migliora la disambiguazione del contesto (es. distinguendo tra "massa" come materia fisica e "massa" come popolazione) e riduce gli errori di traduzione, specialmente nei domini scientifici (biotecnologia e chimica).

5. Significato e Implicazioni

Questo lavoro ha un impatto profondo sul campo dell'educazione e dell'inclusività digitale in India:

• Ponte per le Lingue a Risorse Limitate: Offre una soluzione pratica per colmare il divario di risorse, permettendo la creazione di lessici tecnici di alta qualità senza la necessità di enormi dataset paralleli per ogni singola lingua.
• Accessibilità Educativa: Facilita la creazione di libri di testo e materiali didattici in lingue regionali, rendendo l'istruzione superiore più accessibile agli studenti che non parlano fluentemente l'inglese.
• Condivisione di Risorse Cross-Linguistiche: Dimostra come lo sfruttamento di una lingua "ponte" ricca (Hindi) e di una radice linguistica antica ma strutturata (Sanskrito) possa potenziare le capacità dei modelli di IA per l'intero ecosistema linguistico indiano.

In sintesi, LEVOS non è solo un miglioramento algoritmico, ma una strategia linguistica che sfrutta la storia e la struttura condivisa delle lingue indiane per risolvere problemi moderni di elaborazione del linguaggio naturale.