A P\={a}ninian Foundation for Indic Language Processing

Questo articolo propone un quadro computazionale unificato per l'elaborazione delle lingue indiche basato sull'antica grammatica di Pāṇini, sostenendo che sfruttare questa architettura morfosintattica condivisa tra le diverse lingue indiche produrrà sistemi di NLP più accurati, efficienti dal punto di vista dei dati e trasferibili, introducendo al contempo una nuova suite di benchmark per testare tali capacità.

L'essenziale

Immaginate che il mondo della tecnologia del linguaggio stia cercando di costruire una casa per oltre un miliardo di persone che parlano diverse lingue indiane (come l'hindi, il tamil, il bengali e il marathi). In questo momento, i costruttori stanno commettendo un enorme errore: trattano ogni singola lingua come se fosse un pianeta completamente diverso. Stanno costruendo una cucina separata per l'hindi, un bagno separato per il tamil e una camera da letto separata per il bengali, usando progetti diversi per ciascuna di esse.

Questo articolo sostiene che questo approccio sia uno spreco ed è inefficiente. Gli autori, Ritwik Banerjee e Lav Varshney, suggeriscono che queste lingue non siano in realtà pianeti diversi. Invece, sono come diverse stanze nella stessa casa, tutte costruite secondo lo stesso antico, maestro progetto.

Ecco la semplice scomposizione del loro argomento:

1. Il Progetto Antico: Pāṇini

Il "maestro progetto" di cui parlano gli autori è un sistema grammaticale creato oltre 2.000 anni fa da uno studioso di nome Pāṇini.

Pensate a Pāṇini non solo come a un insegnante di grammatica, ma come all'architetto del mondo linguistico indiano. Egli scrisse un insieme di regole (chiamate Aṣṭādhyāyī) che descrivono come le parole vengono costruite, come cambiano e come si incastrano tra loro.

• L'Analogia: Immaginate che tutte le lingue indiane siano come diversi modelli di auto (una berlina, un camion, un'auto sportiva). Appaiono diverse all'esterno e hanno nomi diversi. Ma sotto il cofano, condividono tutte lo stesso blocco motore, la stessa logica di trasmissione e lo stesso schema dei cablaggi. Pāṇini ha scritto il manuale per quel motore condiviso.
• Il Problema: I moderni programmi informatici (IA) stanno ignorando questo motore condiviso. Cercano di imparare a guidare ogni auto da zero, senza rendersi conto che potrebbero semplicemente imparare il motore una volta sola e applicarlo a tutte.

2. Perché l'approccio attuale è fallimentare

Attualmente, se un computer vuole capire l'hindi, impara l'hindi. Se vuole capire il tamil, impara il tamil da zero.

• Lo Spreco: Questo è come assumere un team di meccanici diverso per ogni singola auto, anche se tutte usano lo stesso motore. Richiede troppo tempo, troppi dati e i risultati sono spesso incerti.
• Il Probleamento della "Scatola Nera": I grandi modelli di IA odierni sono come "scatole nere". Indovinano la risposta corretta guardando i pattern in enormi quantità di testo, ma non comprendono realmente la grammatica. Potrebbero dare la risposta giusta, ma lo fanno per fortuna o memorizzando trucchi superficiali, non comprendendo la struttura profonda.

3. La Soliazione: Un "Metalinguaggio"

Gli autori propongono di smettere di trattare queste lingue come entità separate e iniziare a trattarle come una grande famiglia che condivide un linguaggio strutturale comune.

• La Metafora: Immaginate che invece di insegnare a un robot a parlare 20 lingue diverse, gli insegniate la grammatica della casa (le regole di Pāṇini). Una volta che il robot ha capito come vengono costruite le "stanze" (le parole) e come le "porte" (la grammatica) le connettono, può comprendere istantaneamente qualsiasi lingua in quella casa, anche se non ha mai visto quella specifica lingua prima d'ora.
• Il Beneficio: Questo renderebbe l'IA molto più intelligente, richiederebbe molta meno quantità di dati e permetterebbe di trasferire la conoscenza facilmente. Se l'IA impara come gestire una frase complessa in sanscrito, dovrebbe saper gestire automaticamente una frase simile in hindi o marathi perché lo "scheletro" sottostante è lo stesso.

4. I Quattro Nuovi "Test" (Benchmark)

Per dimostrare che questo funziona, gli autori propongono di costruire quattro nuovi set di test (benchmark) per vedere se l'IA può effettivamente comprendere questa struttura condivisa:

1. Il Test della "Chirurgia delle Parole": L'IA è in grado di prendere una parola complessa, smontarla nelle sue parti radice (come smontare un'auto per vedere il motore) e capirne il significato di ogni pezzo? Attualmente, l'IA vede spesso una parola come un blocco solido. Questo test la costringe a vedere i pezzi.
2. Il Test della "Mappa della Frase": L'IA è in grado di disegnare una mappa di una frase che mostri chi sta facendo cosa a chi, basandosi sulle antiche regole di Pāṇini, piuttosto che limitarsi a indovinare in base all'ordine delle parole?
3. Il Test del "Detective dei Dialetti": L'IA è in grado di comprendere la stessa storia, sia essa raccontata in uno stile formale e letterario, sia in uno stile colloquiale e di strada? (In India, le persone passano spesso da uno stile all'altro come se cambiassero un smoking con una t-shirt). Il test verifica se l'IA comprende il significato al di sotto dei cambiamenti di stile.
4. Il Tracker delle "Fake News": L'IA è in grado di tracciare una disinformazione mentre salta da una lingua all'altra (ad esempio, dall'hindi al bengali)? Se l'IA comprende la struttura condivisa, può individuare che una menzogna in una lingua è la stessa menzogna in un'altra, anche se le parole sono diverse.

5. La Grande Domanda Scientifica

Infine, gli autori pongono una domanda affascinante: I modelli di IA scoprono naturalmente queste antiche regole da soli?

• L'Analogia: Se mettete un bambino in una stanza con queste auto, capirà alla fine che il motore è lo stesso, o ha bisogno di un insegnante che glielo mostri?
• Gli autori vogliono sapere se l'IA moderna, quando viene addestrata sulle lingue indiane, inizi spontaneamente a pensare come Pāṇini. Se ciò accade, dimostra che le regole di Pāṇini non sono solo vecchia storia, ma sono il vero "codice" di come i cervelli umani organizzano queste lingue.

Riassunto

L'articolo è un appello all'azione. Dice: "Smettetela di costruire strumenti separati per ogni lingua indiana. Smettetela di trattarle come estranee. Sono membri di una famiglia che condivide un DNA comune (la grammatica di Pāṇini). Se costruiamo i nostri strumenti di IA rispettando questo DNA condiviso, possiamo creare una tecnologia più intelligente, veloce e accurata per oltre un miliardo di persone".

Sommario tecnico

Sintesi Tecnica: Una Fondazione Pāṇiniana per l'Elaborazione delle Lingue Indic

1. Definizione del Problema

L'attuale infrastruttura di Elaborazione del Linguaggio Naturale (NLP) per le lingue indiche (parlate da oltre un miliardo di persone) è criticamente sottosviluppata e strutturalmente frammentata. Il campo organizza attualmente strumenti, dataset e benchmark attorno a famiglie linguistiche genealogiche o singole lingue, portando a:

• Ingegneria Ridondante: Analizzatori morfologici, parser e dataset annotati vengono costruiti separatamente per ogni lingua, spesso partendo da zero.
• Schemi Incompatibili: Gli standard di annotazione (es. Universal Dependencies) non si mappano efficacemente sulle categorie grammaticali profonde delle lingue indiche, causando conversioni con perdita di informazioni e impedendo il trasferimento cross-linguistico.
• Modelli Multilingue Inefficaci: Sebbene i modelli massicciamente multilingui (MLLM) raggiungano una copertura ampia, ottimizzano la fluidità piuttosto che una profonda comprensione morfosintattica. Essi si affidano a segnali superficiali (subword, vocabolario condiviso) invece che all'unità strutturale sottostante, portando a prestazioni scarse nelle lingue a basse risorse e all'incapacità di gestire variazioni dialettali o di registro (diglossia).
• Disallineamento Semantico: I framework NLP standard, radicati in assunzioni linguistiche occidentali, trattano i sostantivi come entità statiche. Ciò non riesce a catturare l'ontologia orientata al processo delle lingue indiche, dove il significato nominale è derivazionalmente radicato in radici verbali (dhātu) e organizzato attorno a strutture di eventi.

Il problema centrale è il rifiuto di una profonda e condivisa regolarità architettonica: oltre duemila anni di convergenza attorno al sanscrito hanno unificato le lingue indiche sotto un comune framework morfosintattico formalizzato nell'Aṣṭādhyāyī di Pāṇini. Gli strumenti attuali ignorano questo "bene comune strutturale", trattando le lingue come entità disparate piuttosto che come variazioni di un metalinguaggio condiviso.

2. Metodologia e Framework Teorico

Il saggio propone di spostare il paradigma computazionale dalla classificazione genealogica a un framework Pāṇiniano. Questo approccio tratta l'Aṣṭādhyāyī non solo come una grammatica storica, ma come un'architettura computazionale unificante.

• L'Architettura Pāṇiniana: Gli autori sostengono che il sistema di Pāṇini fornisca un metalinguaggio formale che definisce il "sistema operativo" del discorso sudasiatico. Caratteristiche chiave includono:
  • Determinazione: A differenza dei formalismi chomskiani che richiedono disambiguazione statistica, i meccanismi di precedenza delle regole di Pāṇini garantiscono una singola derivazione per ogni frase grammaticale, evitando la sovragenerazione.
  • Unità Funzionale: Cattura le comunanze funzionali e architettoniche (morfologia, sintassi, semantica) che trascendono i confini genealogici (ad esempio, tra le lingue indo-ariane e quelle dravidiche).
  • Semantica Orientata al Processo: Modella i nomi come ruoli all'interno di strutture di eventi implicite (kāraka), piuttosto che come etichette statiche.
• Sfruttamento dei Segnali Esistenti: La metodologia si basa sull'osservazione che il trasferimento cross-linguistico è già più forte all'interno delle lingue indiche che tra le lingue indiche e quelle non-indiche, suggerendo che i modelli apprendano implicitamente questa struttura condivisa. Il saggio sostiene la necessità di rendere esplicito questo apprendimento implicito attraverso benchmark radicati.
• Design dei Benchmark: Invece di proporre nuovi modelli, il saggio propone una suite di benchmark in quattro parti progettata per rendere la struttura condivisa esplicita, misurabile e sfruttabile. Questi benchmark sono progettati per essere multilingue sin dalle fondamenta, andando oltre le estensioni ad hoc di risorse a singola lingua.

3. Contributi Chiave

Il contributo primario del saggio è la proposta di un'infrastruttura di valutazione unificata composta da quattro cluster tematici di benchmark:

5.1 Segmentazione Morfologica e Tagging

• Obiettivo: Decomporre le parole in radici pāṇiniane (dhātu) e affissi (pratyaya, lakāra) e interpretare le loro funzioni semantiche.
• Ambito: Estende gli esistenti benchmark del sanscrito (es. MorphTok) alle moderne lingue indiche.
• Task:
  • Segmentazione e tagging multilingue.
  • Radicamento etimologico: Identificare la radice sanscrita di una parola moderna indic e il suo significato centrale.
  • Disambiguazione del senso della parola cross-linguistica basata sul radicamento etimologico.

5.2 Parsing Sintattico tramite Dipendenze Pāṇiniane

• Obiettivo: Creare un parser di dipendenze multilingue unificato basato sulle relazioni di kāraka (caso semantico) piuttosto che sulle Universal Dependencies.
• Ambito: Costruisce sul progetto AnnCorra e sui primi sforzi di universal dependency pāṇiniana.
• Task: Costruzione o conversione di treebank per molteplici lingue indiche utilizzando etichette pāṇiniane e valutazione dei parser addestrati su questo schema unificato rispetto ai baseline specifici per lingua.

5.3 Semantic Role Labeling (SRL) e Inferenza

• Obiettivo: Valutare la comprensione semantica attraverso i registri (letterario vs. colloquiale) e i dialetti.
• Ambito: Estende il lavoro basato su kāraka dalla Question Answering (QA) all'implicazione e all'inferenza.
• Task:
  • Adattamento del Registro: I modelli devono preservare il contenuto semantico mentre traducono tra forme letterarie e colloquiali (es. Hindi sanscriticizzato vs. Khariboli).
  • Robustezza Dialettale: Testare le prestazioni attraverso i continui dialettali (es. variazioni del Tamil o del Bengalese) dove la fonologia superficiale differisce ma i template morfosintattici rimangono invarianti.
  • Generalizzazione del Code-Mixing: Gestire gli spostamenti sociolinguistici dal testo formale al parlato informale.

5.4 Lo "Sprachbund" Indic Esteso e il Disordine Informativo

• Obiettivo: Testare i limiti dell'unità strutturale del framework pāṇiniano e applicarlo alle sfide sociali.
• Ambito:
  • Estensione Linguistica: Valutare il trasferimento a varietà della diaspora (es. Fiji Hindi), lingue conservative (es. Romani) e lingue connesse per influenza civilizzatoria piuttosto che genealogia (es. Tibetano, Thai, Burmese) che condividono scritture e tassonomie fonologiche ma mancano del pieno substrato morfosintattico.
  • Disordine Informativo: Sviluppare benchmark per rilevare la disinformazione cross-linguistica. I modelli devono identificare affermazioni semanticamente equivalenti attraverso lingue e registri, tracciando come le narrazioni mutino pur rimanendo rintracciabili a un substrato semantico condiviso.

4. Risultati ed Evidenze

Il saggio non presenta nuovi risultati sperimentali da un singolo modello, ma sintetizza evidenze empiriche dalla letteratura esistente per sostenere l'ipotesi pāṇiniana:

• Transfer Learning: Studi (Bafna et al., Nag et al.) mostrano che il trasferimento cross-linguistico è significativamente più forte tra le lingue indiche che tra le lingue indiche e non-indiche, anche controllando le differenze di script.
• Analisi Morfologica: I modelli basati su principi pāṇiniani (es. MorphTok) mostrano miglioramenti a valle nella traduzione automatica e nel riconoscimento di entità nominate.
• Parsing Sintattico: L'incorporazione delle relazioni di kāraka ha mostrato miglioramenti immediati nella QA delle lingue indiche rispetto alle Universal Dependencies.
• Efficienza dei Dati: La ricerca (Chang et al.) indica che l'aggiunta di dati multilingui strutturalmente allineati migliora il modellamento a basse risorse più efficacemente rispetto al semplice aumento del volume dei dati, suggerendo che il "nucleo strutturale" sia il driver principale delle prestazioni.
• Convergenza Storica: L'evidenza dei grammatici tamil (es. Tolkāppiyam, Vīracōl̲iyam) dimostra che categorie strutturali simili a quelle di Pāṇini sono state scoperte indipendentemente all'interno delle tradizioni dravidiche, confermando che l'unità architettonica non è solo un risultato dell'imposizione del sanscrito ma un comune primitivo computazionale.

5. Significato e Rivendicazioni

Il saggio sostiene che l'adozione di una fondazione pāṇiniana offre tre benefici primari:

1. Accuratezza ed Efficienza: I sistemi basati su questo framework sarebbero più accurati ed efficienti dal punto di vista dei dati sfruttando il substrato strutturale condiviso, fondendo efficacemente risorse sparse in un unico "metalanguage" bedrock ad alte risorse.
2. Interpretabilità: Il framework offre una via per l'interpretabilità meccanicistica. Solleva la questione scientifica se i modelli neurali addestrati sulle lingue indiche apprendano spontaneamente rappresentazioni interne corrispondenti alle categorie pāṇiniane (kāraka, dhātu) senza supervisione esplicita. Se ciò accade, suggerisce che il framework di Pāṇini catturi veri primitivi computazionali di queste lingue.
3. Applicazione Pratica: Un approccio unificato consentirebbe strumenti robusti per sfide reali, come il rilevamento della disinformazione attraverso il diversificato panorama linguistico indiano e la costruzione di parser che generalizzano attraverso dialetti e registri.

Gli autori concludono che il campo possiede gli "ingredienti" (progressi isolati in morfologia, sintassi e semantica) ma manca dell' "architettura" per connetterli. Costruendo benchmark esplicitamente radicati nell'Aṣṭādhyāyī, la comunità computazionale può andare oltre il recupero statistico della struttura verso un sistema progettato e interpretabile che rifletta come le lingue indiche funzionano realmente.