Technische Samenvatting: Een Pāṇiniaans Fundament voor Indic Taalverwerking

1. Probleemstelling

De huidige infrastructuur voor Natuurlijke Taalverwerking (NLP) voor Indic-talen (gesproken door meer dan een miljard mensen) is kritiek onderontwikkeld en structureel gefragmenteerd. Het veld organiseert instrumenten, datasets en benchmarks momenteel rond genealogische taalfamilies of individuele talen, wat leidt tot:

• Redundante Engineering: Afzonderlijke morfologische analysatoren, parsers en geannoteerde datasets worden voor elke taal opnieuw gebouwd, vaak vanaf nul.
• Incompatibele Schema's: Annotatiestandaarden (bijv. Universal Dependencies) sluiten niet effectief aan op de diepe grammaticale categorieën die gebruikt worden in Indic-talen, wat leidt tot verlieslatende conversies en het voorkomen van cross-linguale transfer.
• Ineffectieve Multilinguale Modellen: Hoewel massaal multilinguale modellen (MLLM's) brede dekking bereiken, optimaliseren ze voor vloeiendheid in plaats van diep morfosyntactisch begrip. Ze vertrouwen op oppervlakkige signalen (subwoorden, gedeelde vocabulaire) in plaats van de onderliggende structurele eenheid, wat leidt tot matige prestaties bij middel- tot laag-resource talen en een onvermogen om dialectale of registervariaties (diglossie) te verwerken.
• Semantische Mismatch: Standaard NLP-frameworks, geworteld in Westerse linguïstische aannames, behandelen zelfstandige naamwoorden als statische entiteiten. Dit faalt in het vastleggen van de procesgeoriënteerde ontologie van Indic-talen, waarbij nominale betekenis derivationeel geworteld is in verbale wortels (dhātu) en georganiseerd is rond gebeurtenisstructuren.

De kern van het probleem is de ontkenning van een diepe, gedeelde architecturale regelmaat: meer dan twee millennia van convergentie rondom het Sanskriet hebben de Indic-talen verenigd onder een gemeenschappelijk morfosyntactisch kader, geformaliseerd in Pāṇini's Aṣṭādhyāyī. Huidige instrumenten negeren deze "structurele commons" en behandelen talen als uiteenstaande entiteiten in plaats van variaties van een gedeelde metalanguage.

2. Methodologie en Theoretisch Kader

Het artikel stelt voor om de computationele paradigma te verschuiven van genealogische classificatie naar een Pāñiniaans kader. Deze benadering behandelt de Aṣṭādhyāyī niet louter als een historische grammatica, maar als een verenigende computationele architectuur.

• De Pāṇiniaanse Architectuur: De auteurs stellen dat Pāṇini's systeem een formeel metalanguage biedt dat het "besturingssysteem" definieert voor de Zuid-Aziatische discours. Belangrijke kenmerken zijn:
  • Determinatie: In tegen tegenstelling tot Chomskyaanse formalismen die statistische disambiguatie vereisen, zorgen Pāṇini's regel-precedentie mechanismen voor een enkele derivatie voor elke grammaticale zin, waardoor overgeneratie wordt voorkomen.
  • Functionele Eenheid: Het legt functionele en architecturale overeenkomsten vast (morfologie, syntaxis, semantiek) die genealogische grenzen overstijgen (bijv. tussen Indo-Arische en Dravidische talen).
  • Procesgeoriënteerde Semantiek: Het modelleert zelfstandige naamwoorden als rollen binnen impliciete gebeurtenisstructuren (kāraka), in plaats van statische labels.
• Benutten van Bestaande Signalen: De methodologie rust op de observatie dat cross-linguale transfer al sterker is binnen Indic-talen dan tussen Indic en niet-Indic talen, wat suggereert dat modellen impliciet deze gedeelde structuur leren. Het artikel betoogt dat dit impliciete leren expliciet gemaakt moet worden door middel van gegronde benchmarks.
• Benchmark Ontwerp: In plaats van nieuwe modellen voor te stellen, stelt het artikel een vierdelige benchmark-suite voor die ontworpen is om de gedeelde architectuur expliciet, meetbaar en exploiteerbaar te maken. Deze benchmarks zijn van de grond af aan meertalig ontworpen, waarbij zij verder gaan dan ad-hoc extensies van enkelvoudige taalbronnen.

3. Belangrijkste Bijdragen

De primaire bijdrage van het artikel is het voorstel voor een verenigde evaluatie-infrastructuur bestaande uit vier thematische benchmark-clusters:

5.1 Morfologische Segmentatie en Tagging

• Doel: Woorden deconstrueren in Pāṇiniaanse wortels (dhātu) en affixen (pratyaya, lakāra) en hun semantische functies interpreteren.
• Scope: Breidt bestaande Sanskriet-benchmarks (bijv. MorphTok) uit naar moderne Indic-talen.
• Taken:
  • Meertalige segmentatie en tagging.
  • Etymologische gronding: Het identificeren van de Sanskriet-wortel van een modern Indic woord en de kernbetekenis ervan.
  • Cross-linguale word-sense disambiguation gebaseerd op etymologische gronding.

5.2 Syntactische Parsing via Pāṇiniaanse Afhankelijkheden

• Doel: Een verenigde meertalige dependency parser creëren die gegrond is in kāraka (semantische casus) relaties in plaats van Universal Dependencies.
• Scope: Bouwt voort op het AnnCorra-project en initiële Pāṇiniaanse universele dependency inspanningen.
• Taken: Het construeren of converteren van dependency treebanks voor meerdere Indic-talen met behulp van Pāṇiniaanse labels en het evalueren van parsers die getraind zijn op dit verenigde schema tegen taal-specifieke baselines.

5.3 Semantic Role Labeling (SRL) en Inferentie

• Doel: Semantisch begrip beoordelen over registers (literair versus alledaags) en dialecten.
• Scope: Breidt kāraka-gegronde werkzaamheden uit van Question Answering (QA) naar entailment en inferentie.
• Taken:
  • Register Adaptatie: Modellen moeten de semantische inhoud behouden terwijl ze vertalen tussen literaire en alledaagse vormen (bijv. gesansekritiseerd Hindi versus Khariboli).
  • Dialectale Robuustheid: Testen van prestaties over dialect-continua (bijv. Tamil of Bengaalse variaties) waar de oppervlakkige fonologie verschilt maar de morfosyntactische templates invariant blijven.
  • Code-Mixing Generalisatie: Het afhandelen van sociolinguïstische verschuivingen van formele tekst naar informele spraak.

5.4 De Uitgebreide Indic "Sprachbund" en Informatiedisorder

• Doel: De grenzen van de Pāṇiniaanse framework van structurele eenheid testen en toepassen op sociale uitdagingen.
• Scope:
  • Linguïstische Extensie: Evaluatie van transfer naar diaspora-variëteiten (bijv. Fiji Hindi), conservatieve talen (bijv. Romani), en talen die verbonden zijn door beschavingsinvloed in plaats van genealogie (bijv. Tibetaans, Thais, Birmaans) die schriften en fonologische taxonomieën delen maar het volledige morfosyntactische substraat missen.
  • Informatiedisorder: Benchmarks ontwikkelen om cross-linguale desinformatie te detecteren. Modellen moeten semantisch equivalente claims identificeren over talen en registers heen, en traceren hoe narratieven muteren terwijl ze traceerbaar blijven naar een gedeeld semantisch substraat.

4. Resultaten en Bewijs

Het artikel presenteert geen nieuwe experimentele resultaten van een enkel model, maar synthetiseert empirisch bewijs uit bestaande literatuur om de Pāṇiniaanse hypothese te ondersteunen:

• Transfer Learning: Studies (Bafna et al., Nag et al.) tonen aan dat cross-linguale transfer aanzienlijk sterker is tussen Indic-talen dan tussen Indic en niet-Indic talen, zelfs wanneer er wordt gecontroleerd voor verschillen in schrift.
• Morfologische Analyse: Modellen gebaseerd op Pāṇiniaanse principes (bijv. MorphTok) laten downstream verbeteringen zien in machinevertaling en named entity recognition.
• Syntactische Parsing: Het opnemen van kāraka relaties heeft direct verbeteringen laten zien in Indic-taal QA vergeleken met Universal Dependencies.
• Data Efficiëntie: Onderzoek (Chang et al.) geeft aan dat het toevoegen van structureel uitgelijnde meertalige data effectiever is voor low-resource modeling dan simpelweg het opschalen van datavolume, wat suggereert dat de "structurele kern" de belangrijkste drijfveer voor prestaties is.
• Historische Convergentie: Bewijs uit de Tamil grammatica (bijv. Tolkāppiyam, Vīracōl̲iyam) laat zien dat structurele categorieën vergelijkbaar met die van Pāṇini onafhankelijk binnen de Dravidische tradities zijn ontdekt, wat bevestigt dat de architecturale eenheid niet louter een resultaat is van Sanskriet-impositie, maar een gedeelde computationele primitief.

5. Betekenis en Claims

Het artikel claimt dat het adopteren van een Pāṇiniaans fundament drie primaire voordelen biedt:

1. Nauwkeurigheid en Efficiëntie: Systemen die gegrond zijn in dit framework zouden nauwkeuriger en datamentechnisch efficiënter zijn door gebruik te maken van het gedeelde structurele substraat, waardoor ze de schaarse bronnen effectief samenvoegen tot één hoog-resource "metalanguage" fundament.
2. Interpreteerbaarheid: Het framework biedt een pad naar mechanistische interpreteerbaarheid. Het roept de wetenschappelijke vraag op of neurale modellen getraind op Indic-talen spontaan interne representaties leren die overeenkomen met Pāṇiniaanse categorieën (kāraka, dhātu) zonder expliciete supervisie. Als zij dat doen, suggereert dit dat Pāṇini's framework werkelijke computationele primitieven van deze talen vastlegt.
3. Praktische Toepassing: Een verenigde aanpak zou robuuste instrumenten mogelijk maken voor real-world uitdagingen, zoals het detecteren van desinformatie over het diverse Indiase taallandschap en het bouwen van parsers die generaliseren over dialecten en registers.

De auteurs concluderen dat het veld de "ingrediënten" heeft (geïsoleerde vooruitgang in morfologie, syntaxis en semantiek), maar de "architectuur" mist om ze te verbinden. Door benchmarks te bouwen die expliciet gegrond zijn in de Aṣṭādhyāyī, kan de computergemeenschap verder gaan dan statistische reconstructie van structuur naar een ontworpen, interpreteerbaar systeem dat reflecteert hoe Indic-talen daadwerkelijk functioneren.