A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Dit artikel presenteert een open-access, gelematiseerd corpus van de 1,6 miljoen tokens tellende Pāli-canon, voorzien van een kritisch apparaat over vijf tekstuele tradities, gespecialiseerde verwerking voor sandhi en metrische varianten, en hoogwaardige lemmatisering die geavanceerde computationele taalkundige taken mogelijk maakt die voorheen onhaalbaar waren voor deze minder gefaciliteerde taal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is een levend ding, maar de woorden van oude teksten voelen vaak alsof ze achter glas gevangen zitten. Voor wetenschappers die de klassieke talen van de oud wereld bestuderen—zoals Sanskriet, Latijn en Grieks—zijn computers krachtige instrumenten geworden om deze teksten te ontsluiten. Deze hulpmiddelen kunnen woorden tellen, bijhouden hoe betekenissen in de loop van de tijd veranderen, en zelfs de grammaticale relaties tussen woorden in een zin in kaart brengen. Er bestaat echter een aanzienlijke kloof in deze digitale vooruitgang. Terwijl de grote klassieke talen volledig door computers zijn in kaart gebracht, is de Pāli-taal, die de heilige geschriften van het Theravāda-boeddhisme bevat, grotendeels achtergebleven. De teksten bestaan in enorme hoeveelheden, maar blijven moeilijk leesbaar voor machines omdat de woorden voortdurend van vorm veranderen afhankelijk van hun rol in een zin, en ze vloeien vaak in elkaar over op manieren die hun ware betekenis verbergen. Zonder een manier om deze woorden terug te brengen naar hun basisvormen uit het woordenboek, kunnen computers de verhalen, de filosofie of de geschiedenis die erin besloten liggen, niet begrijpen.
Dan Zigmond, een onafhankelijk geleerde, heeft nu een brug geslagen over deze kloof. Hij heeft een massale, gelemmatiseerde corpus van de Pāli-canon gecreëerd, de volledige collectie van boeddhistische geschriften. In eenvoudige termen is "lemmatisering" het proces waarbij elk enkel woord in een tekst wordt genomen en de oorspronkelijke, onveranderlijke stamvorm wordt gevonden. Stel je een bibliotheek voor waar elk boek is geschreven in een code waarin het woord "rennen" kan verschijnen als "rennend", "rende", "rent" of "renner", en de computer deze als vier volkomen verschillende woorden ziet. Lemmatisering is de handeling om de computer te vertellen dat al die variaties eigenlijk gewoon het woord "rennen" zijn. Zigmonds werk doet dit voor de gehele Pāli-canon, een collectie die ongeveer 1,6 miljoen woorden bevat. Door dit te doen, heeft hij een chaotische brij van oude tekst veranderd in een gestructureerde, doorzoekbare database die computers eindelijk kunnen gebruiken om te leren en te analyseren.
De uitdaging bij het werken met Pāli is dat de taal ongelooflijk complex is. Een enkel zelfstandig naamwoord kan in tientallen verschillende vormen verschijnen, afhankelijk van of het het onderwerp van een zin is, het object, of bezit aangeeft. Bovendien gebruikt de taal een proces genaamd sandhi, waarbij woorden aan het einde van één frase naadloos samensmelten met de woorden aan het begin van de volgende, wat vaak de spelling verandert om de zin soepel te laten verlopen. Voor een menselijke lezer is dit natuurlijk; voor een computer ziet het eruit als een enkele, onherkenbare reeks letters. Zigmonds project moest deze puzzels voor elk woord in de canon oplossen. Hij vertrouwde niet slechts op één versie van de tekst. In plaats daarvan verzamelde hij vijf verschillende historische edities van de geschriften, die tradities uit Sri Lanka, Birma, Thailand en de Europese wetenschap vertegenwoordigen. Door deze vijf versies zij aan zij te vergelijken, kon hij verschillen opsporen, fouten corrigeren en een "kritisch apparaat" creëren—een gedetailleerd verslag dat laat zien waar de oude manuscripten van elkaar verschillen en welke lezing het meest waarschijnlijk correct is.
Het resultaat van deze enorme inspanning is een dataset waarbij 99,78 procent van elke woordvermelding succesvol is geïdentificeerd en gekoppeld aan de woordenboekstam. Dit is een verbijsterend niveau van dekking voor een taal die nog nooit eerder zo'n bron heeft gehad. De kleine fractie van de woorden die de computer niet kon oplossen, zijn voornamelijk zeldzame, poëtische termen die in de versgedeelten van de teksten worden gevonden, of complexe samenstellingen die de bestaande woordenboeken nog niet volledig hebben beschreven. De onderzoeker stelde vast dat ongeveer de helft van deze onopgeloste woorden waarschijnlijk legitieme Pāli-woorden zijn die simpelweg aan het woordenboek moeten worden toegevoegd, terwijl de rest variaties zijn veroorzaakt door metrum of spellingverschillen tussen regio's. Dit onderscheid is cruciaal, want het vertelt ons precies waar het werk moet worden voortgezet. Het project onthulde ook dat door de duizenden verschillende oppervlaktevormen van een woord terug te brengen tot een enkele stam, de totale vocabulaire van de gehele canon met meer dan drie keer krimpt. Deze reductie maakt het mogelijk om moderne statistische methoden te gebruiken om patronen in de tekst te vinden die voorheen onzichtbaar waren.
Met deze nieuwe bron kunnen onderzoekers nu taken uitvoeren die voorheen onmogelijk waren. Ze kunnen teksten groeperen op basis van hun vocabulaire om te zien hoe verschillende delen van de canon met elkaar verband houden. Ze kunnen computers trainen om de grammatica van het Pāli te begrijpen, wat uiteindelijk kan leiden tot machines die zinnen kunnen ontleden en kunnen laten zien hoe woorden met elkaar verbonden zijn, vergelijkbaar met een kaart van de structuur van een zin. Het werk maakt ook directe vergelijkingen met het Sanskriet mogelijk, de taal waaruit Pāli is voortgekomen, wat wetenschappers helpt te traceren hoe boeddhistische ideeën en woorden veranderden terwijl ze van de ene cultuur naar de andere bewogen. Het hele systeem, inclusief de code die gebruikt is om het te bouwen en de data zelf, is vrijgegeven aan het publiek, waarmee andere wetenschappers worden uitgenodigd om het te verbeteren. Hoewel het project nog niet elke mogelijke grammaticale tag bevat of een door mensen geverifieerde controle van elk enkel woord, biedt het het essentiële fundament waarop al het toekomstige digitale werk aan deze oude teksten zal worden gebouwd. Het transformeert de Pāli-canon van een statische collectie oude boeken naar een dynamische, levende dataset die de moderne wereld eindelijk kan verkennen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.