A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Dieses Papier präsentiert ein Open-Access-Korpus des 1,6 Millionen Token umfassenden Pāli-Kanons, das lemmatisiert ist und einen kritischen Apparat über fünf Texttraditionen sowie eine spezialisierte Handhabung von Sandhi und metrischen Varianten sowie eine hochgradige Lemmatisierung aufweist, die fortgeschrittene computerlinguistische Aufgaben ermöglicht, die für diese ressourcenarme Sprache zuvor nicht machbar waren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Sprache ist ein lebendiges Wesen, doch die Worte antiker Texte fühlen sich oft so an, als wären sie hinter Glas gefangen. Für Gelehrte, die die klassischen Sprachen der antiken Welt studieren – wie etwa Sanskrit, Latein oder Griechisch –, sind Computer zu mächtigen Werkzeugen geworden, um diese Texte zu entschlüsseln. Diese Werkzeuge können Wörter zählen, verfolgen, wie sich Bedeutungen im Laufe der Zeit verändern, und sogar die grammatikalischen Beziehungen zwischen den Wörtern in einem Satz kartieren. Es gibt jedoch eine erhebliche Lücke in diesem digitalen Fortschritt. Während die großen klassischen Sprachen von Computern vollständig erschlossen wurden, wurde die Pāli-Sprache, welche die heiligen Schriften des Theravāda-Buddhismus beherbergt, weitgehend zurückgelassen. Die Texte existieren in riesigen Mengen, doch sie bleiben für Maschinen schwer lesbar, da sich ihre Wörter je nach ihrer Rolle im Satz ständig verändern und sie oft ineinanderfließen, was ihre wahre Bedeutung verbirgt. Ohlich eine Möglichkeit fehlt, diese Wörter in ihre grundlegenden Wörterbuchformen zu zerlegen, können Computer die Geschichten, die Philosophie oder die Geschichte, die darin enthalten sind, nicht verstehen.
Dan Zigmond, ein unabhängiger Gelehrter, hat nun eine Brücke über diese Lücke gebaut. Er hat ein massives, lemmatisiertes Korpus des Pāli-Kanons erstellt, der vollständigen Sammlung buddhistischer Schriften. Vereinfacht ausgedrückt ist „Lemmatisierung“ der Prozess, bei dem man jedes einzelne Wort in einem Text nimmt und seine ursprüngliche, unveränderliche Grundform findet. Stellen Sie sich eine Bibliothek vor, in der jedes Buch in einem Code geschrieben ist, in dem das Wort „run“ (laufen) als „running“ (laufend), „ran“ (lief), „runs“ (läuft) oder „runner“ (Läufer) erscheinen kann, und der Computer diese als vier völlig verschiedene Wörter sieht. Lemmatisierung ist der Akt, dem Computer zu sagen, dass all diese Variationen tatsächlich nur das Wort „run“ sind. Zigmonds Arbeit leistet dies für den gesamten Pāli-Kanon, eine Sammlung, die etwa 1,6 Millionen Wörter umfasst. Durch dies hat er ein chaotisches Durcheinander antiker Texte in eine strukturierte, durchsuchbare Datenbank verwandelt, die Computer endlich nutzen können, um zu lernen und zu analysieren.
Die Herausforderung bei der Arbeit mit Pāli besteht darin, dass die Sprache unglaublich komplex ist. Ein einzelnes Substantiv kann in Dutzenden von verschiedenen Formen erscheinen, je nachdem, ob es das Subjekt eines Satzes ist, das Objekt oder Besitz anzeigt. Darüber hinaus verwendet die Sprache einen Prozess namens Sandhi, bei dem Wörter am Ende einer Phrase nahtlos mit den Worden am Anfang der nächsten verschmelzen, wobei sie oft auch ihre Schreibweise ändern, um den Fluss des Satzes zu glätten. Für einen menschlichen Leser ist dies natürlich; für einen Computer sieht es wie eine einzige, unerkennbare Zeichenkette aus. Zigmonds Projekt musste diese Rätsel für jedes einzelne Wort des Kanons lösen. Er verließ sich nicht nur auf eine Version des Textes. Stattdessen sammelte er fünf verschiedene historische Editionen der Schriften, die Traditionen aus Sri Lanka, Burma, Thailand und der europäischen Gelehrsamkeit repräsentieren. Durch den Vergleich dieser fünf Versionen nebeneinander konnte er Unterschiede feststellen, Fehler korrigieren und ein „kritisches Apparat“ erstellen – ein detailliertes Verzeichnis, das zeigt, worin sich die antiken Manuskripte unterscheiden und welche Lesart am wahrscheinlichsten korrekt ist.
Das Ergebnis dieser gewaltigen Anstrengung ist ein Datensatz, bei dem 99,78 Prozent jedes Wortvorkommens erfolgreich identifiziert und mit seiner Wörterbuchwurzel verknüpft wurden. Dies ist ein staunenswerter Grad an Abdeckung für eine Sprache, die zuvor nie über eine solche Ressource verfügte. Der winzige verbleibende Teil der Wörter, die der Computer nicht lösen konnte, sind hauptsächlich seltene, poetische Begriffe, die in den Versabschnitten der Texte zu finden sind, oder komplexe Komposita, die die bestehenden Wörterbücher noch nicht vollständig beschrieben haben. Der Forscher fand heraus, dass etwa die Hälfte dieser ungelösten Wörter wahrscheinlich legitime Pāli-Wörter sind, die lediglich in das Wörterbuch aufgenommen werden müssen, während der Rest Variationen sind, die durch das Versmaß oder regionale Schreibunterschiede verursacht wurden. Diese Unterscheidung ist entscheidend, da sie uns genau sagt, wo die Arbeit fortgesetzt werden muss. Das Projekt zeigte auch, dass durch die Reduzierung der tausenden verschiedenen Oberflächenformen eines Wortes auf eine einzige Wurzel der gesamte Wortschatz des Kanons um mehr als das Dreifache schrumpft. Diese Reduktion macht es möglich, moderne statistische Methoden anzuwenden, um Muster im Text zu finden, die zuvor unsichtbar waren.
Mit dieser neuen Ressource können Forscher nun Aufgaben durchführen, die zuvor unmöglich waren. Sie können Texte basierend auf ihrem Vokabular gruppieren, um zu sehen, wie die verschiedenen Teile des Kanons zueinander in Beziehung stehen. Sie können Computer darauf trainieren, die Grammatik des Pāli zu verstehen, was schließlich zu Maschinen führen könnte, die Sätze parsen und zeigen können, wie Wörter miteinander verbunden sind, ganz ähnlich wie eine Karte der Satzstruktur. Die Arbeit ermöglicht auch direkte Vergleiche mit Sanskrit, der Sprache, aus der sich Pāli entwickelt hat, was Gelehrten hilft, nachzuvollziehen, wie sich buddhistische Ideen und Wörter veränderten, während sie sich von einer Kultur zur anderen bewegten. Das gesamte System, einschließlich des verwendeten Codes zum Aufbau des Projekts und der Daten selbst, wurde der Öffentlichkeit zugänglich gemacht, um andere Gelehrte einzuladen, es zu verbessern. Obwohl das Projekt noch nicht jedes mögliche grammatikalische Tag oder eine von Menschen verifizierte Prüfung für jedes einzelne Wort enthält, bietet es das wesentliche Fundament, auf dem alle zukünftigen digitalen Arbeiten an diesen antiken Texten aufgebaut werden werden. Es verwandelt den Pāli-Kanon von einer statischen Sammlung alter Bücher in einen dynamischen, lebendigen Datensatz, den die moderne Welt endlich erkunden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.