A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Cet article présente un corpus en accès libre et lemmatisé du Canon pali de 1,6 million de jetons, comprenant un appareil critique à travers cinq traditions textuelles, un traitement spécialisé pour les sandhis et les variantes métriques, ainsi qu'une lemmatisation à haute couverture permettant des tâches de linguistique computationnelle avancées, auparavant irréalisables pour cette langue moins dotée en ressources.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La langue est une chose vivante, mais les mots des textes anciens semblent souvent être piégés derrière une vitre. Pour les chercheurs étudiant les langues classiques du monde antique — telles que le sanskrit, le latin et le grec — les ordinateurs sont devenus des outils puissants pour déverrouiller ces textes. Ces outils peuvent compter les mots, suivre la façon dont les significations évoluent au fil du temps, et même cartographier les relations grammaticales entre les mots dans une phrase. Cependant, il existe un écart important dans ce progrès numérique. Alors que les grandes langues classiques ont été entièrement cartographiées par les ordinateurs, le pāli, qui détient les écritures sacrées du bouddhisme Theravāda, a été largement laissé pour compte. Les textes existent en quantités vastes, mais ils restent difficiles à lire pour les machines car les mots changent constamment de forme selon leur rôle dans une phrase, et ils se fondent souvent les uns dans les autres d'une manière qui cache leur véritable signification. Sans un moyen de décomposer ces mots en leurs formes de base du dictionnaire, les ordinateurs ne peuvent comprendre ni les récits, ni la philosophie, ni l'histoire qu'ils contiennent.
Dan Zigmond, un chercheur indépendant, a maintenant construit un pont pour combler cet écart. Il a créé un corpus massif et lemmatisé du Canon pāli, la collection complète des écritures bouddhistes. En termes simples, la « lemmatisation » est le processus consistant à prendre chaque mot d'un texte et à trouver sa forme racine originale et immuable. Imaginez une bibliothèque où chaque livre est écrit dans un code où le mot « courir » pourrait apparaître sous les formes « courant », « courut », « court » ou « coureur », et l'ordinateur voit cela comme quatre mots complètement différents. La lemmatisation est l'acte de dire à l'ordinateur que toutes ces variations sont en réalité simplement le mot « courir ». Le travail de Zigmond fait cela pour l'ensemble du Canon pāli, une collection contenant environ 1,6 million de mots. Ce faisant, il a transformé un amas chaotique de textes anciens en une base de données structurée et interrogeable que les ordinateurs peuvent enfin utiliser pour apprendre et analyser.
Le défi du travail avec le pāli est que la langue est incroyablement complexe. Un seul nom peut apparaître sous des dizaines de formes différentes selon qu'il est le sujet d'une phrase, l'objet ou qu'il exprime la possession. De plus, la langue utilise un processus appelé sandhi, où les mots à la fin d'une phrase se mélangent de manière fluide avec les mots au début de la suivante, changeant souvent leur orthographe pour que la phrase s'écoule harmonieusement. Pour un lecteur humain, c'est naturel ; pour un ordinateur, cela ressemble à une chaîne de lettres unique et méconnaissable. Le projet de Zigmond a dû résoudre ces énigmes pour chaque mot du canon. Il ne s'est pas contenté de s'appuyer sur une seule version du texte. Au lieu de cela, il a rassemblé cinq éditions historiques différentes des écritures, représentant les traditions du Sri Lanka, de la Birmanie, de la Thaïlande et de la recherche européenne. En comparant ces cinq versions côte à côte, il a pu repérer les différences, corriger les erreurs et créer un « appareil critique » — un registre détaillé qui montre où les manuscrits anciens divergent et quelle lecture est la plus susceptible d'être correcte.
Le résultat de cet effort massif est un ensemble de données où 99,78 % de chaque occurrence de mot a été identifié avec succès et lié à sa racine de dictionnaire. C'est un niveau de couverture stupéfiant pour une langue qui n'avait jamais possédé une telle ressource auparavant. La infime fraction de mots restants que l'ordinateur n'a pas pu résoudre concerne principalement des termes poétiques rares trouvés dans les sections versifiées des textes, ou des composés complexes que les dictionnaires existants n'ont pas encore pleinement décrits. Le chercheur a découvert qu'environ la moitié de ces mots non résolus sont probablement des mots pāli légitimes qui doivent simplement être ajoutés au dictionnaire, tandis que le reste sont des variations causées par la métrique poétique ou des différences d'orthographe selon les régions. Cette distinction est cruciale car elle nous indique précisément où le travail doit se poursuivre. Le projet a également révélé qu'en réduisant les milliers de différentes formes de surface d'un mot à une seule racine, la taille totale du vocabulaire de l'ensemble du canon est réduite de plus de trois fois. Cette réduction permet d'utiliser des méthodes statistiques modernes pour trouver des modèles dans le texte qui étaient auparavant invisibles.
Avec cette nouvelle ressource, les chercheurs peuvent désormais effectuer des tâches qui étaient auparavant impossibles. Ils peuvent regrouper les textes en fonction de leur vocabulaire pour voir comment les différentes parties du canon sont liées entre elles. Ils peuvent entraîner des ordinateurs à comprendre la grammaire du pāli, ce qui pourrait éventuellement mener à des machines capables d'analyser les phrases et de montrer comment les mots se connectent les uns aux autres, un peu comme une carte de la structure d'une phrase. Le travail permet également des comparaisons directes avec le sanskrit, la langue dont le pāli a évolué, aidant les chercheurs à retracer comment les idées et les mots bouddhistes ont changé à mesure qu'ils passaient d'une culture à l'autre. L'ensemble du système, y compris le code utilisé pour le construire et les données elles-mêmes, a été rendu public, invitant d'autres chercheurs à l'améliorer. Bien que le projet ne comprenne pas encore toutes les étiquettes grammaticales possibles ou une vérification humaine de chaque mot, il fournit le fondement essentiel sur lequel tout le travail numérique futur sur ces textes anciens sera construit. Il transforme le Canon pāli d'une collection statique de vieux livres en un ensemble de données dynamique et vivant que le monde moderne peut enfin explorer.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.