A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Este artículo presenta un corpus de acceso abierto y lematizado del Canon Pali de 1,6 millones de tokens que presenta un aparato crítico a través de cinco tradiciones textuales, un manejo especializado para el sandhi y las variantes métricas, y una lematización de alta cobertura que permite tareas lingüísticas computacionales avanzadas anteriormente inviables para este idioma con menos recursos.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
El lenguaje es un ser vivo, pero las palabras de los textos antiguos a menudo se sienten como si estuvieran atrapadas tras un cristal. Para los estudiosos que analizan las lenguas clásicas del mundo antiguo —como el sánscrito, el latín y el griego—, las computadoras se han convertido en herramientas poderosas para desbloquear estos textos. Estas herramientas pueden contar palabras, rastrear cómo cambia el significado a lo largo del tiempo e incluso mapear las relaciones gramaticales entre las palabras en una oración. Sin embargo, existe una brecha significativa en este progreso digital. Mientras que las grandes lenguas clásicas han sido completamente mapeadas por las computadoras, el pali, que contiene las escrituras sagradas del budismo Theravada, ha quedado mayormente rezagado. Los textos existen en cantidades vastas, pero siguen siendo difíciles de leer para las máquinas porque las palabras cambian su forma constantemente dependiendo de su función en la oración, y a menudo se fusionan de formas que ocultan su verdadero significado. Sin una manera de descomponer estas palabras en sus formas básicas de diccionario, las computadoras no pueden comprender las historias, la filosofía o la historia contenidas en ellas.
Dan Zigmond, un erudito independiente, ha construido ahora un puente para cerrar esta brecha. Ha creado un corpus masivo y lematizado del Canon Pali, la colección completa de las escrituras budistas. En términos sencillos, la "lematización" es el proceso de tomar cada una de las palabras de un texto y encontrar su forma raíz original e inalterable. Imagine una biblioteca donde cada libro está escrito en un código donde la palabra "correr" podría aparecer como "corriendo", "corrió", "corre" o "corredor", y la computadora ve esto como cuatro palabras completamente diferentes. La lematización es el acto de decirle a la computadora que todas esas variaciones son en realidad simplemente la palabra "correr". El trabajo de Zigmond hace esto para todo el Canon Pali, una colección que contiene aproximadamente 1,6 millones de palabras. Al hacer esto, ha convertido un caos de textos antiguos en una base de datos estructurada y buscable que las computadoras finalmente pueden usar para aprender y analizar.
El desafío de trabajar con el pali es que el lenguaje es increíblemente complejo. Un solo sustantivo puede aparecer en docenas de formas diferentes dependiendo de si es el sujeto de una oración, el objeto o si indica posesión. Además, el lenguaje utiliza un proceso llamado sandhi, donde las palabras al final de una frase se mezclan sin interrupciones con las palabras al inicio de la siguiente, cambiando a menudo su ortografía para que la oración fluya suavemente. Para un lector humano, esto es natural; para una computadora, parece una cadena de letras única e irreconocible. El proyecto de Zigmond tuvo que resolver estos acertijos para cada una de las palabras del canon. No se limitó a una sola versión del texto. En su lugar, reunió cinco ediciones históricas diferentes de las escrituras, que representan tradiciones de Sri Lanka, Birmania, Tailandia y la erudición europea. Al comparar estas cinco versiones lado a lado, pudo detectar diferencias, corregir errores y crear un "aparato crítico" —un registro detallado que muestra dónde discrepan los manuscritos antiguos y qué lectura es probablemente la correcta.
El resultado de este esfuerzo masivo es un conjunto de datos donde el 99,78 por ciento de cada ocurrencia de palabra ha sido identificado con éxito y vinculado a su raíz de diccionario. Este es un nivel de cobertura asombroso para una lengua que nunca antes había tenido tal recurso. La pequeña fracción restante de palabras que la computadora no pudo resolver son principalmente términos poéticos poco comunes que se encuentran en las secciones de versos de los textos, o compuestos complejos que los diccionarios existentes aún no han descrito plenamente. El investigador encontró que alrededor de la mitad de estas palabras no resueltas son probablemente palabras pali legítimas que simplemente necesitan ser añadidas al diccionario, mientras que el resto son variaciones causadas por la métrica poética o diferencias ortográficas entre regiones. Esta distinción es crucial porque nos dice exactamente dónde debe continuar el trabajo. El proyecto también reveló que, al reducir los miles de diferentes formas superficiales de una palabra a una sola raíz, el tamaño total del vocabulario de todo el canon se reduce más de tres veces. Esta reducción hace posible el uso de métodos estadísticos modernos para encontrar patrones en el texto que antes eran invisibles.
Con este nuevo recurso, los investigadores pueden ahora realizar tareas que antes eran imposibles. Pueden agrupar textos basándose en su vocabulario para ver cómo se relacionan las diferentes partes del canon entre sí. Pueden entrenar a las computadoras para comprender la gramática del pali, lo que eventualmente podría conducir a máquinas capaces de analizar oraciones y mostrar cómo se conectan las palabras entre sí, de forma muy similar a un mapa de la estructura de una oración. El trabajo también permite comparaciones directas con el sánscrito, la lengua de la cual evolucionó el pali, ayudando a los estudiosos a rastrear cómo las ideas y palabras budistas cambiaron a medida que se movían de una cultura a otra. Todo el sistema, incluyendo el código utilizado para construirlo y los datos mismos, ha sido liberado al público, invitando a otros estudiosos a mejorarlo. Si bien el proyecto aún no incluye cada etiqueta gramatical posible ni una verificación humana de cada palabra, proporciona la base esencial sobre la cual se construirá todo el trabajo digital futuro de estos textos antiguos. Transforma el Canon Pali de una colección estática de libros viejos en un conjunto de datos dinámico y vivo que el mundo moderno finalmente puede explorar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.