A Lemmatized Corpus of the Pali Canon with Critical Apparatus
Este artigo apresenta um corpus de acesso aberto e lematizado do Cânone Pāli de 1,6 milhão de tokens, apresentando um aparato crítico através de cinco tradições textuais, tratamento especializado para sandhi e variantes métricas, e lematização de alta cobertura que possibilita tarefas linguísticas computacionais avançadas anteriormente inviáveis para esta língua de menos recursos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A linguagem é um ser vivo, mas as palavras dos textos antigos muitas vezes parecem estar presas atrás de um vidro. Para estudiosos que estudam as línguas clássicas do mundo antigo — como o sânscrito, o latim e o grego — os computadores tornaram-se ferramentas poderosas para desbloquear esses textos. Essas ferramentas podem contar palavras, rastrear como os significos mudam ao longo do tempo e até mapear as relações gramaticais entre as palavras em uma frase. No entanto, existe uma lacuna significativa neste progresso digital. Embora as grandes línguas clássicas tenham sido totalmente mapeadas por computadores, a língua Pāli, que detém as escrituras sagradas do Budismo Theravada, foi amplamente deixada para trás. Os textos existem em vastas quantidades, mas permanecem difíceis de serem lidos por máquinas porque as palavras mudam sua forma constantemente dependendo de seu papel na frase, e frequentemente se fundem de maneiras que escondem seu verdadeiro significado. Sem uma maneira de decompor essas palavras em suas formas básicas de dicionário, os computadores não podem compreender as histórias, a filosofia ou a história contidas nelas.
Dan Zigmond, um estudioso independente, construiu agora uma ponte sobre essa lacuna. Ele criou um corpus massivo e lematizado do Cânon Pāli, a coleção completa das escrituras budistas. Em termos simples, "lematização" é o processo de pegar cada única palavra em um texto e encontrar sua forma original e imutável. Imagine uma biblioteca onde cada livro é escrito em um código onde a palavra "correr" pode aparecer como "correndo", "correu", "corre" ou "corredor", e o computador vê isso como quatro palavras completamente diferentes. A lematização é o ato de dizer ao computador que todas essas variações são, na verdade, apenas a palavra "correr". O trabalho de Zigmond faz isso por todo o Cânon Pāli, uma coleção que contém aproximadamente 1,6 milhão de palavras. Ao fazer isso, ele transformou um amontoado caótico de texto antigo em um banco de dados estruturado e pesquisável que os computadores finalmente podem usar para aprender e analisar.
O desafio de trabalhar com o Pāli é que a língua é incrivelmente complexa. Um único substantivo pode aparecer em dezenas de formas diferentes dependendo se é o sujeito de uma frase, o objeto ou se indica posse. Além disso, a língua utiliza um processo chamado sandhi, onde as palavras ao final de uma frase se misturam perfeitamente com as palavras no início da próxima, muitas vezes alterando sua grafia para fazer a frase fluir suavemente. Para um leitor humano, isso é natural; para um computador, parece uma única sequência de letras irreconhecível. O projeto de Zigmond teve que resolver esses enigmas para cada palavra do cânon. Ele não confiou apenas em uma versão do texto. Em vez disso, reuniu cinco edições históricas diferentes das escrituras, representando tradições do Sri Lanka, Birmânia, Tailândia e da erudição europeia. Ao comparar essas cinco versões lado a lado, ele pôde identificar diferenças, corrigir erros e criar um "aparelho crítico" — um registro detalhado que mostra onde os manuscritos antigos divergem e qual leitura é provavelmente a mais correta.
O resultado deste esforço massivo é um conjunto de dados onde 99,78 por cento de cada ocorrência de palavra foi identificada com sucesso e vinculada à sua raiz de dicionário. Este é um nível de cobertura impressionante para uma língua que nunca antes teve tal recurso. A pequena fração restante de palavras que o computador não conseguiu resolver consiste majoritariamente em termos poéticos raros encontrados nas seções de versos dos textos, ou compostos complexos que os dicionários existentes ainda não descreveram totalmente. O pesquisador descobriu que cerca de metade dessas palavras não resolvidas são provavelmente palavras Pāli legítimas que simplesmente precisam ser adicionadas ao dicionário, enquanto o restante são variações causadas por métrica poética ou diferenças de grafia entre regiões. Essa distinção é crucial porque nos diz exatamente onde o trabalho precisa continuar. O projeto também revelou que, ao reduzir as milhares de diferentes formas superficiais de uma palavra para uma única raiz, o tamanho total do vocabulário de todo o cânon encolhe mais de três vezes. Essa redução torna possível o uso de métodos estatísticos modernos para encontrar padrões no texto que eram anteriormente invisíveis.
Com este novo recurso, pesquisadores podem agora realizar tarefas que eram anteriormente impossíveis. Eles podem agrupar textos com base em seu vocabulário para ver como diferentes partes do cânon se relacionam entre si. Eles podem treinar computadores para entender a gramática do Pāli, o que poderia eventualmente levar a máquinas que podem analisar frases e mostrar como as palavras se conectam umas às outras, de forma muito semelhante a um mapa da estrutura de uma frase. O trabalho também permite comparações diretas com o sânscrito, a língua da qual o Pāli evoluiu, ajudando estudiosos a rastrear como as ideias e palavras budistas mudaram conforme se moviam de uma cultura para outra. Todo o sistema, incluindo o código usado para construí-lo e os próprios dados, foi liberado ao público, convidando outros estudiosos a melhorá-lo. Embora o projeto ainda não inclua todas as possíveis etiquetas gramaticais ou uma verificação humana de cada palavra, ele fornece a base essencial sobre a qual todo o trabalho digital futuro nestes textos antigos será construído. Ele transforma o Cânon Pāli de uma coleção estática de livros antigos em um conjunto de dados dinâmico e vivo que o mundo moderno pode finalmente explorar.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.