A Word-Level Digital Reader of the Prasthanatrayi with Sankara's Bhasya: Corpus, Method, and an Open, Offline Reading Aid for the Advaita Vedanta Canon

Resumo Técnico: Um Leitor Digital de Nível de Palavra do Prasthānatrayī com o Bhāṣya de Śaṅkara

Definição do Problema
O Prasthānatrayī (as dez principais Upaniṣads, o Brahmasūtra e o Bhagavadgītā) juntamente com os comentários de Śaṅkara (bhāṣya) constituem o corpus fundamental do Advaita Vedānta. No entanto, acessar este texto em um nível granular, por palavra, é proibitivamente difícil para não especialistas e até mesmo para estudantes. O sânscrito clássico emprega a combinação eufônica contínua (sandhi) e compostos nominais complexos (samāsa), obscurecendo os limites das palavras e a estrutura morfológica. Uma única unidade ortográfica na página pode representar múltiplas palavras ou radicais ocultos. Consequentemente, os alunos não conseguem consultar dicionários de forma eficaz porque a forma de superfície raramente corresponde ao radical do dicionário (lema). Embora existam edições impressas palavra por palavra para textos selecionados como o Bhagavadgītā, nenhum aparato analítico uniforme de nível de palavra existe para todo o Prasthānatrayī, particularmente para a extensa prosa contínua do comentário de Śaṅkara.

Metodologia: O Pipeline de Análise Híbrida
Os autores apresentam um pipeline híbrido e reproduzível projetado para gerar uma edição digital uniformemente analisada por palavra. O processo consiste em cinco estágios:

1. Normalização do Texto: Um tokenizador compartilhado remove artefatos de renderização (unificadores de largura zero, glifos de uso privado) e agrupa novamente palavras separadas incorretamente. Ele preserva caracteres védicos (ex: anusvāra) e garante que a extração offline e a tokenização no navegador utilizem as mesmas classes de caracteres.
2. Análise Linguística Determinística: Antes de invocar a IA, o sistema prioriza três recursos autoritativos em ordem:
   • Corpus Atestado: Divisões encontradas em corpora anotados (aprox. 240.000 entradas) são preferidas.
   • Léxico Flexionado: Um léxico de 927.000 formas (extraído do motor de herança de Huet) fornece leituras morfológicas para superfícies reconhecidas.
   • Mecanismo Baseado em Regras: Um divisor de sandhi de contingência lida com formas não resolvidas.
3. Análise Assistida por LLM com Verificação Adversária: Para formas não resolvidas deterministicamente (e todas as palavras do texto raiz), um Modelo de Linguagem Grande (LLM) é empregado. Crucialmente, o LLM opera dentro de uma estrutura de verificação:
   • Texto Raiz: Um protocolo de duas passagens é utilizado. Uma passagem de "verificação" propõe divisões e gramática; uma passagem de "refutação" separada tenta encontrar e corrigir erros. Apenas as análises que sobrevivem a este teste adversário são retidas.
   • Comentário: Formas de superfície distintas são analisadas em lotes.
   • Verificação de Consistência: Todas as divisões propostas são mecanicamente verificadas para garantir que se recombinem via sandhi progressivo à superfície original.
4. Agregação e Rotulagem de Confiança: Os resultados são fundidos em um dicionário global indexado pela forma de superfície. Cada entrada recebe um rótulo de confiança (Alta, Média, Baixa) baseado na via de resolução e na autoavaliação do LLM.
5. Ciclo de Revisão por Especialista Humano: As formas de baixa confiança são exportadas para uma lista de trabalho para especialistas em sânscrito. As correções são armazenadas em um arquivo de sobreposição (overlay) durável. Em cada reconstrução, este overlay é reaplicado por último, garantindo que as correções dos especialistas sejam permanentes, cumulativas e sobrevivam a futuras regenerações do pipeline de máquina.

Arquitetura do Sistema e Entregáveis
O resultado final é um par de arquivos HTML autônomos que não requerem acesso a servidor ou rede:

• O Leitor Mūla: Análise clicável para o texto raiz.
• O Leitor de Detalhes: Um superset que inclui análise clicável para o comentário de Śaṅkara.
• Decisões de Design:
  • Resolução baseada em cursor: Em vez de envolver cada palavra em tags HTML (o que inflaria o arquivo), o sistema resolve cliques para a palavra sob o cursor no momento da leitura, usando um tokenizador idêntico ao da fase de extração.
  • Rota B (Análise de Superfície): Para o comentário, cada forma de superfície distinta é analisada exatamente uma vez e armazenada em um dicionário global (95.587 formas distintas). Isso garante consistência interna e reduz a carga computacional, embora sacrifique a desambiguação de contexto local para homógrafos. O texto raiz é analisado por ocorrência para preservar o contexto do verso.

Principais Contribuições

1. Recurso de Corpus: Uma edição digital uniformemente analisada de todo o Prasthānatrayī com o bhāṣya de Śaṅkara, cobrindo 2.971 versos/sūtras/seções e 36.881 ocorrências de palavras do texto raiz.
2. Ferramenta de Descoberta (Concordância Indexada por Lema): Como cada palavra é etiquetada com seu lema, o leitor funciona como uma concordância. Usuários podem buscar um radical de dicionário (ex: ātman) e recuperar todas as ocorrências infletidas, ocultas por sandhi e internas de compostos, tanto no texto raiz quanto no comentário.
3. Estrutura Metodológica: Um pipeline híbrido que combina recursos determinísticos com análise assistida por LLM sob um protocolo de verificação adversária, limitado por um sistema de correção humano-no-circuito (human-in-the-loop) durável.
4. Artefato Acessível: Um arquivo HTML único e sem dependências, projetado como uma ferramenta de ensino e uma plataforma para correção acadêmica.

Resultados de Avaliação
O sistema foi avaliado através de dois métodos complementares:

• Acordo Determinístico: Análises de alta confiança concordaram com o léxico flexionado de Heritage em 99,6% das formas nominais atestadas (caso/número) e 99,4% incluindo gênero. O acordo diminuiu previsivelmente entre as faixas de confiança (Alta > Média > Baixa), validando os rótulos de confiança como indicadores de qualidade.
• Adjudicação Independente: Uma amostra cega e estratificada de 180 itens foi julgada por um LLM independente. Análises de alta e média confiança foram classificadas como "aceitáveis" ou superiores em quase todos os casos. Todos os vereditos "errados" ocorreram na faixa de baixa confiança, confirmando que a lista de trabalho de revisão visa corretamente os dados menos confiáveis.

Significância e Alegações
O artigo posiciona este recurso não como um oráculo infalível, mas como um "andaime" que torna os textos fundamentais do Advaita Vedānta acessíveis em nível de palavra para estudantes que carecem de treinamento gramatical extensivo. Sua principal significância reside em:

• Escala e Uniformidade: Prover o primeiro aparato uniforme e interrogável de nível de palavra através da prosa contínua do comentário de Śaṅkara.
• Utilidade Acadêmica: Transformar o texto em uma concordância pesquisável que transcende as limitações de superfície (inflexão, composição, sandhi).
• Sustentabilidade: O overlay "humano-no-circuito" garante que o recurso seja cumulativo; as correções dos especialistas são permanentes e melhoram o sistema ao longo do tempo sem serem perdidas na regeneração.
• Acessibilidade: Por ser um arquivo HTML único e sem dependências, remove barreiras de infraestrutura, permitindo que o recurso seja livremente redistribuído e usado em ambientes sem acesso à internet.

Os autores reconhecem limitações, especificamente a falta de desambiguação sensível ao contexto para o comentário (devido à "Rota B" de análise de superfície) e a dependência de LLMs como um andaime, em vez de uma autoridade final. Eles enfatizam que o papel do sistema é produzir uma análise de primeira passagem consistente e sinalizar a saída de baixa confiança para revisão humana, com a autoridade acadêmica final residindo no editor humano.