Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

A língua é frequentemente pensada como uma ponte entre as pessoas, mas para a mais antiga tradição literária contínua do mundo, essa ponte tem tido um vão crucial ausente. O sânscrito, a língua sagrada da antiga filosofia indiana, detém uma vasta biblioteca de textos que definem o patrimônio espiritual e intelectual de milhões. No entanto, na era digital moderna, esta língua permanece amplamente invisível para as ferramentas que traduzem as línguas do mundo para nós. Embora os computadores possam agora traduzir conversas casuais ou manchetes de notícias com facilidade crescente, eles lutam profundamente com as sentenças densas, altamente estruturadas e ricas em compostos encontradas em escritos filosóficos clássicos. Esta lacuna é particularmente aguda para a filosofia Jainista, uma importante escola de pensamento dentro da tradição indiana, onde o significado preciso de uma única palavra pode determinar a diferença entre um insight espiritual e um mal-entendido. O desafio não é apenas sobre traduzir palavras; é sobre ensinar uma máquina a compreender uma forma específica e complexa de pensar que foi preservada em uma língua que poucos falantes modernos leem fluentemente.

Para enfrentar isso, os pesquisadores Tamanna Jain e Neeraj Raheja desenvolveram um sistema especializado chamado Arthasetu, projetado para traduzir textos filosóficos clássicos do Jainismo do sânscrito para o hindi. O trabalho deles foca em um tipo específico de inteligência artificial conhecido como um sistema de tradução automática neural. Em termos simples, este é um programa de computador que aprende a traduzir estudando milhares de exemplos de sentenças em uma língua pareadas com suas traduções corretas em outra. Os pesquisadores construíram seu sistema para lidar com as dificuldades únicas do sânscrito clássico, que é repleto de palavras compostas longas e termos técnicos que não aparecem na fala cotidiana. Eles testaram seu sistema em uma coleção de textos incluindo o Tattvartha Sutra, uma escritura fundamental Jainista, e seus comentários acompanhantes. O objetivo era criar uma ferramenta que pudesse eventualmente servir como um assistente de conversação para estudantes e estudiosos da filosofia Jain, ajudando-os a navegar por esses textos antigos com maior facilidade.

Os pesquisadores começaram reunindo e limpando uma coleção massiva de pares de sentenças. Eles começaram com um conjunto central de quase 10.000 sentenças extraídas diretamente de fontes filosóficas Jain. Para ver se alimentar o computador com mais dados ajudaria, eles tentaram duas estratégias de expansão diferentes. Na primeira, misturaram seus textos filosóficos com quase 80.000 sentenças de fontes enciclopédicas gerais e contemporâneas, criando um conjunto de dados enorme de quase 90.000 sentenças. Na segunda, adicionaram apenas cerca de 5.000 sentenças a mais, mas estas foram cuidadosamente escolhidas para serem de outros textos filosóficos e devocionais Jain, mantendo toda a coleção focada no mesmo assunto. Os resultados deste experimento foram surpreendentes. O conjunto de dados maior e misturado tornou o sistema, de fato, pior ao traduzir os textos filosóficos específicos que deveria lidar. Quando testado nas sentenças específicas de Jain, o sistema treinado com os dados misturados teve um desempenho ruim. Em contraste, o sistema treinado no conjunto de dados menor e puramente filosófico teve um desempenho significativamente melhor. Esta descoberta sugere que, para campos altamente especializados, uma quantidade menor de dados perfeitamente relevantes é mais valiosa do que uma quantidade massiva de dados gerais.

A equipe também investigou como o computador deve decompor as sentenças para aprendê-las. Uma técnica comum em sistemas de tradução modernos é quebrar palavras em pedaços menores, chamados subpalavras, para ajudar o computador a lidar com palavras raras ou complexas. No entanto, quando os pesquisadores aplicaram este método ao seu conjunto de dados específico, isso não melhorou os resultados. Na verdade, o sistema funcionou melhor quando aprendeu a traduzir palavras inteiras conforme apareciam. Isso indica que, para coleções menores de texto, os truques padrão usados para sistemas de tradução de uso geral e massivo podem não ser necessários e podem até ser um impedimento. Os pesquisadores também compararam seu sistema construído sob medida contra dois grandes motores de tradução pré-existentes disponíveis ao público. Um era um serviço comercial amplamente utilizado, e o outro era um modelo grande de código aberto treinado em centenas de línguas. Enquanto o serviço comercial teve o melhor desempenho geral, o sistema personalizado dos pesquisadores superou significativamente o grande modelo de código aberto na tarefa específica de traduzir estes textos filosóficos. Isso sugere que um sistema adaptado a um domínio específico pode superar um modelo massivo de uso geral que tenta fazer tudo ao mesmo tempo.

Durante o trabalho, os pesquisadores também descobriram uma falha séria na forma como os sistemas de tradução são às vezes testados. Em uma versão inicial de seu processo de teste, o sistema tinha um atalho que permitia que ele buscasse respostas diretamente dos dados de treinamento durante o teste, em vez de realmente traduzir o texto. Este erro fez o sistema parecer quase perfeito, com uma pontuação sugerindo que estava correto quase todas as vezes. Uma vez que este atalho foi removido, as pontuações caíram para um nível muito mais realista, revelando as verdadeiras capacidades do sistema. Esta descoberta destaca um risco crítico em pesquisas envolvendo conjuntos de dados pequenos: se o método de teste não for cuidadosamente controlado, pode produzir resultados enganosamente altos que não refletem o desempenho no mundo real. Para garantir que o sistema seja útil na prática, os pesquisadores propõem uma abordagem híbrida para implantação futura. Este design primeiro verificaria se a pergunta de um usuário corresponde a uma sentença conhecida em seu banco de dados, retornando uma tradução verificada instantaneamente. Se a pergunta for nova, o sistema então usaria suas habilidades de tradução generativa para construir uma resposta. Esta combinação de buscar fatos conhecidos e gerar novas traduções visa fornecer tanto velocidade quanto precisão para usuários que estudam estes textos antigos.

O trabalho conclui que, embora o campo da tradução automática para o sânscrito ainda esteja em seus estágios iniciais, focar nas necessidades específicas de um subdomínio como a filosofia Jain produz melhores resultados do que tentar aplicar soluções amplas e gerais. Os pesquisadores demonstraram que um conjunto de dados menor e altamente focado é mais eficaz do que um maior e misturado, e que métodos padrão para decompor palavras podem nem sempre se aplicar a projetos menores e especializados. Eles também forneceram um framework claro e reproduzível para testar estes sistemas, garantindo que o progresso futuro seja medido com precisão. Ao tornar seus dados e métodos transparentes, eles esperam encorajar mais pesquisas para traduzir as línguas clássicas do mundo, garantindo que estas vozes antigas possam ser ouvidas claramente no mundo moderno.