Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

A menudo se piensa en el lenguaje como un puente entre las personas, pero para la tradición literaria continua más antigua del mundo, a ese puente le ha faltado un tramo crucial. El sánscrito, la lengua sagrada de la antigua filosofía india, posee una vasta biblioteca de textos que definen el patrimonio espiritual e intelectual de millones de personas. Sin embargo, en la era digital moderna, este idioma permanece en gran medida invisible para las herramientas que traducen los idiomas del mundo para nosotros. Si bien las computadoras pueden ahora traducir conversaciones casuales o titulares de noticias con una facilidad cada vez mayor, tienen dificultades profundas con las oraciones densas, altamente estructuradas y cargadas de compuestos que se encuentran en los escritos filosóficos clásicos. Esta brecha es particularmente aguda para la filosofía jaina, una importante escuela de pensamiento dentro de la tradición india, donde el significado preciso de una sola palabra puede determinar la diferencia entre una visión espiritual y un malentendido. El desafío no es solo traducir palabras; es enseñar a una máquina a comprender una forma de pensamiento específica y compleja que se ha preservado en un idioma que pocos hablantes modernos leen con fluidez.

Para abordar esto, los investigadores Tamanna Jain y Neeraj Raheja desarrollaron un sistema especializado llamado Arthasetu, diseñado para traducir textos filosóficos jainas clásicos del sánscrito al hindi. Su trabajo se centra en un tipo específico de inteligencia artificial conocida como sistema de traducción automática neuronal. En términos sencillos, este es un programa informático que aprende a traducir estudiando miles de ejemplos de oraciones en un idioma emparejadas con sus traducciones correctas en otro. Los investigadores construyeron su sistema para manejar las dificultades únicas del sánscrito clásico, el cual está lleno de palabras compuestas largas y términos técnicos que no aparecen en el habla cotidiana. Probaron su sistema en una colección de textos que incluye el Tattvartha Sutra, una escritura jaina fundamental, y sus comentarios acompañantes. El objetivo era crear una herramienta que pudiera servir eventualmente como un asistente conversacional para estudiantes y eruditos de la filosofía jaina, ayudándoles a navegar estos textos antiguos con mayor facilidad.

Los investigadores comenzaron reuniendo y limpiando una colección masiva de pares de oraciones. Partieron de un conjunto central de casi 10,000 oraciones extraídas directamente de fuentes filosóficas jainas. Para ver si alimentar a la computadora con más datos ayudaría, probaron dos estrategias de expansión diferentes. En la primera, mezclaron sus textos filosóficos con casi 80,000 oraciones de fuentes enciclopédicas y contemporáneas generales, creando un enorme conjunto de datos de casi 90,000 oraciones. En la segunda, añadieron solo unas 5,000 oraciones más, pero estas fueron cuidadosamente seleccionadas de otros textos filosóficos y devocionales jainas, manteniendo toda la colección enfocada en el mismo tema. Los resultados de este experimento fueron sorprendentes. El conjunto de datos más grande y mixto de hecho hizo que el sistema fuera peor al traducir los textos filosóficos específicos que debía manejar. Cuando se probó en las oraciones específicas de la tradición jaina, el sistema entrenado con los datos mixtos funcionó deficientemente. Por el contrario, el sistema entrenado con el conjunto de datos más pequeño y puramente filosófico funcionó significらmente mejor. Este hallazgo sugiere que, para campos altamente especializados, una cantidad menor de datos perfectamente relevantes es más valiosa que una cantidad masiva de datos generales.

El equipo también investigó cómo la computadora debería descomponer las oraciones para aprenderlas. Una técnica común en los sistemas de traducción modernos es dividir las palabras en piezas más pequeñas, llamadas subpalabras, para ayudar a la computadora a manejar palabras raras o complejas. Sin embargo, cuando los investigadores aplicaron este método a su conjunto de datos específico, no mejoró los resultados. De hecho, el sistema funcionó mejor cuando aprendió a traducir palabras completas tal como aparecían. Esto indica que para colecciones de texto más pequeñas, los trucos estándar utilizados para los sistemas de propósito general masivos podrían no ser necesarios e incluso podrían ser un estorbo. Los investigadores también compararon su sistema personalizado contra dos motores de traducción preexistentes y públicos. Uno era un servicio comercial ampliamente utilizado y el otro era un modelo grande de código abierto entrenado en cientos de idiomas. Mientras que el servicio comercial funcionó mejor en general, el sistema personalizado de los investigadores superó significativamente al gran modelo de código abierto en la tarea específica de traducir estos textos filosóficos. Esto sugiere que un sistema adaptado a un dominio específico puede superar a un modelo masivo de propósito general que intenta hacer todo a la vez.

Durante su trabajo, los investigadores también descubrieron un fallo serio en la forma en que los sistemas de traducción son evaluados a veces. En una versión temprana de su proceso de prueba, el sistema tenía un atajo que le permitía buscar respuestas directamente de los datos de entrenamiento durante la prueba, en lugar de realmente traducir el texto. Este error hizo que el sistema pareciera casi perfecto, con una puntuación que sugería que era correcto casi siempre. Una vez que se eliminó este atajo, las puntuaciones bajaron a un nivel mucho más realista, revelando las verdaderas capacidades del sistema. Este descubrimiento resalta un riesgo crítico en la investigación que involucra conjuntos de datos pequeños: si el método de prueba no se controla cuidadosamente, puede producir resultados engañosamente altos que no reflejan el rendimiento en el mundo real. Para asegurar que el sistema sea útil en la práctica, los investigadores proponen un enfoque híbrido para el despliegue futuro. Este diseño primero verificaría si la pregunta de un usuario coincide con una oración conocida en su base de datos, devolviendo una traducción verificada instantáneamente. Si la pregunta es nueva, el sistema utilizaría entonces sus habilidades de traducción generativa para construir una respuesta. Esta combinación de búsqueda de hechos conocidos y generación de nuevas traducciones tiene como objetivo proporcionar tanto velocidad como precisión para los usuarios que estudian estos textos antiguos.

El trabajo concluye que, si bien el campo de la traducción automática para el sánscrito está todavía en sus primeras etapas, centrarse en las necesidades específicas de un subdominio como la filosofía jaina produce mejores resultados que intentar aplicar soluciones amplias y generales. Los investigadores han demostrado que un conjunto de datos más pequeño y altamente enfocado es más efectivo que uno más grande y mixto, y que los métodos estándar para descomponer palabras no siempre se aplican a proyectos especializados más pequeños. También han proporcionado un marco claro y reproducible para probar estos sistemas, asegurando que el progreso futuro se mida con precisión. Al hacer que sus datos y métodos sean transparentes, esperan fomentar más investigación sobre la traducción de las lenguas clásicas del mundo, asegurando que estas voces antiguas puedan ser escuchadas claramente en el mundo moderno.