LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages

Resumen Técnico: LEVOS

1. El Problema

La traducción de términos técnicos a idiomas indios de recursos limitados (low-resource) representa un desafío significativo debido a la escasez de datos paralelos y la complejidad de las estructuras lingüísticas. Aunque el inglés es el idioma dominante en la educación superior y la literatura académica, la India posee 22 idiomas oficiales. La implementación de políticas educativas que fomentan la enseñanza en lenguas regionales requiere una masiva generación de materiales educativos traducidos. Sin embargo, la traducción automática de terminología técnica falla frecuentemente debido a:

• La falta de datos de entrenamiento específicos para dominios técnicos en idiomas minoritarios.
• La complejidad morfológica de los idiomas indios, especialmente en la formación de palabras compuestas y las reglas de sandhi (unión fonética de palabras).
• La dificultad de los modelos actuales para captar matices contextuales en términos técnicos aislados.

2. Metodología

Los autores proponen LEVOS, un enfoque que aprovecha la superposición léxica masiva entre los idiomas indios (tanto indoarios como drávidos) y el Sánscrito. La metodología se divide en dos componentes principales:

A. Segmentación de Palabras en Sánscrito (SWS) con CharSS:

• Objetivo: Descomponer palabras compuestas sánscritas en sus unidades léxicas subyacentes (subpalabras) para manejar la complejidad del sandhi.
• Modelo: Se utiliza un modelo Transformer a nivel de caracteres (basado en ByT5).
• Proceso:
  • El modelo recibe una palabra sánscrita unigrama como entrada.
  • Genera una secuencia de salida donde las subpalabras se separan por el símbolo +.
  • Se añaden delimitadores & (inicio) y $ (fin) para definir con precisión los límites de los morfemas.
  • El modelo se entrena en conjuntos de datos de referencia (UoH+SandhiKosh, SIGHUM, hackathon) para realizar la tarea de sandhivicchēda (división de sandhi).

B. Traducción de Términos Técnicos con Aumento de Entrada:

• Estrategia de Aumento: Dado que el Hindi tiene más recursos digitales que otros idiomas indios, se utiliza como puente.
  1. Se toma un término técnico en inglés y su traducción al Hindi.
  2. Se normaliza el término en Hindi (eliminando afijos específicos y convirtiendo caracteres como el anusvāra a su forma sánscrita equivalente, pañcamākṣara).
  3. Se aplica el modelo CharSS para segmentar la raíz (lemma) del término en Hindi en unidades sánscritas.
  4. Estas unidades sánscritas segmentadas se inyectan como entrada adicional al modelo de traducción neuronal (NMT).
• Modelo de Traducción: Se utiliza NLLB (No Language Left Behind) de Facebook, ajustado finamente (fine-tuning) con datos de diccionarios bilingües técnicos.
• Configuración Experimental:
  • Configuración 1: Entrenamiento y prueba en pares de idiomas específicos.
  • Configuración 2 (Zero-Shot): Entrenamiento en Hindi, Gujarati y Tamil, y prueba en Marathi, Kannada y Odia (idiomas no vistos durante el entrenamiento).

3. Contribuciones Clave

1. Modelo CharSS: Presentación de un modelo Transformer basado en caracteres para la segmentación de palabras compuestas sánscritas, abordando eficazmente las reglas de sandhi sin depender de parsers léxicos tradicionales.
2. Método de Aumento Léxico: Propuesta de una técnica innovadora que utiliza la riqueza léxica del Hindi y la superposición con el Sánscrito para generar entradas enriquecidas, mejorando la traducción de términos técnicos a idiomas de recursos limitados.
3. Evaluación Exhaustiva: Validación del enfoque en múltiples dominios (administrativo, biotecnología, química) y lenguas, demostrando mejoras consistentes tanto en configuraciones supervisadas como zero-shot.

4. Resultados

Los experimentos se evaluaron utilizando la métrica chrF++ (que es más robusta que BLEU para idiomas con morfología rica) y evaluaciones humanas posteriores.

• Rendimiento en Segmentación (SWS): El modelo CharSS superó a los métodos baselines (como DD-RNN y Sandhi Prakarana) en los conjuntos de datos UoH+SandhiKosh, logrando una precisión de ubicación (LPA) del 97.2% y una precisión de división (SPA) del 93.5%.
• Traducción de Términos Técnicos:
  • Configuración Estándar: El uso de entradas aumentadas con Sánscrito mejoró el puntaje promedio de chrF++ en 8.46 puntos en comparación con el modelo NLLB entrenado solo con inglés.
  • Configuración Zero-Shot: En la transferencia a idiomas no vistos (Marathi, Kannada, Odia), el método con Sánscrito mostró una mejora promedio de 6.79 puntos en chrF++.
  • Dominios: Las mejoras fueron más notables en los dominios de Biotecnología y Química, donde la terminología técnica tiene una mayor derivación sánscrita, en comparación con el dominio administrativo.
• Evaluación Humana: En una evaluación post-hoc para Punjabi y Malayalam, el método propuesto obtuvo puntuaciones R@1 de 0.53 y 0.46 respectivamente, superando al método de referencia LexGen (0.51 y 0.38).

5. Significado e Impacto

• Inclusividad Educativa: Este trabajo facilita la creación de materiales de aprendizaje de alta calidad en idiomas indios, reduciendo la brecha de recursos para estudiantes en comunidades de idiomas de baja recursos.
• Transferencia de Recursos: Demuestra que es posible mejorar el rendimiento en idiomas de recursos limitados aprovechando la superposición léxica histórica con el Sánscrito y utilizando datos de un idioma "puente" más rico (Hindi).
• Viabilidad Técnica: Confirma que el uso de modelos Transformer a nivel de caracteres es efectivo para tareas morfológicas complejas como la segmentación de sandhi, y que la inyección de información lingüística estructurada (segmentos sánscritos) mejora significativamente la precisión semántica en la traducción técnica.

Limitaciones: El método depende de la disponibilidad de datos en Hindi y la superposición léxica con el Sánscrito. Su eficacia puede disminuir en idiomas con poca influencia sánscrita o en dominios donde el vocabulario técnico es puramente moderno o de origen no indoeuropeo.