``Don't Teach Minerva'': Evaluating Retrieval-Augmented Refinement for Low-Resource Latin Translation with New Benchmarks

Resumen Técnico: "Don't Teach Minerva": Evaluación del Refinamiento con Recuperación Aumentada para la Traducción del Latín en Escenarios de Bajos Recursos

Declaración del Problema
La traducción automática (MT) para el latín enfrenta desafíos únicos debido a su riqueza morfológica, su orden de palabras flexible y su variación diacrónica que abarca más de dos milenios. Estas complejidades lingüísticas se ven agravadas por una severa escasez de recursos: los corpus paralelos de alta calidad son limitados, a menudo estilísticamente estrechos y frecuentemente dependen de referencias de traducción al inglés del siglo XIX que penalizan las métricas de superficie modernas (p. ej., BLEU) incluso cuando el significado semántico se preserva. Además, la traducción histórica suele admitir múltiples interpretaciones legítimas, lo que requiere un equilibrio entre la adecuación semántica y la fidelidad estructural que los sistemas de MT estándar luchan por lograr. Si bien los modelos de lenguaje extensos (LLM) propietarios recientes han mejorado el rendimiento zero-shot, introducen problemas de reproducibilidad, costo y falta de auditabilidad, los cuales son críticos para los flujos de trabajo académicos.

Metodología
El artículo propone un flujo de trabajo de dos etapas, totalmente reproducible y de código abierto, para la traducción de latín a inglés que evita el ajuste fino (fine-tuning) específico de la tarea para el modelo de refinamiento final. La arquitectura consta de:

1. Borrador Especializado (Etapa 1): Un modelo NLLB-200-1.3B (codificador-decodificador) ajustado mediante fine-tuning genera un borrador de traducción inicial. Este modelo es adaptado a través de un protocolo de dos fases:

   • Adaptación de Denotación (Denoising Adaptation): Entrenado en un corpus monolingüe de latín de 100 millones de tokens con ruido sintético para interiorizar las características lingüísticas históricas.
   • Ajuste Fino Paralelo (Parallel Fine-tuning): Entrenado en un corpus armonizado de aproximadamente 160k pares latín-inglés (combinando los datos clásicos/bíblicos de Rosenthal y el OPUS Bible).
   • Rol: Este borrador sirve como un ancla estructuralmente conservadora, preservando la estructura de las cláusulas, la polaridad y los roles gobernados por los casos.

2. Refinador Zero-Shot con Generación Aumentada por Recuperación (Etapa 2): Un LLM de solo decodificador (Llama-3.3-70B o variantes de Qwen3) refina el borrador en un entorno zero-shot. El proceso de refinamiento se aumenta mediante la Generación Aumentada por Recuperación (RAG):

   • Recuperación (Retrieval): Se recuperan segmentos de origen en latín semánticamente similares de un gran corpus no paralelo de latín (100 millones de tokens) utilizando incrustaciones densas (BAAI/bge-m3).
   • Construcción de Contexto: El sistema genera borradores en inglés para estos segmentos recuperados utilizando el mismo modelo NLLB de borrador.
   • Prompting: El refinador recibe el texto original en latín, el borrador de NLLB y hasta cinco pares de ejemplares de origen-borrador recuperados como guía de contexto in-context.

Contribuciones Clave

• Nuevos Recursos: Los autores introducen un corpus de entrenamiento listo para la tarea (datos paralelos armonizados clásicos y bíblicos) y un nuevo conjunto de evaluación fuera de dominio (OOD) compuesto por cartas del siglo XII de Yves de Chartres, evaluado contra traducciones académicas modernas.
• Flujo de Trabajo Reproducible: Un flujo de trabajo transparente y de código abierto que combina un borrador NMT especializado con el refinamiento de un LLM zero-shot, eliminando la necesidad de modelos propietarios de caja negra.
• Marco de Evaluación: Una evaluación rigurosa utilizando tanto benchmarks de dominio interno (Rosenthal) como de fuera de dominio (OOD), empleando métricas léxicas (BLEU, chrF++, METEOR) y métricas semánticas (BERTScore, COMET) para capturar los matices de la traducción histórica.

Resultados

• Desempeño en el Dominio (In-Domain): En el conjunto de prueba estándar de Rosenthal, el sistema RAG de código abierto (específicamente Llama-3.3-70B + RAG) logró un desempeño comparable a, y en algunas métricas superior a, un fuerte baseline propietario (GPT-5.1). El sistema alcanzó una puntuación COMET de 0.743 frente al 0.730 de GPT-5.1.
• Desempeño Fuera del Dominio (Out-of-Domain): En el conjunto OOD de Yves de Chartres, el pipeline demostró una generalización robusta. El condicionamiento del borrador por sí solo proporcionó la mayor parte de las ganancias semánticas (aumentando el COMET de 0.714 a 0.742), mientras que la adición de ejemplares recuperados mejoró aún más la fidelidad léxica (el BLEU aumentó de 30.28 a 34.28).
• Estudios de Ablación: El ajuste fino de los modelos refinadores en un subconjunto pequeño del corpus paralelo mejoró los resultados de dominio interno pero condujo al sobreajuste (overfitting), causando caídas en el desempeño en el benchmark OOD. Esto confirmó que la guía en tiempo de inferencia (RAG) es más efectiva para la robustez entre dominios que la adaptación directa del modelo.
• Análisis Cualitativo: Los estudios de caso revelaron que el pipeline RAG resolvió eficazmente vínculos de pronombres complejos, preservó la voz pasiva y las relaciones gobernadas por casos, y disambiguó elecciones léxicas formulaicas donde los modelos zero-shot fallaron.

Significancia y Reivindicaciones
El artículo sostiene que para lenguas históricas de bajos recursos y morfológicamente ricas, la traducción de alta calidad no requiere el ajuste fino de la tarea para el refinador. En su lugar, un enfoque de "división del trabajo" —donde un borrador especializado proporciona el anclaje estructural y la recuperación proporciona la guía analógica— produce resultados competitivos con los modelos propietarios.

Los autores enfatizan que el pipeline ofrece un perfil de traducción distintivo: mientras que los modelos propietarios suelen priorizar la fluidez idiomática, este enfoque de código abierto preserva el "andamiaje visible" del texto fuente en latín. Esta transparencia estructural hace que los resultados sean más auditables y trazables, lo cual es una ventaja crítica para aplicaciones académicas, pedagógicas y legales. El estudio concluye que la guía estructurada en el tiempo de inferencia es una estrategia más viable para la MT histórica que la adaptación de modelos estrechos, ofreciendo un equilibrio práctico entre adecuación, reproducibilidad y trazabilidad filológica.