Resumen Técnico: Informe sobre LUXMT

A continuación se presenta un resumen detallado del informe técnico de Nils Rehlinger sobre LUXMT, un sistema de traducción automática (TA) diseñado específicamente para el luxemburgués.

1. Problema y Contexto

El luxemburgués (LB) es una lengua con recursos limitados en el ámbito de la traducción automática. La falta de datos paralelos de alta calidad y la dependencia de modelos genéricos multilingües que no están optimizados para esta lengua específica resultan en un rendimiento subóptimo. Además, existe el riesgo de contaminación de datos en los conjuntos de pruebas estándar (como FLORES-200), ya que los modelos base se entrenan con corpus web masivos que podrían incluir inadvertidamente los datos de prueba, sesgando los resultados.

El objetivo principal del trabajo es desarrollar y evaluar un sistema de TA especializado para traducir del luxemburgués al francés (FR) y al inglés (EN), y evaluar su capacidad de generalización al alemán (DE), utilizando un enfoque de ajuste fino (fine-tuning) sobre un modelo de lenguaje grande (LLM).

2. Metodología

Selección del Modelo Base

Antes del ajuste fino, se realizó una comparación exhaustiva de varios modelos LLM locales de última generación (GEMMA 3, AYA EXPANSE, COMMAND R, LLAMA 3.1/4, MISTRAL S, PHI 4) utilizando un nuevo conjunto de pruebas (benchmark).

• Resultado: GEMMA 3 (27B) se identificó como el modelo base con mejor rendimiento en las tareas LB→EN, LB→FR y LB→DE.

Creación del Conjunto de Pruebas (Benchmark)

Para evitar la contaminación de datos, se desarrolló un benchmark personalizado basado en Luci, una revista turística cuatrilingüe de Luxemburgo (ediciones 1-63).

• Procesamiento: El texto se segmentó con spaCy y se alinearon los pares de segmentos utilizando LUXEMBEDDER (incrustaciones de oraciones en luxemburgués).
• Filtrado: Se eliminaron duplicados, segmentos cortos (<5 palabras) y se seleccionaron los 500 pares con mayor similitud coseno por par de idiomas (LB-FR, LB-EN, LB-DE), los cuales fueron verificados manualmente.

Recopilación y Curación de Datos de Entrenamiento

Los datos de entrenamiento provienen de dos fuentes principales:

1. LUXALIGN: Un corpus paralelo de artículos de noticias de RTL (LB-FR y LB-EN).
2. Transcripciones Parlamentarias: Datos monolingües del parlamento luxemburgués, aumentados mediante traducción automática a EN y FR usando Google Translate.

Filtrado de Datos: Se utilizó LUXEMBEDDER para filtrar pares de segmentos con baja equivalencia. Se probaron umbrales de similitud (.90, .95, .99) y se determinó que un umbral más estricto (.99 para noticias, .98 para datos aumentados) ofrecía el mejor rendimiento, eliminando ruido en los datos de noticias que no eran traducciones 1-a-1.

Entrenamiento y Ajuste Fino

• Modelo: GEMMA 3 ajustado fino.
• Hiperparámetros: Tasa de aprendizaje de $2e^{-5}$, 1 época de entrenamiento (el óptimo tras pruebas de 1 a 3 épocas) y temperatura estándar de 1.0.
• Prompt: "Translate from Luxembourgish to [Target Language]: [source segment]".

Métricas de Evaluación

Se empleó un conjunto de métricas complementarias para una evaluación robusta:

• Métricas Neuronales: BLEURT-20, XCOMETXL.
• Similitud Semántica: BERTSCORE.
• Superficie (excluidas del informe principal pero usadas en pruebas): BLEU, CHRF2, TER.
• Métrica Experimental: Se evaluó el uso de la similitud coseno de LUXEMBEDDER como métrica de estimación de calidad (QE) sin referencia.

3. Contribuciones Clave

1. LUXMT: El primer sistema de TA especializado basado en GEMMA 3 para traducir del luxemburgués al francés e inglés.
2. Nuevo Benchmark Multilingüe: Creación de un conjunto de datos de prueba humano-traducido (Luci) específico para LB, evitando la contaminación de datos de corpus web estándar.
3. Pipeline de Curación de Datos: Implementación exitosa de LUXEMBEDDER para filtrar corpus paralelos y aumentados, mejorando significativamente la calidad de los datos de entrenamiento.
4. Evaluación de Métricas sin Referencia: Exploración de LUXEMBEDDER como métrica de estimación de calidad, mostrando correlaciones prometedoras con métricas basadas en referencia, aunque con advertencias sobre su uso.

4. Resultados

• Rendimiento Superior: LUXMT mostró mejoras sustanciales sobre el modelo base GEMMA 3 en todos los pares de idiomas evaluados.
  • LB→FR y LB→EN: Mejoras estadísticamente significativas en todas las métricas (BLEURT-20, XCOMETXL, BERTSCORE).
  • LB→DE (Generalización): Aunque el modelo no fue ajustado fino con datos alemanes, LUXMT mejoró significativamente en la traducción al alemán. Esto demuestra la capacidad de aprendizaje cruzado (cross-lingual) de los LLMs modernos.
• Correlación de Métricas: LUXEMBEDDER mostró una fuerte correlación con otras métricas neuronales y de superposición de superficie, validando su potencial como métrica de estimación de calidad, aunque su correlación más alta fue con CHRF2 (superficie) en lugar de con métricas neuronales profundas, lo cual fue inesperado.

5. Significancia y Limitaciones

Significancia:
Este trabajo demuestra que es posible construir sistemas de TA de alta calidad para lenguas minoritarias o de recursos limitados mediante el ajuste fino de modelos grandes preentrenados, siempre que se cuente con una curación de datos rigurosa. Además, valida la capacidad de los modelos para generalizar a idiomas no vistos durante el entrenamiento (LB→DE), lo cual es crucial para el ecosistema lingüístico de Luxemburgo.

Limitaciones y Futuro:

• Dominio Específico: El benchmark se basa únicamente en una revista turística, lo que limita la evaluación a un dominio específico.
• Tamaño del Benchmark: Con solo 500 pares por idioma, la varianza estadística puede ser alta.
• Origen de los Datos: Existe incertidumbre sobre si el texto luxemburgués en la revista Luci es original o una traducción ("translationese"), lo que podría introducir artefactos.
• Métricas: Se recomienda cautela al usar LUXEMBEDDER como métrica de calidad sin referencia hasta que se realicen más investigaciones con datos de preferencia humana.

El autor planea futuras expansiones que incluyen suites de pruebas lingüísticas más detalladas, el ajuste fino del nuevo modelo TransGemma y la exploración de modelos europeos, así como el filtrado de datos basado en la dificultad estimada de la traducción.