Resumen Técnico: MTQE.en-he

Planteamiento del Problema

La Estimación de la Calidad de la Traducción Automática (MTQE) es un componente crítico en los procesos de MT, lo que permite a los sistemas aceptar salidas de alta calidad y señalar aquellas de baja calidad para la revisión humana. Si bien la MTQE ha sido estudiada extensamente para pares de lenguas de altos recursos, el hebreo presenta desafíos específicos. Está clasificado como una lengua de recursos medios con significativamente menos recursos anotados que el inglés. Además, la rica morfología del hebreo crea condiciones similares al aprendizaje de bajos recursos, lo que complica la traducción y la estimación de calidad efectivas. Antes de este trabajo, no existía un benchmark públicamente disponible específicamente para la MTQE de inglés a hebreo, a pesar de la existencia de conjuntos de prueba de hebreo a inglés en las tareas compartidas de WMT.

Metodología

Construcción del Conjunto de Datos (MTQE.en-he)

Los autores presentan MTQE.en-he, el primer benchmark de MTQE inglés-hebreo disponible públicamente.

• Fuente: El conjunto de datos comprende 959 segmentos en inglés derivados del corpus WMT24++, cubriendo cuatro dominios: literario, noticias, social y habla.
• Traducción: Las traducciones al hebreo fueron generadas utilizando Google Translate.
• Anotación: Tres expertos humanos con competencia de nivel nativo en ambos idiomas y amplia experiencia en flujos de trabajo de traducción anotaron los segmentos.
• Calificación: Las anotaciones se realizaron mediante Evaluación Directa (DA) en una escala de 0 a 100, siguiendo las directrices estándar de WMT QE. La verdad fundamental (ground truth) para la evaluación es la media de las puntuaciones de los tres anotadores.
• Estadísticas: El conjunto de datos exhibe una distribución de puntuación alta (el 73% de los segmentos fueron calificados con 70 o más) y longitudes de segmento cortas (el 59% tiene menos de 30 palabras). El acuerdo entre anotadores (correlación de Pearson de un anotador frente a la media de los otros) promedió 0.5337.

Benchmarks de Referencia (Baselines)

El artículo evalúa tres enfoques distintos en el conjunto de datos completo:

1. Prompting de ChatGPT: Se probaron dos estrategias de prompting: "freestyle" (juicio abierto) y "guidelines" (incorporando instrucciones completas de anotación).
2. TransQuest: Se evaluaron dos versiones: un modelo multilingüe (cualquier par de lenguas) y un modelo de inglés a cualquier lengua (en-any).
3. CometKiwi: Un modelo capaz de realizar predicciones de calidad simultáneas a nivel de oración y de palabra.

Experimentos de Ajuste Fino (Fine-Tuning)

El conjunto de datos se particionó en fragmentos de entrenamiento (300), validación (100) y prueba (559) mediante un muestreo estratificado para mantener la distribución de las puntuaciones. Los autores realizaron el ajuste fino de TransQuest y CometKiwi durante 50 pasos (5 épocas) utilizando cuatro métodos:

• Ajuste Fino Completo (FullFT): Actualización de todos los parámetros del modelo.
• LoRA (Adaptación de Bajo Rango): Congelación del modelo base y aprendizaje de actualizaciones de bajo rango para las capas de atención y de alimentación hacia adelante (feed-forward).
• BitFit: Ajuste fino únicamente de los términos de sesgo (bias) y la capa de clasificación de la cabeza (head classifier) (aproximadamente el 0.2% de los parámetros).
• FTHead: Ajuste fino únicamente de la cabeza de clasificación.

Todos los métodos utilizaron hiperparámetros idénticos (tamaño de lote 32, tasa de aprendizaje 3e-5, 10% de warmup con decaimiento lineal).

Ensamble

Los autores también probaron un enfoque de ensamble, promediando las puntuaciones predichas de los modelos. Seleccionaron el prompt de ChatGPT "freestyle" para el ensamble basándose en la Navaja de Occam (prefiriendo soluciones más simples).

Resultados Clave

Rendimiento de los Baselines

En el conjunto de datos completo (n=959), CometKiwi surgió como el baseline individual más fuerte con una correlación de Pearson de 0.4828 y una de Spearman de 0.5456. TransQuest (en-any) le siguió con 0.4327 de Pearson, mientras que ChatGPT (freestyle) logró 0.4266 de Pearson.

• Limitaciones: Tanto TransQuest como CometKiwi fallaron al predecir puntuaciones de 0.91 o superiores, incluso cuando la verdad fundamental se encontraba en el rango de "excelente o perfecto" (31% del conjunto de datos). ChatGPT exhibió una tendencia a repetir puntuaciones específicas, creando bandas horizontales en los diagramas de dispersión.

Mejoras por Ensamble

El ensamble de los tres modelos (ChatGPT-freestyle, TransQuest y CometKiwi) produjo el mejor rendimiento de modelo individual, superando al mejor baseline individual (CometKiwi) por 6.4 puntos porcentuales en Pearson (0.5472 vs. 0.4828) y 5.6 puntos porcentuales en Spearman (0.6014 vs. 0.5456).

Resultados del Ajuste Fino

• Ajuste Fino Completo (Full Fine-Tuning): El FullFT no logró mejorar a TransQuest y degradó el rendimiento de CometKiwi entre 2 y 3 puntos porcentuales. El análisis reveló signos de sobreajuste (overfitting) y colapso de la distribución (donde la distribución de salida del modelo se volvió inconsistente o plana).
• Métodos de Ajuste Fino Eficientes en Parámetros: LoRA, BitFit y FTHead mejoraron con éxito tanto a TransQuest como a CometKiwi en 2 a 3 puntos porcentuales tanto en las correlaciones de Pearson como de Spearman en el conjunto de prueba.
  • CometKiwi + LoRA: Logró 0.4670 de Pearson (frente a 0.4495).
  • TransQuest + LoRA: Logró 0.4445 de Pearson (frente a 0.4205).
• Estabilidad: A diferencia del FullFT, los métodos eficientes en parámetros demostraron curvas de aprendizaje estables y cambios de distribución modestos y consistentes.

Significancia y Reivindicaciones

El artículo reclama tres novedades principales:

1. Primer Conjunto de Datos Público: Es el primer conjunto de datos publicado para la MTQE de inglés-hebreo, abordando una brecha de recursos para este par de lenguas de recursos medios.
2. Benchmarking de Nuevos Paradigmas: Establece baselines utilizando el prompting de ChatGPT y el ensamble de modelos para este par de lenguas específico.
3. Ajuste Fino Eficiente en Parámetros: Demuestra que, para este escenario de bajos recursos, las actualizaciones de modelos completos son propensas al sobreajuste, mientras que los métodos eficientes en parámetros (LoRA, BitFit, FTHead) entrenan de forma estable y producen mejoras medibles.

Los autores posicionan a MTQE.en-he como una herramienta para permitir la investigación futura en sistemas de lenguas de bajos recursos. Señalan explícitamente las limitaciones, incluyendo el uso de un único motor de traducción (Google Translate), la dependencia de las puntuaciones DA en lugar de las métricas MQM (que son superiores) debido a restricciones presupuestarias, y el tamaño modesto del conjunto de datos que limita el número de muestras con puntuaciones bajas. El trabajo pretende inspirar más investigación en la generación de datos sintéticos, transferencia translingüística y calibración para mejorar la calidad de la predicción para el par inglés-hebreo y lenguas similares.