Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation

Resumen Técnico: Más allá de las puntuaciones escalares: Aprendizaje por refuerzo para la estimación de calidad consciente de errores en la traducción automática

Planteamiento del problema
La Estimación de Calidad (QE, por sus siglas en inglés) es crítica para evaluar los resultados de la Traducción Automática (MT) sin traducciones de referencia, una necesidad para el despliegue en el mundo real a gran escala. Aunque los Modelos de Lenguaje Extensos (LLMs) han avanzado en la evaluación de MT, enfrentan desafíos significativos en entornos de bajos recursos. Los evaluadores basados en LLM actuales suelen exhibir una menor correlación con los juicios humanos para idiomas de bajos recursos en comparación con los de altos recursos. Además, los enfoques de QE existentes dependen predominantemente de puntuaciones de calidad escalares (por ejemplo, puntuaciones de Evaluación Directa o DA). Estas señales escalares carecen de información contextual explícita sobre los errores de traducción específicos que impulsan el juicio, lo que limita la capacidad del modelo para razonar sobre por qué una traducción es deficiente. Los métodos de anotación de grano fino tradicionales, como las Métricas de Calidad Multidimensional (MQM) o la Anotación de Intervalos de Error (ESA), proporcionan contexto de error pero son costosos, requieren una amplia pericia del anotador y son difíciles de escalar. Existe una brecha en la literatura para un marco de QE que utilice eficazmente señales ligeras y conscientes de los errores para mejorar el rendimiento en entornos de escasos recursos.

Metodología
Los autores proponen ALOPE-RL (Aprendizaje Adaptativo y Optimización para la Estimación de calidad basada en Políticas con Aprendizaje por Refuerzo), un marco de aprendizaje por refuerzo basado en políticas diseñado para entrenar adaptadores eficientes para QE.

1. Creación del conjunto de datos (Inglés $\rightarrow$ Malayalam):

   • Los autores introducen el primer conjunto de datos de QE a nivel de segmento para el par de idiomas Inglés $\rightarrow$ Malayalam (En$\rightarrow$Ml), un par de idiomas con escasez severa de recursos.
   • El conjunto de datos comprende 5,000 instancias en los dominios de Finanzas, Noticias y Legal.
   • Crucialmente, incluye Observaciones de Calidad de Traducción (TQR): comentarios breves en lenguaje natural de forma libre de los anotadores humanos que describen tipos de error (por ejemplo, No traducido, Adición, Mistranslación, Error de fluidez) e intervalos erróneos. Esto sirve como una señal de supervisión débil que es más flexible y menos demandante cognitivamente que la marca de intervalos estilo MQM.
   • Explicaciones Sintéticas: Utilizando TQR, el segmento fuente y el segmento objetivo, los autores generaron explicaciones detalladas sintéticas (categorías de error y descripciones) utilizando modelos de razonamiento fuerte (DEEPSEEK-V3 y GEMINI-2.5-pro) para servir como referencias de verdad fundamental para el cálculo de la recompensa.

2. Marco ALOPE-RL:

   • Optimización de la Política: El marco trata la QE como un problema de optimización de política utilizando Optimización de Política Relativa de Grupo (GRPO). La política ($\pi_\theta$) genera respuestas estructuradas que contienen una puntuación DA, categorías de error y una explicación en lenguaje natural.
   • Sistema de Recompensa de Múltiples Componentes: El modelo se entrena utilizando una suma ponderada de seis componentes de recompensa:
     • Recompensa de Puntuación Exacta ($R_{exact}$): Penaliza la distancia entre las puntuaciones DA predichas y las de oro.
     • Recompensa de Rango de Puntuación ($R_{bin}$): Incentiva que las predicciones caigan dentro del rango de puntuación correcto (bin).
     • Recompensa de Tipo de Error ($R_{err}$): Utiliza el índice de Jaccard para medir la similitud entre las categorías de error predichas y las de oro.
     • Recompensa de Descripción ($R_{desc}$): Utiliza BERTScore F1 para evaluar la similitud semántica entre las descripciones predichas y las sintéticas.
     • Recompensa de Longitud ($R_{len}$): Recompensa las descripciones dentro de un recuento de palabras objetivo (60–140 palabras).
     • Recompensa de Formato ($R_{fmt}$): Asegura la adherencia a un esquema XML estricto.
   • Eficiencia: El sistema está diseñado para restricciones de bajos recursos, utilizando LLMs compactos ($\le$4B de parámetros: QWEN3-4B, GEMMA-3-4B, LLAMA-3.2-3B) ajustados mediante LoRA (Adaptación de Bajo Rango) y cuantización de 4 bits. El entrenamiento se realiza en conjuntos de datos pequeños ($\le$5K instancias).

3. Extensión a otros idiomas:

   • El marco también fue probado en Inglés $\rightarrow$ Tamil, Inglés $\rightarrow$ Marathi y Inglés $\rightarrow$ Hindi. Dado que no había TQR disponible para estos pares, los autores utilizaron Etiquetas de QE a nivel de palabra (WTAG) (etiquetas binarias OK/BAD derivadas de alineaciones de posedición) como una señal de supervisión débil alternativa para probar la generalizabilidad.

Contribuciones Clave

• Nuevo Conjunto de Datos: Introducción del primer conjunto de datos de QE a nivel de segmento para Inglés $\rightarrow$ Malayalam, que presenta puntuaciones DA anotadas por humanos y Observaciones de Calidad de Traducción (TQR).
• Marco Novedoso: Desarrollo de ALOPE-RL, un marco de RL basado en políticas que integra la supervisión débil consciente de errores (TQR) para entrenar LLMs compactos.
• Desempeño: Demostración de que la incorporación de TQR como entrada contextual mejora significamente el desempeño de la QE basada en LLM, permitiendo que modelos pequeños superen a bases de referencia más grandes.
• Eficiencia: Logro de resultados de vanguardia utilizando modelos compactos ($\le$4B de parámetros) y datos limitados, probando la viabilidad del aprendizaje de política consciente de errores bajo presupuestos de cómputo y datos restringidos.

Resultados

• Desempeño en En$\rightarrow$Ml: ALOPE-RL logró una correlación de Spearman ($\rho$) de 0.571 en el conjunto de datos En$\rightarrow$Ml usando GEMMA-3-4B con "recompensas principales" (enfocándose en puntuación y tipo de error). Esto superó a:
  • Bases de referencia fuertes basadas en codificadores (COMETKIWI: $\rho$=0.474; XCOMET-XL: $\rho$=0.352).
  • Bases de referencia de LLM más grandes (DEEPSEEK-V3: $\rho$=0.474).
  • Variantes de Ajuste Fino de Instrucción (IFT) del mismo modelo ($\rho$=0.525).
• Impacto de TQR: Los modelos entrenados con TQR alcanzaron consistentemente correlaciones más altas que aquellos entrenados con WTAG o sin señales débiles. TQR resultó particularmente efectivo para lenguas drávidas (Malayalam, Tamil), mientras que WTAG fue menos efectivo o introdujo ruido para las lenguas indoeuropeas (Marathi, Hindi), probablemente debido a las diferencias morfológicas.
• Ablación de Recompensas: La configuración de "recompensas principales" (Puntuación + Tipo de Error + Formato) produjo mejores resultados que la configuración de "Todas las recompensas", sugiriendo que las recompensas semánticas complejas (Descripción/Longitud) pueden introducir ruido que difumina la señal de recompensa para la predicción de DA.

Significancia y Reivindicaciones
El artículo afirma que el aprendizaje basado en políticas y consciente de los errores es una vía viable y eficiente para la QE en entornos de bajos recursos. Al ir más allá de las puntuaciones escalares para incorporar observaciones de error en lenguaje natural (TQR), los autores demuestran que:

1. El Contexto Importa: Proporcionar contexto de error explícito permite a los LLM razonar sobre la calidad de la traducción de manera más efectiva que depender únicamente de puntuaciones numéricas.
2. Eficiencia: Una QE de alto rendimiento no requiere necesariamente conjuntos de datos masivos o modelos gigantes; los modelos compactos y cuantizados ajustados con RL pueden superar a las bases de referencia más grandes y ávidas de datos.
3. Escalabilidad: TQR ofrece un punto medio práctico entre la simplicidad de las puntuaciones escalares y la complejidad de la anotación de errores de grano fino, lo que lo convierte en una señal escalable para mejorar los sistemas de QE.

Los autores concluyen que su enfoque aborda con éxito las limitaciones de los evaluadores de LLM actuales en escenarios de bajos recursos mediante el aprovechamiento de la supervisión débil en lenguaje natural para impulsar la optimización de la política.