Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

Resumen Técnico: RLSR (Aprendizaje por Refuerzo para la Reescritura de la Fuente)

Planteamiento del Problema
La reescritura de la fuente (o pre-edición) tiene como objetivo mejorar la calidad de la Traducción Automática (MT) modificando el texto fuente antes de que este entre en el modelo de MT. Aunque los Modelos de Lenguaje Grande (LLMs) pueden realizar esta tarea mediante el uso de prompts, los enfoques actuales sufren de dos limitaciones críticas:

1. Dependencia de Heurísticas: El diseño de prompts es altamente empírico e inconsistente; una estrategia efectiva para un modelo de MT suele fallar o degradar el rendimiento para otro.
2. Intensidad de Recursos: Lograr resultados consistentes requiere un ajuste manual de prompts por cada modelo, lo cual consume mucho tiempo y recursos.
   Los métodos existentes que utilizan inferencia iterativa o bucles de retroalimentación son computacionalmente costosos. Los autores se preguntan si se puede descubrir un método de reescritura universal que funcione de manera consistente a través de diversos modelos de MT sin el ajuste manual de prompts.

Metodología: Marco RLSR
Los autores proponen RLSR (Reinforcement Learning for Source Rewriting), un marco que trata la reescritura de la fuente como un problema de aprendizaje por refuerzo donde la recompensa es la mejora directa en la calidad de la traducción descendente.

• Definición de Recompensa: La recompensa $R$ se define como la diferencia en las puntuaciones de las métricas de evaluación automática entre la traducción de la fuente reescrita ($\tilde{s}$) y la fuente original ($s$):
  $$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$$
  donde $M$ es el modelo de MT descendente fijo, $r$ es la traducción de referencia, y $Q$ es una métrica automática (específicamente xCOMET-XL en los experimentos).
• Objetivo de Optimización: Dado que el modelo de MT y la métrica no son diferenciables, el Ajuste Fino Supervisado (SFT) estándar no puede optimizar directamente este objetivo. En su lugar, RLSR emplea un algoritmo de RL on-policy, DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization).
• Regularización KL: Para evitar el "hackeo de recompensas" (por ejemplo, generar texto sin sentido que explote las vulnerabilidades de la métrica), la recompensa total incluye una penalización de divergencia de Kullback-Leibler (KL) contra una política de referencia ($R_{ref}$), típicamente un LLM de seguimiento de instrucciones con un prompt estándar:
  $$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$$
• Proceso de Entrenamiento: El modelo de reescritura muestrea una reescritura $\tilde{s}$, el modelo de MT traduce tanto $s$ como $\tilde{s}$, la métrica $Q$ los evalúa, y la recompensa resultante actualiza la política de reescritura.

Contribuciones Clave

1. Optimización Libre de Prompts: RLSR elimina la necesidad de ajuste manual de prompts al optimizar directamente el modelo de reescritura hacia el objetivo de traducción descendente.
2. Eficiencia: A diferencia de los métodos de retroalimentación iterativa, RLSR requiere solo una pasada hacia adelante (forward pass) del modelo de reescritura y del modelo de MT por cada paso de entrenamiento, lo que lo hace computacionalmente eficiente en el tiempo de inferencia.
3. Superioridad sobre SFT: El artículo demuestra que el SFT, cuando se aplica a la reescritura de la fuente, a menudo conduce a la "degeneración", donde el modelo simplemente copia el texto fuente (para minimizar la pérdida en los tokens que no cambian) en lugar de aprender a realizar ediciones significativas. El RL obliga al modelo a explorar diversas estrategias para maximizar la recompensa.
4. Generalización: Los modelos entrenados mediante RLSR para un modelo de MT específico generalizan bien a otros modelos de MT no vistos, lo que sugiere que las estrategias aprendidas son robustas en lugar de estar sobreajustadas a las idiosincrasias de un solo modelo.

Resultados Experimentales
Los autores evaluaron RLSR en la tarea compartida WMT2025 General MT (16 pares de idiomas) a través de seis modelos de MT descendentes diferentes (que van desde 4B hasta 31B de parámetros, incluyendo variantes de Gemma y Qwen).

• Rendimiento vs. Baselines:
  • Los modelos de 4B entrenados con RLSR superaron significativamente al baseline de "no reescritura" y a los baselines existentes de la misma escala (4B) basados en prompts (Simplificación, Parafraseo, Easy Translate) en todas las métricas (xCOMET, MetricX, GEMBA).
  • Los modelos RLSR de 4B lograron un rendimiento competitivo con los baselines basados en prompts que utilizan un LLM masivo de 235B, demostrando una alta eficiencia de parámetros.
• Robustez: Mientras que los métodos basados en prompts mostraron una alta varianza (por ejemplo, "Paraphrase" a menudo degradó el rendimiento), RLSR proporcionó mejoras consistentes en todos los modelos de MT probados sin ningún ajuste de prompt.
• Mitigación del Sesgo de la Métrica: Aunque fue entrenado usando xCOMET, los modelos también mejoraron en GEMBA (una métrica sin referencia basada en prompts), lo que indica que las ganancias no fueron meramente un sobreajuste a la métrica de entrenamiento.
• Análisis Cualitativo: Los estudios de caso revelaron que RLSR aprende a realizar ediciones localizadas y que preservan la longitud, dirigidas a obstáculos de traducción específicos (disfluencias, ambigüedades), mientras que los métodos basados en prompts a menudo reescriben todo el texto indiscriminadamente o alucinan contenido.

Significación y Reivindicaciones
El artículo afirma que RLSR proporciona un enfoque simplificado y automatizado para la reescritura de la fuente que se adapta sin problemas a diversos modelos de MT. Al pasar de la ingeniería de prompts heurística a la optimización directa de la recompensa, el método mejora significamente la calidad de la traducción sin la carga computacional de la inferencia iterativa o el trabajo manual de ajuste de prompts. Los autores posicionan esto como un paradigma más efectivo que el SFT para tareas de reescritura, ya que el RL evita con éxito la degeneración de "copia" común en los enfoques supervisados.

Limitaciones Reconocidas

• Costo de Entrenamiento: El entrenamiento de RLSR es más costoso que el de SFT porque requiere ejecutar repetidamente el modelo de MT descendente y la métrica de evaluación para calcular las recompensas.
• Dependencia de la Métrica: El enfoque asume que la métrica automática (xCOMET) refleja fielmente la calidad de la traducción. Aunque los resultados de GEMBA mitigan las preocupaciones sobre el sesgo de la métrica, los autores señalan que la evaluación humana sería definitiva, pero no se realizó debido al costo.
• Alcance: Los experimentos se limitaron a seis modelos de MT y 16 pares de idiomas; se sugiere una validación más amplia para trabajos futuros.