Resumen Técnico: Ajuste Fino de Aprendizaje por Refuerzo sin Referencias para Traducción Automática

Declaración del Problema

La traducción automática (TA) de producción está dominada por modelos Secuencia-a-Secuencia (Seq2Seq) de codificador-decodificador debido a su eficiencia y capacidades de alineación. Sin embargo, los avances recientes en Aprendizaje por Refuerzo (RL) para ajuste fino, específicamente la Optimización de Política Relativa por Grupos (GRPO), se han aplicado casi exclusivamente a Grandes Modelos de Lenguaje (LLM) decodificadores únicamente con $\ge$7B de parámetros. Estos modelos suelen ser poco prácticos para su implementación en producción a lo largo de la larga cola de pares de idiomas del mundo debido a restricciones computacionales. Además, los enfoques de RL existentes para TA dependen típicamente de datos paralelos o referencias en el idioma objetivo para las señales de recompensa, lo que limita su aplicabilidad en escenarios de bajos recursos. Existe una falta de estudio sistemático sobre la eficacia de GRPO en arquitecturas eficientes de codificador-decodificador que utilicen señales de recompensa sin referencias.

Metodología

Los autores proponen una tubería de ajuste fino de RL sin referencias para el modelo codificador-decodificador NLLB-200 (600M y 1.3B de parámetros) utilizando Optimización de Política Relativa por Grupos (GRPO).

1. Política y Optimización:

• Modelo: El modelo base es NLLB-200. El entrenamiento utiliza cuantización de 4 bits (NF4) y Adaptación de Bajo Rango (LoRA) aplicada a las proyecciones de consulta y valor, permitiendo el entrenamiento en una sola GPU NVIDIA A10G.
• Algoritmo: Se emplea GRPO para eliminar la necesidad de un modelo de valor separado, reduciendo la sobrecarga de memoria. La ventaja $A_i$ para cada hipótesis se estima a partir de la variación de recompensa intra-grupo:
  $$A_i = \frac{r_i - \text{media}(r)}{\text{desviación estándar}(r) + \epsilon}$$
  donde $\epsilon = 10^{-4}$ previene la amplificación del ruido. La política se actualiza mediante un objetivo sustituto recortado de PPO con una penalización KL para evitar la desviación del modelo de referencia. El modelo de referencia ($\pi_{ref}$) se obtiene desactivando los adaptadores LoRA en el mismo modelo, evitando la necesidad de un modelo de referencia separado.

2. Recompensa Híbrida sin Referencias:
La señal de recompensa no requiere datos paralelos en el momento del ajuste fino, dependiendo en su lugar de texto monolingüe de origen. Combina dos estimadores de calidad preentrenados:

• LaBSE: Proporciona adecuación semántica cruzada mediante la similitud del coseno entre las incrustaciones de origen e hipótesis.
• COMET-Kiwi: Proporciona una estimación de calidad aprendida basada en anotaciones de evaluación directa.
• Recompensa Híbrida: La recompensa final es un promedio ponderado equitativamente (0.5/0.5) de las puntuaciones de LaBSE y COMET-Kiwi. Esta combinación está diseñada para equilibrar la fluidez y la fidelidad mientras mitiga las limitaciones de los estimadores individuales en idiomas subrepresentados.

3. Diseño Experimental:

• Experimento A (Evaluación Sistemática): Entrenado en divisiones de desarrollo de FLORES-200 (solo lado de origen) en 13 idiomas tipológicamente diversos. Evaluado frente a una línea base sin ajuste fino y líneas base de Ajuste Fino Supervisado (SFT) (1 época y 3 épocas).
• Experimento B (Cross-Domain): Entrenado en 10,000 oraciones monolingües en inglés de CCNews. Evaluado en FLORES-200 (fuera del dominio) y NTREX-128 (dominio de noticias).
• Ablaciones: Se investigó la fuerza de la regularización KL ($\beta$) y el tamaño de los datos de entrenamiento ($N$).

Resultados Clave

1. Mejoras Consistentes sin Referencias:
GRPO produjo mejoras consistentes sobre la línea base en los 13 idiomas y ambas escalas de modelo (600M y 1.3B) sin ningún dato en el idioma objetivo.

• Ganancia Máxima: El chino tradicional mostró la mayor mejora (+5.03 chrF++ en el modelo de 1.3B).
• Competitividad con SFT: En idiomas con morfología compleja y líneas base débiles (por ejemplo, euskera, bengalí, swahili), GRPO superó o igualó al SFT de 1 época y se mantuvo competitivo con el SFT de 3 épocas, a pesar de que este último tuvo acceso a datos paralelos de destino durante el entrenamiento.

2. Patrón de Ganancia Empírica:
El estudio identificó un patrón consistente donde la magnitud de las ganancias es mayor donde:

• El rendimiento de la línea base es más débil.
• La discriminabilidad de la recompensa (la capacidad del modelo de recompensa para distinguir diferencias de calidad) es más alta.
  Este patrón se mantuvo tanto para idiomas de origen en inglés como en español, lo que sugiere que las ganancias están impulsadas por propiedades del idioma objetivo en lugar de dinámicas de entrenamiento específicas del origen.

3. Escalado de Modelos y Modos de Fallo:

• Escalado: El modelo de 1.3B generalmente superó al modelo de 600M, aunque algunos idiomas (por ejemplo, tibetano, yoruba) mostraron un "escalado inverso" donde el modelo más pequeño funcionó mejor, actuando potencialmente como un regularizador implícito contra señales de recompensa ruidosas.
• Árabe: Falló consistentemente en mejorar, atribuido a una línea base fuerte (dejando poco margen), morfología de patrones de raíz con la que COMET-Kiwi tiene dificultades para puntuar, y una discrepancia de dominio.
• Tibetano: Exhibió un colapso de la varianza de la recompensa en entrenamientos prolongados (Experimento B), donde las hipótesis convergieron a puntuaciones similares, causando inestabilidad numérica. Esto requirió la selección de la mejor comprobación para mitigarlo.

4. Accesibilidad Práctica:
La tubería completa se ejecuta en una sola GPU de 24 GB. Se identificó un umbral de fiabilidad para los datos de entrenamiento en aproximadamente 500 oraciones de origen; por debajo de este, ni GRPO ni SFT produjeron ganancias significativas. El enfoque exhibió un olvido catastrófico cero en idiomas retenidos (francés, hindi, ruso).

Significado y Afirmaciones

El artículo afirma demostrar un camino práctico para mejorar los modelos de TA Seq2Seq de grado de producción sin datos paralelos. Sus contribuciones principales son:

1. Viabilidad de RL sin Referencias en Arquitecturas Eficientes: Demostrar que GRPO puede ajustar finamente eficazmente modelos pequeños de codificador-decodificador (600M/1.3B) utilizando solo texto de origen monolingüe, haciendo que RL sea accesible para pares de idiomas de bajos recursos donde los grandes LLM decodificadores únicamente son poco prácticos.
2. Identificación de un Patrón Predictivo: Establecer que la utilidad del RL sin referencias no es uniforme sino predecible; es más efectiva para idiomas con líneas base débiles y alta discriminabilidad de recompensa. Esto ofrece una heurística para que los practicantes seleccionen idiomas donde es probable que este enfoque tenga éxito.
3. Competitividad con Métodos Supervisados: Demostrar que GRPO sin referencias puede igualar o superar el rendimiento del ajuste fino supervisado (SFT) en familias de idiomas específicas, incluso cuando el SFT tiene acceso a datos paralelos, destacando el potencial de la exploración guiada por recompensas en regímenes con escasez de datos.

Los autores permanecen modestos, señalando que los propios modelos de recompensa fueron preentrenados con datos paralelos, limitando el enfoque a "cero recursos" solo en la etapa de ajuste fino. También reconocen que los patrones observados requieren validación en una muestra de idiomas más grande y que la discriminabilidad de recompensa actual limita el techo de calidad para ciertos tipos morfológicos (por ejemplo, árabe).