Resumen Técnico: CROCO – Ajuste de Preferencia Contrastiva Translingüística sobre Generaciones Propias

Declaración del Problema

Alinear los Modelos de Lenguaje Grande (LLM) con las preferencias humanas es una etapa final crítica del post-entrenamiento, típicamente lograda mediante Optimización de Preferencia Directa (DPO). Si bien avances recientes han demostrado que DPO puede aplicarse a muestras generadas por el propio modelo (utilizando un modelo de recompensa para puntuar las salidas de la política) en lugar de anotaciones humanas, estos métodos se han establecido exclusivamente en inglés.

Extender esto a un entorno multilingüe presenta desafíos significativos. El trabajo previo de alineación de preferencias multilingüe se basa en señales basadas en traducción, explota brechas de capacidad entre el inglés y otros idiomas como recompensas implícitas, o repondera las pérdidas para pares ruidosos. Sin embargo, sigue siendo una pregunta abierta si el mecanismo específico de ajuste de preferencia contrastiva sobre generaciones propias—donde los pares de preferencia se construyen basándose en puntuaciones de recompensa relativas dentro de una distribución—se transfiere entre idiomas sin anotaciones de preferencia específicas del idioma. Además, no está claro si un modelo de recompensa (RM) entrenado únicamente en preferencias en inglés puede clasificar eficazmente las respuestas en otros idiomas para impulsar la alineación multilingüe.

Metodología: CROCO

Los autores proponen CROCO (Ajuste de Preferencia Contrastiva Translingüística sobre Generaciones Propias), un marco que extiende la construcción de preferencias del "punto óptimo" (Xiao et al., 2025) a múltiples idiomas.

Mecanismo Central

1. Generación Propia: Para un prompt dado $x$ en un idioma objetivo $\ell$, el modelo de política $\pi_\theta$ genera $K$ respuestas candidatas ($Y_x$).
2. Puntuación de Recompensa: Un Modelo de Recompensa (RM) externo y listo para usar puntuó estas respuestas. Crucialmente, el RM está entrenado en preferencias en inglés pero construido sobre una base multilingüe (por ejemplo, Qwen3-8B).
3. Construcción de Pares Contrastivos: En lugar de emparejar la respuesta con la puntuación más alta con la absolutamente más baja, el método selecciona un "punto óptimo" para inducir una contrastividad controlada:
   • Elegida ($y_c$): La respuesta con la recompensa máxima.
   • Rechazada ($y_r$): La respuesta cuya recompensa está más cerca de $\mu_x - 2\sigma_x$ (donde $\mu$ y $\sigma$ son la media y la desviación estándar de la distribución de recompensas para ese prompt).
4. Entrenamiento: El modelo se ajusta finamente utilizando DPO sobre estos pares construidos. Los autores evalúan dos regímenes:
   • Monolingüe: Ajuste independiente sobre datos para cada idioma.
   • Multilingüe: Ajuste conjunto sobre la unión de datos de todos los idiomas.

Configuración Experimental

• Modelos: Se probaron dos modelos de diferentes escalas: EuroLLM-9B (9 mil millones de parámetros) y aya-3B (3 mil millones de parámetros).
• Datos: 20.000 instancias de ajuste de instrucciones del corpus Dolci-Instruct-SFT se tradujeron a seis idiomas europeos (danés, neerlandés, francés, alemán, italiano, español) utilizando TranslateGemma-27B.
• Modelo de Recompensa: Skywork-Reward-V2-Qwen3-8B, un RM entrenado en preferencias en inglés con una base multilingüe.
• Líneas Base: Ajuste Fino Supervisado (SFT) estándar sobre datos traducidos, SFT solo sobre las respuestas con mayor recompensa (Max-R), y métodos existentes de ajuste de preferencia multilingüe (ICR, MAPO).

Contribuciones Clave

1. Transferencia Translingüística del Ajuste Contrastivo: El documento demuestra que el ajuste de preferencia contrastiva sobre generaciones propias se transfiere eficazmente entre idiomas. DPO sobre pares de generaciones propias supera a las líneas base de SFT y a los métodos multilingües existentes, mientras que el SFT estándar sobre datos traducidos causa un olvido catastrófico.
2. Eliminación de la Anotación Específica del Idioma: El estudio muestra que el ajuste de preferencia multilingüe no requiere anotaciones de preferencia específicas del idioma. Un RM solo en inglés (sobre una base multilingüe) produce clasificaciones consistentes dentro del idioma que impulsan mejoras en la mayoría de los idiomas.
3. Robustez en Escalas y Tareas: El método mejora el rendimiento tanto en tareas estructuradas (EuroEval) como en generación abierta (m-ArenaHard 2.1). Iguala o supera al modelo base en 6/7 idiomas para EuroLLM-9B y en 4/7 para aya-3B en tareas estructuradas, y gana frente a la base en los 11 idiomas evaluados en generación abierta.
4. Insights de Ablación:
   • Necesidad de Datos On-Policy: Las ganancias requieren datos on-policy. Las respuestas off-policy (generadas por un modelo diferente) reducen los beneficios, y la optimización de preferencia en línea no logra mejorar sobre la variante fuera de línea al utilizar un RM externo.
   • Idioma del Prompt: El idioma del prompt debe coincidir con el idioma de la respuesta elegida para un rendimiento óptimo.
   • Utilidad de la Traducción: Mientras que el SFT se degrada con datos traducidos, la señal contrastiva en DPO sigue siendo informativa incluso cuando la traducción añade ruido, ya que depende de brechas de recompensa relativas en lugar de objetivos absolutos.

Resultados

• EuroEval (Tareas Estructuradas):
  • Fallo del SFT: Tanto el SFT monolingüe como el multilingüe sobre datos traducidos causaron un olvido catastrófico, con caídas de rendimiento que oscilaron entre 0,1 y 11,3 puntos.
  • Éxito del DPO: El DPO emparejado fue no negativo en 12/14 configuraciones para aya-3B y mejoró la línea base en 10/14 configuraciones para EuroLLM-9B. La mayor ganancia fue de +3,6 puntos para EuroLLM-9B en italiano (monolingüe).
  • Comparación: El DPO emparejado fue el único método que permaneció no negativo en promedio en todos los idiomas, superando a ICR y MAPO, que a menudo degradaron el rendimiento.
• m-ArenaHard 2.1 (Generación Abierta):
  • El DPO emparejado logró tasas de victoria controladas por longitud (LC) entre 54,5% y 58,4% frente a la base EuroLLM-9B en los 7 idiomas.
  • Para aya-3B, las tasas de victoria LC oscilaron entre 55,5% y 66,3%, con ganancias de dos dígitos en la mayoría de los idiomas.
  • El método redujo con éxito la brecha de rendimiento entre los modelos base y los modelos de referencia más grandes (Gemma3-12B y Gemma3-4B) en la mayoría de los idiomas.
• Generalización: El método se generalizó positivamente a idiomas retenidos (noruego, portugués, sueco) en EuroEval, mientras que el SFT multilingüe degradó el rendimiento en todos los conjuntos de datos retenidos.

Significado y Afirmaciones

El documento afirma que CROCO proporciona una dirección prometedora para el ajuste de preferencia multilingüe al demostrar que la brecha de recompensa relativa es una señal robusta que se transfiere entre idiomas, incluso cuando el modelo de recompensa se entrena exclusivamente en preferencias en inglés.

Los autores postulan que la dependencia del objetivo DPO del ordenamiento relativo de las respuestas emparejadas (en lugar de la calibración absoluta) le permite tolerar el ruido de la traducción y la mala calibración translingüística. Este hallazgo sugiere que se puede lograr una alineación multilingüe de alta calidad sin el costo prohibitivo de la anotación de preferencias por idioma, siempre que se utilicen generaciones propias on-policy para construir pares contrastivos.

El trabajo destaca que los datos on-policy son un componente crítico, ya que la señal contrastiva solo es informativa cuando las respuestas emparejadas provienen de la propia distribución de la política. Además, establece que el DPO fuera de línea con un modelo de recompensa fijo es superior al DPO en línea en este contexto, ya que este último crea un bucle de retroalimentación que amplifica los sesgos del modelo de recompensa en lugar de aprender preferencias genuinas.

En última instancia, el documento argumenta que un único modelo de recompensa entrenado en inglés, cuando se aplica a datos multilingües generados por el propio modelo mediante la construcción de pares contrastivos, es suficiente para impulsar mejoras consistentes en diversos idiomas y escalas de modelos, evitando el olvido catastrófico asociado con el ajuste fino supervisado estándar.