Resumen Técnico: LANG – Aprendizaje por Refuerzo para el Razonamiento Multilingüe con Guía de Pistas Adaptativa al Idioma

1. Declaración del Problema

Si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha mejorado con éxito el razonamiento de múltiples pasos en Modelos de Lenguaje Grandes (LLM) para el inglés, estos beneficios no se han traducido completamente a contextos multilingües. Los modelos actuales enfrentan una compensación fundamental:

• Consistencia del Idioma vs. Calidad del Razonamiento: Constrain explícitamente a los modelos a razonar en el idioma de entrada a menudo conduce a una degradación significativa del rendimiento en entornos no ingleses, ya que las fuertes capacidades de razonamiento en inglés del modelo no se transfieren de manera fiable.
• Deriva del Idioma: Cuando se relajan las restricciones de idioma para preservar la calidad del razonamiento, los modelos a menudo derivan hacia el inglés, reduciendo la legibilidad y la interpretabilidad para los usuarios nativos.

Los enfoques existentes, como las restricciones basadas en prompts o la adición de recompensas de consistencia de idioma al RL, luchan contra la dispersión de recompensas. En escenarios multilingües, especialmente para idiomas de recursos bajos, las trayectorias que satisfacen restricciones estrictas de idioma y corrección son extremadamente escasas, lo que dificulta la exploración efectiva durante el entrenamiento.

2. Metodología: LANG

Los autores proponen LANG, un marco de RL guiado por pistas adaptativo al idioma diseñado para impulsar la exploración en tareas de razonamiento no ingleses mientras se previene la dependencia de ayudas externas. El marco consta de dos mecanismos centrales:

A. Decaimiento Programado de Pistas Multilingües

LANG utiliza pistas condicionadas al idioma (trazas de razonamiento parciales de un modelo tutor) para guiar al modelo estudiante durante las primeras etapas del entrenamiento. Para abordar el problema de la "dependencia de pistas" (donde los modelos no logran razonar de forma autónoma una vez que se eliminan las pistas), LANG emplea un programa de decaimiento de recalentamiento coseno.

• Mecanismo: En el paso de entrenamiento $t$, se inyecta un prefijo de la pista $h$ en el prompt. La proporción de la pista inyectada, $p_t^l$, sigue un programa coseno que comienza en 1.0 (guía completa) y decae suavemente hasta 0.0.
• Objetivo: Esto transiciona al modelo de despliegues condicionados a pistas hacia un razonamiento multilingüe autónomo, reduciendo la discrepancia entre entrenamiento e inferencia.

B. Conmutación Adaptativa al Idioma

Reconociendo que las dificultades de aprendizaje varían entre idiomas, LANG evita un único punto de conmutación global para eliminar las pistas. En su lugar, categoriza los idiomas en grupos de recursos (Alto, Medio, Bajo) y emplea una estrategia de conmutación dinámica.

• Mecanismo: El sistema monitorea una tasa de actualización efectiva ($\bar{u}_R(t)$), definida como la fracción de instancias en el lote de un grupo de idiomas que producen al menos una trayectoria con una ventaja positiva.
• Criterio de Conmutación: Cuando $\bar{u}_R(t)$ supera un umbral $\tau$, la inyección de pistas para ese grupo de idiomas específico se desactiva.
• Beneficio: Los idiomas de recursos bajos retienen las pistas por más tiempo para aliviar la dispersión de recompensas, mientras que los idiomas de recursos altos cambian al razonamiento autónomo antes, optimizando el ritmo de aprendizaje para la dificultad específica de cada idioma.

C. Optimización de la Política

El marco optimiza la política utilizando GRPO (Optimización de Política Relativa por Grupos). La función de recompensa es una conjunción de tres criterios:

1. Consistencia del Idioma ($R_{lc}$): La traza de razonamiento y la respuesta final deben coincidir con el idioma de entrada.
2. Formato ($R_{format}$): Uso correcto de etiquetas de pensamiento y respuestas encajonadas.
3. Precisión ($R_{acc}$): La respuesta final debe coincidir con la verdad fundamental.

3. Contribuciones Clave

• Marco Novel: Introducción de LANG, que aprovecha pistas condicionadas al idioma para impulsar la exploración en el razonamiento no inglés, abordando el problema de dispersión de recompensas inherente al RLVR multilingüe.
• Alineación Entrenamiento-Inferencia: El desarrollo de un programa progresivo de decaimiento de pistas y una conmutación adaptativa al idioma que mitigan eficazmente la discrepancia entre entrenamiento e inferencia, asegurando que los modelos puedan razonar de forma autónoma en el momento de la prueba sin depender de pistas.
• Validación Empírica: Experimentos extensos que demuestran que LANG mejora sustancialmente el rendimiento del razonamiento multilingüe sin comprometer la consistencia del idioma, superando tanto a las líneas base basadas en prompts como a las basadas en entrenamiento.
• Generalización: Evidencia de que el método se generaliza más allá del razonamiento matemático hacia otras tareas multilingües (por ejemplo, MMLU-ProX, XWinograd) y mantiene la consistencia del idioma a través de diferentes capas del modelo.

4. Resultados Experimentales

Los autores evaluaron LANG en dos benchmarks desafiantes: MMATH (10 idiomas) y PolyMath (18 idiomas), utilizando los modelos Qwen2.5 (3B, 7B, 32B) y Llama3.1-8B.

• Ganancias de Rendimiento: LANG superó significativamente a la línea base más fuerte (LC-GRPO). En el benchmark MMATH, mejoró la métrica de Consistencia del Idioma y Precisión (LC&Acc) en un 24.1% en promedio entre los modelos. En PolyMath, logró una mejora del 18.7%.
• Idiomas de Recursos Bajos: Las ganancias fueron particularmente pronunciadas para idiomas de recursos bajos. Por ejemplo, con Qwen2.5-7B, LANG mejoró la LC&Acc en un 39.0% en tailandés (MMATH) y en un 24.6% en vietnamita (PolyMath) en comparación con mGRPO.
• Generalización Fuera de Distribución: LANG demostró una fuerte generalización a idiomas fuera de dominio y diferentes escalas de modelos, mejorando consistentemente la LC&Acc sobre las líneas base.
• Análisis por Capas: El análisis de los estados ocultos intermedios reveló que LANG mantiene una alta consistencia del idioma a lo largo de las capas del modelo, previniendo el fenómeno de "conmutación de idioma entre capas" donde los modelos razonan en inglés y solo traducen en la salida.

5. Significado y Afirmaciones

El artículo afirma que LANG proporciona una solución robusta a la compensación entre la precisión del razonamiento y la consistencia del idioma en LLM multilingües. Al utilizar pistas como andamiaje temporal que se elimina progresivamente según el progreso de aprendizaje específico del idioma, el marco permite que los modelos internalicen patrones de razonamiento multilingüe.

Los autores enfatizan que su enfoque es agnóstico al tutor (funciona bien con pistas de diferentes modelos tutores) y robusto a la traducción (las ganancias se mantienen estables independientemente del modelo de traducción utilizado para la construcción de datos). Concluyen que LANG cierra eficazmente la brecha entre las capacidades de razonamiento centradas en el inglés y la necesidad de interpretabilidad en idioma nativo, fomentando una alineación de idioma más consistente a través de las capas del modelo sin sacrificar el rendimiento.

El trabajo reconoce limitaciones, señalando que actualmente depende de un único modelo tutor (DeepSeek-R1) para la generación de pistas y que las compensaciones de rendimiento entre idiomas pueden derivar de desequilibrios en los datos de pre-entrenamiento, sugiriendo trabajo futuro en estrategias centradas en los datos.