IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) tienen dificultades con el razonamiento matemático complejo, particularmente en escenarios multilingües y de recursos limitados (por ejemplo, idiomas indios como el hindi y el marathi). Los paradigmas de entrenamiento existentes enfrentan dos limitaciones principales:

• Escasez de Recompensas: El entrenamiento que recompensa únicamente la respuesta final falla al supervisar los pasos intermedios del razonamiento, lo que conduce a cadenas de lógica alucinatorias.
• Brechas en el Currículo: El aprendizaje de currículo estándar (progresar de problemas fáciles a difíciles) a menudo falla al capturar dónde se rompe el razonamiento. Por el contrario, los métodos de refuerzo a nivel de paso (como el Currículo Inverso) a menudo carecen de programación de dificultad, lo que conduce a un aprendizaje inestable con recompensas escasas.
• Transferencia Multilingüe: Los idiomas de recursos limitados a menudo carecen de datos suficientes para sostener independientemente un razonamiento de alta calidad, y la traducción directa de trazas de razonamiento a menudo degrada la coherencia.

2. Metodología: El Marco IRIS

Los autores proponen IRIS (Refuerzo Entrelazado con Currículo Progresivo Incremental), un marco de entrenamiento de dos ejes diseñado para desacoplar la adquisición de habilidades del refinamiento del razonamiento.

A. El Currículo de Dos Ejes

1. Eje Vertical (Currículo a Nivel de Problema):

   • Objetivo: Aumentar gradualmente la dificultad de la tarea.
   • Proceso: El modelo se somete a Ajuste Fino Supervisado (SFT) en etapas: Fácil $\to$ Fácil+Medio $\to$ Fácil+Medio+Difícil.
   • Mecanismo: El modelo aprende trazas completas de razonamiento para problemas de complejidad creciente, estableciendo una línea base de patrones de razonamiento antes de que comience el aprendizaje por refuerzo.

2. Eje Horizontal (Currículo de Continuación a Nivel de Paso):

   • Objetivo: Reducir la dependencia de los prefijos de razonamiento proporcionados y fomentar la planificación independiente.
   • Proceso: Un enfoque de Currículo Inverso. Para un problema con $n$ pasos, el modelo se entrena en $n-1$ etapas.
     • Etapa 0 (Más fácil): Se le da al modelo $n-2$ pasos y debe generar solo los últimos 2 pasos.
     • Etapa $k$: Se le da al modelo $n-k-2$ pasos y debe generar el resto.
     • Etapa $n-2$ (Más difícil): Se le da al modelo solo la pregunta y debe generar la solución completa desde cero.
   • Mecanismo: Esto obliga al modelo a transitar de completar cadenas parciales a generar trayectorias completas de razonamiento.

B. Diseño de Recompensa Compuesta (RLVR)

Para optimizar el Eje Horizontal, los autores utilizan Optimización de Política Relativa por Grupos (GRPO) con una nueva función de recompensa compuesta $R_k$:
$$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$$

• Correctitud ($r_{final}$): Recompensa binaria (+2) por coincidencia exacta de la respuesta.
• Alineación de Coseno ($r_{cos}$): Mide la similitud semántica entre el sufijo generado y los pasos de razonamiento de la verdad fundamental. Crucialmente, este peso $\lambda_k$ decae linealmente a medida que avanza la etapa del currículo. Actúa como un estabilizador en las etapas tempranas pero se elimina en las etapas difíciles para fomentar caminos de razonamiento diversos y válidos.
• Continuidad ($r_{cont}$): Recompensa la numeración correcta de pasos y el flujo lógico (por ejemplo, continuar desde donde el prefijo lo dejó).
• Incentivo Entero ($r_{int}$): Pequeña bonificación por producir salidas numéricas.

C. Estrategia Multilingüe: El Inglés como Ancla de Razonamiento

El marco introduce una configuración de entrenamiento bilingüe (por ejemplo, Inglés + Hindi).

• Hipótesis: El inglés actúa como un "ancla de razonamiento". Dado que el inglés tiene datos de razonamiento de alta calidad, estabiliza la dinámica de aprendizaje.
• Mecanismo: El modelo aprende la lógica del razonamiento a partir del inglés y transfiere esta capacidad a idiomas de recursos limitados (hindi/marathi), que se centran principalmente en expresar esa lógica en un nuevo guion. Los experimentos muestran que incluso una mezcla del 20% de inglés previene significativamente el estancamiento de recompensas en el entrenamiento monolingüe de recursos limitados.

3. Contribuciones Clave

1. Marco IRIS: Un nuevo currículo de dos ejes que combina SFT basado en dificultad (Vertical) con RL de pasos inversos (Horizontal) para estabilizar el razonamiento de largo alcance.
2. Función de Recompensa Compuesta: Una señal de recompensa multi-componente que equilibra la correctitud de la respuesta con la alineación paso a paso y la continuidad estructural, optimizada mediante GRPO.
3. Dataset CL-Math: Un nuevo dataset multilingüe de 29k ejemplos que contiene problemas matemáticos con anotaciones a nivel de paso en inglés, hindi y marathi. Incluye 2.184 ejemplos fáciles, 2.212 medios y 5.588 difíciles por idioma, con divisiones estrictas de entrenamiento/prueba para prevenir la fuga de datos.
4. Insights Multilingües: Evidencia empírica de que el entrenamiento bilingüe (Inglés + Recursos Limitados) actúa como un regularizador necesario, permitiendo un post-entrenamiento por RL estable donde los enfoques monolingües fallan.

4. Resultados

Los autores evaluaron IRIS en los modelos Qwen2.5-Math-7B y WizardMath-7B.

• Rendimiento en CL-Math:
  • IRIS mejoró la precisión del razonamiento hasta en un +15.8% en los problemas más difíciles en hindi en comparación con las líneas base.
  • Los entornos bilingües (Inglés-Hindi/Marathi) mostraron ganancias sustanciales sobre los entornos monolingües, confirmando la hipótesis del "ancla de razonamiento".
• Generalización a Puntos de Referencia Estándar:
  • SVAMP: 90.6% (vs. 70.4% base).
  • GSM8K: 83.9% (vs. 70.6% base).
  • MATH: 64.6% (vs. 29.5% base).
  • IRIS superó a otros modelos especializados de 7B (MetaMath, DeepSeek-Math) y se acercó al rendimiento de GPT-4 en puntos de referencia específicos.
• Estudios de Ablación:
  • Eliminar el calentamiento SFT vertical o la progresión del currículo degradó significativamente el rendimiento.
  • Simplificar la recompensa a solo correctitud redujo la precisión, destacando la importancia de la estructura de recompensa compuesta.
  • Una mezcla del 20% de inglés en el entrenamiento en marathi produjo el mejor equilibrio, actuando como regularizador.

5. Significado e Impacto

• Cerrando la Brecha de Recursos Limitados: IRIS demuestra una vía práctica para mejorar el razonamiento matemático en idiomas subrepresentados (hindi, marathi) aprovechando datos de inglés de alto recurso sin requerir conjuntos de datos nativos masivos.
• RL Estable para Razonamiento: La combinación de currículos escalonados y recompensas de alineación decrecientes resuelve los problemas de inestabilidad comunes en el Aprendizaje por Refuerzo para tareas de razonamiento, permitiendo que los modelos aprendan lógica compleja y multi-paso sin colapsar.
• Ciencia Abierta: La liberación de CL-Math y el código proporciona un recurso crítico para que la comunidad investigue aún más el razonamiento multilingüe y el aprendizaje de currículos.
• Alineación Cognitiva: El marco refleja el desarrollo cognitivo humano (aprender la estructura primero, luego escalar la complejidad), ofreciendo un paradigma de entrenamiento más robusto que la optimización de caja negra de extremo a extremo.

En conclusión, IRIS establece que el diseño de currículo estructurado combinado con refuerzo entrelazado es una estrategia altamente efectiva para desbloquear capacidades de razonamiento profundo en modelos de lenguaje pequeños, particularmente en contextos multilingües.