ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection

Resumen Técnico: ExpLang

1. El Problema

Los Modelos de Razonamiento Grandes (LRMs) han demostrado capacidades excepcionales en tareas complejas tras el entrenamiento con Aprendizaje por Refuerzo (RL). Sin embargo, la investigación actual se centra casi exclusivamente en el razonamiento en inglés, asumiendo que es el idioma de mejor rendimiento debido a la dominancia de datos en inglés en el entrenamiento.

Esto genera dos limitaciones principales:

1. Pérdida de potencial multilingüe: Estudios recientes sugieren que el pensamiento en múltiples idiomas puede ampliar el espacio de exploración del modelo y ofrecer ventajas no explotadas, pero esto se ignora en favor del inglés.
2. Necesidad de usuarios globales: Los usuarios de todo el mundo requieren trazas de pensamiento (razonamiento) en sus idiomas nativos. Los métodos actuales para forzar un idioma (como "prefix-hacking") son inestables, o el ajuste fino (fine-tuning) multilingüe provoca una caída en el rendimiento general.

El objetivo es desarrollar un método que permita a los modelos explorar activamente diferentes idiomas durante el entrenamiento para mejorar el rendimiento global, y luego explotar las ventajas de esos idiomas, todo mientras mantienen una alta adherencia al idioma solicitado por el usuario.

2. Metodología: ExpLang

El authors proponen ExpLang, una nueva tubería de entrenamiento post-RL que introduce la selección de idioma de pensamiento en política (on-policy) como una acción más dentro del proceso de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR).

El proceso consta de tres bloques fundamentales:

• A. Generación de Datos Multilingües de Alta Calidad:

  • Utilizan un modelo maestro (Qwen3-32B) para generar trazas de pensamiento en 12 idiomas (6 europeos y 6 asiáticos) sobre problemas matemáticos en inglés.
  • Filtran los datos verificando la corrección de la respuesta y la detección del idioma, añadiendo una etiqueta de selección de idioma (<lang_select> [idioma] </lang_select>) antes del pensamiento.

• B. Inicio en Frío (Cold-Start) con SFT:

  • Realizan un Ajuste Fino Supervisado (SFT) utilizando LoRA (para evitar el olvido catastrófico) sobre el modelo base (Qwen3-4B).
  • El objetivo es que el modelo aprenda a obedecer las etiquetas de selección de idioma antes de entrar en la fase de RL.

• C. Entrenamiento RLVR con Selección de Idioma en Política:
  El entrenamiento de RL se divide en dos etapas con funciones de recompensa distintas:

  1. Etapa de Exploración (primer 25% de pasos):
     • Se recompensa la diversidad de idiomas (rd). Si un idioma está sub-representado en un lote, se le asigna una recompensa mayor.
     • Se desactiva la pérdida KL para permitir una mayor diversidad en las salidas.
     • Objetivo: Forzar al modelo a explorar espacios de razonamiento en idiomas no ingleses.
  2. Etapa de Explotación (restante 75% de pasos):
     • Se introduce una recompensa basada en Pass@k por idioma (rp). Si una respuesta en un idioma específico es correcta, todas las respuestas correctas en ese mismo idioma dentro del lote reciben recompensa.
     • Se reactiva la pérdida KL para estabilizar la convergencia.
     • Objetivo: Permitir que el modelo converja hacia los idiomas (o combinaciones) que generan el mejor rendimiento, aprovechando las ventajas descubiertas durante la exploración.

3. Contribuciones Clave

1. Selección de Idioma como Acción: Por primera vez, la selección del idioma de pensamiento se trata como una acción aprendida por el modelo durante el RL, en lugar de ser forzada externamente.
2. Pipeline Unificado: Logran simultáneamente:
   • Superar al entrenamiento solo en inglés con el mismo presupuesto.
   • Lograr una adherencia al idioma (compliance) casi perfecta en idiomas vistos y una buena generalización en idiomas no vistos.
   • Mejorar la eficiencia del proceso de RLVR.
3. Descubrimiento de Patrones de Aprendizaje: Revelan un patrón de evolución en la preferencia de idioma: "Inglés -> Multilingüe -> Inglés". El modelo explora activamente otros idiomas, descubre ventajas, y luego converge de nuevo al inglés (o un idioma dominante) porque ha aprendido a transferir el razonamiento mejorado desde otros idiomas hacia el inglés.

4. Resultados Experimentales

Los experimentos se realizaron con la familia de modelos Qwen3 (4B, 8B, 32B) en tareas de razonamiento matemático (MATH-500, AIME 2025, OlymMATH).

• Rendimiento General: ExpLang supera consistentemente a las líneas base (entrenamiento solo en inglés y líneas base controladas) en precisión (Accuracy) y Pass@k. Por ejemplo, en MATH-500, ExpLang alcanzó un 91.5% de precisión frente al 91.4% de la línea base naive, pero con una mejora significativa en la etapa de RL.
• Eficiencia: El modelo reduce la cantidad de tokens de pensamiento necesarios para resolver problemas sin sacrificar la precisión.
• Adherencia al Idioma (Compliance):
  • En idiomas vistos (entrenados), ExpLang logra una adherencia del 99.9%, superando ampliamente a las líneas base (que rondan el 66-78%).
  • En idiomas no vistos (no entrenados explícitamente), el modelo muestra una alta capacidad de generalización y adherencia, demostrando que el mecanismo de control de idioma es robusto.
• Análisis de Ventaja No Inglesa: El análisis de tasas de victoria/empate/derrota muestra que, aunque el inglés es dominante al final, el entrenamiento multilingüe permite "aprovechar" las respuestas correctas en otros idiomas para mejorar el razonamiento global, transfiriendo esa capacidad de vuelta al inglés.

5. Significado e Impacto

• Nueva Perspectiva en Multilingüismo: El trabajo desafía la noción de que el multilingüismo es una "maldición" para el rendimiento. Demuestra que la diversidad lingüística puede ser un motor para la exploración en RL, ampliando el espacio de búsqueda de soluciones.
• Equidad y Accesibilidad: Permite que los modelos de razonamiento de alto nivel operen nativamente en idiomas no ingleses, cumpliendo con las necesidades de usuarios globales sin sacrificar la calidad del razonamiento.
• Generalización Algorítmica: El método ExpLang es ortogonal a la mayoría de los algoritmos RL avanzados (como GRPO, Dr. GRPO, DAPO), lo que significa que puede integrarse fácilmente en futuras arquitecturas de entrenamiento de LLMs para mejorar tanto la exploración como la explotación.

En conclusión, ExpLang establece un nuevo estándar para el entrenamiento de modelos de razonamiento, demostrando que la gestión inteligente de la diversidad lingüística durante el aprendizaje por refuerzo conduce a modelos más capaces, eficientes y globalmente accesibles.