Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models

Título: Cuando las recompensas verificables cambian el idioma: Colapso multilingüe en la Cadena de Pensamiento (CoT)

1. Planteamiento del Problema

El aprendizaje por refuerzo con recompensas verificables (RLVR), específicamente mediante algoritmos como la Optimización de Política Relativa de Grupo (GRPO), ha demostrado ser extremadamente efectivo para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grande (LLMs) en tareas complejas como matemáticas y codificación. Sin embargo, los autores identifican un fenómeno empírico crítico y no caracterizado previamente: el Colapso Multilingüe (Cross-lingual Collapse).

• El Fenómeno: Cuando se entrena un modelo multilingüe con RLVR para razonar en un idioma objetivo (ej. ucraniano, coreano, tailandés) utilizando datos traducidos, la cadena de pensamiento (CoT) del modelo tiende a desviarse sistemáticamente hacia su idioma dominante de pre-entrenamiento (generalmente inglés), incluso cuando el prompt de entrada está en el idioma objetivo.
• La Paradoja: A medida que el modelo mejora su precisión en la tarea (resuelve más problemas correctamente), su fidelidad lingüística disminuye drásticamente. El modelo "traiciona" el idioma objetivo para acceder a los patrones de razonamiento más robustos y de mayor rendimiento almacenados en su pre-entrenamiento en inglés.
• El Riesgo: Esto compromete la interpretabilidad, la auditoría y la utilidad educativa en contextos no anglófonos, ya que el proceso de razonamiento interno ya no es comprensible para el usuario final en su idioma nativo.

2. Metodología

Los autores diseñaron un marco experimental riguroso para cuantificar y analizar este fenómeno:

• Modelos Base: Se utilizaron modelos con diferentes sesgos lingüísticos:
  • Dominantes en inglés: OLMo-2-1B.
  • Multilingües (menos dominantes en inglés): Llama-3.2-3B y Qwen-2.5-1.5B.
• Entrenamiento (RLVR): Se aplicó el algoritmo GRPO sobre conjuntos de datos matemáticos (GSM8K y subsets de SimpleRL-Zoo) traducidos a cinco idiomas objetivo: Chino (ZH), Coreano (KO), Ucraniano (UK), Tailandés (TH) y Japonés (JA).
• Métricas de Evaluación:
  • Precisión (Accuracy): Tasa de aciertos en problemas matemáticos.
  • Ratio de Palabras del Idioma Objetivo (Target WR): Porcentaje de tokens en el idioma objetivo dentro de la cadena de pensamiento.
  • Ratio de Palabras en Inglés (EN WR): Porcentaje de tokens en inglés dentro de la cadena.
• Análisis de Desencadenantes: Se varió la dificultad de las tareas (mezclando GSM8K con problemas más difíciles de SimpleRL-Zoo) y se ajustaron parámetros de decodificación (temperatura, top-p) para observar cómo afectan al colapso.
• Estrategias de Mitigación: Se probaron tres intervenciones:
  1. Recompensa de Consistencia Lingüística: Añadir una penalización/recompensa auxiliar basada en el ratio de palabras del idioma objetivo.
  2. Control de Muestreo (Rollout): Restringir la entropía durante la generación (bajar temperatura/top-p) para evitar trayectorias en inglés.
  3. Entrenamiento Multilingüe: Mezclar datos de varios idiomas durante el entrenamiento con GRPO.

3. Contribuciones Clave

1. Formalización del "Colapso Multilingüe": Definen y operacionalizan el fenómeno como una correlación inversa entre el aumento de la precisión y la caída de la fidelidad lingüística en modelos entrenados con RLVR.
2. Identificación de Mecanismos y Amplificadores:
   • Demuestran que la dificultad de la tarea acelera el colapso: problemas más difíciles empujan al modelo a buscar la ruta de razonamiento más eficiente (inglés).
   • La alta entropía en la decodificación facilita que el modelo "descubra" y refuerce trayectorias en inglés durante la exploración.
   • Los modelos con pre-entrenamiento dominado por inglés colapsan más rápido y severamente.
3. Evidencia de un Compromiso (Trade-off) Persistente: Muestran que las intervenciones para evitar el colapso (recompensas lingüísticas, control de muestreo) logran mantener el idioma objetivo, pero a costa de una reducción significativa en la precisión de la tarea. No existe una solución "talla única" que maximice ambos simultáneamente.

4. Resultados Principales

• Desviación Sistemática: En modelos como OLMo-2 y Llama-3.2 entrenados en ucraniano o tailandés, el ratio de palabras en inglés (EN WR) en la cadena de pensamiento saltó de ~10% a >90% a medida que la precisión aumentaba.
• Impacto de la Dificultad: Un modelo que mantenía fidelidad en GSM8K (problemas fáciles) colapsó completamente al inglés al introducir problemas más difíciles (SimpleRL-Zoo), con una caída del ratio de palabras en coreano del 94% al 14.5%, mientras la precisión subía.
• Generalización: El fenómeno no se limita a matemáticas; se observó también en tareas de conocimiento general (Global MMLU-Lite), indicando que es un efecto general del dominio.
• Efecto de las Mitigaciones:
  • Recompensa de Consistencia: Mantuvo el idioma objetivo (WR ~80%) pero redujo la precisión en ~7-9 puntos porcentuales.
  • Control de Entropía: Reducir la temperatura evitó el colapso, pero también suprimió la exploración necesaria para el razonamiento complejo, bajando la precisión.
  • Entrenamiento Multilingüe: Mezclar idiomas restauró parcialmente la fidelidad, pero con una penalización de rendimiento aún mayor.
• Análisis de Consistencia: En modelos colapsados, la mayoría de los problemas resueltos en el idioma objetivo lo eran porque el modelo estaba razonando internamente en inglés. La precisión en el idioma objetivo era, en realidad, una proyección de su capacidad en inglés.

5. Significado e Implicaciones

• Limitación Fundamental del RLVR: El artículo sugiere que el RLVR, al optimizar estrictamente por la recompensa de respuesta correcta, explota los "atajos" cognitivos del modelo (el inglés) en detrimento de la fidelidad lingüística.
• Necesidad de Pre-entrenamiento Equilibrado: Para mantener la fidelidad en cadenas de pensamiento largas, es crucial que los modelos base tengan una distribución de pre-entrenamiento más equilibrada entre idiomas, no solo dominada por inglés.
• Dilema Ético y Práctico: Existe una tensión inherente entre la precisión y la interpretabilidad local. Si priorizamos la precisión máxima en tareas complejas, los modelos podrían dejar de razonar en el idioma del usuario, lo cual es problemático para aplicaciones educativas, legales o de auditoría en contextos multilingües.
• Futuro de la Investigación: Se propone explorar mecanismos de exploración que mantengan la amplitud semántica pero restrinjan la forma superficial al idioma objetivo, o el uso de razonamiento latente con resúmenes en el idioma objetivo, para equilibrar el rendimiento y la fidelidad.

En conclusión, el paper advierte que el avance en el razonamiento de los LLMs mediante RLVR conlleva un riesgo oculto de "colonización lingüística" del proceso de pensamiento, donde el inglés se convierte en el idioma universal de la lógica interna, erosionando la capacidad de los modelos para operar auténticamente en idiomas de recursos bajos o medios.