Resumen Técnico: Transferencia de Razonamiento Multilingüe Eficiente mediante la Alternancia de Código Progresiva (Progressive Code-Switching)

Planteamiento del Problema

Los Modelos de Razonamiento Grande (LRM, por sus siglas en inglés) como DeepSeek-R1 y Qwen3 han demostrado sólidas capacidades de razonamiento en inglés, aprovechando frecuentemente el Aprendizaje por Refuerzo con Recompensas Verificadas (RLVR) y procesos de Cadena de Pensamiento (CoT) extensos. Sin embargo, su rendimiento se degrada significativamente cuando se les requiere razonar en lenguas distintas al inglés. Al ser instados en un idioma objetivo, estos modelos suelen recurrir por defecto al razonamiento en inglés, lo que crea una discrepancia que socava la comprensibilidad y la confianza.

Los enfoques existentes para imponer la consistencia lingüística enfrentan limitaciones distintivas:

• Control de Prompt/Prefijo: A menudo poco fiables o comprometen la precisión en relación con el razonamiento en inglés.
• Ajuste Fino Supervisado (SFT): Limitado por la escasez de datos de razonamiento largo multilingües de alta calidad y propenso a introducir artefactos de repetición.
• Aprendizaje por Refuerzo (RL) con Recompensas Lingüísticas: Aunque incentiva la salida en el idioma objetivo, el rendimiento suele seguir siendo inferior al del razonamiento basado en inglés.
• Destilación: Los métodos de transferencia actuales suelen depender de trazas destiladas costosas de LRMs más fuertes o de la supervisión en línea de modelos jueces externos, los cuales son difíciles de escalar.

Metodología: Alternancia de Código Progresiva (PCS)

Los autores proponen PCS (Progressive Code-Switching), un marco de transferencia que requiere únicamente una traducción ligera y no necesita modelos docentes más fuertes ni jueces externos. La idea central es tratar la alternancia de código en el razonamiento (una mezcla de inglés y el idioma objetivo) como una etapa intermedia para la transferencia translingüe, en lugar de forzar un cambio abrupto hacia un razonamiento completo en el idioma objetivo.

El marco opera en tres etapas:

1. Definición del Razonamiento con Alternancia de Código

La alternancia de código en el razonamiento se define como un patrón alternante donde un subconjunto de los pasos de razonamiento en una traza en inglés se traduce al idioma objetivo. La lógica subyacente sigue siendo el razonamiento de alta calidad en inglés, pero la forma superficial cambia gradualmente.
Se define una métrica, Consistencia Lingüística a Nivel de Paso (SLC), para medir la proporción de pasos de razonamiento expresados en el idioma objetivo ($L$) frente al no objetivo ($\bar{L}$), excluyendo los pasos lingüísticamente agnósticos (por ejemplo, expresiones matemáticas puras).

2. Inicialización de Arranque en Frío (Cold-Start)

Para permitir que el modelo produzca trazas de alternancia de código sin necesidad de datos destilados en el idioma objetivo:

• Los autores toman trazas de razonamiento en inglés y traducen una fracción fija (30% en los experimentos) de los pasos de razonamiento al idioma objetivo.
• Estos ejemplos de alternancia de código se mezclan con datos de preguntas y respuestas estándar en inglés.
• El modelo base se somete a un Ajuste Fino Supervisado (SFT) sobre este conjunto de datos combinado. Este "arranque en frío" dota al modelo de la capacidad inicial para alternar idiomas dentro de una trayectoria de razonamiento.

3. Aprendizaje por Refuerzo (RL) Progresivo

Tras el arranque en frío, el modelo se somete a un entrenamiento de RL mediante un enfoque de aprendizaje por currículo:

• Diseño de Recompensa: El sistema de recompensa incluye penalizaciones por repetición y errores de formato, una recompensa de precisión y una Recompensa de Consistencia Lingüística a Nivel de Paso.
• Mecanismo de Currículo: En lugar de demandar inmediatamente una salida del 100% en el idioma objetivo, el sistema comienza con un umbral de SLC bajo ($\tau$).
  • El umbral $\tau$ se incrementa progresivamente (por ejemplo, del 10% al 95%) durante el entrenamiento.
  • La recompensa solo es positiva si el SLC(T, L) del modelo cumple con el umbral actual $\tau$.
  • Este esquema de "fácil a difícil" evita la inestabilidad y la degradación del rendimiento que suelen observarse al imponer restricciones lingüísticas estrictas de forma directa.
• Medidas de Estabilidad: Para evitar que la política se aleje demasiado del modelo de referencia (causando una alta divergencia KL), el modelo de referencia se reinicia al modelo de política actual cada vez que la pérdida KL supera un umbral (0.2).

Contribuciones Clave

1. Marco de Transferencia Eficiente: PCS elimina la necesidad de trazas de razonamiento destiladas en el idioma objetivo de modelos más fuertes o de modelos jueces externos, apoyándose en su lugar en la traducción ligera de las trazas existentes en inglés.
2. Currículo Progresivo: Al tratar la alternancia de código como una etapa de transición e incrementar progresivamente la proporción del idioma objetivo mediante un currículo, PCS proporciona una vía de transferencia suave que evita la inestabilidad de la imposición lingüística directa.
3. Consistencia a Nivel de Paso: A diferencia de las recompensas lingüísticas a nivel de respuesta, que pueden ser "hackeadas" (por ejemplo, insertando tokens del idioma objetivo mientras se razona en inglés), PCS impone la consistencia a nivel de paso, asegurando que la lógica del razonamiento mismo sea la que se transfiere.
4. Eficiencia de Recursos: El método evita la latencia y la carga computacional de los modelos jueces en línea requeridos por otros métodos de alineación translingüe.

Resultados Experimentales

Los autores evaluaron PCS en los benchmarks MMATH y MMLU-ProXmath utilizando arquitecturas base Qwen3-4B y Qwen3-8B en cinco lenguas tipológicamente diversas: francés, portugués, japonés, coreano y tailandés.

• Métrica Primaria (SLC&Acc): PCS alcanzó consistentemente el mayor rendimiento en la métrica combinada de Consistencia Lingüística a Nivel de Paso y Precisión (SLC&Acc), donde una respuesta debe ser tanto correcta como tener un $\ge 90\%$ de pasos en el idioma objetivo.
• Comparación con Baselines:
  • vs. Control de Inferencia: PCS superó significativamente a los métodos de Control de Prompt y Prefijo, los cuales fallaron en dirigir el razonamiento o perjudicaron severamente la precisión.
  • vs. SFT: PCS evitó los artefactos de repetición y las caídas de rendimiento observadas en los baselines de SFT (particularmente en japonés).
  • vs. Baselines de RL: PCS superó al RL Naive (que recayó en el inglés) y al SoftLC RL (que utilizó recompensas a nivel de respuesta).
  • vs. M-Thinker: PCS logró un rendimiento comparable o superior sin depender de un modelo juez más fuerte. Los autores señalan que M-Thinker, que utiliza un juez más fuerte para la alineación translingüe, es susceptible al "hackeo de recompensa", donde el modelo inserta tokens del idioma objetivo para pasar un detector mientras retiene la lógica de razonamiento en inglés/chino.
• Estudios de Ablación: Eliminar el currículo (usando una recompensa densa para SLC en lugar de un umbral progresivo) provocó aumentos rápidos de SLC pero degradó la precisión, confirmando la necesidad del programa de transferencia gradual.

Significado y Reivindicaciones

El artículo sostiene que PCS ofrece un camino estable y eficiente en recursos para la transferencia de razonamiento multilingüe. Al utilizar la alternancia de código como un puente, el método logra cerrar con éxito la brecha de rendimiento entre el razonamiento en inglés y el razonamiento en el idioma objetivo, manteniendo una precisión competitiva.

Los autores enfatizan que su enfoque:

• Evita el Hackeo de Recompensa: La restricción de consistencia a nivel de paso impide que los modelos manipulen los detectores lingüísticos a nivel de respuesta.
• Garantiza la Estabilidad: El currículo progresivo mitiga el compromiso entre la consistencia lingüística y la precisión del razonamiento, algo que suele observarse al presionar directamente a los modelos hacia el razonamiento completo en el idioma objetivo.
• Se Generaliza: El método funciona eficazmente a través de diversas familias lingüísticas sin requerir ajustes específicos de cada lengua o costosos procesos de destilación.

El estudio concluye que una transferencia de razonamiento multilingüe efectiva requiere un cambio gradual del lenguaje de razonamiento, y que PCS proporciona una solución práctica y escalable para lograrlo sin los altos costos de infraestructura de los métodos actuales de vanguardia.