Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

Resumen Técnico: Consistencia Auto-Lingüística Translingüe para el Razonamiento Multilingüe con Modelos de Lenguaje

Planteamiento del Problema

A pesar de la creciente cobertura multilingüe de los Modelos de Lenguaje Grande (LLM), sus capacidades avanzadas de razonamiento permanecen fuertemente concentradas en lenguas de altos recursos, particularmente el inglés y el chino. Si bien los modelos pueden realizar tareas básicas en muchos idiomas, las tareas de razonamiento complejo (por ejemplo, problemas matemáticos de palabras) suelen fallar cuando se ejecutan en la lengua nativa de la consulta.

Las soluciones existentes intentan cerrar esta brecha mediante:

1. Razonar en inglés: Traducir la consulta de origen al inglés, razonar en inglés y traducir la respuesta de vuelta.
2. Aprendizaje Supervisado por Refuerzo (SFT): Entrenar con datos paralelos (preguntas traducidas y trazas de razonamiento).
3. Manipulación de Logits: Forzar la distribución de salida del modelo para imitar los patrones de razonamiento en inglés.

Estos enfoques sufren limitaciones significativas: dependen de datos de razonamiento paralelos de alta calidad que son escasos, dependen de la calidad de la traducción automática (lo que introduce ruido) y a menudo no logran generalizarse a lenguas o dominios no vistos. Además, las estrategias que fuerzan el razonamiento en inglés no mejoran necesariamente la capacidad intrínseca del modelo para razonar en la lengua de origen.

Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo (RL) no supervisado que mejora el razonamiento multilingüe mediante la imposición de la consistencia auto-lingüística translingüe. El principio central es que un modelo debe producir la misma respuesta final para problemas equivalentes planteados en diferentes idiomas, incluso sin acceso a etiquetas de verdad fundamental (ground-truth).

Componentes Clave:

1. Señal No Supervisada: El método requiere únicamente preguntas monolingües (específicamente inglés en los experimentos) para el entrenamiento. No requiere respuestas de oro ni trazas de razonamiento paralelas preexistentes.
2. Auto-Traducción: Para generar entradas paralelas, el propio modelo traduce las preguntas de entrenamiento en inglés a las lenguas de destino. Aunque es ruidoso, este enfoque es escalable y evita la inyección de conocimiento externo de motores de traducción de terceros.
3. Función de Recompensa (RL):
   • El marco extiende la consistencia auto-lingüe monolingüe (que minimiza la entropía de la distribución de respuestas) a un entorno multilingüe.
   • En lugar de minimizar la entropía dentro de un solo idioma, el método minimiza la entropía cruzada entre la distribución de respuestas de un idioma específico ($\hat{p}_\pi$) y una distribución objetivo ($\hat{q}_\pi$) derivada de otros idiomas.
   • Estrategias de Distribución Objetivo: Los autores exploran tres formas de definir $\hat{q}_\pi$:
     • Lengua de Origen: Equivalente a la consistencia auto-lingüe monolingüe estándar.
     • Lengua de Referencia (Inglés): Alinea todos los idiomas con la distribución del inglés (actuando como destilación translingüe).
     • Combinada: Promedia las distribuciones de respuestas a través de todos los idiomas. Esta variante se utiliza como el método principal, optimizando directamente la consistencia en todo el conjunto de idiomas.
4. Algoritmo de Entrenamiento: Los autores utilizan GRPO (Group Relative Policy Optimization) con el backend VeRL. La recompensa se calcula basándose en la consistencia de las respuestas finales a través de las trayectorias muestreadas en diferentes idiomas.

Contribuciones Clave

• Marco Novedoso: El primer enfoque de RL no supervisado para mejorar el razonamiento multilingüe mediante la imposición explícita de la consistencia auto-lingüística translingüe sin requerir datos paralelos o etiquetas de verdad fundamental.
• Escalabilidad: El método es práctico para escenarios donde los datos de razonamiento multilingüe no están disponibles, aprovechando las propias capacidades de traducción del modelo para crear señales de entrenamiento.
• Generalización: El enfoque demuestra una fuerte generalización a lenguas no vistas y dominios fuera de la distribución (OOD), abordando la escasez de conjuntos de datos de razonamiento multilingüe de alta calidad.

Resultados Experimentales

El método fue evaluado en el benchmark MGSM (10 idiomas) y tres benchmarks OOD (mGPQA, MMATH, PolyMath) utilizando modelos Qwen2.5 (1.5B, 7B, 14B) y Llama3 (8B).

• Ganancias de Rendimiento:
  • En MGSM, el método logró mejoras de precisión promedio de 7.8% (1.5B), 15.1% (7B) y 21.7% (14B) sobre los modelos originales.
  • Se observaron ganancias en casi todos los idiomas, con algunos idiomas de bajos recursos (por ejemplo, ruso, telugu) viendo mejoras relativas superiores al 100%.
  • El método superó a los baselines anteriores, incluyendo el escalado en tiempo de prueba (S1) y los métodos basados en DPO (LIDR), particularmente en términos de eficiencia de tokens. Mientras que S1 logró resultados competitivos, requirió aproximadamente 3 veces más tokens para trazas de razonamiento más largas.
• Generalización:
  • Lenguas No Vistas: Al ser entrenado en un subconjunto de lenguas, el modelo mostró una mejora media del 18.2% en lenguas no vistas dentro de MGSM.
  • Benchmarks OOD: El método produjo ganancias promedio de 4.7% en mGPQA y 6.2% en MMATH, superando a LIDR, el cual causó degradación de rendimiento en tareas OOD.
• Consistencia: El análisis confirmó que el método mejoró significamente tanto la consistencia monolingüe como la translingüe. Los modelos entrenados con este método alcanzaron un rendimiento cercano al pico con menos muestras (Maj@8) en comparación con los baselines, indicando una optimización eficiente del cómputo de inferencia.
• Niveles de Recursos: El método redujo significativamente la brecha de rendimiento entre el inglés y otros idiomas, particularmente en los niveles de altos y medios recursos, aunque los idiomas de bajos recursos aún rezagaban debido a los límites de competencia del modelo subyacente.

Significancia y Afirmaciones

El artículo afirma que los métodos basados en consistencia ofrecen una vía viable para mejorar las capacidades multilingües de los LLM sin el costo prohibitivo de la anotación de datos supervisados.

• Equidad y Robustez: Al estrechar la brecha de rendimiento entre lenguas de altos y bajos recursos, el método avanza en la equidad y robustez de los LLM a través de diferentes contextos lingüísticos.
• Mejora Intrínseca: A diferencia de las estrategias de "traducir al inglés" que dependen del inglés como proxy, este método mejora la capacidad intrínseca del modelo para razonar en la lengua de origen.
• Practicidad: La dependencia de la auto-traducción y los datos monolingües hace que el enfoque sea altamente escalable y aplicable a dominios donde los datos de razonamiento multilingüe son inexistentes.

Los autores concluyen que, si bien el método depende de las escalas de modelos actuales (sub-20B) y enfrenta limitaciones respecto a la disponibilidad de benchmarks de bajos recursos, este allana el camino para mejorar el rendimiento del razonamiento multilingüe a escala sin anotación de datos adicionales. Se sugiere como trabajo futuro explorar tareas no verificables y arquitecturas de modelos más grandes.