💬 NLP

MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

Este artículo presenta MGSM-Pro, una extensión multilingüe del benchmark GSM-Symbolic que evalúa la robustez del razonamiento matemático en nueve idiomas mediante la generación de múltiples instancias con variaciones de dígitos, revelando caídas significativas en el rendimiento en idiomas de recursos limitados y una resiliencia variable de los modelos ante dichas perturbaciones.

Autores originales: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un profesor dando un examen de matemáticas a una clase de estudiantes de diferentes países. Quieres ver quién es realmente bueno en matemáticas y quién solo está memorizando las respuestas de un libro de ejercicios.

Este artículo presenta una nueva y más rigurosa forma de evaluar los Modelos de Lenguaje Grandes (IA) en problemas de matemáticas, llamada MGSM-Pro. Aquí está la historia de lo que descubrieron, explicada de manera sencilla.

El Problema: La Trampa del "Libro de Ejercicios"

Durante mucho tiempo, los modelos de IA han ido mejorando en la resolución de problemas de matemáticas verbales. Pero los investigadores notaron algo sospechoso: la IA podría no estar realmente "pensando" a través de las matemáticas. En cambio, podría estar memorizando detalles específicos de las preguntas del examen que vio durante el entrenamiento.

Piénsalo como un estudiante que memoriza la respuesta a un problema verbal específico: "Si Juan tiene 5 manzanas y compra 3 más...". El estudiante sabe que la respuesta es 8. Pero si cambias la pregunta a "Si Sara tiene 5 naranjas y compra 3 más...", el estudiante que solo memorizó la primera podría confundirse.

Recientemente, los investigadores descubrieron que incluso en inglés, si cambias ligeramente los nombres o los números en un problema de matemáticas, muchos modelos de IA fallan. Se dieron cuenta de que las pruebas antiguas eran demasiado fáciles porque no verificaban si la IA podía manejar estos pequeños cambios.

La Solución: MGSM-Pro (La Prueba de "Barajar")

Los autores crearon un nuevo conjunto de datos llamado MGSM-Pro. Tomaron 250 problemas de matemáticas y los convirtieron en 1,240 problemas (5 versiones de cada uno).

Lo hicieron barajando la baraja:

Cambiar Nombres: Sustituir "Juan" por "Zainabu" o "Carla".
Cambiar Números: Sustituir "5 manzanas" por "7 manzanas".
Añadir Distracciones: Añadir una frase que suena importante pero que en realidad es sin sentido (como "El cielo es azul, así que Juan compró 5 manzanas").

Lo hicieron en nueve idiomas diferentes, que van desde los más hablados como el inglés y el chino hasta idiomas con menos recursos digitales como el suajili, el yoruba y el igbo.

El Gran Descubrimiento: La Lucha de los "Bajos Recursos"

Cuando realizaron las pruebas, encontraron una brecha masiva entre los idiomas de "Altos Recursos" (como el inglés) y los idiomas de "Bajos Recursos" (como el twi o el igbo).

Los Estudiantes de Altos Recursos: Cuando cambiaron los nombres o los números en inglés o chino, los modelos de IA bajaron un poco su puntuación, pero se mantuvieron mayormente en la pista. Eran como un estudiante que realmente entendía el concepto matemático.
Los Estudiantes de Bajos Recursos: Cuando hicieron el mismo barajado para idiomas como el twi o el igbo, los modelos de IA colapsaron. Sus puntuaciones se desplomaron. Fue como si el estudiante de repente olvidara cómo contar porque el profesor usó un nombre diferente para la fruta.

La Analogía: Imagina un estudiante que es genial en matemáticas en inglés pero terrible en matemáticas en su idioma nativo. Cuando el profesor hace una pregunta en inglés con un giro, el estudiante la resuelve. Pero cuando el profesor hace la exacta misma pregunta con giro en el idioma nativo del estudiante, el estudiante se congela. El artículo descubrió que los modelos de IA hacen lo mismo: son mucho menos "robustos" (confiables) en idiomas para los cuales no han visto tantos datos.

¿Quién Aprobó y Quién Reprobó?

El artículo probó muchos modelos de IA diferentes (algunos creados por grandes empresas tecnológicas, otros de código abierto).

Los Robustos: Modelos más nuevos e inteligentes como Gemini 3.0 Pro y GPT-OSS 120B manejaron bien los cambios. No entraron en pánico cuando cambiaron los números o los nombres.
Los Frágiles: Modelos más antiguos o más pequeños (como Gemma 3 4B o Llama 3) se desmoronaron. No pudieron manejar el "giro".
El Mito del Tamaño: Podrías pensar que un cerebro más grande (más parámetros) siempre significa un estudiante más inteligente. El artículo descubrió que esto no es cierto. A veces un modelo enorme falló miserablemente, mientras que uno ligeramente más pequeño tuvo éxito. No se trata solo del tamaño; se trata de cómo se entrenó el modelo.

La Lección: No Solo Evaluar Una Vez

La conclusión más importante es sobre cómo deberíamos evaluar la IA en el futuro.

Actualmente, muchas tablas de clasificación (rankings de las mejores IAs) evalúan un modelo en solo una versión de un problema. Los autores dicen que esto es como darle a un estudiante una sola pregunta de práctica y llamarlo genio si la responde correctamente.

Su Recomendación: Para saber realmente si una IA es buena en matemáticas, debes evaluarla en al menos cinco versiones diferentes del mismo problema (cambiando los nombres y los números). Si la IA acierta las cinco, entonces es realmente inteligente. Si solo acierta la primera, solo está memorizando.

Resumen

El artículo argumenta que debemos dejar de tratar a la IA como si fuera perfecta solo porque pasa las pruebas fáciles. Al barajar los nombres y los números en problemas de matemáticas a través de diferentes idiomas, demostraron que:

La IA es mucho más débil en idiomas con menos datos digitales.
Muchas clasificaciones actuales son engañosas porque no prueban este "barajado".
Para obtener una imagen real de las habilidades matemáticas de una IA, debemos evaluarla en múltiples variaciones del mismo problema, no solo en una.

Aquí se presenta un resumen técnico detallado del artículo "MGSM-Pro: Una estrategia simple para la evaluación robusta del razonamiento matemático multilingüe".

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grande (LLM) han logrado avances significativos en el razonamiento matemático, la evaluación en entornos multilingües va por detrás del inglés tanto en dificultad como en actualidad. Las evaluaciones multilingües existentes (por ejemplo, MGSM) a menudo dependen de traducciones estáticas de problemas en inglés, lo que las hace susceptibles a:

Memorización: Los modelos pueden sobreajustarse a instancias de prueba específicas en lugar de aprender un razonamiento general.
Falta de Robustez: Los modelos pueden fallar cuando se presentan variaciones menores (por ejemplo, números o nombres diferentes) del mismo problema lógico.
Disparidad de Recursos: Los idiomas de recursos bajos (LRL) están subrepresentados y a menudo muestran un rendimiento inferior, pero no está claro si esto se debe a una falta de capacidad aritmética o a una pobre robustez lingüística.

Trabajos recientes en inglés (GSM-Symbolic) demostraron que los modelos exhiben una alta varianza cuando la misma pregunta se instancia con diferentes nombres y dígitos. Sin embargo, este fenómeno no había sido explorado sistemáticamente en diversos entornos multilingües.

2. Metodología: Creación de MGSM-Pro

Los autores introducen MGSM-Pro, una extensión robusta del conjunto de datos MGSM diseñada para evaluar el razonamiento matemático multilingüe bajo condiciones variables. El proceso de creación implica dos etapas principales:

A. Construcción de Plantillas

Fuente: Basada en 248 preguntas del conjunto de datos MGSM original en inglés (excluyendo 2 preguntas sin dígitos).
Plantillas Simbólicas: Los autores adoptaron el marco GSM-Symbolic para crear plantillas donde los nombres y los dígitos se reemplazan por marcadores de posición (por ejemplo, {name_male}, {num_digit}).
Contexto Irrelevante (IC): Siguiendo la metodología GSM-IC, se insertan oraciones irrelevantes en el texto del problema para probar la capacidad del modelo de filtrar ruido.
Traducción y Verificación: Las plantillas se tradujeron a nueve idiomas utilizando un LLM (Gemini 2.0 Flash) y luego se verificaron rigurosamente por hablantes nativos. Esto aseguró la relevancia cultural (por ejemplo, reemplazar "Carla" con "Zainabu" para el swahili) y la alineación correcta de los marcadores de posición.

B. Variaciones del Conjunto de Datos

El conjunto de datos genera cinco instancias distintas por pregunta original, organizadas en dos series:

Serie Simbólica (SYM):
- SYM_N: Cambia solo los nombres.
- SYM_#: Cambia solo los dígitos.
- SYM_N#: Cambia tanto nombres como dígitos.
Serie de Contexto Irrelevante (IC):
- IC_N, IC_#, IC_N#: Refleja las variaciones de SYM pero incluye una oración irrelevante insertada.

Idiomas Cubiertos: Nueve idiomas tipológicamente diversos categorizados por niveles de recursos (Clase Joshi):

Recursos Altos (HRL): Inglés, chino, francés, japonés.
Recursos Bajos (LRL): Swahili, amárico, igbo, yoruba, twi.

3. Configuración Experimental

Modelos Evaluados: 18 LLM, incluyendo modelos propietarios (Gemini 2.5/3.0 Flash, Gemini 3.0 Pro, Claude 4 Sonnet, GPT-4.1, GPT-5) y modelos de código abierto (Gemma 3, Qwen 3/3.5, DeepSeek V3, GPT-OSS, Llama 3).
Protocolo de Evaluación: Inferencia zero-shot. Se pidió a los modelos que razonaran en inglés (CoT), pero también se probaron en modo "Resolución Nativa" para modelos seleccionados para verificar la dependencia del idioma.
Métricas: Precisión en el conjunto de datos original (DO) frente a la precisión promedio en 5 o 10 instancias distintas (Avg-5, Avg-10).

4. Resultados Clave

A. Caída de Rendimiento en Variaciones

La Variación de Dígitos es Crítica: Cambiar los nombres (SYM_N) causa una pérdida mínima de rendimiento. Sin embargo, cambiar los dígitos (SYM_#), especialmente cuando se combina con contexto irrelevante (IC_#), provoca una caída masiva en la precisión para todos los modelos.
La "Penalización de Recursos Bajos": Los LRL sufren significativamente más que los HRL.
- Ejemplo: En twi (LRL), los modelos de código abierto vieron una caída mediana de precisión de -13.5%, mientras que el chino (HRL) vio solo -4.2%.
- Ejemplo: Gemini 2.5 Flash bajó del 3.º al 7.º lugar en las clasificaciones cuando se evaluó en 5 instancias en lugar de 1.

B. Tendencias de Robustez del Modelo

Propietario vs. Abierto: Los modelos propietarios más nuevos (Gemini 3.0 Pro) mostraron mayor robustez ante cambios de dígitos en comparación con modelos más antiguos. Entre los modelos de código abierto, GPT-OSS 120B y DeepSeek V3 demostraron una robustez superior en comparación con modelos más pequeños como Gemma 3 4B.
El Tamaño No es una Garantía: El tamaño de los parámetros del modelo no se correlaciona linealmente con la robustez.
- En la familia Gemma, el deterioro del rendimiento empeoró a medida que aumentaba el tamaño del modelo (4B $\to$ 27B).
- En la familia GPT-OSS, los modelos más grandes fueron más robustos.
Idioma vs. Aritmética: El análisis de errores reveló que para los LRL, el modo de fallo principal es el malentendido lingüístico (por ejemplo, no poder analizar la estructura del problema), lo que deriva en errores lógicos. Las tasas de error puramente aritmético se mantuvieron relativamente estables entre los idiomas, lo que sugiere que el cuello de botella es la comprensión del idioma, no el cálculo.

C. Inestabilidad de la Clasificación

Las clasificaciones basadas en una sola instancia (práctica estándar de las clasificaciones) son altamente inestables. Cuando se promedian sobre 5 instancias, el orden relativo de los modelos cambia drásticamente, particularmente para los LRL.

5. Contribuciones Clave

Conjunto de Datos MGSM-Pro: Una nueva evaluación que expande MGSM por 5 veces (de 250 a 1,240 preguntas por idioma) con variaciones sistemáticas en nombres, dígitos y contexto en 9 idiomas.
Evidencia Empírica de la Fragilidad Multilingüe: Demostró que los LLM son significativamente menos robustos en Idiomas de Recursos Bajos cuando se enfrentan a variaciones de dígitos, una brecha no capturada por las evaluaciones estándar.
Recomendación Metodológica: Propuso que la evaluación del razonamiento matemático debe exigir al menos 5 instancias con variación de dígitos por problema para obtener una evaluación realista de las capacidades de razonamiento, alejándose de las pruebas de instancia única.
Perspectiva sobre el Entrenamiento: Destacó que la robustez es probablemente una función de las recetas de entrenamiento y la calidad de los datos, y no solo de la escala del modelo.

6. Importancia

Este artículo desafía la validez de las evaluaciones matemáticas multilingües actuales. Argumenta que las puntuaciones altas en conjuntos de datos estáticos pueden reflejar memorización u sobre-optimización en lugar de un razonamiento verdadero. Al introducir MGSM-Pro, los autores proporcionan una herramienta para:

Identificar modelos que comprenden genuinamente la lógica matemática frente a aquellos que dependen de la coincidencia de patrones.
Destacar la vulnerabilidad específica de los modelos de Idiomas de Recursos Bajos, instando a la comunidad a centrarse en mejorar la robustez lingüística junto con la capacidad aritmética.
Estandarizar las prácticas de evaluación para asegurar que las clasificaciones reflejen un rendimiento estable y robusto, y no la suerte en un conjunto específico de números.

Los autores concluyen que, para que un modelo sea considerado verdaderamente capaz en matemáticas multilingües, debe mantener la precisión incluso cuando se alteran las características superficiales (nombres, números, contexto) de un problema.