Mind the Gap... or Not? How Translation Errors and Evaluation Details Skew Multilingual Results

Problema
Los modelos de lenguaje de gran tamaño (LLM) recientes han demostrado capacidades impresionantes en entornos multilingües, soportando tanto lenguas de altos recursos como de bajos recursos. Sin embargo, las evaluaciones en benchmarks estandarizados, específicamente en el conjunto de datos Multilingual Grade School Math (MGSM), han mostrado consistentemente una brecha de rendimiento significativa entre el inglés y otros idiomas. Las observaciones iniciales sugirieron que los modelos funcionan bien en inglés pero tienen dificultades significativas en idiomas como el francés, el suajili y el telugu, incluso para lenguas de altos recursos. Este fenómeno llevó a la hipótesis de que los LLM carecen de una verdadera capacidad de generalización translingüe. El artículo argumenta que estas conclusiones pueden estar sesgadas no por limitaciones inherentes del modelo, sino por problemas de calidad de datos dentro del benchmark y prácticas de evaluación no estandarizadas.

Metodología
Los autores realizaron una reevaluación exhaustiva del benchmark MGSM utilizando un conjunto diverso de LLMs, incluyendo modelos de código abierto (Gemma 3, DeepSeek V3) y sistemas propietarios (Gemini, Claude, GPT). El estudio siguió un enfoque de tres fases:

1. Replicación de la línea base: Los autores primero replicaron experimentos previos utilizando el conjunto de datos MGSM original y el método estándar de extracción de respuestas (una expresión regular basada en el código de inicio del benchmark de Kaggle). Esto estableció el "análisis inicial" que muestra una gran brecha de rendimiento translingüe.
2. Auditoría de Datos y Evaluación: Los autores realizaron una auditoría detallada, manual y semiautomática del conjunto de datos y del flujo de evaluación. Identificaron dos fuentes primarias de error:
   • Errores de Traducción y Formulación: Errores sutiles de traducción en los idiomas de destino (por ejemplo, cambiar "martes" por "jueves" o alterar multiplicadores de precios) y ambigüedades en las preguntas originales en inglés (por ejemplo, falta de especificaciones de unidades).
   • Defectos en la Extracción de Respuestas: El método de extracción estándar no tuvo en cuenta las convenciones de formato regionales, como el uso de puntos para separadores de miles y comas para decimales en francés y alemán, o el uso de sistemas numéricos nativos (por ejemplo, numerales bengalíes) en lugar de dígitos arábigos.
3. Corrección y Reevaluación: Los autores crearon una versión corregida del conjunto de datos MGSM (MGSM-Rev2) corrigiendo los errores de traducción, aclarando preguntas ambiguas y estandarizando el texto fuente en inglés. También implementaron un método de extracción de respuestas mejorado y consciente del idioma que maneja diversos formatos numéricos y mapea los numerales nativos a dígitos arábigos. Posteriormente, volvieron a ejecutar los experimentos en este corpus corregido.

Contribuciones Clave

• Identificación de Errores Sistémicos: El artículo revela que el benchmark MGSM contiene numerosas inexactitudes de traducción y desajustes de formato que afectan desproporcionadamente los resultados de evaluación no ingleses.
• Garantía de Calidad Semiautomática: Los autores proponen un método escalable y semiautomático para identificar preguntas problemáticas aprovechando LLMs potentes para detectar inconsistencias en la traducción y la capacidad de resolución.
• Protocolo de Extracción Estandarizado: El artículo destaca la necesidad crítica de reglas de extracción de respuestas específicas para cada idioma para manejar los formatos numéricos regionales y los sistemas de numeración, proporcionando una función de extracción más robusta.
• Lanzamiento de Conjunto de Datos Corregido: Los autores lanzan el conjunto de datos MGSM corregido (MGSM-Rev2) a la comunidad de investigación para facilitar evaluaciones futuras más precisas.

Resultados
La reevaluación arrojó resultados que contrastan drásticamente con el análisis inicial:

• Desaparición de la Brecha: Tras corregir los datos y mejorar la extracción de respuestas, la brecha de rendimiento entre el inglés y otros idiomas desapareció en gran medida para los modelos de última generación. Por ejemplo, la diferencia de rendimiento para el francés cayó de una pérdida del 17.6% a solo un 1.2% para GPT5.
• Mejoras Específicas:
  • Francés: Un simple ajuste a la expresión regular para acomodar el formato numérico francés produjo una mejora del 10% para GPT5.
  • Bengalí: Convertir los numerales nativos bengalíes a equivalentes arábigos en la salida del modelo condujo a un aumento dramático de la precisión para Gemma 27B, subiendo del 45.2% al 91.2%.
  • Tendencia General: Para los modelos más fuertes (por ejemplo, Gemini 2.5 Pro, GPT5, Claude Sonnet), la disparidad translingüe se volvió insignificante (diferencias máximas de 1.2% a 2.0%).
• Brechas Remanentes: Persistieron pequeñas brechas de rendimiento en modelos más pequeños o débiles (por ejemplo, Gemma 12B, GPT Nano), lo que sugiere que, si bien la calidad de los datos fue el principal cuello de botella para los modelos fuertes, los modelos más débiles pueden seguir enfrentando limitaciones en el razonamiento translingüe o en la exposición de datos de preentrenamiento.

Significancia
El artículo sirve como un llamado a la acción crítico para la comunidad de investigación respecto al rigor de la evaluación multilingüe. Demuestra que las brechas de rendimiento observadas en los LLM pueden ser artefactos de la mala calidad de los datos de prueba y de la metodología de evaluación, en lugar de deficiencias genuinas del modelo. Los autores enfatizan que las conclusiones extraídas de "solo reportar números" sin un análisis profundo de la configuración de la prueba pueden ser engañosas. Al corregir estos problemas, el artículo sugiere que los LLM actuales poseen un grado mucho mayor de capacidad de generalización translingüe de lo que se creía anteriormente. El trabajo subraya la necesidad de asegurar datos de prueba de alta calidad y protocolos de evaluación estandarizados, especialmente a medida que los LLM generan cada vez más los datos utilizados para entrenar y evaluar futuros modelos. Los autores concluyen que, si bien el benchmark MGSM puede estar saturado para los modelos de primer nivel, sigue siendo una herramienta valiosa para probar modelos más pequeños, siempre que la configuración de la evaluación esté meticulosamente controlada.