mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?

Resumen Técnico de mmPISA-bench: ¿Razonan los LLM con la misma eficacia en 43 idiomas?

Planteamiento del Problema
Aunque los Modelos de Lenguaje de Gran Tamaño (LLM) han demostrado sólidas capacidades de razonamiento, su rendimiento a través de diversos idiomas sigue sin explorarse suficientemente. El ecosistema actual de los LLM está predominantemente centrado en el inglés, enfrentando desafíos como la disponibilidad limitada de datos para muchos idiomas, un rendimiento desigual entre las comunidades lingüísticas y disparidades inducidas por la tokenización que afectan tanto la efectividad como el costo de inferencia. Los benchmarks existentes suelen depender de elementos traducidos por máquina o se centran en modalidades específicas, careciendo de una evaluación rigurosa y controlada de la estabilidad del razonamiento a través de un amplio espectro de idiomas utilizando traducciones de alta calidad validadas por humanos.

Metodología
Los autores presentan mmPISA-bench, un benchmark de razonamiento multilingüe compacto y de alta calidad derivado del Programa para la Evaluación Internacional de Estudiantes (PISA) de la OCDE.

• Construcción del Conjunto de Datos: El benchmark consta de 25 preguntas de opción múltiple que requieren razonamiento: 11 de PISA 2022 (Matemáticas) y 14 de PISA 2018 (Comprensión Lectora). Estos ítems fueron seleccionados bajo criterios estrictos: disponibilidad de traducciones humanas oficiales, dependencia exclusiva de texto (sin imágenes o elementos interactivos) y formato de opción múltiple.
• Cobertura Lingüística: El conjunto de datos cubre 43 idiomas. Para cada idioma, el dataset incluye tanto la traducción humana oficial como una contraparte traducida por máquina (usando Google Translate), lo que resulta en un total de 2,150 puntos de datos.
• Diseño Experimental: Se evaluaron dos LLM propietarios de vanguardia: GPT-5.1-2025-11-13 de OpenAI y Claude (Opus-4-5-20251101 y Haiku-4-5-20251001) de Anthropic. Los modelos fueron probados a través de cinco niveles de esfuerzo de razonamiento (ninguno, doble prompt, bajo, medio, alto) y dos tipos de traducción (humana vs. máquina). Cada configuración se repitió cinco veces para evaluar la estabilidad. La evaluación se realizó en un entorno de cero disparos (zero-shot) con prompts de sistema uniformes que imponen formatos de salida de opción múltiple.
• Métricas: El rendimiento se midió mediante la precisión, el uso de tokens (entrada y salida) y el costo de inferencia.

Contribuciones Clave

1. Dataset mmPISA-bench: El lanzamiento de un dataset de 2,150 ítems con 25 preguntas de razonamiento en 43 idiomas, que comprende tanto traducciones humanas oficiales como traducciones por máquina emparejadas. Esto permite una comparación directa con los estándares de desempeño de estudiantes de hace 15 años.
2. Análisis de Razonamiento Translingüístico: Una evaluación sistemática de la estabilidad del razonamiento de los LLM a través de 43 idiomas, yendo más allá del panorama de evaluación dominado por el inglés.
3. Validez de la Traducción Automática: Una investigación empírica sobre si las preguntas traducidas por máquina degradan el rendimiento del razonamiento en comparación con las traducciones humanas oficiales.
4. Análisis de la Relación Costo-Precisión: Un análisis detallado de cómo la tokenización y la longitud del razonamiento varían según el idioma, vinculando estos factores con los costos de inferencia y la precisión.

Resultos

• RQ1 (Consistencia): Los LLM modernos pueden razonar eficazmente en los 43 idiomas evaluados, logrando una precisión comparable a la de los examinados humanos. Aunque existen variaciones de rendimiento, estas son relativamente acotadas. Bajo un alto esfuerzo de razonamiento, Claude alcanzó una precisión perfecta (100%) en siete idiomas, mientras que GPT lo hizo en solo uno (alemán). GPT exhibió menos variabilidad entre idiomas que Claude, aunque Claude logró una mayor precisión promedio en general.
• RQ2 (Traducción Humana vs. Máquina): Las preguntas traducidas por máquina no degradaron la precisión en relación con las traducciones humanas oficiales; en varias configuraciones, las entradas traducidas por máquina produjeron una precisión marginalmente mayor. Esto sugiere que la traducción automática de alta calidad (datos sintéticos) es adecuada para evaluaciones de razonamiento multilingües a gran escala donde no hay traducciones oficiales disponibles.
• RQ3 (Longitud de Razonamiento y Costo):
  • Disparidades de Tokenización: Se observaron variaciones significativas en los conteos de tokens entre idiomas debido a las diferencias de tokenización.
  • Correlación Costo-Precisión: Se encontró una correlación negativa entre el costo y la precisión para ambos modelos. Los idiomas que fueron más costosos de procesar (debido a mayores conteos de tokens de entrada y/o trazas de razonamiento más largas) tendieron a producir una menor precisión.
  • Comportamiento de Razonamiento: Para Claude, hubo una fuerte correlación positiva entre los conteos de tokens de entrada y salida (0.950), lo que indica que las entradas más largas en ciertos idiomas provocaron trazas de razonamiento proporcionalmente más largas. GPT mostró una correlación más débil (0.334), sugiriendo que su longitud de razonamiento es menos dependiente de la longitud de la entrada.
  • Razonamiento Translingüístico: El análisis cualitativo reveló que los modelos a veces realizan el razonamiento en idiomas distintos al de la entrada o al inglés (por ejemplo, Claude razonando en ruso cuando se le solicita en kazajo), un fenómeno detectable solo con experiencia en la lengua nativa.

Significancia y Reivindicaciones
El artículo afirma que los principales LLM propietarios han alcanzado un nivel de robustez de razonamiento multilingüe que les permite desempeñarse de manera comparable a los estudiantes humanos en una amplia gama de idiomas. Sin embargo, los autores enfatizan que "razonar con la misma eficacia" es matizado: si bien la precisión es alta, la eficiencia y el costo del razonamiento varían sistemáticamente según el idioma.

El estudio destaca que algunos idiomas son simultáneamente más costosos y menos precisos, impulsados por la inflación de la tokenización y las estrategias de razonamiento específicas de cada lengua. En consecuencia, los autores argumentan que la evaluación multilingüe debe ir más allá de las métricas de precisión agregada para incluir el análisis de la longitud del razonamiento y el costo. Además, el hallazgo de que la traducción automática no degrada el desempeño respalda la escalabilidad de los benchmarks multilingües utilizando datos sintéticos, siempre que el material de origen sea de alta calidad. Finalmente, la observación de comportamientos de razonamiento translingüístico subraya la necesidad de contar con experiencia en lenguas nativas para evaluar los LLM, ya que las métricas agregadas pueden ocultar cambios lingüísticos internos complejos.