mAceReason-Math: A Dataset of High-Quality Multilingual Math Problems Ready For RLVR

El artículo presenta mAceReason-Math, un conjunto de datos multilingüe de alta calidad con más de 10.000 problemas matemáticos desafiantes en 14 idiomas, diseñado específicamente para impulsar la investigación y el aprendizaje por refuerzo con recompensas verificables (RLVR) en modelos de lenguaje más allá del ámbito anglosajón.

Lo esencial

¡Claro que sí! Imagina que los modelos de inteligencia artificial (como los chatbots avanzados) son como estudiantes geniales que acaban de terminar la escuela primaria. Son muy inteligentes, pero si solo les enseñas matemáticas en inglés, solo pueden resolver problemas en ese idioma.

Este paper (documento de investigación) presenta un proyecto llamado mAceReason-Math, que es básicamente una biblioteca de ejercicios de matemáticas de alto nivel traducida a 14 idiomas diferentes.

Aquí te lo explico con una analogía sencilla:

1. El Problema: La "Barrera del Idioma" en la Escuela de IA

Hasta ahora, para entrenar a estas IAs para que sean genios en lógica y matemáticas, los científicos usaban un método especial llamado RLVR (aprendizaje con recompensas verificables). Es como un entrenador que le da un problema al alumno, el alumno intenta resolverlo, y si acierta, recibe una "recompensa" (un punto).

• La situación actual: Todos los libros de texto y exámenes de este "entrenamiento de élite" estaban escritos solo en inglés.
• El resultado: Los modelos de IA que hablan otros idiomas (como español, chino o alemán) se quedaban atrás porque no tenían material de entrenamiento adecuado en su propia lengua. Era como intentar enseñar a un niño a jugar al fútbol usando un manual escrito en un idioma que no entiende.

2. La Solución: El "Gran Traductor" de Problemas Difíciles

Los autores crearon mAceReason-Math. No es solo traducir cualquier cosa; es traducir problemas matemáticos muy difíciles (del nivel de olimpiadas o exámenes universitarios) que ya existían en inglés.

• La Metáfora: Imagina que tienes una caja de herramientas de alta precisión (los problemas difíciles). Antes, solo había instrucciones en inglés. Ahora, han creado manuales idénticos en 14 idiomas diferentes, asegurándose de que las herramientas funcionen igual de bien en cada idioma.

3. ¿Cómo lo hicieron? (El Proceso de "Limpieza y Traducción")

No fue tan simple como usar un traductor automático y listo. Hubo tres pasos clave:

1. La Limpieza (El Filtro): Antes de traducir, revisaron los problemas originales. Muchos tenían "basura": enlaces rotos a imágenes que no existían, respuestas escritas dentro de la pregunta (¡spoilers!), o instrucciones extrañas.

   • Analogía: Es como antes de cocinar un banquete, tienes que tirar las verduras podridas y quitar las etiquetas de los envases para que el plato se vea limpio.

2. La Traducción Híbrida (El Equipo): Usaron una IA muy avanzada (como un traductor experto) para hacer el trabajo pesado, pero no se confiaron ciegamente.

   • Analogía: Imagina que un robot escribe el borrador del libro, pero luego un equipo de nativos expertos (matemáticos y hablantes nativos de cada idioma) revisa cada página. Si el robot tradujo mal un término matemático (por ejemplo, confundir "sucesión" con "secuencia" en alemán), los humanos lo corrigen.

3. El Control de Calidad: Se aseguraron de que los números y las fórmulas no se rompieran. En matemáticas, un punto o una coma mal puesta cambia todo el significado.

   • Analogía: Es como asegurar que, al traducir una receta, si en inglés dice "1 taza", en alemán no diga "100 gramos" por error, sino que mantenga la medida correcta pero adaptada al formato local.

4. ¿Qué tienen ahora? (El Regalo para la Comunidad)

Han liberado este dataset (conjunto de datos) para que cualquiera pueda usarlo. Tienen:

• Más de 140,000 problemas traducidos.
• 14 idiomas (desde el inglés y español hasta el japonés, ruso, tailandés, e incluso lenguas como el swahili y el telugu).
• Un "Set Paralelo": 7,620 problemas que son exactamente los mismos en los 14 idiomas. Esto es crucial para comparar: "¿Es la IA igual de buena resolviendo el mismo problema en chino que en inglés?".

5. ¿Por qué es importante?

Antes, si querías entrenar a una IA para que fuera un genio en matemáticas en español, no tenías datos suficientes. Ahora, con mAceReason-Math, los investigadores pueden:

• Entrenar modelos que piensen y razonen matemáticamente en cualquier idioma.
• Verificar si la inteligencia matemática es universal o si depende del idioma.
• Crear asistentes virtuales que ayuden a estudiantes de todo el mundo a resolver problemas complejos en su propia lengua materna.

En resumen:
Este paper es como abrir las puertas de una escuela de matemáticas de élite para estudiantes de todo el mundo, asegurándose de que cada uno tenga sus libros de texto en su propio idioma, perfectamente traducidos y sin errores, para que todos tengan la misma oportunidad de convertirse en genios.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "mAceReason-Math: A Dataset of High-quality Multilingual Math Problems", estructurado según los puntos solicitados:

1. El Problema

El aprendizaje por refuerzo con recompensas verificables (RLVR, por sus siglas en inglés) ha demostrado ser fundamental para mejorar las capacidades de los Modelos de Lenguaje Grandes (LLM) en razonamiento matemático y lógico. Sin embargo, existe una brecha significativa:

• Dominio del Inglés: Los conjuntos de datos de entrenamiento y los benchmarks actuales para RLVR (como AceReason-Math, DAPO-Math-17k o POLARIS-53k) son casi exclusivamente en inglés.
• Inadecuación de Datos Existentes: Aunque existen datasets multilingües anteriores, su nivel de dificultad es demasiado bajo para los modelos actuales de vanguardia y no fueron diseñados específicamente para el paradigma de RLVR.
• Falta de Escala: Los intentos recientes de crear datasets multilingües difíciles tienen un tamaño muy limitado (menos de 600 muestras por idioma), lo que impide estudios de entrenamiento robustos con GRPO (Optimización de Política Relativa de Grupo) en múltiples idiomas.

2. Metodología

Los autores proponen mAceReason-Math, un dataset de alta calidad creado a partir de una traducción y limpieza rigurosa de AceReason-Math. El proceso se divide en tres etapas principales:

A. Limpieza de Datos Base (Cleaning)

Se realizó una inspección manual y automatizada de las muestras originales en inglés para identificar y corregir problemas:

• Problemas Críticos (~4%): Se eliminaron muestras con soluciones filtradas en la pregunta, referencias a contenido externo no disponible (imágenes, diagramas), preguntas mal planteadas ("¿Cómo puedes...?" con respuestas numéricas simples) o problemas en idiomas distintos al inglés.
• Problemas Salvables (~11%): Se corrigieron anotaciones de tareas (ej. "Tarea 5.4"), errores de formato LaTeX, y artefactos de instrucciones de LLM. Se utilizó un pipeline híbrido con expresiones regulares y un LLM (Claude Sonnet 4) para limpiar el texto antes de la traducción.

B. Pipeline de Traducción Híbrido

Dado el costo prohibitivo de la traducción humana a gran escala, se empleó una estrategia escalable:

1. Traducción Inicial: Uso de LLMs (Claude Sonnet 4) con prompts específicos para preservar la precisión matemática, el formato LaTeX y la notación, mientras se adaptaba la sintaxis natural y el formato de números a la convención local (ej. uso de comas vs. puntos decimales).
2. Revisión Humana Inicial: Se evaluaron 100 muestras por idioma con hablantes nativos para refinar los prompts.
3. Refinamiento Iterativo: Se implementó un bucle de mejora donde las traducciones se califican automáticamente y, si se detectan errores, se solicitan correcciones al LLM (hasta 5 iteraciones).
4. Validación Humana Final: Un subconjunto de prueba (190 muestras) fue revisado exhaustivamente por hablantes nativos. Se utilizó MathJax para renderizar las fórmulas matemáticas, facilitando la revisión. Se filtraron sugerencias de los anotadores que carecían de rigor matemático (ej. preferencia de términos literales sobre términos técnicos correctos).

C. Estructura del Dataset

• Idiomas: 14 idiomas (Inglés, Alemán, Francés, Español, Italiano, Portugués, Ruso, Japonés, Coreano, Tailandés, Chino, Swahili, Telugu, Bengali).
• División de Datos:
  • Split Paralelo: 7,620 muestras por idioma (disponibles en todos los 14 idiomas) para entrenamiento y evaluación comparativa estricta.
  • Split Completo: Entre 10,270 y 12,245 muestras por idioma (incluyendo traducciones no paralelas).
  • Set de Prueba: 190 muestras validadas por humanos.

3. Contribuciones Clave

• mAceReason-Math: El primer dataset a gran escala (más de 140,000 muestras totales) de problemas matemáticos difíciles y limpios, diseñado específicamente para RLVR en 14 idiomas.
• Pipeline de Calidad: Una metodología reproducible que combina limpieza programática, traducción asistida por LLM y validación humana selectiva para garantizar la fidelidad matemática y lingüística.
• Recursos Abiertos: Liberación del dataset completo, incluyendo los splits paralelos y las herramientas de evaluación, para fomentar la investigación en RLVR multilingüe.

4. Resultados y Evaluación

Los autores evaluaron varios modelos de vanguardia (tanto de peso abierto como cerrados) en el set de prueba paralelo:

• Rendimiento General: Se observó una correlación clara entre el tamaño del modelo y el rendimiento. Los modelos más grandes (ej. gpt-oss-20b, DeepSeek-R1-Distill-7B) superaron consistentemente a los más pequeños.
• Disparidad Lingüística: Se detectaron diferencias significativas en el rendimiento entre idiomas, especialmente en modelos de peso abierto. Por ejemplo, el modelo SmolLM3-3B mostró un rendimiento muy bajo en idiomas como Telugu y Swahili en comparación con el inglés.
• Modelos Cerrados: Modelos como Gemini 2.5 Flash y Claude Sonnet 4.5 mostraron un rendimiento alto y consistente (alrededor del 75-81% de precisión) en la mayoría de los idiomas, aunque con caídas notables en idiomas de recursos bajos.
• Transferencia Cross-Lingual: Los modelos Qwen3 (especialmente las versiones de razonamiento) lograron un rendimiento excepcional (hasta ~91% en varios idiomas), sugiriendo una fuerte transferencia de capacidades de resolución de problemas matemáticos entre idiomas durante el entrenamiento.

5. Significancia

• Habilitador de Investigación: El dataset elimina la barrera del inglés para el entrenamiento de RLVR, permitiendo a la comunidad investigar cómo la exposición a datos multilingües afecta la capacidad de razonamiento lógico-matemático.
• Benchmarking Estándar: Proporciona un benchmark estandarizado y de alta dificultad para evaluar la capacidad de los LLMs en contextos multilingües, más allá de los datasets existentes que son demasiado fáciles.
• Validación de Paradigmas: Permite estudiar si las mejoras obtenidas mediante RLVR en inglés se generalizan a otros idiomas o si se requieren estrategias de entrenamiento específicas para cada lengua.
• Limitaciones: Los autores reconocen que, a pesar de la validación humana, pueden persistir errores residuales de traducción o formato, y que la cobertura de hablantes nativos para idiomas como Swahili, Telugu y Bengali fue limitada debido a la disponibilidad de anotadores.

En resumen, mAceReason-Math es un recurso crítico para avanzar hacia modelos de IA verdaderamente multilingües y capaces de razonamiento complejo, cerrando la brecha entre la investigación en inglés y el resto del mundo.