MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese

1. Planteamiento del Problema

El panorama actual de la evaluación de Modelos de Lenguaje Grande (LLM) para el razonamiento matemático está fuertemente sesgado hacia el inglés. Los benchmarks existentes (por ejemplo, MATH, MathVista, MathBench) son exclusivamente en inglés o dependen de traducciones de conjuntos de datos en inglés. Esto crea un sesgo lingüístico, dificultando determinar si las capacidades de razonamiento matemático se transfieren genuinamente entre idiomas o si los modelos simplemente están explotando patrones específicos del inglés. Además, los benchmarks existentes de PLN en portugués se centran en tareas generales, toxicidad o razonamiento de sentido común, dejando un vacío completo en la evaluación del razonamiento matemático para ambas variantes del portugués: europeo (pt-PT) y brasileño (pt-BR).

2. Metodología

Creación del Conjunto de Datos (MATH-PT)

Los autores curaron un nuevo conjunto de datos que comprende 1.729 problemas matemáticos obtenidos íntegramente de competiciones y exámenes nativos en portugués, evitando artefactos de traducción.

• Fuentes:
  • Portugués Europeo (pt-PT): Obtenido de la Olimpiada Matemática Portuguesa (OPM). El conjunto de datos incluye archivos fuente LaTeX directamente de los organizadores de la competición, abarcando los años académicos 1997–2025.
  • Portugués Brasileño (pt-BR): Obtenido de las principales competiciones nacionales, incluidas OBMEP (Escuelas Públicas), OMIF (Instituciones Federales), ELLM e ITA (Instituto de Aeronáutica). Dado que no estaban disponibles fuentes LaTeX para estas, los autores desarrollaron una pipeline de extracción automática utilizando gpt-5-mini para analizar PDFs, segmentar preguntas y reconstruir representaciones JSON estructuradas con notación matemática LaTeX.
• Estructura:
  • Niveles: Cubre desde el 5.º grado hasta el preuniversitario (Niveles 1–5).
  • Tipos de Pregunta: Incluye tanto preguntas de Opción Múltiple (MC) como de Respuesta Abierta (OE).
  • Elementos Visuales: Un subconjunto significativo (316 preguntas) contiene figuras (geometría, diagramas). Para pt-PT, se conserva el código LaTeX original (utilizando picture, PStricks, array). Para pt-BR, se descartaron imágenes complejas si no podían representarse fiablemente en texto/LaTeX, mientras que se conservaron tablas simples.
• Estadísticas: El conjunto de datos contiene 1.057 preguntas de MC y 672 preguntas de OE.

Protocolo de Evaluación

• Modelos Probados: 13 LLMs de vanguardia y de código abierto, incluidos modelos cerrados (GPT-5, Gemini 2.5 Flash, Claude Haiku 4.5) y modelos de pesos abiertos (serie Qwen3, Gemma3, LLaMa3, DeepSeek).
• Estrategia de Prompting:
  • Configuración Zero-shot: No se proporcionaron ejemplos de cadena de pensamiento ni few-shot.
  • Especificidad Lingüística: Los prompts se adaptaron al dialecto específico (pt-PT vs. pt-BR).
  • Restricciones de Salida: Se instruyó a los modelos para que emitieran la respuesta final dentro del comando \boxed{}. Para MC, solo se requería la letra de la opción (A–E); para OE, el resultado numérico/algebraico.
• Puntuación:
  • MC: Coincidencia exacta de la letra extraída frente a la verdad fundamental.
  • OE: Se utilizó un juez LLM (Kimi K2 Thinking) para comparar la respuesta final del modelo frente a la solución dorada, verificando la equivalencia matemática en lugar de la coincidencia exacta de cadenas.

3. Contribuciones Clave

1. Primer Benchmark Nativo en Portugués: Introducción de MATH-PT, el primer conjunto de datos para razonamiento matemático curado nativamente tanto en portugués europeo como brasileño, abarcando una amplia gama de niveles de dificultad.
2. Evaluación Exhaustiva: Evaluación de 13 modelos de última generación, proporcionando el primer análisis comparativo de cómo los modelos de vanguardia y de pesos abiertos se desempeñan en tareas matemáticas en portugués.
3. Perspectivas Empíricas: Identificación de modos de fallo específicos, particularmente la brecha de rendimiento entre preguntas de MC y OE, y la degradación significativa del rendimiento cuando intervienen elementos visuales (figuras).

4. Resultados Clave

Rendimiento General

• Modelos de Vanguardia vs. Abiertos: Los modelos de vanguardia (GPT-5, Gemini 2.5 Flash, Claude Haiku 4.5, Qwen3-235B) superan significativamente a los modelos de tamaño mediano y de pesos abiertos. GPT-5 logró la mayor precisión en casi todas las configuraciones.
• Escalado de Código Abierto: La familia Qwen3 mostró fuertes propiedades de escalado, con el modelo de 235B parámetros desempeñándose al nivel de los modelos propietarios cerrados. Por el contrario, Llama-3.3-70B y Gemma-3-27B mostraron capacidades limitadas de razonamiento matemático.

Tipo de Pregunta y Dificultad

• Brecha MC vs. OE: Todos los modelos se desempeñaron significativamente mejor en preguntas de Opción Múltiple que en preguntas de Respuesta Abierta. Esta brecha se amplió en niveles de mayor dificultad (a menudo superando 10–20 puntos porcentuales).
  • Observación: Los modelos de vanguardia (como GPT-5) mantuvieron una brecha MC-OE más pequeña, indicando un razonamiento más estable, mientras que los modelos de rango medio sufrieron grandes caídas en el rendimiento de OE.
• Niveles de Dificultad: La precisión generalmente disminuyó a medida que aumentaba el nivel escolar. Mientras que GPT-5 y Qwen3-235B permanecieron robustos en el Nivel 5 (preuniversitario), otros modelos mostraron descensos pronunciados.

Impacto de los Elementos Visuales (Figuras)

• Caída del Rendimiento: La presencia de figuras (diagramas geométricos, tablas) introdujo un "pico de dificultad".
  • El rendimiento en preguntas con figuras cayó entre 10 y 20 puntos incluso para modelos de vanguardia.
  • Los baselines más débiles sufrieron caídas de hasta 56 puntos.
  • Esto sugiere que el razonamiento multimodal (interpretar datos visuales representados mediante código LaTeX) sigue siendo un cuello de botella crítico, incluso para modelos de solo texto que pueden analizar el código.

Diferencias Dialectales

• El conjunto de datos reveló variaciones en el rendimiento entre pt-PT y pt-BR, aunque el principal impulsor de la varianza fue el tipo de pregunta (MC vs. OE) y el contenido visual en lugar del dialecto en sí mismo.

5. Significado

• Abordar el Sesgo Lingüístico: MATH-PT desafía la suposición de que la competencia en inglés equivale a un razonamiento matemático universal. Proporciona una herramienta necesaria para evaluar si los modelos realmente comprenden las matemáticas o simplemente están emparejando patrones de la sintaxis inglesa.
• Disponibilidad de Recursos: Al publicar el conjunto de datos y las salidas de los modelos, los autores permiten la investigación reproducible y el desarrollo de mejores modelos matemáticos específicos para el portugués.
• Futuras Direcciones: Los resultados destacan que, aunque los modelos de vanguardia son fuertes, existe un espacio significativo para mejorar en el razonamiento de respuesta abierta y la integración visual-matemática. El benchmark sirve como catalizador para desarrollar modelos capaces de manejar problemas matemáticos complejos, nativos y con componentes visuales.