Resumen Técnico: M3Kang – Evaluación del Razonamiento Matemático Multilingüe y Multimodal en Modelos de Visión y Lenguaje

1. Planteamiento del Problema

A pesar del rápido avance de los Modelos de Visión y Lenguaje (VLM) y sus demostradas capacidades de razonamiento, su desempeño en el razonamiento matemático multilingüe sigue siendo poco explorado. Las evaluaciones actuales están fuertemente sesgadas hacia los idiomas de altos recursos y los benchmarks de solo texto. Estudios existentes indican que los modelos tienen dificultades significativas en idiomas menos utilizados y fallan al interpretar diagramas con precisión. Existe una falta crítica de benchmarks que aborden simultáneamente la intersección entre multilingüismo, multimodalidad y razonamiento matemático. Esta brecha limita la comprensión de la robustez de los modelos y obstaculiza el desarrollo de sistemas de IA inclusivos y aplicables globalmente. Además, aunque existen algunos benchmarks para tareas multilingües o multimodales de forma individual, pocos evalúan la capacidad combinada, y aquellos que lo hacen suelen centrarse en el conocimiento general en lugar de las matemáticas o cubren un conjunto limitado de idiomas.

2. Metodología

2.1 El Conjunto de Datos M3Kang

Los autores presentan M3Kang, el primer conjunto de datos masivamente multilingüe y multimodal para el razonamiento matemático en VLM. El conjunto de datos se deriva de la Kangaroo Math Competition, la competencia de matemáticas más grande del mundo, que involucra a más de seis millones de participantes menores de 18 años en más de 90 países anualmente.

• Material de Origen: El conjunto de datos base consiste en 1.747 problemas de opción múltiple únicos de las ediciones 2007–2024 de la competencia, originalmente extraídos de PDFs organizados por la Societat Catalana de Matemàtiques.
• Escala y Diversidad: El conjunto de datos incluye traducciones a 108 idiomas culturalmente diversos, que van desde idiomas de altos recursos (ej. inglés, español) hasta idiomas de bajos recursos (ej. tsonga, lingala). Esto resulta en un total de 111.198 problemas tras filtrar por calidad.
• Estructura Multimodal: Cada problema se proporciona en dos formatos:
  1. Una versión de solo texto.
  2. Una imagen que contiene el problema completo (pregunta, opciones y cualquier diagrama necesario) con el texto traducido al idioma objetivo.
• Subconjunto en Inglés (M2Lang): También se publica de forma independiente un subconjunto exclusivamente en inglés para evaluar el razonamiento multimodal no multilingüe.

2.2 Pipeline de Construcción del Conjunto de Datos

Los autores proponen un pipeline automatizado para traducir problemas multimodales de un idioma de origen (catalán) a 108 idiomas objetivo. El proceso consta de tres etapas:

1. Creación del Conjunto de Datos Base (Catalán): Los PDFs se analizan, se convierten en imágenes y se segmentan. Se dibujan manualmente cuadros delimitadores (bounding boxes) alrededor de las preguntas para excluir términos específicos del catalán en las imágenes. Un LLM-as-a-judge identifica muestras corruptas (ej. cuadros delimitadores incorrectos, cobertura parcial de figuras), que se corrigen manualmente. Los duplicados se eliminan mediante similitud textual.
2. Traducción al Inglés (M2Lang): El conjunto de datos en catalán se traduce al inglés. El texto se vuelve a ajustar dinámicamente dentro de los cuadros delimitadores originales para mantener la alineación multimodal. Un LLM-as-a-judge detecta la corrupción de la traducción, seguido de una revisión manual rigurosa donde se eliminaron 42 traducciones erróneas para asegurar la precisión lingüística y eliminar el sesgo.
3. Extensión Multilingüe: El conjunto de datos en inglés se extiende a otros idiomas. Para garantizar la calidad sin tener referencias de verdad absoluta para los 108 idiomas, los autores emplean una estrategia de evaluación basada en la retrotraducción (backtranslation).
   • Métrica de Calidad: Utilizan una métrica sin referencia basada en el max chrf++ score entre el texto de origen y múltiples retrotraducciones (usando modelos NLLB).
   • Umbralización: Las muestras con un max chrf++ score por debajo de un umbral ($T = 0.625$) se descartan como traducciones erróneas. También se proporciona un split de "alta calidad" con un umbral más estricto ($T = 0.85$).

2.3 Configuración Experimental

Los autores evaluaron un conjunto diverso de 16 modelos, incluyendo tanto modelos de código abierto (ej. Qwen-2.5, Gemma, Phi-4, Kimi-Thinking) como modelos de código cerrado (ej. GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro) VLM.

• Idiomas: Los experimentos se centraron en 16 idiomas seleccionados para representar una mezcla equilibrada de idiomas de bajos, medios y altos recursos basados en su presencia en internet.
• Prompting: Los modelos fueron instados utilizando razonamiento de Cadena de Pensamiento (CoT), con instrucciones para generar trazas de razonamiento seguidas de un formato de respuesta específico (A, B, C, D o E).
• Técnicas Evaluadas: El estudio evaluó el prompting estándar frente a tres estrategias de razonamiento multilingüe:
  1. Model Tongue Reasoning (MTR): Traducir la pregunta al inglés e instruir con las versiones originales y traducidas.
  2. CLSP: Aplicar MTR a través de múltiples idiomas (inglés, español, alemán, francés) y agregar las salidas mediante votación por mayoría.
  3. Direccionamiento de Activación (Activation Steering): Modificar las activaciones internas del modelo para alinear las representaciones hacia el inglés durante la generación.

3. Resultados Clave

3.1 Desempeño de los Modelos

• Dificultades Generales: A pesar de los avances recientes, los modelos aún luchan con las matemáticas básicas y el razonamiento basado en diagramas. El desempeño generalmente escala con el tamaño del modelo y la disponibilidad de recursos del idioma, pero no escala con la dificultad del nivel de grado escolar.
• Mejores Desempeños: Gemini-2.5-Pro logró el mejor desempeño en todos los idiomas y categorías. Entre los modelos abiertos, Kimi-Thinking-2506 fue el más fuerte, superando a GPT-4o en inglés pero mostrando caídas significativas en idiomas de bajos recursos.
• Correlación de Recursos: Para todos los modelos excepto Gemini-2.5-Pro, la precisión se correlaciona fuertemente con la presencia en Internet de un idioma. Los modelos más pequeños muestran una correlación más fuerte, lo que indica una capacidad limitada para generalizar a través de los idiomas. El desempeño en idiomas de bajos recursos para muchos modelos se aproxima al azar.

3.2 Problemas de Solo Texto vs. Basados en Figuras

Se observó una brecha consistente y significativa: todos los modelos capaces tuvieron un mejor desempeño en problemas de solo texto que en problemas basados en figuras, independientemente del nivel de dificultad.

• Contraste Humano vs. IA: Esta tendencia es la inversa del desempeño humano, donde los humanos encuentran los problemas basados en figuras más fáciles que los de solo texto.
• Implicación: Los VLM actuales luchan por integrar la información visual de manera efectiva para el razonamiento matemático. La modalidad de la figura introduce complejidades (relaciones espaciales, interpretación de diagramas) que las arquitecturas actuales no capturan plenamente.

3.3 Técnicas Multilingües

El estudio evaluó si las técnicas de razonamiento basadas en texto se transfieren a entornos multimodales:

• Superioridad de MTR: Model Tongue Reasoning (MTR) logró consistentemente el mejor desempeño general, reduciendo sustancialmente las disparidades de desempeño entre idiomas de bajos y altos recursos.
• CLSP y Steering: CLSP tuvo un desempeño inferior comparado con MTR. El Direccionamiento de Activación ofreció ganancias modestas solo en idiomas de bajos recursos y no logró igualar el desempeño de MTR, incluso en modelos más pequeños.
• Eficiencia: MTR resultó efectivo incluso con modelos de traducción más pequeños, lo que sugiere que en escenarios de bajo presupuesto, se pueden utilizar traductores más pequeños sin una pérdida significativa de capacidad.

3.4 Comparación Humano vs. Modelo

Utilizando datos de desempeño de más de 68.000 estudiantes de la competencia Kangaroo 2024:

• No Monotonicidad de la Dificultad: Los modelos no muestran un descenso monótono en el desempeño a medida que aumenta la dificultad del problema (basado en las calificaciones de dificultad humana). Por ejemplo, Kimi-Thinking-2506 se situó por encima del percentil 94 para los niveles 3–6, pero solo en el percentil 44 para niveles inferiores.
• Divergencia de Razonamiento: El análisis sugiere que no existe una correlación significativa entre las capacidades de razonamiento de los modelos de IA y las de los estudiantes jóvenes. Los modelos parecen depender de enfoques de resolución de problemas diferentes, potencialmente arraigados en el reconocimiento de patrones o en un entrenamiento específico en tareas de geometría de tipo olimpiada, en lugar de un razonamiento paso a paso similar al humano.

4. Contribuciones Clave

1. Dataset M3Kang: Un benchmark multilingüe y multimodal que comprende 1.747 problemas únicos en 108 idiomas (111.198 instancias totales), derivado de la competencia Kangaroo Math.
2. Pipeline de Traducción: Un framework de código abierto para crear automáticamente conjuntos de datos multimodales multilingües a partir de fuentes monolingües, con un mecanismo de control de calidad basado en la retrotraducción para asegurar la integridad de la traducción sin referencias de verdad absoluta.
3. Evaluación Exhaustiva: Un benchmark exhaustivo de los principales VLM a través de idiomas y técnicas de inferencia, revelando que los modelos luchan con las matemáticas básicas y los diagramas, y que el desempeño depende fuertmente de la disponibilidad de recursos del idioma.
4. Línea Base Humana: Una comparación directa con los datos de desempeño de más de 68.000 estudiantes, resaltando una desconexión fundamental entre el razonamiento humano y el de la IA en contextos matemáticos.

5. Significado y Afirmaciones

El artículo afirma que M3Kang llena un vacío crítico en la evaluación de la IA al proporcionar un banco de pruebas de alta fidelidad para evaluar la generalización de los modelos, la consistencia translingüística y la integración multimodal en un dominio que requiere tanto precisión lingüística como comprensión visual.

Los autores sostienen que sus hallazgos revelan:

• Limitaciones de los SOTA Actuales: Incluso los modelos de primer nivel fallan en matemáticas básicas e interpretación de diagramas, con un desempeño fuertemente sesgado hacia los idiomas de altos recursos.
• Efectividad de Técnicas Simples: Las técnicas multilingües como MTR pueden extenderse efectivamente a entornos multimodales, ofreciendo mejoras significativas sobre las líneas base sin la complejidad del ajuste fino o mecanismos de votación complejos.
• Necesidad de Nuevos Benchmarks: La discrepancia entre el desempeño humano y el de los modelos (especialmente respecto a las tareas visuales vs. de solo texto) sugiere que los futuros benchmarks deben incluir tareas de razonamiento de múltiples pasos y evaluar los pasos intermedios de razonamiento para capturar mejor las habilidades de resolución de problemas similares a las humanas.

Los autores enfatizan que el conjunto de datos, el pipeline y el código se liberan como código abierto para facilitar la creación de conjuntos de datos similares en diversos contextos lingüísticos y educativos, con el objetivo de impulsar el desarrollo de sistemas de IA más inclusivos y robustos.