Resumen Técnico: VMMU – Un Benchmark de Comprensión y Razonamiento Multimodal Multitarea en Vietnamita

Planteamiento del Problema

Si bien los Modelos de Visión-Lenguaje (VLM) han demostrado un progreso significativo en los benchmarks multimodales centrados en el inglés, sus capacidades en lenguas de bajos recursos siguen siendo poco exploradas, particularmente cuando las tareas requieren la integración conjunta de la comprensión del lenguaje, la localización visual (grounding) y el razonamiento. Los benchmarks existentes en vietnamita carecen totalmente de preguntas multimodales o dependen de formatos "débilmente multimodales" (por ejemplo, capturas de pantalla de solo texto) donde la imagen sirve meramente como un contenedor para el texto. En consecuencia, existe una brecha crítica en la evaluación de cómo los VLM manejan preguntas multimodales genuinas en vietnamita, donde la evidencia visual no textual (diagramas, gráficos, mapas, escenas de tráfico) es esencial para resolver el problema y debe integrarse con el texto renderizado en vietnamita.

Metodología

Construcción del Benchmark (VMMU)

Los autores presentan VMMU, un benchmark que comprende 2,548 preguntas de opción múltiple cuidadosamente seleccionadas a través de 7 dominios: Matemáticas, Física, Química, Biología, Geografía, Examen de Conducción y Test de CI.

• Fuentes de Datos: Las preguntas provienen de documentos oficiales del gobierno (Ministerio de Educación y Transporte), exámenes académicos nacionales (Examen de Graduación de Secundaria) y repositorios públicos seleccionados. Todo uso cumple con el Artículo 25 de la Ley de Propiedad Intelectual de Vietnam para investigación no comercial.
• Pipeline de Curación: Un pipeline semiautomatizado renderiza los PDF en imágenes, utiliza Tesseract OCR y análisis de contornos para detectar los límites de las preguntas y los elementos visuales, y filtra los elementos que son solo texto. El conjunto de datos final se somete a una triple verificación manual por parte de hablantes nativos de vietnamita para asegurar las etiquetas de modalidad, la precisión del recorte y la corrección de las respuestas.
• Representaciones de las Preguntas: VMMU distingue entre cuatro tipos de entrada, pero evalúa principalmente (D) Integrated-MM (Integrado-MM), donde las preguntas, las opciones y la evidencia visual están entrelazadas en una sola imagen. También proporciona variantes (C) Split-MM (Dividido-MM) (texto separado de la evidencia visual) para diagnosticar modos de falla.

Protocolo de Evaluación

El estudio evalúa 5 VLM propietarios de última generación (SOTA): Gemini-2.5-Flash, Sonnet-4.0, GPT-4.1, o3 y Gemini-3.0-Pro. La evaluación se estructura en varios estudios de ablación:

1. Fiabilidad del OCR: Evaluación de la precisión de la transcripción del texto incrustado utilizando una verdad de terreno verificada por humanos e IA.
2. Rendimiento Integrado: Medición de la precisión de extremo a extremo en las imágenes originales de Integrated-MM.
3. Análisis Split-MM: Reevaluación de los modelos proporcionando el texto como entrada de texto plano y la evidencia visual como un recorte separado para aislar el grounding/razonamiento de las distracciones de OCR/diseño.
4. Análisis de Traducción: Traducción del texto de Split-MM al inglés para probar si las barreras lingüísticas son el principal cuello de botella.
5. Eliminación de Evidencia Visual: Eliminación total de los recortes visuales para medir la dependencia de los priors de solo texto y las heurísticas.

Resultados Clave

1. El OCR no es el Cuello de Botella

Contrario a las suposiciones de que el rendimiento en lenguas de bajos recursos está limitado por el reconocimiento de texto, los modelos evaluados demostraron fuertes capacidades de OCR en vietnamita.

• Métricas: BLEU medio de 89.01%, F1 de 94.30% y tasas de error de caracteres bajas (CER: 6.59%).
• Implicación: Los errores en las tareas posteriores son impulsados principalmente por la localización multimodal (localizar la evidencia visual relevante) y el razonamiento, no por la incapacidad de leer el texto en vietnamita.

2. Las Capacidades de Razonamiento Impulsan el Rendimiento

Existe una brecha de rendimiento significativa entre los modelos "no pensantes" (inferencia estándar) y los modelos "pensantes" (modelos con cadenas de razonamiento explícitas).

• Precisión General: La precisión media de todos los modelos en el entorno Integrated-MM es del 66.76%.
• Comparación de Modelos: Los modelos no pensantes lograron una precisión del 50.58%–71.34%, mientras que los modelos pensantes (o3, Gemini-3.0-Pro) alcanzaron un 73.98%–86.33%.
• Dificultad por Dominio: Los Test de CI (razonamiento visual abstracto) y las Situaciones de Tráfico fueron los dominios más desafiantes, mientras que las Tablas y las Señales de Tránsito fueron comparativamente más fáciles.

3. El Formato de Entrada Impacta Significativamente la Precisión

• Mejora de Split-MM: Separar el texto de la evidencia visual (Split-MM) mejoró la precisión para todos los modelos en un promedio de +5.98%. La ganancia fue más pronunciada para los modelos no pensantes (+8.56%), lo que sugiere que los diseños densos en las imágenes Integrated-MM introducen distracciones que dificultan el grounding.
• Detrimento de la Traducción: Traducir el texto de vietnamita al inglés redujo la precisión en un promedio de 2.30%. Esto indica que la traducción al inglés no sirve como un atajo y puede introducir un problema de "grounding de lenguaje mixto", donde las instrucciones en inglés no logran alinearse con las etiquetas visuales en vietnamita.

4. Dependencia de los Priors

Cuando se eliminó por completo la evidencia visual, la precisión de los modelos cayó significamente (promedio de -21.27%) pero se mantuvo muy por encima del azar (51.47% frente a la línea base de 25.92%). Esto sugiere que los modelos a menudo dependen de priors de solo texto, heurísticas de exámenes o patrones memorizados para adivinar las respuestas cuando el grounding visual está ausente.

Significado y Contribuciones

El artículo afirma que VMMU aborda una brecha crítica en la evaluación multimodal al proporcionar un benchmark diseñado específicamente para el razonamiento multimodal genuino en vietnamita. Sus principales contribuciones son:

1. Perspectiva Diagnóstica: Demuestra que para los VLM en vietnamita, el modo de falla principal no es el OCR, sino la integración del texto y la evidencia visual y los pasos de razonamiento subsiguientes.
2. Claridad Metodológica: Al distinguir entre entradas Integradas y Divididas, los autores muestran que los modelos actuales luchan con la complejidad de los diseños densos e intercalados, y que los mecanismos de "pensamiento" mitigan significativamente esto.
3. Especificidad Lingüística: Los resultados refutan la hipótesis de que traducir al inglés mejora el rendimiento, resaltando la necesidad de una evaluación en la lengua nativa para tareas que involucran convenciones visuales específicas del idioma (por ejemplo, señales de tráfico, formularios administrativos).
4. Recurso para la Comunidad: VMMU sirve como base para futuras investigaciones en el ajuste de instrucciones (instruction tuning) centrado en el vietnamita y el desarrollo de conjuntos de datos que apunten a las habilidades de grounding y razonamiento más allá de los recursos centrados en el inglés.

Los autores concluyen que, si bien los modelos propietarios muestran potencial, el razonamiento multimodal fiable en vietnamita requiere superar los desafíos en el razonamiento conjunto de texto-visión bajo diseños densos y mejorar el grounding multimodal, en lugar de simplemente mejorar las capacidades de OCR o de traducción de lenguaje.