EuraGovExam: A Multilingual Multimodal Benchmark from Real-World Civil Service Exams

Resumen Técnico: EuraGovExam

1. Planteamiento del Problema

Los documentos de exámenes gubernamentales representan uno de los tipos de texto visualmente más complejos que las personas encuentran rutinariamente. Estos documentos combinan tablas densas, expresiones matemáticas, anotaciones multilingües y convenciones de diseño específicas de la región (como la tipografía vertical en japonés o pasajes mixtos en Devanagari).

A pesar de que millones de funcionarios públicos son evaluados anualmente mediante estos documentos, los Modelos de Lenguaje Visuales (VLMs) actuales no han sido evaluados sistemáticamente en este contexto. Los benchmarks existentes presentan limitaciones críticas:

• Proporcionan preguntas como texto digitalizado limpio o separan las imágenes de su contexto textual.
• Utilizan prompts específicos que eluden la complejidad visual real.
• Están sesgados hacia el inglés y el alfabeto latino.
• No evalúan la capacidad de los modelos para percibir layouts complejos y razonar sobre el contenido dentro de una sola imagen sin ayuda externa (OCR o texto separado).

Esto deja una brecha de conocimiento sobre cómo manejan los VLMs el pipeline completo de comprensión de documentos reales.

2. Metodología y Construcción del Dataset

Los autores presentan EuraGovExam, un benchmark multilingüe y multimodal diseñado para llenar esta brecha.

• Origen de los Datos: Se recopilaron más de 8,000 preguntas de opción múltiple de exámenes de servicio civil reales en cinco regiones de Eurasia: Corea del Sur, Japón, Taiwán, India y la Unión Europea (UE).
• Dominios: Las preguntas abarcan 17 dominios académicos y administrativos diversos (desde derecho y administración hasta biología y matemáticas).
• Principios de Diseño Clave:
  1. Entrada Solo Imagen (Image-Only): Todo el contenido de la pregunta (enunciado, opciones, tablas, figuras, instrucciones) está incrustado en una sola imagen. El modelo solo recibe una instrucción mínima de formato en texto. No se permite OCR externo ni texto separado.
  2. Preservación Original: Las preguntas se mantienen en su idioma, guion, tipografía y diseño originales, sin traducción ni reformatado. Esto incluye cinco familias de guiones distintos: Hangul, Kanji/Kana, Chino Tradicional, Devanagari y Latín.
  3. Proceso de Construcción: Se utilizó una segmentación manual rigurosa para evitar la corrupción semántica del OCR, preservando tablas, fórmulas matemáticas y layouts de múltiples columnas. Se eliminó cualquier información de identificación personal (PII).
• Protocolo de Evaluación: Se evaluaron 28 VLMs (14 de código cerrado y 14 de código abierto) bajo un protocolo estandarizado que prohíbe el uso de herramientas externas (calculadoras, traductores, buscadores).

3. Contribuciones Clave

1. Nuevo Estándar de Evaluación: EuraGovExam es el primer benchmark que evalúa la comprensión de documentos gubernamentales reales en un entorno puramente visual y multilingüe, con una estructura factorial que permite analizar el efecto de la región/nación frente al dominio.
2. Descubrimiento de la Variabilidad Geográfica: Se demuestra que el factor "nación/guion" induce una varianza en el rendimiento 2.52 veces mayor que el factor "dominio". Esto desafía la visión centrada en el dominio de la evaluación multimodal.
3. Análisis de Fallos Sistemáticos: Se identificaron patrones de fallo geográficos sistemáticos y un conjunto de 50 preguntas (0.6% del dataset) que derrotan a todos los 28 modelos evaluados, revelando cuellos de botella en el procesamiento visual de guiones no latinos y layouts densos.

4. Resultados Principales

• Rendimiento General: Incluso los modelos más avanzados (como Gemini-2.5-Pro) alcanzan solo un 86.99% de precisión global. Los modelos de código abierto se quedan significativamente atrás (el mejor, Qwen2-VL-72B, alcanza un 44.65%), y varios modelos populares caen por debajo de la línea base aleatoria (23.7%), indicando errores de parsing sistemáticos.
• La Brecha Regional (Nación vs. Dominio):
  • Existe una disparidad masiva en el rendimiento según la región. Por ejemplo, Taiwán tiene el rendimiento más alto (promedio 57%), mientras que Japón tiene el más bajo (35%).
  • Gap Extremo: Un mismo modelo puede tener una diferencia de rendimiento de hasta 64.8 puntos porcentuales entre regiones (ej. Gemini-3-Pro: 96.1% en Taiwán vs. 31.3% en Japón), a pesar de que ambos comparten caracteres Hanzi/Kanji. Esto sugiere que la disposición vertical del texto japonés y las anotaciones furigana son barreras críticas.
  • La varianza inducida por la nación es 2.50 veces mayor que la inducida por el dominio de la pregunta.
• Fallo Universal: 50 preguntas fueron incorrectas para todos los modelos. Estas se concentran desproporcionadamente en India (60% de los fallos universales) y en dominios que requieren conocimiento visual y de dominio simultáneo (matemáticas complejas, ingeniería).
• Escalabilidad: El aumento de parámetros en modelos de código abierto mejora el rendimiento, pero no cierra las brechas regionales ni resuelve los fallos en guiones complejos, sugiriendo que el problema no es solo de escala, sino de arquitectura y datos de entrenamiento.

5. Significado e Implicaciones

• Reevaluación de la Evaluación Multimodal: Los resultados indican que los benchmarks que controlan el dominio pero ignoran el guion y el diseño visual subestiman significativamente las brechas de rendimiento en el mundo real. La "inteligencia" de un modelo puede ser ilusoria si no puede procesar el formato visual específico de un documento.
• Direcciones Futuras para VLMs:
  • Se necesita codificación visual consciente del guion (especialmente para texto vertical y layouts mixtos).
  • Es crucial un entrenamiento multilingüe equilibrado que incluya escaneos de documentos reales en guiones subrepresentados (como Devanagari y layouts japoneses).
  • La complejidad del diseño de documentos debe tratarse como un eje de evaluación de primer orden.
• Aplicaciones Prácticas: El benchmark es vital para el desarrollo de sistemas de e-gobierno, análisis automatizado de documentos públicos y preparación equitativa para exámenes, asegurando que las herramientas de IA funcionen de manera justa y precisa en diversos contextos culturales y lingüísticos.

En conclusión, EuraGovExam establece un nuevo estándar riguroso que revela que la diversidad lingüística y la complejidad visual de los documentos reales son desafíos fundamentales que los modelos actuales aún no han superado, independientemente de su tamaño o capacidad de razonamiento general.