💬 NLP

Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

Este artículo presenta Gakucho, un benchmark multimodal a gran escala derivado de la Evaluación Nacional de Capacidad Académica de Japón que incluye 900.000 distribuciones agregadas de respuestas estudiantiles para permitir una evaluación directa y fundamentada en humanos de los modelos de lenguaje grandes multimodales en tareas educativas auténticas de educación primaria y secundaria.

Autores originales: Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres probar qué tan inteligente es un nuevo robot. Por lo general, podrías darle un cuestionario inventado o un problema de libro de texto que parece perfecto en una pantalla de computadora. Pero este artículo dice: "Probemos algo diferente". En lugar de un examen falso, demos al robot un examen real de secundaria de Japón, del tipo que 900,000 estudiantes reales tomaron.

Aquí tienes el desglose simple de lo que hicieron y descubrieron los investigadores:

1. La "Cocina" de Pruebas del "Mundo Real"

Los investigadores tomaron exámenes oficiales de la Evaluación Nacional de la Capacidad Académica de Japón. Estos no son archivos de texto digitales limpios. Son documentos reales y desordenados llenos de:

Diagramas y Mapas: Como un mapa del tiempo con líneas onduladas.
Bocadillos de Texto: Texto dentro de burbujas estilo cómic.
Texto Vertical: El japonés a menudo se escribe de arriba hacia abajo, lo cual es complicado para las computadoras.
Tablas y Gráficos: Números dispuestos en cuadrículas.

Piensa en esto como intentar leer una receta escrita en una servilleta arrugada con un boceto de una olla al lado, en lugar de un PDF digital limpio. Los investigadores tuvieron que "traducir" cuidadosamente estas páginas desordenadas a un formato que las computadoras pudieran entender sin perder la apariencia y sensación originales.

2. El Ingrediente Secreto: La "Multitud Humana"

La parte más genial de este proyecto es que no solo guardaron las preguntas; guardaron las respuestas de 900,000 estudiantes reales.

Imagina que tienes una pregunta de examen. Por lo general, solo conoces la respuesta "correcta". Aquí, los investigadores saben exactamente qué porcentaje de estudiantes la respondió correctamente, qué porcentaje la respondió incorrectamente y cómo la respondieron mal.

Por qué esto importa: Permite a los investigadores comparar el cerebro del robot directamente contra una gigantesca multitud de cerebros humanos. Pueden ver: "¿Cometió el robot el mismo error que cometería un humano, o cometió un error extraño de robot?"

3. Probando a los Robots

Suministraron estos exámenes reales a varios modelos de IA famosos (como GPT-4, Gemini y Claude) para ver cómo les iba.

Los Resultados:

Ciencias: Los robots fueron bastante buenos, especialmente cuando podían "ver" los diagramas. Es como si finalmente entendieran que una imagen de un volcán es importante para la pregunta.
Matemáticas: Fueron excelentes con números simples, pero tropezaron cuando las matemáticas requerían leer un gráfico o una figura dibujada de manera extraña. Si el robot no podía "leer" la imagen, no podía resolver las matemáticas.
Japonés (Idioma): Este fue el más difícil. Los robots tuvieron dificultades con el texto escrito verticalmente y con reconocer caracteres específicos (Kanji) dentro de imágenes. Es como pedirle a un robot que lea una nota escrita a mano en una servilleta; a menudo adivinaron o inventaron palabras en lugar de leer exactamente lo que estaba allí.

4. El Problema del "Juez"

Los investigadores probaron dos formas de calificar a los robots:

Profesores Humanos: Personas reales leyeron las respuestas.
Jueces de IA: Otra IA (GPT-4o) calificó las respuestas de la primera IA.

El Giro:

Para Ciencias y Matemáticas, el Juez de IA fue un sustituto bastante bueno de un profesor humano. Ambos estuvieron mayormente de acuerdo sobre quién aprobó y quién reprobó.
Para Japonés, el Juez de IA estaba confundido. A menudo discrepaba con los humanos. El artículo sugiere que, para tareas complejas de lenguaje, aún no puedes confiar simplemente en que una IA califique a otra IA; aún necesitas a un humano en el proceso.

5. Donde los Robots Tropezaron

El artículo destaca algunos fallos divertidos pero reveladores:

El Problema de la "Cita Falsa": Cuando la prueba le pedía al robot "copiar esta oración exactamente de la imagen", el robot a veces inventaba una oración que sonaba bien pero que en realidad no estaba allí. Alucinó en lugar de leer.
El Problema del "Dibujo": Una pregunta le pedía al robot que mirara un carácter japonés específico y explicara por qué su equilibrio visual estaba mal. Los robots no podían "ver" los detalles diminutos del dibujo lo suficientemente bien como para responder.

La Conclusión

Este artículo construyó un nuevo patio de recreo realista para probar la IA. En lugar de probar a los robots con datos limpios y perfectos, los probaron con la realidad desordenada, visual y compleja de un examen escolar real.

Descubrieron que, aunque la IA se está volviendo más inteligente, aún lucha con la "lógica visual" específica de los exámenes del mundo real, especialmente cuando se trata de leer texto dentro de imágenes o comprender los errores sutiles que cometen los estudiantes reales. También demostraron que no siempre puedes confiar en que una IA califique a otra IA, especialmente en materias de lenguaje.

Dónde encontrarlo: Los investigadores pusieron todos estos datos (las preguntas, las imágenes y las respuestas de 900,000 estudiantes) a disposición de cualquiera para usarlos, para que otros científicos puedan realizar sus propias pruebas.

Resumen Técnico: Benchmark Multimodal Anclado en lo Humano con Distribuciones Agregadas de Respuestas Estudiantiles a Escala de 900.000

Enunciado del Problema
Aunque los Modelos de Lenguaje Multimodal Grandes (MLLM) se evalúan cada vez más mediante benchmarks de estilo de examen, los recursos existentes (por ejemplo, MMLU, C-Eval) dependen principalmente de datos textuales sintéticos o curados. Estos benchmarks no logran capturar las características multimodales auténticas de las evaluaciones reales de educación primaria y secundaria (K–12), particularmente dentro de los contextos educativos japoneses. Los exámenes de secundaria japoneses presentan diseños pedagógicos estructurados complejos y heterogéneos que integran elementos visuales densos (diagramas, tablas, mapas), texto vertical y globos de diálogo. Los benchmarks actuales carecen de fundamentación en datos educativos del mundo real y, crucialmente, no proporcionan distribuciones de respuestas a nivel de población. Esta ausencia dificulta comparar significativamente el rendimiento de los modelos con el de los estudiantes humanos o estimar empíricamente la dificultad de la tarea y los patrones de razonamiento. Además, los materiales de examen en bruto a menudo se publican como PDF complejos con límites de paneles irregulares y órdenes de lectura implícitos, lo que presenta cuellos de botella significativos para el procesamiento automático, incluidos errores de OCR en texto vertical y dificultades para segmentar paneles desiguales.

Metodología
Los autores construyeron un conjunto de datos multimodal derivado de la Evaluación Nacional de la Capacidad Académica (NAAB) de Japón, utilizando específicamente ítems oficiales del Grado 9 de la administración de 2022 en Ciencias, Matemáticas y Lengua Japonesa.

Pipeline de Construcción de Datos: Los autores desarrollaron un pipeline para transformar los folletos de examen en PDF, amigables para humanos pero hostiles para máquinas, en un benchmark estructurado y reproducible.
1. Transcripción Manual: Las preguntas se convirtieron a Markdown, preservando el orden de lectura original e insertando referencias a imágenes. Las expresiones matemáticas se renderizaron en LaTeX.
2. Extracción de Imágenes: Los diagramas y figuras se extrajeron y vincularon a ítems específicos, preservando la disposición visual sin añadir anotaciones a las figuras en sí mismas.
3. Conversión Basada en Esquema: Se generó un esquema JSON unificado para vincular subpreguntas a los paneles específicos a los que hacen referencia, normalizando el orden de lectura y las dependencias entre paneles.
4. Integración de Metadatos de Respuesta: Crucialmente, el conjunto de datos incorpora distribuciones agregadas de respuestas estudiantiles a nivel nacional ( $N \approx 900.000$ ) extraídas de informes oficiales de encuestas. Esto incluye distribuciones de respuestas, ejemplos correctos e incorrectos, y condiciones de puntuación.
Marco de Evaluación: El benchmark se utilizó para evaluar una suite de MLLM representativos, incluidos sistemas accesibles vía API (por ejemplo, GPT-5, GPT-4o, Gemini 2.5/3.1, Claude Sonnet 4/4.5) y modelos de pesos abiertos (por ejemplo, Qwen2.5-VL, Gemma 3).
- Métricas: Se utilizó la precisión de coincidencia exacta (EM) para ítems de opción múltiple (MC), y puntuaciones F1 a nivel de carácter para respuestas abiertas.
- Validación de Puntuación: Las respuestas abiertas se evaluaron mediante anotación humana (por dos autores, uno con experiencia docente en K–12) y un enfoque de "LLM como juez" utilizando GPT-4o para evaluar la fiabilidad y la alineación de la puntuación.

Contribuciones Clave

Benchmark Multimodal Auténtico: El artículo introduce el primer benchmark derivado de la NAAB de Japón que preserva diseños de examen auténticos, diagramas y características de texto educativo japonés, abordando la escasez de recursos fundamentados en evaluaciones japonesas de K–12.
Datos de Respuesta a Nivel de Población: El conjunto de datos incluye distribuciones de respuestas agregadas de aproximadamente 900.000 estudiantes. Esto permite la estimación empírica de la dificultad de la tarea y posibilita la comparación directa entre el rendimiento humano y el de los LLM bajo un marco de evaluación unificado.
Representación Multimodal Estructurada: Los autores proponen un método para transformar PDFs de exámenes complejos en un formato JSON estructurado que vincula subpreguntas con paneles visuales, facilitando la evaluación del razonamiento multimodal mientras se mantiene la integridad de la evidencia visual original.
Comparación Humano-Modelo: Al proporcionar tanto líneas base calificadas por humanos como análisis de "LLM como juez", el trabajo apoya la evaluación de la fiabilidad de la puntuación automática y establece un estándar reproducible para la comparación entre modelos en el razonamiento educativo.

Resultados Experimentales

Rendimiento Específico por Materia: Los MLLM exhibieron comportamientos distintos entre materias. En Ciencias, modelos como GPT-5 y Gemini 2.5 mostraron un rendimiento sólido. En Matemáticas, la precisión de opción múltiple fue relativamente estable entre los modelos (promediando ~0,85), aunque las puntuaciones F1 de respuestas abiertas variaron significativamente. En Lengua Japonesa, el rendimiento divergió; Gemini 2.5 logró la mayor precisión de MC (0,800), mientras que Claude Sonnet 4 lideró en generación abierta (0,342).
Sensibilidad al Razonamiento Visual: Los estudios de ablación indicaron que las imágenes mejoraron sustancialmente el rendimiento en Ciencias. En Matemáticas y Lengua Japonesa, el impacto de las imágenes fue mixto, reflejando una dependencia de la información visual dependiente de la tarea.
Análisis de Errores: Los mapas de calor revelaron que, aunque los modelos funcionaron bien en problemas numéricos simples, tuvieron dificultades con ítems que requerían la interpretación de diagramas y gráficos (por ejemplo, leer histogramas). En Lengua Japonesa, los modelos fallaron significativamente en tareas que requerían un análisis visual fino de caracteres kanji (por ejemplo, conteo de trazos y proporción espacial) y transcripción exacta desde imágenes, produciendo a menudo texto fabricado en lugar de citas literales.
Humano vs. LLM como Juez: La correlación entre la precisión humana y la precisión del juez GPT-4o fue fuerte en Ciencias ( $r=0,899$ ) y moderada en Matemáticas ( $r=0,600$ ). Sin embargo, para Lengua Japonesa, la correlación fue cercana a cero ( $r \approx 0$ ), atribuida a un rango dinámico restringido, tamaños de muestra pequeños y sesgo de puntuación, lo que sugiere precaución al utilizar "LLM como juez" para tareas abiertas en japonés.

Significado y Afirmaciones
El artículo posiciona este conjunto de datos como un primer paso hacia la evaluación sistemática de la comprensión multimodal en contextos educativos japoneses. Su significado principal radica en tender puentes entre el razonamiento textual, visual y cognitivo, al tiempo que establece estándares reproducibles para la comparación entre modelos. Los autores afirman que la inclusión de distribuciones agregadas de respuestas estudiantiles permite una evaluación "anclada en lo humano", permitiendo a los investigadores determinar si los errores del modelo se alinean con conceptos erróneos reales de los estudiantes. El conjunto de datos está destinado a apoyar futuras investigaciones en evaluación, generación de retroalimentación e IA explicable dentro de contextos de evaluación auténtica. Los autores permanecen modestos, señalando que la versión actual se limita a un solo año de datos y a un contexto nacional específico, y que los resultados de la evaluación sirven como validación preliminar en lugar de evidencia definitiva de la fiabilidad de la puntuación.