Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

Resumo Técnico: Benchmark Multimodal Fundamentado em Humanos com Distribuições Agregadas de Respostas de Estudantes na Escala de 900 Mil

Declaração do Problema
Embora os Modelos de Linguagem Multimodal de Grande Escala (MLLMs) sejam cada vez mais avaliados por meio de benchmarks no estilo de exames, os recursos existentes (por exemplo, MMLU, C-Eval) dependem principalmente de dados textuais sintéticos ou curados. Esses benchmarks falham em capturar as características multimodais autênticas de avaliações reais do ensino fundamental e médio (K–12), particularmente no contexto educacional japonês. Os exames do ensino médio no Japão apresentam layouts complexos e heterogêneos que integram elementos visuais densos (diagramas, tabelas, mapas), texto vertical e balões de fala dentro de designs pedagógicos estruturados. Os benchmarks atuais carecem de fundamentação em dados educacionais do mundo real e, crucialmente, não fornecem distribuições de respostas em nível populacional. Essa ausência dificulta a comparação significativa do desempenho do modelo com o de aprendizes humanos ou a estimativa empírica da dificuldade da tarefa e dos padrões de raciocínio. Além disso, os materiais brutos de exames são frequentemente lançados como PDFs complexos com limites de painéis irregulares e ordens de leitura implícitas, apresentando gargalos significativos para o processamento por máquinas, incluindo erros de OCR em texto vertical e dificuldades na segmentação de painéis desiguais.

Metodologia
Os autores construíram um conjunto de dados multimodal derivado da Avaliação Nacional de Capacidade Acadêmica (NAAB) do Japão, utilizando especificamente itens oficialmente divulgados do 9º ano da administração de 2022 em Ciências, Matemática e Língua Japonesa.

• Pipeline de Construção de Dados: Os autores desenvolveram um pipeline para transformar cadernos de exames em PDF amigáveis para humanos, mas hostis para máquinas, em um benchmark estruturado e reproduzível.
  1. Transcrição Manual: As questões foram convertidas para Markdown, preservando a ordem de leitura original e inserindo referências a imagens. Expressões matemáticas foram renderizadas em LaTeX.
  2. Extração de Imagens: Diagramas e figuras foram extraídos e vinculados a itens específicos, preservando o layout visual sem adicionar anotações às próprias figuras.
  3. Conversão Baseada em Esquema: Um esquema JSON unificado foi gerado para vincular subquestões aos painéis específicos que referenciam, normalizando a ordem de leitura e as dependências entre painéis.
  4. Integração de Metadados de Resposta: Crucialmente, o conjunto de dados incorpora distribuições agregadas de respostas de estudantes em todo o país ($N \approx 900.000$) extraídas de relatórios oficiais de pesquisa. Isso inclui distribuições de respostas, exemplos de respostas corretas/incorretas e condições de pontuação.
• Estrutura de Avaliação: O benchmark foi utilizado para avaliar uma série de MLLMs representativos, incluindo sistemas acessíveis via API (por exemplo, GPT-5, GPT-4o, Gemini 2.5/3.1, Claude Sonnet 4/4.5) e modelos de pesos abertos (por exemplo, Qwen2.5-VL, Gemma 3).
  • Métricas: A precisão de correspondência exata (EM) foi utilizada para itens de múltipla escolha (MC), e as pontuações F1 em nível de caractere foram utilizadas para respostas abertas.
  • Validação de Pontuação: As respostas abertas foram avaliadas por meio de anotação humana (por dois autores, um com experiência no ensino K–12) e de uma abordagem "LLM como juiz" usando o GPT-4o para avaliar a confiabilidade e o alinhamento da pontuação.

Principais Contribuições

1. Benchmark Multimodal Autêntico: O artigo introduz o primeiro benchmark derivado da NAAB do Japão que preserva layouts de exames autênticos, diagramas e características de texto educacional japonês, abordando a escassez de recursos fundamentados em avaliações K–12 japonesas.
2. Dados de Resposta em Nível Populacional: O conjunto de dados inclui distribuições de respostas agregadas de aproximadamente 900.000 estudantes. Isso permite a estimativa empírica da dificuldade da tarefa e possibilita a comparação direta entre o desempenho humano e o de LLMs sob uma estrutura de avaliação unificada.
3. Representação Multimodal Estruturada: Os autores propõem um método para transformar PDFs complexos de exames em um formato JSON estruturado que vincula subquestões a painéis visuais, facilitando a avaliação do raciocínio multimodal enquanto mantém a integridade da evidência visual original.
4. Comparação Humano-Modelo: Ao fornecer tanto linhas de base com pontuação humana quanto análises de "LLM como juiz", o trabalho apoia a avaliação da confiabilidade da pontuação automática e estabelece um padrão reproduzível para comparação entre modelos no raciocínio educacional.

Resultados Experimentais

• Desempenho Específico por Disciplina: Os MLLs exibiram comportamentos distintos entre as disciplinas. Em Ciências, modelos como GPT-5 e Gemini 2.5 mostraram desempenho forte. Em Matemática, a precisão de múltipla escolha foi relativamente estável entre os modelos (média de ~0,85), embora as pontuações F1 de respostas abertas tenham variado significativamente. Em Língua Japonesa, o desempenho divergiu; o Gemini 2.5 alcançou a maior precisão de MC (0,800), enquanto o Claude Sonnet 4 liderou na geração de respostas abertas (0,342).
• Sensibilidade ao Raciocínio Visual: Estudos de ablação indicaram que as imagens melhoraram substancialmente o desempenho em Ciências. Em Matemática e Língua Japonesa, o impacto das imagens foi misto, refletindo uma dependência da tarefa em relação à informação visual.
• Análise de Erros: Mapas de calor revelaram que, embora os modelos tenham se saído bem em problemas numéricos simples, eles lutaram com itens que exigiam a interpretação de diagramas e gráficos (por exemplo, leitura de histogramas). Em Língua Japonesa, os modelos falharam significativamente em tarefas que exigiam análise visual de granularidade fina de caracteres kanji (por exemplo, contagem de traços e proporção espacial) e transcrição exata a partir de imagens, frequentemente produzindo texto fabricado em vez de citações literais.
• Humano vs. LLM como Juiz: A correlação entre a precisão humana e a precisão do juiz GPT-4o foi forte em Ciências ($r=0,899$) e moderada em Matemática ($r=0,600$). No entanto, para o Japão, a correlação foi próxima de zero ($r \approx 0$), atribuída a uma faixa dinâmica restrita, tamanhos de amostra pequenos e viés de pontuação, sugerindo cautela ao usar "LLM como juiz" para tarefas abertas em Língua Japonesa.

Significado e Alegações
O artigo posiciona este conjunto de dados como um passo inicial rumo à avaliação sistemática da compreensão multimodal em contextos educacionais japoneses. Seu significado principal reside na ponte entre raciocínio textual, visual e cognitivo, ao mesmo tempo em que estabelece padrões reproduzíveis para comparação entre modelos. Os autores afirmam que a inclusão de distribuições agregadas de respostas de estudantes permite uma avaliação "fundamentada em humanos", permitindo que os pesquisadores determinem se os erros do modelo se alinham com concepções equivocadas reais dos alunos. O conjunto de dados destina-se a apoiar pesquisas futuras em avaliação, geração de feedback e IA explicável dentro de contextos de avaliação autênticos. Os autores permanecem modestos, observando que o lançamento atual é limitado a um único ano de dados e a um contexto nacional específico, e que os resultados da avaliação servem como validação preliminar em vez de evidência definitiva de confiabilidade de pontuação.