💬 NLP

Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

Cet article présente Gakucho, une référence multimodale à grande échelle dérivée de l'Évaluation nationale des capacités académiques du Japon, qui propose 900 000 distributions agrégées de réponses d'élèves afin de permettre une évaluation directe et ancrée dans l'humain des grands modèles de langage multimodaux sur des tâches éducatives authentiques de la maternelle au lycée.

Auteurs originaux : Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez tester l'intelligence d'un nouveau robot. Habituellement, vous lui soumettriez un quiz inventé ou un problème de manuel qui semble parfait sur un écran d'ordinateur. Mais cet article dit : « Essayons quelque chose de différent. » Au lieu d'un test fictif, donnons au robot un examen réel de collège japonais, du genre que 900 000 vrais élèves ont passé.

Voici une explication simple de ce que les chercheurs ont fait et découvert :

1. La « cuisine » du test « monde réel »

Les chercheurs ont pris des examens officiels de l'Évaluation nationale des capacités académiques du Japon. Ce ne sont pas de propres fichiers texte numériques. Ce sont des documents réels, désordonnés, remplis de :

Schémas et cartes : Comme une carte météorologique avec des lignes sinueuses.
Bulles de dialogue : Du texte à l'intérieur de bulles de style bande dessinée.
Texte vertical : Le japonais s'écrit souvent de haut en bas, ce qui est délicat pour les ordinateurs.
Tableaux et graphiques : Des nombres disposés en grilles.

Pensez-y comme à essayer de lire une recette écrite sur une serviette en papier froissée, avec un croquis d'une marmite à côté, plutôt que sur un PDF numérique propre. Les chercheurs ont dû « traduire » soigneusement ces pages désordonnées en un format compréhensible par les ordinateurs, sans perdre l'apparence et la sensation originales.

2. L'ingrédient secret : La « foule humaine »

La partie la plus cool de ce projet, c'est qu'ils n'ont pas seulement conservé les questions ; ils ont gardé les réponses de 900 000 vrais élèves.

Imaginez une question de test. Habituellement, vous ne connaissez que la « bonne » réponse. Ici, les chercheurs savent exactement quel pourcentage d'élèves a eu raison, quel pourcentage a eu tort, et comment ils se sont trompés.

Pourquoi cela compte : Cela permet aux chercheurs de comparer directement le cerveau du robot à une immense foule de cerveaux humains. Ils peuvent voir : « Le robot a-t-il fait la même erreur qu'un humain, ou a-t-il fait une étrange erreur de robot ? »

3. Tester les robots

Ils ont soumis ces vrais examens à plusieurs modèles d'IA célèbres (comme GPT-4, Gemini et Claude) pour voir comment ils s'en sortaient.

Les résultats :

Sciences : Les robots s'en sont plutôt bien tirés, surtout quand ils pouvaient « voir » les schémas. C'est comme s'ils avaient enfin compris qu'une image de volcan était importante pour la question.
Mathématiques : Ils étaient excellents avec les nombres simples mais ont trébuché lorsque les mathématiques nécessitaient la lecture d'un graphique ou d'une forme étrangement dessinée. Si le robot ne pouvait pas « lire » l'image, il ne pouvait pas résoudre le problème mathématique.
Japonais (Langue) : C'était le plus difficile. Les robots avaient du mal avec le texte écrit verticalement et avec la reconnaissance de caractères spécifiques (Kanji) à l'intérieur des images. C'est comme demander à un robot de lire une note manuscrite sur une serviette ; ils devinaient souvent ou inventaient des mots au lieu de lire exactement ce qui était écrit.

4. Le problème du « Juge »

Les chercheurs ont essayé deux méthodes pour noter les robots :

Des enseignants humains : De vraies personnes lisaient les réponses.
Des juges IA : Une autre IA (GPT-4o) notait les réponses de la première IA.

La surprise :

Pour les sciences et les mathématiques, le juge IA était un assez bon substitut à un enseignant humain. Ils étaient majoritairement d'accord sur qui avait réussi et qui avait échoué.
Pour le japonais, le juge IA était confus. Il était souvent en désaccord avec les humains. L'article suggère que pour des tâches linguistiques complexes, on ne peut pas encore faire confiance à une IA pour noter une autre IA ; il faut toujours un humain dans la boucle.

5. Là où les robots ont trébuché

L'article met en lumière quelques échecs amusants mais révélateurs :

Le problème de la « fausse citation » : Lorsque le test demandait au robot de « copier exactement cette phrase depuis l'image », le robot inventait parfois une phrase qui semblait juste mais qui n'était pas réellement là. Il hallucinait au lieu de lire.
Le problème du « dessin » : Une question demandait au robot d'examiner un caractère japonais spécifique et d'expliquer pourquoi son équilibre visuel était désaxé. Les robots ne pouvaient pas « voir » les minuscules détails du dessin assez bien pour répondre.

La conclusion

Cet article a construit un nouveau terrain de jeu réaliste pour tester l'IA. Au lieu de tester les robots sur des données propres et parfaites, ils les ont testés sur la réalité désordonnée, visuelle et complexe d'un vrai examen scolaire.

Ils ont découvert que, bien que l'IA devienne plus intelligente, elle peine toujours avec la « logique visuelle » spécifique des examens réels, surtout lorsqu'il s'agit de lire du texte à l'intérieur d'images ou de comprendre les erreurs subtiles que commettent les vrais élèves. Ils ont également prouvé qu'on ne peut pas toujours faire confiance à une IA pour noter une autre IA, en particulier dans les matières linguistiques.

Où le trouver : Les chercheurs ont rendu toutes ces données (les questions, les images et les réponses de 900 000 élèves) disponibles pour que tout le monde puisse les utiliser, afin que d'autres scientifiques puissent mener leurs propres tests.

Résumé technique : Benchmark multimodal ancré dans l'humain avec des distributions agrégées de réponses d'élèves à l'échelle de 900 000

Énoncé du problème
Bien que les grands modèles de langage multimodaux (MLLM) soient de plus en plus évalués à l'aide de benchmarks de type examen, les ressources existantes (par exemple, MMLU, C-Eval) reposent principalement sur des données textuelles synthétiques ou sélectionnées. Ces benchmarks ne parviennent pas à capturer les caractéristiques authentiques multimodales des évaluations réelles du primaire et du secondaire (K–12), en particulier dans les contextes éducatifs japonais. Les examens japonais du collège présentent des mises en page complexes et hétérogènes intégrant des éléments visuels denses (diagrammes, tableaux, cartes), du texte vertical et des bulles de dialogue au sein de conceptions pédagogiques structurées. Les benchmarks actuels manquent d'ancrage dans des données éducatives réelles et, surtout, ne fournissent pas de distributions de réponses au niveau de la population. Cette absence rend difficile la comparaison significative des performances des modèles avec celles des apprenants humains ou l'estimation empirique de la difficulté des tâches et des schémas de raisonnement. De plus, les matériaux bruts d'examen sont souvent publiés sous forme de PDF complexes aux limites de panneaux irrégulières et à des ordres de lecture implicites, présentant des goulots d'étranglement significatifs pour le traitement automatique, notamment des erreurs de reconnaissance optique de caractères (OCR) sur le texte vertical et des difficultés à segmenter des panneaux inégaux.

Méthodologie
Les auteurs ont construit un jeu de données multimodal dérivé de l'Évaluation nationale des capacités académiques (NAAB) du Japon, en utilisant spécifiquement des items officiels de la 9e année publiés lors de l'édition 2022 en Sciences, Mathématiques et Langue japonaise.

Pipeline de construction des données : Les auteurs ont développé un pipeline pour transformer des livrets d'examen PDF conviviaux pour l'humain mais hostiles pour la machine en un benchmark structuré et reproductible.
1. Transcription manuelle : Les questions ont été converties en Markdown, en préservant l'ordre de lecture original et en insérant des références d'images. Les expressions mathématiques ont été rendues en LaTeX.
2. Extraction d'images : Les diagrammes et figures ont été extraits et liés à des items spécifiques, préservant la mise en page visuelle sans ajouter d'annotations aux figures elles-mêmes.
3. Conversion basée sur un schéma : Un schéma JSON unifié a été généré pour lier les sous-questions aux panneaux spécifiques qu'elles référencent, normalisant l'ordre de lecture et les dépendances inter-panneaux.
4. Intégration des métadonnées de réponse : Crucialement, le jeu de données intègre des distributions agrégées de réponses d'élèves à l'échelle nationale ( $N \approx 900\,000$ ) extraites des rapports d'enquête officiels. Cela inclut les distributions de réponses, des exemples de réponses correctes/incorrectes et les conditions de notation.
Cadre d'évaluation : Le benchmark a été utilisé pour évaluer une suite de MLLMs représentatifs, incluant des systèmes accessibles via API (par exemple, GPT-5, GPT-4o, Gemini 2.5/3.1, Claude Sonnet 4/4.5) et des modèles à poids ouverts (par exemple, Qwen2.5-VL, Gemma 3).
- Métriques : La précision de correspondance exacte (EM) a été utilisée pour les items à choix multiples (MC), et les scores F1 au niveau des caractères pour les réponses ouvertes.
- Validation de la notation : Les réponses ouvertes ont été évaluées via une annotation humaine (par deux auteurs, dont un avec une expérience d'enseignement K–12) et une approche « LLM en tant que juge » utilisant GPT-4o pour évaluer la fiabilité et l'alignement de la notation.

Contributions clés

Benchmark multimodal authentique : L'article présente le premier benchmark dérivé de la NAAB du Japon qui préserve les mises en page d'examen authentiques, les diagrammes et les caractéristiques textuelles éducatives japonaises, répondant à la rareté des ressources ancrées dans les évaluations K–12 japonaises.
Données de réponses au niveau de la population : Le jeu de données inclut des distributions de réponses agrégées d'environ 900 000 élèves. Cela permet une estimation empirique de la difficulté des tâches et autorise une comparaison directe entre les performances humaines et celles des LLM dans un cadre d'évaluation unifié.
Représentation multimodale structurée : Les auteurs proposent une méthode pour transformer des PDF d'examen complexes en un format JSON structuré reliant les sous-questions aux panneaux visuels, facilitant l'évaluation du raisonnement multimodal tout en maintenant l'intégrité des preuves visuelles originales.
Comparaison Humain-Modèle : En fournissant à la fois des bases de notation humaine et des analyses par LLM en tant que juge, le travail soutient l'évaluation de la fiabilité de la notation automatique et établit une norme reproductible pour la comparaison inter-modèles dans le raisonnement éducatif.

Résultats expérimentaux

Performance spécifique à la matière : Les MLLMs ont présenté des comportements distincts selon les matières. En Sciences, des modèles comme GPT-5 et Gemini 2.5 ont montré de fortes performances. En Mathématiques, la précision à choix multiples était relativement stable entre les modèles (moyenne d'environ 0,85), bien que les scores F1 pour les réponses ouvertes aient varié considérablement. En Langue japonaise, les performances ont divergé ; Gemini 2.5 a obtenu la précision MC la plus élevée (0,800), tandis que Claude Sonnet 4 a mené pour la génération ouverte (0,342).
Sensibilité au raisonnement visuel : Des études d'ablation ont indiqué que les images amélioraient substantiellement les performances en Sciences. En Mathématiques et en Japonais, l'impact des images était mitigé, reflétant une dépendance aux informations visuelles dépendante de la tâche.
Analyse des erreurs : Les cartes thermiques ont révélé que, bien que les modèles aient bien performé sur des problèmes numériques simples, ils ont lutté avec des items nécessitant l'interprétation de diagrammes et de graphiques (par exemple, la lecture d'histogrammes). En Japonais, les modèles ont échoué de manière significative sur des tâches nécessitant une analyse visuelle fine des caractères kanji (par exemple, le nombre de traits et la proportion spatiale) et la transcription exacte à partir d'images, produisant souvent du texte fabriqué au lieu de citations mot à mot.
Humain vs LLM en tant que Juge : La corrélation entre la précision humaine et la précision du juge GPT-4o était forte en Sciences ( $r=0,899$ ) et modérée en Mathématiques ( $r=0,600$ ). Cependant, pour le Japonais, la corrélation était proche de zéro ( $r \approx 0$ ), attribuée à une plage dynamique restreinte, de petites tailles d'échantillon et une distorsion de la notation, suggérant de la prudence lors de l'utilisation d'un LLM en tant que juge pour des tâches ouvertes en Japonais.

Signification et revendications
L'article positionne ce jeu de données comme une première étape vers un benchmarking systématique de la compréhension multimodale dans les contextes éducatifs japonais. Sa signification principale réside dans le pont établi entre le raisonnement textuel, visuel et cognitif tout en établissant des normes reproductibles pour la comparaison inter-modèles. Les auteurs affirment que l'inclusion de distributions agrégées de réponses d'élèves permet une évaluation « ancrée dans l'humain », permettant aux chercheurs de déterminer si les erreurs des modèles s'alignent sur les conceptions erronées réelles des élèves. Le jeu de données est destiné à soutenir les recherches futures en évaluation, génération de feedback et IA explicable dans des contextes d'évaluation authentiques. Les auteurs restent modestes, notant que la version actuelle est limitée à une seule année de données et à un contexte national spécifique, et que les résultats de l'évaluation servent de validation préliminaire plutôt que de preuve définitive de la fiabilité de la notation.