💬 NLP

Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

本論文は、日本の全国学力・学習状況調査に由来し、90 万の集約された生徒の回答分布を特徴とする大規模なマルチモーダルベンチマーク「Gakucho」を導入するものであり、これによりマルチモーダル大規模言語モデルを K-12 教育の実際のタスクにおいて、直接的かつ人間に基づく評価が可能となる。

原著者： Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新しいロボットの知能を試したいと想像してみてください。通常、コンピュータ画面で見ると完璧に見える、架空のクイズや教科書の問題を与えるかもしれません。しかし、この論文は「違うアプローチを試してみましょう」と提案しています。偽のテストではなく、90 万人の実際の生徒が受けた日本の「本物の中学入学試験」をロボットに与えてみましょう。

研究者たちが何を行い、何を発見したのか、その簡単な概要は以下の通りです。

1. 「実世界」テストのキッチン

研究者たちは、日本の全国学力・学習状況調査の公式試験問題を採用しました。これらはクリーンなデジタルテキストファイルではありません。以下のような、ごちゃごちゃした実世界の文書です。

図解と地図: 波線が描かれた天気図のようなもの。
吹き出し: 漫画風の吹き出し内のテキスト。
縦書き: 日本語はよく上から下へ書かれるため、コンピュータにとっては厄介です。
表とグラフ: グリッド状に配置された数字。

これは、きれいなデジタル PDF ではなく、隣に鍋のスケッチが描かれたしわくちゃのナプキンに書かれたレシピを読もうとするようなものです。研究者たちは、元の見た目や雰囲気を変えずに、これらのごちゃごちゃしたページをコンピュータが理解できる形式に慎重に「翻訳」する必要がありました。

2. 秘密の材料：「人間の群れ」

このプロジェクトの最も素晴らしい点は、単に問題を残しただけでなく、90 万人の実際の生徒からの解答も保持したことです。

テスト問題があると想像してください。通常、あなたは「正解」しか知りません。しかしここでは、研究者たちは何パーセントの生徒が正解し、何パーセントが誤り、そしてどのように誤ったのかを正確に知っています。

これが重要な理由: これにより、研究者たちはロボットの脳を直接、膨大な数の人間の脳と比較できます。「ロボットは人間が犯すような間違いをしたのか、それとも奇妙なロボット特有の間違いをしたのか」を確認できるのです。

3. ロボットのテスト

彼らはこれらの本物の試験を、GPT-4、Gemini、Claude などの有名な AI モデルに与え、その結果を確認しました。

結果:

理科: ロボットは特に図解を「見る」ことができた場合、かなり優秀でした。火山の絵が問題にとって重要であることを、ついに理解したかのようです。
数学: 単純な数字については素晴らしかったですが、グラフや奇妙に描かれた図形を読む必要がある数学の問題ではつまずきました。ロボットが絵を「読め」なければ、数学の問題を解くことができませんでした。
国語（言語）: これが最も難しかったです。ロボットは縦書きのテキストや、画像内の特定の文字（漢字）の認識に苦労しました。これは、ロボットにナプキンに書かれた手書きのメモを読ませるようなもので、彼らは正確にそこにあるものを読む代わりに、推測したり、存在しない言葉を捏造したりすることがよくありました。

4. 「審査員」の問題

研究者たちは、ロボットの採点に 2 つの方法を試みました。

人間の教師: 実際の人が解答を読みました。
AI 審査員: もう一つの AI（GPT-4o）が、最初の AI の解答を採点しました。

意外な展開:

理科と数学では、AI 審査員は人間の教師の代わりとしてかなり優秀でした。合格者と不合格者について、主に一致していました。
国語では、AI 審査員は混乱しました。人間とよく意見が異なりました。論文は、複雑な言語タスクにおいては、まだ AI に AI を採点させることを信頼することはできず、人間が関与する必要があると示唆しています。

5. ロボットがつまずいた場所

論文は、面白くかつ示唆に富むいくつかの失敗を浮き彫りにしています。

「架空の引用」の問題: テストでロボットに「画像からこの文を正確にコピーせよ」と求めたとき、ロボットは実際には存在しないが、それらしい文を捏造することがありました。読む代わりに幻覚を見ていたのです。
「描画」の問題: ある問題では、ロボットに特定の日本語の文字を見て、その視覚的なバランスがなぜ崩れているかを説明するよう求めました。ロボットは、答えるのに十分なほど描画の微細な细节を「見る」ことができませんでした。

結論

この論文は、AI をテストするための新しい、現実的な遊び場を構築しました。きれいで完璧なデータでロボットをテストするのではなく、本物の学校試験の、ごちゃごちゃした、視覚的で複雑な現実でテストしました。

彼らは、AI が賢くなりつつある一方で、特に画像内のテキストを読んだり、実際の生徒が犯す微妙な間違いを理解したりする際に、実世界の試験特有の「視覚的論理」に依然として苦労していることを発見しました。また、特に言語科目においては、AI が別の AI を採点することを常に信頼できるわけではないことも証明しました。

どこで見られるか: 研究者たちは、このデータ（問題、画像、90 万人の生徒の解答）を誰でも利用できるように公開しました。これにより、他の科学者たちが独自のテストを実行できます。

技術的概要：90 万件規模の集約された学生回答分布を備えた人間基盤型マルチモーダルベンチマーク

問題定義
マルチモーダル大規模言語モデル（MLLM）の評価は、試験形式のベンチマークを用いて行われることが増えているが、既存のリソース（例：MMLU、C-Eval）は主に合成データまたはキュレーションされたテキストデータに依存している。これらのベンチマークは、特に日本の教育文脈における、現実世界の K–12 評価の真のマルチモーダル特性を捉えられていない。日本の中学校の試験は、構造化された教育的デザインの中で、密度の高い視覚要素（図表、表、地図）、縦書きテキスト、吹き出しを統合した複雑で不均質なレイアウトを特徴とする。現在のベンチマークは、現実世界の教育データに基づく基盤が欠如しており、決定的な点として、集団レベルの回答分布を提供していない。この欠如により、モデルの性能を人間の学習者と意味的に比較したり、タスクの難易度や推論パターンを実証的に推定したりすることが困難になっている。さらに、生の試験資料は、不規則なパネル境界と暗黙の読み順序を伴う複雑な PDF として公開されることが多く、縦書きテキストにおける OCR エラーや不均等なパネルのセグメンテーションの困難さなど、機械処理における重大なボトルネックとなっている。

手法
著者は、日本の全国学力・学習状況調査（NAAB）に由来するマルチモーダルデータセットを構築し、特に 2022 年度実施の理科、数学、国語の公式に公開された第 9 学年（中学校 3 年生）の項目を利用した。

データ構築パイプライン: 著者は、人間には親しみやすいが機械には扱いにくい PDF 試験冊子を、構造化された再現可能なベンチマークに変換するパイプラインを開発した。
1. 手動転写: 質問を Markdown 形式に変換し、元の読み順序を保持して画像参照を挿入した。数式は LaTeX でレンダリングされた。
2. 画像抽出: 図表や図を抽出し、特定の項目にリンクさせ、図自体に注釈を追加することなく視覚的レイアウトを保持した。
3. スキーマベースの変換: 部分質問を参照する特定のパネルにリンクさせる統合された JSON スキーマを生成し、読み順序とパネル間依存関係を正規化した。
4. 回答メタデータの統合: 決定的な点として、このデータセットは公式調査報告書から抽出された全国規模の集約された学生回答分布（ $N \approx 900,000$ ）を組み込んでいる。これには、回答分布、正解・不正解の例、および採点条件が含まれる。
評価フレームワーク: このベンチマークは、API 経由でアクセス可能なシステム（例：GPT-5、GPT-4o、Gemini 2.5/3.1、Claude Sonnet 4/4.5）およびオープンウェイトモデル（例：Qwen2.5-VL、Gemma 3）を含む一連の代表的な MLLM を評価するために使用された。
- 指標: 多肢選択（MC）項目には完全一致（EM）精度が、自由回答には文字レベルの F1 スコアが使用された。
- 採点検証: 自由回答は、2 人の著者（うち 1 人は K–12 の教員経験あり）による人間による注釈と、採点の信頼性と整合性を評価するための GPT-4o を用いた「LLM-as-a-judge」アプローチの両方で評価された。

主要な貢献

真のマルチモーダルベンチマーク: 本論文は、日本の NAAB に由来し、真の試験レイアウト、図表、および日本の教育テキストの特徴を保持する初のベンチマークを導入し、日本の K–12 評価に基づくリソースの不足に対処した。
集団レベルの回答データ: このデータセットには、約 90 万人の学生からの集約された回答分布が含まれている。これにより、タスクの難易度を実証的に推定でき、統一された評価フレームワーク下で人間と LLM の性能を直接比較することが可能になる。
構造化されたマルチモーダル表現: 著者は、複雑な試験用 PDF を、部分質問を視覚パネルにリンクさせる構造化された JSON 形式に変換する方法を提案し、元の視覚的証拠の完全性を維持しながらマルチモーダル推論の評価を容易にした。
人間とモデルの比較: 人間による採点のベースラインと LLM-as-a-judge 分析の両方を提供することで、自動採点の信頼性の評価を支援し、教育的推論におけるモデル間比較のための再現可能な基準を確立した。

実験結果

教科別性能: MLLM は教科によって明確な行動を示した。理科では、GPT-5 や Gemini 2.5 などのモデルが優れた性能を示した。数学では、多肢選択の精度はモデル間で比較的安定していた（平均約 0.85）が、自由回答の F1 スコアは大きく変動した。国語では性能が分岐し、Gemini 2.5 が最も高い多肢選択精度（0.800）を達成した一方、Claude Sonnet 4 が自由回答生成（0.342）で首位となった。
視覚推論の感受性: 除去実験により、画像が理科の性能を大幅に向上させたことが示された。数学と国語では、画像の影響は混合しており、タスク依存型の視覚情報への依存を反映していた。
エラー分析: ヒートマップは、モデルが単純な数値問題では良好に機能したが、図やグラフの解釈（例えば、ヒストグラムの読み取り）を必要とする項目では苦労したことを明らかにした。国語では、漢字の微細な視覚分析（例えば、画数や空間配分）や画像からの正確な書き写しを必要とするタスクでモデルは著しく失敗し、逐語的な引用の代わりに捏造されたテキストを生成することが多かった。
人間対 LLM-as-a-Judge: 人間の精度と GPT-4o による判定精度の相関は、理科では強く（ $r=0.899$ ）、数学では中程度（ $r=0.600$ ）であった。しかし、国語では相関はほぼゼロ（ $r \approx 0$ ）であり、これは制限された動的範囲、小さなサンプルサイズ、および採点の歪みに起因すると考えられ、国語の自由回答タスクにおける LLM-as-a-judge の使用には注意が必要であることを示唆している。

意義と主張
本論文は、このデータセットを日本の教育文脈におけるマルチモーダル理解の体系的なベンチマーク化への第一歩として位置づけている。その主な意義は、テキスト、視覚、認知推論を橋渡ししつつ、モデル間比較のための再現可能な基準を確立することにある。著者は、集約された学生回答分布の組み込みが「人間基盤型」の評価を可能にし、モデルのエラーが実際の学生の誤解と一致するかどうかを研究者が判断できるようにすると主張している。このデータセットは、真の評価文脈における評価、フィードバック生成、説明可能な AI に関する将来の研究を支援することを意図している。著者は謙虚であり、現在のリリースは単一の年のデータと特定の国家的文脈に限定されており、評価結果は採点の信頼性に関する決定的な証拠ではなく、予備的な検証として機能すると述べている。