テクニカル・サマリー：EduArt – 大規模言語モデルにおける美術史知識を評価するための教育レベルのベンチマーク

問題提起

大規模言語モデル（LLM）は、MMLUのような汎用的なベンチマークにおいて天井性能（シーリング・パフォーマンス）に達しているが、こうした集約的な指標では、特定の学問分野におけるモデルの振る舞いを明らかにすることができない。既存の美術に特化した評価には、主に2つの制限がある。(1) 人間が作成した教育資料ではなく、合成的に生成された問題に大きく依存していること、(2) 項目レベルの心理計量的特性を報告することが稀であり、真の知識の欠如、タスク形式への感受性、あるいは不適切な問題構成を区別することが不可能であることである。さらに、現在のベンチマークは視覚的認識と視覚的推論を混同していることが多く、単一の形式（特に多肢選択式）による評価は、美術史研究の中核をなすコンテンツの生成や操作を必要とするタスクを実行する能力を、系統的に過大評価する可能性がある。

手法

著者らは、多様な質問形式と言語にわたって美術史的知識と視覚的推論を評価するために設計されたマルチモーダル・ベンチマーク、EduArtを導入する。

データセットの構築

データセットは、2つの明確で教育に基づいたソースから抽出された871個の人間作成による質問で構成されている。

1. MyZanichelli（イタリア語）： イタリアの中等教育で使用されるデジタル演習プラットフォームからの668問。具体的には「ルネサンス絵画（Pittura rinascimentale）」を扱っている。
2. AP 美術史（英語）： コレッジボードのAdvanced Placement試験（2013年–2024年）からの203問。

質問は7つの異なる形式にわたる：

• multiple_choice_radio（単一正解のラジオボタン形式）
• multiple_choice_check（複数正解のチェックボックス形式）
• true_false（正誤判定）
• completion_closed（制約付きの語句補充：語句バンクを用いた穴埋め）
• completion_open（制約なしの穴埋め）
• positioning（ドラッグ・アンド・ドロップによるテキストへの語句配置）
• select_errors（テキスト内の誤った単語の特定）

データセットには、436の質問に関連付けられた261枚の異なる画像が含まれている。すべての項目は著作権によって保護されているため、公開リポジトリでは、生のデータではなく、抽出および評価のためのパイプライン・コードを提供している。

評価フレームワーク

6つのプロバイダー・ファミリー（OpenAI, Google, Anthropic, Qwen, Mistral, Meta）からなる12のモデルを評価した。評価は以下の2つの条件下で行われた：

1. デフォルト（回答のみ）： モデルは厳格なJSONスキーマに従い、回答のみを返す。
2. モチベーション（根拠提示）： モデルは、美術史的知識または視覚的証拠に基づいた、2〜4文の記述による正当化を行うことが求められる。

性能は、形式固有の指標（例：ラジオボタン形式のMCQに対する完全一致、マルチセレクトおよびエラー特定に対するF1スコア、配置タスクに対する要素精度）を用いて測定された。

心理計学的分析

本研究では、ベンチマークを特徴付けるために**古典テスト理論（CTT）**を適用している。主な指標は以下の通りである：

• 難易度 ($p$)： モデルが項目に正解した割合。
• 識別力 ($r_{pb}$)： 項目におけるパフォーマンスと合計スコアとの間の点二系列相関係数。これは、その項目がいかに強固なモデルと弱いモデルを区別できるかを示す。

また、質問形式、言語、画像の有無、およびモデルのアイデンティティが正解率に与える独立した影響を分離するために、ロジスティック回帰も用いられた。

主な結果

1. 心理計学的特性

EduArtは強力な心理計学的特性を示している。推定可能な831項目の平均識別力は0.514であり、**82.3%**の項目が「優れた識別力を持つ項目」（$r_{pb} \geq 0.30$）に分類された。項目の難易度は適切に分布しており、非常に容易なものから非常に困難なものまで存在するため、このベンチマークが些細なものでも、系統的に不可能なものでもないことが確認された。

2. 形式の飽和と乖離

• 多肢選択式の飽和： 6つのモデルが multiple_choice_radio の質問において**94%**を超える正解率を記録し、信頼区間が重なり合った。これは、認識形式のみでは最先端のモデルを区別するには不十分であることを示しており、これらのモデルはこのタスクタイプにおいて飽和状態にある。
• 形式への感受性： モデルの性能は形式によって劇的に変化する。MCQで94%以上のスコアを出すモデルが、completion_open では23.9%にまで落ち込み（例：Claude Opus 4.6）、select_errors では6.2%（例：Claude Sonnet 4.6）まで低下することがある。
• ランキングの不安定性： 全ての形式を通じて一貫して高い順位を維持するモデルは存在しない。12モデル中10のモデルにおいて、最高性能の形式と最低性能の形式の差が50パーセントポイントを超えている。

3. 正解率の独立した予測因子

ロジスティック回帰分析により、以下のことが明らかになった：

• 質問形式： 非MCQ形式は、multiple_choice_radio と比較して、正解のオッズが一般的に有意に低い。Select_errors が最も困難な形式（オッズ比 = 0.045）であり、次いで completion_closed（オッズ比 = 0.256）であった。
• 画像の有無： 視覚的な補助が役立つという直感に反して、他の変数を制御した後では、画像の存在は正解の確率を低下させる要因となっている（オッズ比 = 0.765）。これは、これらのモデルにとって、言語ベースの知識が視覚的処理よりも性能を駆動しており、視覚情報の追加が複雑さを導入して精度を低下させていることを示唆している。
• 言語： イタリア語の質問は英語の質問よりも有意に困難である（オッズ比 = 0.459）。これは、質問タイプやソース資料の特定の分布に起因すると考えられる。

4. モチベーション条件

記述による正当化を求めることは、モデル・ファミリーに依存した形で正解率に影響を与える：

• Claudeモデルは、回答の正当化を求められた際に、一般に性能が向上または維持された。
• GeminiおよびGPTモデルは、主に正解率の低下が見られた（例：Gemini 3.1 Flash Lite Previewは12.8パーセントポイント低下した）。
• この解離は、回答を正当化する能力と、正解を選択する能力が別個のものであることを示唆している。つまり、構造化された出力を強制することが、特定のモデルアーキテクチャにおいて回答の選択を妨げる可能性がある。

意義と主張

本論文は、EduArtが、特殊な領域におけるマルチモーダルLLMを評価するための、妥当かつ非自明なツールであることを主張している。その主な貢献は以下の通りである：

1. 合成データからの脱却： 人間が作成した教育資料を使用することで、本ベンチマークは合成生成の落とし穴を回避し、検証可能なグラウンドトゥルース（正解）を提供している。
2. 能力の解離の解明： 本研究は、美術史的知識（事実を認識する能力）と、その知識を展開する能力（コンテンツを生成、配置、または修正する能力）が、明確に異なる能力であることを示している。多肢選択式の認識における高い性能は、オープンエンドなタスクやエラー修正タスクにおける性能を予測しない。
3. 単一形式ベンチマークへの批判： 著者らは、単一形式のベンチマーク（特にMCQ）は、モデルが確実に実行できるタスクの範囲を系統的に過大評価していると論じている。美術史において、タスクは固定された選択肢から選ぶことではなく、コンテンツを生成し操作することを要求するため、MCQベースの評価は誤解を招くほど楽観的な図を提供してしまう。
4. 責任ある採用のための前提条件： 著者らは、このようなきめ細かな能力プロファイルをマッピングすることは、マルチモーダルLLMを美術史研究に責任を持って導入するための前提条件であると結論づけている。学術的な作業は、固定された集合から回答を選択するという形をとることは稀であるため、モデルがどのタスクを確実に処理できるのかを正確に知ることは、カタログ化、属性特定、あるいは教育のためにこれらのツールを導入する前に不可欠である。