CARTBENCH: 中国美術における視覚言語モデルの評価に関する技術的概要

本論文は、中国の美術作品に対する視覚言語モデル（VLM）の能力を評価するための新しいベンチマーク「CARTBENCH」を提案したものです。既存のベンチマークが短い形式の認識や質問応答（QA）に偏っているのに対し、CARTBENCH は博物館の専門家が直面する「証拠に基づいた解釈」「構造化された鑑賞」「正当な再解釈」「真贋判定」といった高度なタスクに焦点を当てています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

• 現状の課題: 現在の VLM の評価は、西洋中心の概念やウェブ画像、短い形式の QA に依存しており、文化的に根ざした専門的な解釈や、視覚的証拠に基づく論理的推論が十分にテストされていません。
• 中国美術の特殊性: 中国美術は、モチーフ、筆致、印章、素材、形式などの視覚的手がかりを、歴史的文脈（時代や様式）と結びつける高度な専門知識を必要とします。単なる表面の認識だけでなく、様式から時代を推論したり、微妙な差異から真贋を判断したりする「鑑定家（Connoisseur）」レベルの推論能力が求められますが、現在のモデルはこの点で不十分です。
• ギャップ: 文化的に整合性のある、証拠に裏打ちされた長文の解釈や、真贋判定のような診断的タスクを評価する標準的なベンチマークが存在しませんでした。

2. 手法とデータ構築 (CARTBENCH)

CARTBENCH は、北京故宮博物院（Palace Museum）の所蔵品を基盤として構築された、博物館に根ざしたベンチマークです。

データ構築パイプライン

1. Wikidata からの抽出: 画像付きの故宮博物院所蔵品を Wikidata から抽出。
2. 公式カタログとの整合: 作品タイトルに基づき、公式のカタログページと照合し、学芸員による記述（Curatorial Description）を収集。
3. 専門家による選別と分類: 専門家の指導のもと、品質をフィルタリングし、5 つの芸術カテゴリ（絵画、書道、彫刻、陶磁器、文房具）と複数の王朝に分類。

4 つのサブタスク

CARTBENCH は以下の 4 つのタスクで構成されます。

1. CURATORQA (証拠に基づく認識と推論):

   • 1,589 点の作品、14,421 問の質問から構成。
   • 多肢選択または真偽判定形式。
   • P1: 視覚的証拠のみで回答可能。
   • P2: 視覚的証拠と美術史知識の組み合わせが必要（例：様式から時代を推論）。
   • 6 種類の質問タイプ（主題認識、様式→時代推論など）を網羅。

2. CATALOGCAPTION (構造化された鑑賞):

   • 86 点の作品を対象。
   • 専門家のスタイルに合わせた 4 部構成（作品背景、作品内容、芸術的特徴、総合評価）の長文生成タスク。
   • 自動評価指標（ROUGE, BERTScore など）と、専門家による評価基準（Rubric）を用いた評価。

3. REINTERPRET (正当な再解釈):

   • 25 点の古典的名作を対象（診断的評価）。
   • 単なる記述を超えた、視覚的証拠に基づいた「創造的かつ正当な再解釈」を生成させるタスク。
   • 2 段階評価：第 1 段階で事実誤認や非現実的な出力をフィルタリング（Plausibility Gate）、第 2 段階で創造性、論理的一貫性、証拠に基づく推論などを 5 段階で評価。

4. CONNOISSEURPAIRS (真贋判定の診断):

   • 10 組の「本物 vs 模写」ペアを対象（診断的評価）。
   • 視覚的に非常に類似した作品の中から、どちらが本物かを判断させるタスク。
   • 表面の類似性ではなく、筆致やインクの調和、様式の一貫性などの「鑑定家レベルの手がかり」を必要とする。

3. 主要な貢献

1. CARTBENCH の構築: 認識、鑑賞、再解釈、真贋診断を統合し、複数の王朝と 5 つのカテゴリを網羅する、中国美術に特化した博物館ベースのベンチマークを初めて提案。
2. 統一評価プロトコルの提供: 自動指標、フォーマット準拠チェック、基準に基づく専門家スコアリング、証拠リンクや解釈の正当性を評価する人間の評価基準を組み合わせた包括的な評価手法を確立。
3. モデルの失敗パターンの特定: 高い全体精度が、様式から時代への推論や証拠のリンクといった困難なタスクでの性能低下を隠していることを実証。また、長文の鑑賞や真贋判定において、現在の VLM が専門家レベルから大きく乖離していることを明らかにした。

4. 実験結果と分析

9 つの代表的な VLM（Qwen, GLM, GPT, Gemini などのファミリー）を評価しました。

• CURATORQA:
  • 強力なモデル（例：Qwen3-VL-235B）は全体精度が高い（0.84）が、QA5（様式→時代推論） や P2（知識要請） タスクでは精度が急激に低下（0.56 など）。
  • 中国語・英語バイリンガルモデル（Qwen）は、一般的な多言語モデル（GPT-5-mini など）よりも、美術史的推論を要するタスクで統計的に有意な優位性を示しました。
• CATALOGCAPTION:
  • 専門家の基準（Human Baseline）に対するモデルの性能は依然として低く（KPI 0.698 対 0.261）、長文の鑑賞生成は大きなボトルネックです。
  • モデルはセマンティックな意図は捉えていますが、専門家が求める構造化された詳細や証拠に基づく記述には至っていません。
• REINTERPRET:
  • 多くのモデルが「妥当性ゲート（Plausibility Gate）」を通過できず、特に時代や作者の誤認、内容の誤読が頻発しました。
  • ゲートを通過した出力についても、創造性のスコアは限定的でした。
• CONNOISSEURPAIRS:
  • 真贋判定タスクにおいて、すべてのモデルの精度は偶然確率（Chance level, 0.5）付近に留まりました（最高でも 0.60）。
  • 誤答の原因は、局所的な詳細（文字や印章）に過剰に依存し、筆致や全体の様式的一貫性といった鑑定家レベルのグローバルな手がかりを捉えられていない点にあります。

5. 意義と結論

• 文化的評価の重要性: 中国美術のような文化的に特有な領域では、単なる認識精度だけでなく、証拠に基づく推論や文化的文脈の理解が不可欠であることを示しました。
• モデルの限界の可視化: 現在の VLM は、表面的な認識や短い QA では高い性能を発揮しますが、専門家の解釈や真贋判定といった高度な推論タスクでは、まだ人間（専門家）の能力に遠く及ばないことを明確にしました。
• 将来の方向性: 本ベンチマークは、視覚的証拠の帰属（Attribution）を強化し、媒体特有の様式的手がかりをより信頼性高くモデル化する必要性を提起しています。また、単一の博物館に限定されない、より広範な文化遺産評価への拡張が今後の課題です。

CARTBENCH は、文化遺産のデジタル化やアクセスにおいて、VLM の信頼性を高めるための重要なテストベッドとして機能し、文化的に整合性のあるマルチモーダルシステムの開発を促進することが期待されます。