JAMMEval: 信頼性の高い VLM 評価のための洗練された日本語ベンチマーク集

本論文は、視覚言語モデル（VLM）の信頼性ある評価を目的とした、日本語に特化した洗練されたベンチマークコレクション「JAMMEval」の構築とその有効性を示した研究です。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

視覚言語モデル（VLM）の発展には信頼性の高い評価が不可欠ですが、英語圏の VQA（Visual Question Answering）ベンチマークに比べ、日本語のベンチマークは反復的な洗練（イテレーティブな改善）が十分に行われていないという課題がありました。

既存の日本語ベンチマークには、評価の信頼性を損なう以下の問題点が多数含まれていました：

• 曖昧な質問: 一意の正解が存在しないオープンエンドな質問や、主観的な質問。
• 画像依存性の欠如: 画像を見ずにテキストの文脈だけで回答できてしまう問題（「画像なしで解ける」インスタンス）。
• 誤った正解ラベル: 正解が実際には間違っているケース。
• 評価の歪み: これらの問題により、モデルの真の能力が過小評価されたり、モデル間の性能差が不明瞭になったりする結果を招いていました。

2. 手法：JAMMEval の構築プロセス

JAMMEval は、既存の 7 つの日本語ベンチマークを基盤とし、2 段階の人間によるアノテーションとレビューを通じて洗練されたコレクションです。

2.1 セed データセットの選定

多様なドメインを網羅する以下の 7 つの既存データセット（合計 1,925 インスタンス）を選定しました：

• OCR: CC-OCR-JA
• 日本文化: JA-VLM-Bench-In-the-Wild, Heron-Bench, CVQA-JA
• マルチイメージ: JA-Multi-Image-VQA
• ドキュメント: JDocQA
• チャート・表: JGraphQA

2.2 洗練プロセス（2 段階の人間レビュー）

既存の英語ベンチマークの改善手法（ノイズの除去のみ）とは異なり、日本語データセットはサンプル数が少ないため、削除よりも修正（リアノテーション）を優先しました。

1. 1 回目（著者によるレビュー）: 曖昧さ、誤った正解、画像依存性の欠如などを特定し、修正または再アノテーションを実施。
2. 2 回目（外部アノテーターによるレビュー）: 1 回目で見逃された問題や、修正に伴う新たな誤り（タイプミス等）を修正。

主な修正アクション:

• 曖昧性の解消: 主観的な質問を、画像から客観的に答えられる具体的な質問へ変更。
• 正解の修正: 誤ったラベルを訂正。
• フォーマット統一: 回答形式を短答形式（Short-answer）または多肢選択形式に統一。
• 除去: 画像情報が不十分で修正不可能なインスタンスの削除。

その結果、最終的に1,592 インスタンスからなる JAMMEval が完成しました。

3. 主要な貢献

1. JAMMEval の公開: 日本語 VQA 評価のための高品質なベンチマークコレクションを初めて体系的に構築し、公開しました。
2. 洗練手法の提案: サンプル数が限られる日本語データセットにおいて、単なるフィルタリングではなく「再アノテーション」を重視することで、データサイズを維持しつつ品質を向上させるアプローチを実証しました。
3. 評価の信頼性向上の実証: 洗練前後のベンチマークを用いた実験により、以下の効果を定量的に示しました。
   • モデル能力のより正確な反映: 曖昧な質問や誤ったラベルによる評価の低下が解消され、スコアが向上。
   • 実行間ばらつきの低減: 評価スコアのラン・トゥ・ラン（実行ごとの）変動が減少し、再現性が向上。
   • モデル識別性の向上: 異なる能力レベルのモデルを区別する能力（パフォーマンスギャップ）が拡大。

4. 実験結果と知見

JAMMEval 上で、オープンウェイトモデル（Qwen3-VL, InternVL3.5, Sarashina2.2-Vision など）とプロプライエタリモデル（GPT-4o, GPT-5.1, Gemini 3 Pro など）を評価しました。

• 全体性能: Gemini 3 Proが全タスクで 90% 以上の精度を達成し、最も高い性能を示しました（推論機能有効）。
• オープンウェイトモデル: Qwen3-VL-8Bが全体的に強く、特に OCR やドキュメント読解タスク（JDocQA, CC-OCR-JA）では GPT-5.1 を上回る性能を示しました。
• 日本語特化モデル: Sarashina2.2-Vision-3Bは、日本文化に関するタスク（Heron-Bench, JA-VLM-Bench など）で同サイズモデルを凌駕し、日本語特化前学習の有効性を示しました。
• エラー分析: 最上位モデル（Gemini 3 Pro）においても、日本文化知識（CVQA-JA）や OCR、空間認識（左右の混同など）に課題が残っていることが判明しました。

洗練による効果（Table 2, Figure 7）

• 精度の向上: 洗練後のデータセットでは、モデルの平均精度が大幅に向上（例：JDocQA で +26.3%、CC-OCR-JA で +43.4%）。これは、元のデータセットがモデルの能力を過小評価していたことを示唆。
• 安定性の向上: 実行ごとの標準偏差（Run Std）が減少し、評価のノイズが低減されました。
• モデルの区別能力: 最良モデルと最悪モデルのスコア差（Performance Gap）が拡大し、微細な性能差を検出できるようになりました。
• ランキングの保存: 洗練前後でモデルの性能順位（ランク）はほぼ保存されており（Spearman 相関 ≈ 1）、洗練がモデルの相対的な優劣を歪めていないことが確認されました。

5. 意義と結論

JAMMEval は、日本語 VLM の開発において、「評価の質」が「モデル開発の方向性」を決定づけることを示す重要な基盤です。

• 信頼性の確保: 曖昧さや誤りを排除したデータセットは、モデルの真の視覚理解能力を測定する信頼性の高い指標を提供します。
• 研究コミュニティへの貢献: 日本語 VQA 分野における評価基準の標準化を促し、今後のモデル開発や比較研究の基盤となります。
• 今後の展望: 評価プロトコル自体の改善（例：画像を参照する VLM-as-Judge の導入）や、より多様なドメインへの拡張が今後の課題として挙げられています。

著者らは、データセットとコードを公開し、信頼性の高い VLM 評価の進展を支援しています。