EuraGovExam: 実世界の公務員試験に基づく多言語・多モーダルベンチマークの技術的サマリー

本論文は、韓国、日本、台湾、インド、EU の 5 つのユーラシア地域から収集された実世界の公務員試験問題を基盤とした、新しい多言語・多モーダルベンチマーク「EuraGovExam」を提案するものです。既存のベンチマークがテキスト化されたデータや単純な画像 - テキストペアに依存するのに対し、本ベンチマークは**「画像のみ（Image-Only）」**の入力設定を採用し、モデルが文書のレイアウト、多様な文字体系、そして複雑な視覚構造を直接理解・推論する能力を厳密に評価することを目的としています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題設定と背景

• 現状の課題: 既存の視覚言語モデル（VLM）のベンチマーク（MMLU, MMMU など）の多くは、OCR によって抽出されたテキストや、画像とテキストが分離された形式を提供しています。これにより、モデルは実際の文書が持つ複雑なレイアウト（表、数式、多言語混在、縦書きなど）や、文字認識の難易度を回避して推論を行う傾向があります。
• 実世界のギャップ: 公務員試験などの公的書類は、高密度な表、数式、地域固有のレイアウト（日本語の縦書き、インドのデーヴァナーガリー文字など）を含み、視覚的に非常に複雑です。しかし、これらの「実環境」における VLM の性能は体系的に評価されていませんでした。
• 本論文の問い: 現在の VLM は、テキスト抽出を介さず、画像そのものから複雑な文書構造を理解し、多言語・多文字体系に跨る推論を行うことができるか？

2. 手法とデータセット構築

EuraGovExam は、以下の設計原則に基づいて構築されました。

• データソース: 韓国、日本、台湾、インド、EU の 5 地域から、政府機関が公開した実際の公務員試験問題（過去問）を収集。
• データ規模: 8,000 問以上の高解像度スキャンされた 4 択・5 択問題。
• ドメイン: 法学、行政、数学、生物学など 17 の多様な学術・行政分野。
• 設計の核心（Image-Only）:
  • 問題文、選択肢、表、図、数式、注釈など、すべてのコンテンツが 1 枚の画像内に埋め込まれています。
  • モデルへの入力は、その画像のみです（テキスト入力や OCR 結果は提供されません）。
  • 出力指示は最小限のフォーマット（「The answer is X.」）のみで、コンテンツ自体は画像から読み取る必要があります。
• 品質管理: OCR による自動抽出を避け、人手によるセグメンテーションと品質検証を行い、元の文字体系、フォント、レイアウト、図表を一切変更せずに保持しています。
• 評価プロトコル: 28 種類の VLM（14 社製クローズドソース、14 社製オープンソース）を、画像のみを入力として評価。推論や OCR ツールの使用は禁止し、一貫した条件で比較しました。

3. 主要な結果

28 種類のモデルに対する評価結果から、以下の重要な知見が得られました。

A. 地域・文字体系がドメインよりも性能に大きな影響を与える

• 地域差の支配性: モデルの性能変動要因として、「国・地域（および文字体系）」が「ドメイン（科目）」よりも 2.52 倍大きな分散をもたらしました。
• 極端な地域間ギャップ: 同一モデル内でも、地域によって性能が劇的に異なります。
  • 例：Gemini-3-Pro は台湾の問題で 96.1% の正答率を示す一方、日本の問題では 31.3% にとどまり、64.8 ポイントの差が生じました。
  • 台湾と日本はどちらも漢字圏ですが、日本の縦書き、漢字・仮名混在、ルビ（ふりがな）などの視覚的複雑さがボトルネックとなっています。
• ランダムベースライン以下のモデル: 多くのオープンソースモデル（例：LLaVA-NeXT-Video-7B: 7.21%）が、ランダム推測（23.7%）以下の性能を示し、画像からのテキスト認識やレイアウト理解に根本的な失敗を犯していることが示されました。

B. 普遍的な失敗パターン

• 全モデル失敗問題: 8,000 問中 50 問（0.6%）は、評価された 28 種類のすべてのモデルによって誤答されました。
• 集中傾向: これらの問題は特にインド（60%）に集中しており、複雑な非ラテン文字（デーヴァナーガリー）と数式、高密度な視覚要素が組み合わさった問題で顕著でした。
• 失敗の性質: 日本では「視覚的パース（レイアウト解析）」の失敗が、インドでは「推論と知識の欠如」が主な原因でした。

C. モデルの性能傾向

• トップモデル: Gemini-2.5-Pro (86.99%)、GPT-5 (85.80%)、o3 (84.26%) が 80% 以上の正答率を達成しましたが、それでも完全な正解には至っていません。
• ドメイン別: 哲学や言語などの分野では高得点ですが、地球科学、地理、法律など、表や図、記号が密集する分野では性能が低下する傾向が見られました。

4. 主要な貢献

1. 高忠実度ベンチマークの提案: 5 地域・17 ドメイン・5 文字体系にまたがる、8,000 問以上の「画像のみ」の公務員試験ベンチマーク EuraGovExam を公開しました。
2. 「国・文字体系」の重要性の再定義: 従来のドメイン中心の評価観念に対し、文字体系や文書レイアウトが VLM の性能に与える影響がドメイン差よりもはるかに大きい（2.52 倍）ことを実証しました。
3. 体系的な失敗分析: 地域間・モデル間での失敗パターンを分析し、特定の文字体系（特に日本語の縦書きやインドの複雑な記述）や視覚的複雑さが、スケーリングだけでは解決できないボトルネックとなっていることを明らかにしました。

5. 意義と今後の展望

• 実世界評価の標準化: 電子政府、公的書類分析、公平な試験準備などの実用的なアプリケーションにおいて、VLM が実際の複雑な文書を扱えるかを評価する新しい基準を提供します。
• モデル開発への示唆:
  • 文字認識とレイアウト理解の強化: 単なる言語モデルとしての性能だけでなく、縦書きや混在文字、複雑な表構造を処理する視覚エンコーダの改善が急務です。
  • 多言語データのバランス: 特定の地域（特に日本やインド）の文書データが不足している可能性が示唆されており、訓練データの偏りを是正する必要性が浮き彫りになりました。
• 診断的価値: 単なる平均正答率ではなく、どの地域・どのドメインでモデルが失敗するかを特定できるため、モデルの弱点を特定し、ターゲットを絞った改善を可能にします。

結論として、EuraGovExam は、VLM が「実世界」の複雑な文書処理タスクにおいて直面する課題を浮き彫りにし、次世代の多言語・多モーダルモデル開発において、視覚的複雑性と言語的多様性を同時に考慮した評価の重要性を強調する画期的な研究です。