技術要約: PUMA (Polish Unified Multimodal Assessment)

問題提起

大規模言語モデル（LLM）は、マルチモーダル入力（画像、音声、ドキュメント）をサポートするように急速に進化してきましたが、その評価は依然として英語および西洋の文化的文脈に偏っています。既存のベンチマークは、モデルが言語情報と文化的なニュアンス、歴史的参照、および現地の実用的なスキルを効果的に組み合わせることができるかどうかを評価できていないことが多々あります。具体的には、単一の文化的文脈の中で画像、音声、ドキュメントの理解を統合して評価する包括的なフレームワークが不足しており、特にポーランド語においてはその傾向が顕著です。現在の評価は、テキストのみのタスクや、深い文化的根拠を必要としない一般的な知識に依存していることが多く、これが、文化的に特定のマルチモーダルなタスクにおけるモデルの性能を理解する上でのギャップとなっています。

手法

著者らは、ポーランドの言語的および文化的文脈におけるマルチモーダルモデルの限界を調査するために設計された、900個の手作業によるタスクで構成されるベンチマークであるPUMA (Polish Unified Multimodal Assessment) を導入します。

ベンチマークの構造

データセットは3つのモダリティで構成され、各モダリティには3つの異なるカテゴリ（カテゴリごとに100タスク）が含まれています。

1. 画像 (Images):
   • 歴史と文化 (History and Culture): ポーランドの歴史、伝統、芸術、建築、および重要な人物に関する知識をテストします。
   • 現代生活 (Contemporary Life): 現代のポップカルチャー、メディア、政治、スポーツ、および日常生活をカバーします。
   • 地理と環境 (Geography & Environment): ポーランドの地理、自然のランドマーク、動植物、およびインフラに焦点を当てます。
2. 音声 (Audio):
   • 自動音声認識 (ASR): 困難な、ノイズの多い、あるいは方言を含む録音における文字起こし能力を評価します。
   • 音声QA (Speech QA): 話者の意図や文化的文脈に関する推論を必要とする、話し言葉のポーランド語の理解度を評価します。
   • 音響・音楽QA (Sound & Music QA): ポーランド文化に関連する非音声オーディオ（環境音、楽器、ジングル）の認識をテストします。
3. ドキュメント (Documents):
   • 光学文字認識 (OCR): 視覚的に困難なドキュメント（手書き、低品質のスキャン、表）からのテキスト抽出を評価します。
   • ドキュメントQA (Document QA): 視覚的に豊かなドキュメント（チャート、インフォグラフィック、構造化されたテキスト）の理解をテストします。
   • 構造化抽出 (Structured Extraction): ドキュメントから特定のデータを抽出し、定義されたJSON形式で出力することを要求します。

評価フレームワーク

PUMAは、再現性とコスト効率を確保するため、外部の人間による判定やLLM-as-a-judgeシステムを必要としない、決定論的なルールベースの評価アプローチを採用しています。

• スコアリング: 事前に定義された検証ルールに基づき、バイナリの「厳格スコア（strict score）」（0または1）を使用します。部分的な正解性を測定するために、「ソフトスコア（soft score）」（分数）も計算されます。
• 検証ルール: 7種類のルールが含まれます。
  • QA用: Include（含有）、Exclude（除外）、Regex（正規表現）、および Order（順序、正規化されたKendall Tau距離を使用）。ポーランド語の形態論を処理するために、テキストの正規化（レマ化、小文字化）が適用されます。
  • ASR用: Word Accuracy (WAcc) を使用し、$1 - \text{WER}$ と定義されます。厳格な閾値は0.9です。
  • OCR用: テキストに対するWAccと、表構造に対するTree-Edit-Distanceベースの類似性指標（TEDS）を組み合わせます。
  • 構造化抽出用: JSONオブジェクトをリファレンススキーマと比較し、フィールド値の一致に基づく類似性を計算します。

実験設定

著者らは、1ダース以上のオープンウェイトおよび商用マルチモーダルモデル、ならびに50以上の視覚言語モデル（VLM）を視覚タスクに対して評価しました。実験は、温度（temperature）を0に設定して行われ（推論モデルにおける繰り返しループを防ぐために0.3まで反復的に増加）、画像表現のための最大トークン予算が設定されました。

主な結果

評価により、最先端の商用モデルと他のシステムとの間の顕著な性能差、および非テキスト・モダリティにおける特定の弱点が浮き彫りになりました。

• トップパフォーマー: Gemini ファミリーのモデル（特に Gemini-3.1-Pro および Gemini-3.5-Flash）が最も高いスコアを獲得しました。Gemini-3.1-Pro は全カテゴリを通じて約 80% の平均精度に達しました。Claude-Fable-5 はドキュメントベースのカテゴリで非常に優れた性能を示しましたが、音声サポートが欠けています。
• オープンウェイトモデル: オープンモデルは一般的に商用ソリューションに遅れをとっています。Phi-4-Multimodal-Instruct は、ポーランド語の文法とタスクの難易度に対して著しく苦戦しました。Mistral モデルはわずかな改善が見られましたが、商用のリーダーたちには遠く及びませんでした。しかし、Gemma-4 や Qwen3.5 のような小型の特化型モデルは、ドキュメント関連のカテゴリで強い性能を示し、一部の商用モデルに匹敵しました。
• モダリティの課題:
  • 音声 (Audio): Sound & Music QA が最も困難なカテゴリであり、最良のモデルでもわずか 56% しか達成できませんでした。これは、非音声オーディオに関する学習データの不足を示唆しています。
  • 構造化抽出 (Structured Extraction): このタスクは多くのモデルにとって困難であることが判明しました。JSON構造のわずかなエラーでも回答の失敗につながり、スコアの高い分散を引き起こしました。
  • ASR vs. OCR: 特化したASRモデル（例：ElevenLabs, Whisper-Large-V3）は、一般的なマルチモーダルモデルと同等、あるいはそれ以上の競争力のある性能を発揮しました。OCRにおいては、Claude-Fable-5 と Gemini-3.5-Flash がリードしましたが、専用のOCRモデルは厳格な指標の下では、ソフトスコアと比較して性能が低くなる傾向がありました。
  • 拒絶 (Refusals): OpenAIのモデル（GPTシリーズ）は、歴史的人物や芸術に関する質問に対して高い拒絶率を示し、これがスコアに悪影響を与えました。

重要性と貢献

本論文は以下の貢献と重要性を主張しています。

1. 初のポーランド語マルチモーダルベンチマーク: PUMAは、ポーランド語において、文化的に根ざしたタスクと実用的なスキル（ASR、OCR、構造化抽出）を組み合わせ、画像、音声、ドキュメントの理解を単一のフレームワーク内で統合的に評価する初のベンチマークです。
2. 文化的根即 (Cultural Grounding): 文法と語彙の習得だけでは不十分であり、表面的な、あるいは誤った解釈を避けるためには、現地の歴史、伝統、社会的な文脈に対する深い理解が必要であることを示しています。
3. 評価フレームワーク: 著者らは、マルチモーダルな質問データセットを構築し、決定論的な評価を実行するためのオープンソースツールを提供し、ローカライズされたマルチモーダルAI研究を推進します。
4. ギャップの特定: 結果は、最先端のモデルが視覚的な質問回答には優れている一方で、音声理解（特に非音声）や複雑なドキュメント処理において大きなギャップが残っていることを明らかにしています。論文は、マルチモーダルAIの進歩を、英語中心またはテキストのみのベンチマークだけで信頼性を持って評価することはできないと論じています。

限界

著者らはいくつかの限界を認めています。

• ルールベースの制約: 決定論的なアプローチは、非常にオープンエンドなタスクの導入を制限します。
• モダリティの範囲: 現在のモデルによるサポートが限られているため、ビデオは含まれていませんが、フレームワーク自体はビデオをサポートしています。
• 時間的範囲: データセットは、長期的な安定性を確保するために、安定したよく知られた事実に焦ло 있으며、急速に変化するトレンドは避けています。
• 文化的多様性: 多様性を考慮してキュレーションされていますが、アノテーターのグループは年齢や経験において比較的均質であり、世代的な視点の幅を制限している可能性があります。
• データ公開: データのリークを防ぎ、ベンチマークの完全性を維持するために、データセットの一部のみが公開されており、評価結果のための公開リーダーボードが用意されています。