技術要約：単一カメラを超えて：スポーツビデオ理解におけるエージェンティックなマルチビュー推論

1. 問題定義

スポーツビデオの理解は、既存のベンチマークでは十分に解決されていない特有の課題をマルチモーダル大規模言語モデル（MLLM）に提示します。現在のMLLMは単一視点のビデオタスクでは優れた性能を発揮しますが、スポーツのシナリオには、密集した遮蔽（オクルージョン）、急速な動き、複雑なプレイヤー間の相互作用が含まれ、これらは単一のカメラアングルでは不十分、あるいは誤解を招く可能性があります。実際の審判業務において、審判は（例えば、ファウルが発生したか、あるいはプレイヤーがアウトオブバウンズになったかを判断するために）複数の非同期なカメラアングルを利用して曖昧さを解消します。しかし、既存のベンチマーク（SoccerNetやSports-QAなど）は通常、単一視点の入力のみを提供しており、複数の視点にわたって推論するMLLMの能力を評価できていません。

対処すべき核心的な問題は、マルチビュー・スポーツビデオ理解です。すなわち、$N$個のビデオ（$V = \{V_1, ..., V_N\}$）が同じイベントを異なる（潜在的に非同期な）視点から捉えている場合、自然言語の質問 $q$ が与えられたとき、モデルは複数の視点から証拠を集約して正しい回答 $a$ を推論しなければなりません。

2. 手法

2.1. SportMV-Bench: 新しいベンチマーク

マルチビュー評価の欠如に対処するため、著者らはバスケットボールとサッカーの公式試合録画から構築されたSportMV-Benchを導入します。

• データ構築パイプライン: 品質と検証可能性を確保するため、データセットは以下の4段階のプロセスを通じて構築されています。
  1. データ収集: 公開プラットフォーム（NBAリプレイアーカイブ、SoccerNet）からビデオと公式の審判レポートを取得します。マルチビューのクリップは、シーン検出を用いて、異なる角度から同じアクションを捉えるようにセグメント化されます。
  2. LLMベースのQAプロポーザル: LLMが審判レポートに厳密に基づいた多肢選択式の質問を生成します。これにより、「正解」が事実に基づいたものとなり、紛らわしい選択肢（ディストラクター）は意味的に類似しているものの誤りである状態を保証します。
  3. マルチモーダル検証: 強力なMLLM（GPT-5）が監査役として、QAペア、審判レポート、および視覚的証拠の間の整合性を検証し、ハルシネーションや常識のみに基づく質問を排除します。
  4. 人間によるフィルタリング: エキスパートのアノテーターが、曖昧または不適切な質問を削除するためにデータセットを精査します。
• 統計: 最終的なベンチマークには、787個のマルチビュー・ビデオ束（各2〜4ビュー）と2,592個のQAペアが含まれています。
• タスクカテゴリ: 質問は以下の3つの推論レベルに分類されます。
  • 知覚認識型認識 (Perception-Aware Recognition: PAR): 遮蔽下での低レベルなアクション識別（例：タックル、ブロック）。
  • ルールイベント認識型解釈 (Rule Event Aware Interpretation: REI): ルールに基づいたイベントのローカライズを必要とする中レベルの推論。
  • 判定決定推論 (Adjudicative Decision Reasoning: ADR): ペナルティかフリーキックかといった制裁を決定するために、クロスビューの証拠を合成する高レベルの規範的推論。

2.2. ベースライン分析と知見

著者らは、すべてのビューを単一の入力に結合するという標準的なベースラインを用いて、最先端のMLLM（GPT-4.1、Qwen3-VLなどを含む）を評価しました。

• 主な知見:
  • ビューの量 $\neq$ 品質: すべてのビューを共同で提供しても、ランダムな単一ビューと比較してわずかな利得しか得られず、単一の「最適な」ビューを提供する場合よりも大幅に低い性能となりました。冗長なビューや遮蔽されたビューはノイズを導入します。
  • 知覚がボトルネック: 正解の微細な知覚ラベル（アクションや接触）を提供すると精度は約16.5%向上しましたが、Chain-of-Thought (CoT) 推論や追加のドメイン知識による向上は無視できるか、あるいはマイナスの影響を与えました。
  • 結論: 現在のMLLMの主な失敗モードは、論理的推論やドメイン知識の欠如ではなく、情報を多く含むビューを自律的に選択する能力、および微細な視覚的知覚を行う能力の欠如にあります。

2.3. SportMV-Agent: エージェンティック・フレームワーク

この分析に基づき、著者らは受動的な処理を反復的かつ能動的な推論ループに置き換えたエージェンティック・フレームワークであるSportMV-Agentを提案します。

• アーキテクチャ: システムは、オーケストレーター（強力なMLLM）と一連の知覚ツールで構成されます。
• 反復ループ:
  1. 状態の維持: オーケストレーターは、質問、現在アクティブなビュー、および蓄積された証拠を含む状態を保持します。
  2. 意思決定: 各ステップにおいて、オーケストレーターは思考（thought）と操作（operation）を生成します。
  3. 能動的なビュー選択: 現在のビューが遮蔽されているか詳細が不足している場合、エージェントはより情報量の多い角度に切り替えるための VIEWSELECT 操作をトリガーします。
  4. ツールの実行: エージェントは、特定のビューに対して微細な証拠を抽出するために、専門化された知覚ツール（アクション認識、接触検出、接触部位検出）を呼び出す TOOLEXEC をトリガーできます。
  5. 終了: ループは、オーケストレーターが最終的な回答を出力するための十分な確信度に達するまで継続されます。

3. 主要な結果

• パフォーマンス: SportMV-Agentは、SportMV-Benchにおいて68.31%の全体精度を達成しました。これは、最強のベースライン（GPT-4.1の59.68%）に対して14.46%の相対的な向上を表しています。
• アブレーション研究:
  • オーケストレーターの強度: より弱いオーケストレーター（GPT-4o）を使用すると、パフォーマンスは約8.6%低下し、強力な推論能力の必要性が浮き彫りになりました。
  • 能動的なビュー選択: ビュー切り替えモジュールを無効にすると、パフォーマンスは約7.3%低下し、動的なビュー選択が極めて重要であることが確認されました。
  • ツールの堅牢性: フレームワークは使用される特定の知覚モデルに対して堅牢であり、ツールをより強力なモデルに置き換えてもわずかな向上しか見られませんでした。これは、オーケストレーション戦略が成功の主要な要因であることを示唆しています。
  • ノイズ処理: トップ1ではなくトップ3のツール予測を提供することで堅牢性が向上しました。これは、オーケストレーターが検索ノイズをフィルタリングできることを示しています。

4. 重要性と主張

本論文は、SportMV-Benchが、合成された単一視点のタスクと現実世界の審判シナリオの間の決定的なギャップを埋める、マルチビュー・スポーツビデオ理解を評価する初のベンチマークであることを主張しています。

著者らは、彼らの研究が以下を実証していると断言しています。

1. 現在のMLLMの限界: 標準的なモデルは、能動的なビュー選択や微細な知覚を行うメカニズムを欠いているため、マルチビューの証拠を効果的に活用することができません。
2. 知覚の役割: 微細な視覚的知覚は、論理的推論やドメイン知識よりも、スポーツの推論における決定的なボトルネックとなります。
3. エージェンティックな解決策: 能動的なビュー選択とツールベースの証拠収集をオーケストレートするエージェンティック・フレームワークは、受動的なシングルパスのアプローチを大幅に上回ります。

本論文は、将来のスポーツビデオ理解の進歩には、静的な単一視点の入力を超えて、現実世界のマルチカメラ・スポーツデータの複雑さを扱うことができる、動的で証拠に基づいた推論システムへと移行する必要があると結論付けています。