技術要約: CrossView – ビジョン・ランゲージ・モデルは複数カメラ間で推論できるか？

問題提起

現在のビジョン・ランゲージ・モデル（VLM）およびビデオ理解のベンチマークは、主に「単一カメラの仮定」の下で運用されており、単一の視覚ストリームに対するモデルの能力を評価してきました。最先端のモデルは、VQAv2やVideo-MMEといったベンチマークにおいて人間と同等の性能を実現していますが、現実世界のシステム（自動運転車、セキュリティネットワーク、ロボティクス）は本質的にマルチカメラネットワークに依存しています。

著者らは、マルチカメラによる推論は、単一カメラの問題をスケールアップさせたものではなく、以下の2つの具体的な障害によって特徴付けられる、根本的に異なる課題であると主張しています。

1. コンテキストのスケーリング: $N$ 個の同時ビデオストリームを処理することは、必要なコンテキストウィンドウを拡大させ、多くの場合、ロングコンテキスト・モデルの実効限界を超えてしまいます。
2. クロスビュー空間推論: モデルは時空間的なスティッチング（縫い合わせ）を行い、個別の視点を一貫したシーンへと合成しなければなりません。これには、特定のカメラからのみ見える遮蔽（オクルージョン）の解決、最も情報量の多いビューの選択、そして重複または相違する視点間での証拠の統合が必要です。

既存のデータセットは、狭い知覚タスク（例：ビューを鳥瞰図表現にマージする）に焦点を当てているか、あるいはエゴセントリックな活動理解のような特定のドメインに限定されています。生（raw）の、同時進行かつヘテロジニアスなカメラフィードに対して、モデルに時空間的な推論を強いるベンチマークは明確に不足しています。

手法

データセット構築: CrossView

著者らは、4つの実世界のドメイン（自動運転：nuScenes、監視：MEVA、エゴセントリック・エキセントリック相互作用：Ego-Exo4D、ロボティクス：AgiBot）にわたる6,000問の質問で構成されるマルチカメラ・ビデオ質問応答（VQA）ベンチマーク、CrossViewを導入します。

このデータセットは、意味的な正確性を確保し、モデルのハルシネーションを回避するために、2段階のパイプラインを通じて構築されています。

1. 時空間シーングラフ（STSG）の構築:
   • ソースデータセットのメタデータを集約します。nuScenesについてはLiDAR点群によって3Dローカライゼーションを精緻化し、その他のデータセットでは3Dまたはバウンディングボックスのアノテーションを使用します。
   • ネイティブなラベルが存在しない場合は、VLM（例：InternVL-3.5）を使用して、オブジェクト中心の活動と記述を生成します。
   • カメラビュー間におけるエンティティ間のペアごとの空間関係（例：背後、左、右）および方位差を計算します。
   • オブジェクトが一定の活動を維持する連続したタイムスタンプをグループ化することで、イベント間隔 $[t_{start}, t_{end}]$ を形成します。
   • これらの要素が時系列のグラフスナップショット $G_t$ のシーケンスを形成し、最終的なSTSGを作成します。
2. プログラムによる質問生成:
   • 「グラウンディング・ターゲット」アーキテクチャがSTSGにクエリを投げます。システムはグラウンディング対象となるイベント/オブジェクトを特定し、ターゲットとなるイベントを選択し、負の候補（ディストラクター）をサンプリングします。
   • この構造化されたメタデータは、一般的なラベルではなく、オブジェクトの外観や活動に基づいたグラウンディングされた記述を保証するために、GPT-5.2に渡され、自然言語の質問へと合成されます。

質問カテゴリ

このベンチマークには、5つの異なる推論カテゴリと、特定の「Camera-ID」タスクが含まれています。

• Temporal（時間的）: 前、後、間、または中間の関係に関する推論。
• Event Ordering（イベントの順序付け）: 3〜5つの異なるイベントの時系列シーケンスの再構成。
• Spatial（空間的）: 複数の視点を通じた3D関係（例：駐車された車に対する交通標識の相対的な位置）の決定。
• Counting（計数）: 遮蔽や再出現を処理するために、全期間および複数のビューにわたってユニークなオブジェクトインスタンス（UID）を集計する。
• Summarization（要約）: すべてのカメラの視点を通じたシーンのダイナミクスの包括的なナラティブ（物語）の生成。
• Best Camera (Camera-ID): 特定のイベントに対して、どのカメラビューが最も情報量が多く、持続的な証拠を提供するかを特定する。

評価戦略

著者らは、プロプライエタリなモデル（GPT-5.2）およびオープンソースのファミリー（Qwen, InternVL, Gemma）を含む11のVLMを評価しました。

• サンプリング戦略: 2つの戦略が比較されました：Uniform（カメラごとに$N$個のフレームを独立してサンプリング）および Stitched（すべてのカメラフレームを1つのタイムステップあたりの複合画像としてタイル状に配置）。
• 指標: 多肢選択式タスク（Counting, Temporal, Event Ordering, Spatial, Camera-ID）に対する精度、およびオープンエンドなSummarizationに対するROUGEスコア。

主な結果

1. マルチカメラ推論のギャップ

評価により、最先端のモデルであっても、マルチカメラ設定においては一貫して顕著な性能ギャップがあることが明らかになりました。

• 低い精度: 単一カメラのベンチマークでは飽和状態に近いGPT-5.2であっても、nuScenesのテンポラル推論では50%を下回り、Ego-Exo4Dのカメラ識別では35%を下回っています。
• スケールへの独立性: この欠陥は、モデルのファミリーやパラメータ数（3Bから14B以上まで）に関わらず持続しており、ボトルネックはモデルの容量ではなく、事前学習データにおけるマルチカメラ理解の構造的な欠如であることを示唆しています。
• タスクの難易度: カメラ間の共同合成を必要とするタスク（CountingおよびBest Cameraの選択）は、同じビデオから派生したテンポラルやイベント順序付けのタスク（40〜55%）よりも、著しく低いスコア（多くの場合20〜35%）を記録しました。

2. シーンの複雑さとカメラ密度

シーンの複雑さが増すにつれて、性能は単調に低下します。

• 制御された環境: AgiBot（ロボティクス、固定カメラ、低クラッター）は、最も高い精度（テンポラル推論で最大69.6%）を示しました。
• 複雑な環境: MEVA（広域監視、多数の重複するカメラ）は、カウントおよび要約において、すべてのカテゴリで最低のスコアを記録しました。

3. 入力戦略: Uniform vs. Stitched

• Stitched サンプリング: フレームを1つの画像にタイル状に配置することで、同時的な空間比較を必要とするタスク（nuScenesのcountingで+10.5%、MEVAのspatial reasoningで+16.6%）の性能が向上しました。
• Uniform サンプリング: より単純でクラッターの少ない環境（AgiBot）では、スティッチングは視覚的なノイズを導入し、性能をわずかに低下させる可能性があるため、フレームサンプリング戦略はタスクに依存すべきであることが示唆されました。

4. マルチビュー入力の必要性

入力を単一の「最適な」カメラに制限すると、フルマルチカメラ入力と比較して性能が低下します。

• nuScenesにおいて、フロントカメラのみを使用した場合、マルチカメラのベースラインと比較して、カウンティングの精度は8.8%、空間推論の精度は4.4%低下しました。
• これは、ベンチマークの多くの質問が、単一のストリームからは推論できない複数の視点からの証拠を真に必要としていることを裏付けています。

重要性と主張

本論文は、CrossViewが、多様な実世界のドメインにおいて、2つから8つの同時進行するカメラストリームに対する共同推論を評価するために特別にキュレーションされた最初のベンチマークであると主張しています。その主な意義は以下の通りです。

1. 根本的な限界の露呈: 現在のVLMは、単一ビューのタスクでは成功しているものの、複数の視点間で証拠を統合するためのアーキテクチャ的メカニズムや学習データが不足していることを示しています。
2. 新たな課題の定義: マルチカメラ推論は、単にモデルのスケールやコンテキストウィンドウのサイズを大きくするだけでは解決されない、独自の課題（コンテキストのスケーリング、時空間的なスティッチング、ビューの選択）を伴うことを確立しました。
3. ベンチマークの厳密性: 単一ビューの入力では多くの質問に答えることができないことを経験的に検証することで（表5）、自律システムやロボティクスへの実用展開におけるマルチビュー統合の必要性を正当化しています。

著者らは、CrossViewが現代のVLMに対する厳格なストレス・テストとして機能しており、クロスビューの証拠統合を明示的にサポートする新しいアーキテクチャ、学習目的、およびデータパイプラインの必要性を強調していると結論付けています。