技術要約: VidNum-1.4K

問題提起

現在の視覚言語モデル（VLM）は、ビデオ理解において著しい進歩を遂げているが、一つの決定的な科学的問いが残されている。すなわち、これらのモデルは動的なシーンを理解するための安定した「世界モデル」を真に構築しているのか、それとも単に記憶されたデータセットの事前知識や表面的な相関関係に依存しているだけなのか、という点である。既存のベンチマークはビデオ理解を扱ってはいるものの、数値推論に関しては断片的である。標準的なVideoQAデータセット（例：TGIF-QA、NExT-QA）では、カウント（計数）はセマンティックなタスクのマイナーなサブセットとして扱われており、明示的な定量的難易度の階層が存在しない。一方、専用の反復カウント・ベンチマーク（例：QUVA Repetition、Countix）は、反復的な動作のサイクル推定を回帰タスクとして扱うことに焦点を当てており、多段階の論理的演繹、イベント間の整合性、あるいは頻繁なショットカットを跨いだ推論を評価できていない。ビデオにおける構成的な数値推論（compositional numerical reasoning）、すなわちモデルが時間的な証拠に基づき、算術演算、比較、および論理的演繹を行わなければならない状況を評価するための、包括的な評価プロトコルが明確に欠如している。

手法: VidNum-1.4K ベンチマーク

このギャップに対処するため、著者らは、独立したビデオクリップに基づく**1,379個の厳格に人間がアノテーションした多肢選択式問題（MCQ）**で構成される包括的なベンチマーク、VidNum-1.4Kを導入する。

データ構築

本ベンチマークは、データの品質を確保しバイアスを防ぐため、約300人のフルタイム・アノテーターを4つの独立したグループに分けた、厳格かつ完全な手動のマルチステージ・パイプラインを通じて構築された。

1. ソース収集: ビデオは、5つのマクロカテゴリ（知識、生活記録、スポーツ、芸術的パフォーマンス、映画・テレビ）および多様な詳細シナリオ（例：航空、生物学、日常生活）にわたるグローバルなプールから精選された。
2. 作成と検証: グループAは、視覚的な証拠に厳密に従って問題を生成し、モデルが言語的な事前知識を利用することを防ぐための「視覚的記述のみ」のポリシーを徹底した（例：「クリスティアーノ・ロナウド」のような固有名詞を避け、「赤いユニフォームを着た男」といった表現を用いる）。グループBは、これらの問題に回答を試みることで、ビデオ入力なしで解けてしまうような些細な項目や項目をフィルタリングした。
3. 監査: グループCとDは、回答の正当性を確認し、タイムスタンプを精緻化し、曖昧さを排除するための全体的なレビューと最終監査を行い、最終的な「ゴールドスタンダード」セットを作成した。

階層構造

本ベンチマークは、進行的な認知および知覚的要求をテストするように設計された3レベルの階層構造となっている。

• レベル1：同種オブジェクトのカウント（Homogeneous Counting）: 基本的な視覚的グラウンディングとオブジェクトの永続性に焦点を当てる。モデルは、最小限の制約下で単一の種類のオブジェクト、動作、またはイベントをカウントする必要があり、連続的な動きの中で「内部カウンター」を維持することが求められる（例：カメラがパンする際のドアの追跡）。
• レベル2：制約付きおよび異種オブジェクトのカウント（Constrained and Heterogeneous Counting）: 複数のエンティティタイプ間の識別、またはマルチ属性の制約によって定義される単一のエンティティ（例：特定の犬種を数える）を要求することで複雑さを増す。このレベルは、時間的な隔たりやショットカットを越えて数値的な一貫性を維持するための、堅牢な再識別能力をテストする。
• レベル3：構成的な数値推論（Compositional Numerical Reasoning）: 比較、計算、推定、および逐次的な順序付けを含む高次の認知能力を評価する。これらのタスクは、時間的な証拠に厳密に基づいた多段階の算術演算を必要とする（例：特定の時間窓を分離し、特定の制約下にあるプレイヤーを数え、その結果を論理的に比較する）。

評価プロトコル

著者らは、2つのプロトコルを用いて、多様な最先端（SOTA）のオープンソースおよびクローズドソースVLMを評価した。

1. 直接回答（NoCoT）: モデルは最終的な選択肢を直接提示する。
2. ゼロショット・思考の連鎖（Zero-shot CoT）: モデルは、回答を確定させる前に、中間的な観察と計算ステップを明示するように促される。
   視覚入力は、フレームサンプリング戦略（48秒未満のビデオには1 FPS、長いビデオには48個の一様フレーム）を用いて標準化された。

主な貢献

1. VidNum-1.4K ベンチマーク: 数値推論と「世界理解」の能力を評価するために特別に設計された、多様で専用のビデオQAベンチマークの導入。これは、知覚から構成的推論に至る独自の3レベル階層を備えている。
2. 包括的な実証的評価: 代表的なオープンソースおよびクローズドソースVLMの厳格な評価を行い、顕著な性能差を明らかにし、現在のアーキテクチャにおける具体的なボトルネックを特定した。

結果

評価の結果、テストされたすべてのモデルにおいて驚くべき推論のギャップが明らかになった。

• 全体的な性能: 最も高度なクローズドソースモデルであるGemini-3.1-proでさえ、CoT設定下で60%の精度の閾値に辛うじて到達する程度である。代表的なオープンソースファミリー（例：InternVLシリーズ）は著しく苦戦しており、通常は**25%〜45%**の範囲に留まっている。
• タスク別のボトルネック:
  • レベル3への感受性: 思考の連鎖（CoT）プロンプティングは、レベル3（構成的）推論における決定的な触媒として機能しており、これはモデルが生の知覚的グラウンディングは備えているものの、明示的なガイダンスなしには論理的な集約に失敗することを示唆している。
  • アクション vs オブジェクト/イベント: アクションベースのカウントは、オブジェクトやイベントのカウントよりも一貫してスコアが低く、動的なアクションの連続的で流動的な境界を追跡することの困難さを示している。
  • 数値的一貫性: マルチショットビデオの導入により、深刻な一貫性の欠如が露呈した。モデルはシーンカットを跨いでカウントを見失ったり、二重にカウントしたりすることが頻繁にある。
• スケーリング挙動: InternVL3シリーズ（8Bから78Bパラメータ）の分析によれば、モデル容量の増加は一般的な性能向上をもたらすが、特にレベル3の推論において顕著である（CoTにより精度が48.8%から57.1%に上昇）。しかし、レベル1およびレベル2の性能は停滞しているか、わずかな改善に留まっており、微細なインスタンスの追跡やショットを跨いだ再識別は、パラメータのスケーリングだけで容易に解決できるものではない根本的な知覚的ボトルネックであることを示唆している。
• CoTのトレードオフ: CoTは一般に複雑なタスクの精度を向上させるが、「利得と後退（gain-with-regression）」現象を引き起こす。つまり、以前は正解していた直接回答が誤ってしまうことがあり、これは現在のモデルが堅牢な因果推論ではなく、不安定なヒューリスティックな「直感」に依存していることを示している。

意義

本論文は、VidNum-1.4Kを、次世代の数値ビデオインテリジェンスのための要求の厳しい診断テストベッドとして位置づけている。研究結果は、現在のVLMが、特に時間的ダイナミクスや構成的論理に関して、現実世界のマルチメディアコンテンツの固有の複雑さを扱うことができる安定した「内部世界モデル」を欠いていることを示している。断片的な時間的コンテキストと多段階の推論要件を組み合わせることで、本ベンチマークはこれらの弱点を露呈させるための厳格なストレス・テストとして機能し、より信頼性が高く、物理的に根ざしたビデオ理解を実現するモデルの開発を導くことを目的としている。