技術的概要：TOC-Bench

問題提起

ビデオ大規模言語モデル（Video-LLM）は一般的なビデオ理解において著しい進展を遂げてきたが、時間的物体の一貫性を維持する能力については十分に検討されていない。既存のベンチマークは主にイベント認識、行動理解、または粗い時間的推論に焦点を当てている。しかし、それらは多くの場合、明示的な物体の軌跡ではなく、ビデオレベルのアノテーション、キャプション、または人間が作成した質問に依存している。その結果、現在の評価は、物体中心の時間的整合性の失敗を見逃すことで、時間的推論能力を過大評価する可能性がある。

具体的には、既存のベンチマークは、以下の状況においてモデルが同一物体の同一性、状態、時間的連続性を一貫して維持できるかどうかを評価することは稀である。

• 遮蔽と消失。
• 再出現と状態遷移。
• 物体間相互作用。

さらに、最近の研究では、多くのビデオ言語クエリが「ショートカット」（例えば、単一フレーム、言語的事前知識、または順序無関係なフレームの手がかりへの依存）を通じて解決可能であり、真の時間的推論を必要としないことが示されている。時間経過に伴って特定の物体インスタンスに推論を固定できるかどうかを評価する点に、決定的なギャップが存在する。

手法

TOC-Bench の構築

著者は、時間的物体の一貫性を評価するために設計された診断ベンチマークであるTOC-Benchを導入する。構築パイプラインは以下の 3 つの段階を含む。

1. ビデオ選定と物体軌跡アノテーション:

   • ソースビデオは、Charades、Perception Test、OVIS、MOSE の 4 つの公開データセットから採取される。
   • 物体追跡: VLM（Qwen3-VL-8B-Instruct）がサンプリングされたフレームから個々の物理的物体と人物を提案する。これらの名詞句は、SAM3に対するプロンプトとして使用され、フレームごとの物体軌跡を生成する。
   • イベント導出: 時間的イベント（出現、消失、遮蔽、再出現、相互作用）は、保持された物体軌跡から導き出される。
   • 品質管理: 低品質、断片化、または曖昧な軌跡は除去される。ID の分割を修復し、ID の入れ替わりをフラグ付けするポストプロセッシングステップを実行して、軌跡の安定性を確保する。

2. QA 構築と生成:

   • 推論ユニット: 物体軌跡とイベントタイムラインから構造化された推論ユニットが作成され、照会される物体、イベント、診断次元、および正解が指定される。このステップで 547,610 の推論ユニットが生成される。
   • スケルトン合成: 推論ユニットは、10 の診断次元と 4 つのタスク形式（多肢選択、ステートメントペア、数値カウント、イベント順序付け）を網羅する質問スケルトン（構造、選択肢、ラベルを固定）に変換される。
   • 表面実装: LLM（GPT-5.4-mini）が、決定論的な回答ラベルや構造化されたメタデータを変更することなく、スケルトンの文言を洗練させる。
   • ハルシネーション注入: 主題やイベントがビデオに存在しないバリエーションを作成し、ハルシネーションに対する堅牢性をテストする。

3. フィルタリングと検証:

   • 3 層時間的必要性フィルタ: ショートカットで解決可能な質問を排除するため、3 層フィルタが適用される。
     1. テキストのみフィルタ: テキストのみで回答可能な項目を除去。
     2. 単一フレームフィルタ: 個別のフレームから回答可能な項目を除去。
     3. フレームシャッフルフィルタ: 回答が元の時間的順序に依存しない項目を除去。
   • このプロセスにより、候補プールは 45,527 から時間的依存性の高い 17,900 項目に削減される。
   • 人間による検証: 3,000 のフィルタリング済み項目が、明瞭さ、証拠の有効性、ラベルの正確性について手動で検証され、1,951 本のビデオにわたる最終的な2,323 組の高品質 QA ペアが作成される。

評価プロトコル

• 評価対象モデル: GPT-5.5、Kimi-K2.6 などのクローズドソースシステム、Qwen2.5-VL、InternVL3 などのオープンソース標準モデル、および推論スタイルの変種を含む、23 の代表的な Video-LLM。
• 入力プロトコル: 再現性を確保し、視覚的証拠の予算を分離するため、モデルは制御されたフレームベースのプロトコル（通常、32 枚の均一サンプリングされたフレーム）で評価される。
• 指標: 全体の精度、次元ごとの精度、および存在しない主題やイベントを含むバリエーションに対するハルシネーション診断精度（HDA）。

主要な貢献

1. 時間的物体の一貫性の定義: 本論文は、一般的なイベントレベルまたはビデオレベルの推論とは区別される専用の評価能力として、時間的物体の一貫性を確立する。これは、時間経過に伴う物体の同一性、状態、持続性を維持することに焦点を当てている。
2. TOC-Bench データセット: 2,323 組の人間検証済み QA ペアを含む、物体軌跡に基づく診断ベンチマーク。以前のベンチマークとは異なり、照会されるすべての主題はフレームごとの物体軌跡に固定され、回答は構造化された物体 - イベントタイムラインから導き出される。
3. 診断プロトコル:
   • 時間的必要性フィルタリング: 時間的に順序付けられた視覚的証拠を必要とする質問を確実にするため、候補 QA ペアの 60.7% を除去する厳格なプロトコル。
   • ハルシネーション認識: 視覚的に支持されないが妥当な物体やイベントをモデルが拒否できるかどうかをテストするバリエーションの統合。
4. 包括的な評価: ベンチマークは、単一物体、時間横断的一貫性、物体横断的一貫性の 3 つの難易度段階にわたる 10 の診断次元を網羅し、4 つの決定論的タスク形式をサポートする。

実験結果

23 の Video-LLM に対する実験により、時間的物体の一貫性が依然として未解決の主要な課題であることが明らかになった。

• 人間とモデルのギャップ: 人間の注釈者は**89.3%の全体の精度を達成するのに対し、最高性能のモデル（GPT-5.5）はわずか47.1%**に留まる。
• 特定の弱点: モデルは以下の点で著しい弱点を示す。
  • イベントカウント: （例：GPT-5.5 はイベント存在判定で 68.9% であるのに対し、イベントカウントでは 18.3%）。
  • イベント順序付け: （例：精度 24.8%）。
  • 同一性感受性推論: 遮蔽と再出現を跨いで同一性を維持することに苦労する。
  • ハルシネーション検証: モデルはしばしば、ビデオに存在しない物体やイベントの存在を過剰に仮定する。
• モデルの傾向:
  • クローズドソースモデルは一般的にオープンソースモデルを上回るが、人間のパフォーマンスとのギャップは依然として大きい。
  • 「思考」または推論スタイルの変種（例：Qwen3-VL-8B-Thinking）は選択的な改善を示すが、標準モデルを一貫して上回ることはなく、より長い推論の痕跡が、視覚表現における欠落した物体レベルの時間的証拠を補うことはできないことを示唆している。
  • パフォーマンスは次元によって大きく異なり、ステートメントペアの質問は一般的に数値カウントやイベント順序付けよりも容易である。

意義と主張

本論文は、時間的物体の一貫性が現在の Video-LLM における主要なボトルネックであると主張する。その知見は、一般的なビデオ理解ベンチマークでの高いパフォーマンスが、信頼性の高い物体レベルの時間的推論を意味するものではないことを示唆している。

• 診断的価値: TOC-Bench は、広範な平均ケース評価を超えて、物体認識を伴う時間的推論における特定の失敗を診断するための焦点を絞ったプラットフォームを提供する。
• 設計への示唆: 失敗のパターンは、現在のメカニズム（スパースなフレームサンプリング、視覚トークンの圧縮、グローバルな時間的集約）が、繰り返しイベントのカウントや、フレームからの退出と遮蔽の区別に必要なフレームレベルの連続性を破棄している可能性を示唆している。
• 将来の方向性: 著者は、将来のモデルは、物体中心のメモリ、追跡を認識する視覚トークン、および物体の同一性、イベントのタイムスタンプ、物体間時間的関係を明示的にモデル化する学習目的から恩恵を受ける可能性があると提案している。

本リソースは、この分野におけるさらなる研究を促進するために公開されている。