Tool-Augmented Spatiotemporal Reasoning for Streamlining Video Question Answering Task

技術要約：ビデオ質問応答を効率化するためのツール拡張型時空間推論

問題提起
ビデオ質問応答（VideoQA）は、基盤モデルが動的な現実世界のシナリオを認識、理解、および推論できるかどうかを評価するための重要なベンチマークとして機能しています。しかし、既存のマルチモーダル大規模言語モデル（MLLM）は、ビデオフレーム内の空間的関係のモデリングと、時間の経過に伴う因果的なダイナミクスの理解を同時に行う上で、大きな課題に直面しています。現在の手法は、主に以下の2つのカテゴリーに分類されますが、それぞれに限界があります。

1. ビデオ中心型LLM（Video-LLMs）： Qwen-VLのようなモデルは、大量のビデオフレームを処理する必要があることが多く、冗長で非効率なパイプラインを招きます。
2. ツール拡張型LLM： ツールは推論を強化できますが、既存の実装には以下の3つの根本的な問題が存在します。
   • 一次元的な活用： これらは通常、空間的または時間的次元のいずれかに焦点を当てており、両方を同時にモデル化できていません。
   • 不均衡なツールの多様性： 単にツールの数を増やすことは、LLM固有の不確実性により、実行上の問題を引き起こします。
   • 不十分なスケジューリング： 効果的なスケジューリングメカニズムの欠如は、秩序のないツール呼び出しを招き、モデルが深い推論を回避して直接回答してしまう「ツールチェーン・ショートカット（Toolchain Shortcuts）」を引き起こし、精度と効率を低下させます。

手法
著者らは、**ビデオ・ツールキット（Video Toolkit）と時空間推論フレームワーク（STAR: Spatiotemporal Reasoning Framework）**からなる包括的なソリューションを提案しています。

• ビデオ・ツールキットの構築：
  このツールキットは、3つのコア原則に基づいて設計されています：タスクを時間的および空間的次元に分解すること、自然言語を介してコンピュータビジョンの結果を統合すること、そしてセグメントレベルとフレームレベルの両方の処理をサポートすることです。これは、以下のカテゴリに分類される約22個のプラグアンドプレイ可能なツールで構成されています。

  • 空間ツール： 物体検出（YOLO、Grounding DINO）、バウンディングボックスの活用（テキスト変換、パッチズーミング、視覚的マーカー）、およびセマンティック・セグメンテーションが含まれます。
  • 時間ツール： フレーム選択（LLMの推論またはA*探索に基づく）、テンポラル・グラウンディング（時間的接地）、およびビデオ・トリミングが含まれます。
  • 汎用ツール： OCR、要約、およびビデオ・ランゲージ・モデルが含まれます。
    これらのツールは、拡張性を確保するために標準化されたツールカードを用いてカプセル化されています。

• 時空間推論フレームワーク（STAR）：
  STARは、ツールチェーン・ショートカットを防ぎ、3D関心領域（3D RoI）（時間と空間の両方において質問に関連するビデオの特定の部分）の段階的な局在化を保証するために設計された、トレーニングフリーのエージェンティックなフレームワークです。

  • 時空間インターリービング（時空間交互作用）： 時間を処理してから空間を処理する（あるいはその逆）という、フィードバックのない「分離型」のアプローチとは異なり、STARは交互の呼び出し戦略を強制します。もし時間ツールが使用された場合、次は空間ツールでなければならず、その逆も同様です。汎用ツールは最後の手段として予約されています。
  • 可視フレーム辞書： フレームワークは、可視フレームのインデックスと各フレームについて収集された情報を追跡する辞書（$V$）を保持します。時間ツールはフレームやセグメントを選択することで辞書を更新し、空間ツールはこれらのフレームを処理して対応するデータを更新します。
  • 反復プロセス： LLMプランナーは結果を観察し、次のステップについて推論し、制約されたセット（時間的または空間的）から適切なツールを選択し、十分な情報が集まるまで繰り返します。

主な貢献

1. 包括的なビデオ・ツールキット： 空間、時間、および汎用機能にわたる、多様な22個のプラグアンドプレイ可能なツールを備えており、ツールの量と多様性のバランスを取りながら、MLLMの推論能力を高めるように設計されています。
2. STARフレームワーク： 時空間インターリービングを採用してツールを交互に呼び出す、新しい推論フレームワークです。この戦略は、探索空間を3D RoIへと段階的に絞り込み、意図的な視覚的思考を模倣することで、ショートカット行動を回避します。
3. 性能と効率性： 軽量なツール（3Bパラメータ未満のモデルを使用）でGPT-4oを拡張することで、精度と計算効率の両面において既存のベースラインを大幅に上回ることを示しています。

実験結果
著者らは、4つの主要なVideoQAベンチマーク（VideoMME、LongVideoBench、NExT-QA、EgoSchema）でSTARを評価しました。

• VideoMME： STARは、GPT-4o（32フレーム使用）に対して8.2%の向上を達成し、最高の性能を示す7BオープンソースVideo-LLM（InternVL3-8B）を3.7%上回りました。また、実行時間を6〜8分から15.8秒に短縮しながら、72B規模のモデルの性能に迫りました。
• LongVideoBench： STARはGPT-4oを4.6%向上させ、特に長い（180〜600秒）および極めて長い（900〜3600秒）ビデオセグメントにおいて強みを発揮しました。
• NExT-QA： STARは最も少ないフレーム数（7.2）を使用して最高精度（82.1%）を達成し、7B Video-LLMおよび他のフレーム選択手法の両方を上回りました。検証セットにおいて、軽量版（STAR-MINI）はDoraemonGPTを6.3%上回りました。
• アブレーション研究： 「制約なし」、「プロンプティング」、「時空間分離」などの戦略との比較により、時空間インターリーブアプローチが、より長く多様なツールチェーンを活用し、精度とフレーム効率の最適なバランスをもたらすことが確認されました。

意義と主張
本論文は、提案されたビデオ・ツールキットとSTARフレームワークが、自律的かつ知的なビデオ分析アシスタントの構築に向けた重要な一歩であると主張しています。MLLMに構造化され拡張可能なツールキットと、3D関心領域の段階的な局在化を強制する推論フレームワークを装備させることで、複雑な時空間推論を扱う際の現在のモデルの限界に対処しています。著者らは、彼らのアプローチが軽量なオープンソースツールを使用して高い性能を達成しており、巨大でパラメータ数の多いモデルと比較してスケーラブルかつ効率的であることを強調しています。

著者らが指摘する制限事項： 現在の実装は、プランナーとしてOpenAIのGPTモデル（GPT-4o/GPT-3.5）に依存しており、APIコストが発生します。今後の課題は、プランナーをより軽量なモデルに置き換えること、およびツール使用を推論プロセスにより良く統合することです。さらに、現在のシステムは視覚的コンテンツに焦点を当てており、字幕や音声の統合は今後の探求事項として残されています。