技術サマリー：CollabVR – ビジョン・言語モデルおよび動画生成モデルを用いた協調的動画推論

1. 問題定義

「動画による思考（Thinking with Video）」の最近の進展は、静的な画像ベースの推論を超え、動画生成モデル（VGM）を用いて時間的に一貫した「フレーム連鎖（Chain-of-Frames）」を推論の産物として生成することを可能にしました。しかし、本論文は、強力な VGM でさえも、目標指向の多段階視覚推論タスクに適用される際、以下の 2 つの反復的な失敗モードを示すことを指摘しています。

1. 長視野ドリフト（過負荷プロンプト失敗）： 単一のプロンプトが複雑な多段階タスクを指定する場合、VGM は全体の軌跡を短視野のロールアウトに圧縮しようとします。タスクを整合的なサブゴールに分解する能力が欠如しているため、生成物が意図された経路から逸脱します。
2. 実行失敗（クリップ内シミュレーション誤り）： 単一の短いクリップ内であっても、VGM は局所的な誤り（例：エージェントが壁を横切る、物体の同一性を失う、サブアクションが早期に停止するなど）を犯します。これらの誤りは後続のフレームを通じて伝播し、全体の軌跡を汚染します。

両方の失敗は、VGM の短視野視覚事前知識に基づいた明示的で修正可能な推論プロセスの欠如に起因します。ビジョン・言語モデル（VLM）は論理的推論と計画において優れていますが、視覚シミュレーションにおいては弱いです。逆に、VGM はシミュレーションに優れていますが、抽象的な推論においては弱いです。$k$ 回の試行から最良のサンプルを選択する（Pass@k）や、動画全体のプロンプトを洗練させる（VideoTPO）などの既存のアプローチは、介入が事後（ポストホック）すぎるか、または生成された結果に基づいて計画を適応させないため、これらの問題に効果的に対処できていません。

2. 手法：CollabVR

著者は、VLM と VGM をステップレベルの粒度で結合する、クローズドループのテスト時フレームワークであるCollabVR（VLM-VGM 協調動画推論）を提案します。完全なシーケンスを生成前にコミットする事前計画アプローチとは異なり、CollabVR は適応的に動作します。

このフレームワークは、密に結合された 2 つのモジュールで構成されます。

A. VLM 駆動の漸進的計画（モジュール 1）

このモジュールは長視野ドリフトに対処します。タスク全体を事前に分解するのではなく、VLM プランナー（$\pi_{plan}$）は、生成されたフレーム（履歴 $H$）を条件として、ステップ数をその場で決定し、直近の次のアクションのみを計画します。

• メカニズム： VLM は入力画像、タスクプロンプト、履歴を受け取り、次の短いクリップ（$a_t$）のプロンプトを出力します。
• 適応性： 総ステップ数 $N$ は当初固定されず、タスクが完了するかどうかに基づいて動的に決定されます。これは超パラメータ $N_{max}$ によって上限が設定されます。これにより、システムは厳密な事前分解ではなく、実際の生成品質に適応できます。

B. VLM-VGM 協調推論（モジュール 2）

このモジュールは実行失敗に対処します。VGM がアクションプロンプトに基づいてクリップ（$c_t$）を生成した後、VLM 検証器（$\pi_{verify}$）がそのクリップを検査します。

• 検証： 検証器は構造化された判定 $(v, d)$ を出力します。ここで $v \in \{accept, reject\}$ であり、$d$ にはテキストによる理由と、修正のための実行可能な提案が含まれます。
• プロンプトの進化： クリップが拒否された場合、検証器の提案はアクションプロンプトに直接組み込まれ（$a_t \leftarrow evolve(a_t, d)$）、VGM を再サンプリングする前に特定の失敗（例：方向やターゲットの修正）を修正します。これは、リトライ予算 $M$ の範囲内で、同じステップ内で発生します。
• 進行： 承認された場合のみ、クリップが履歴 $H$ に追加され、ループは次のステップの計画に進みます。

この一連のプロセスはアルゴリズム 1に形式化されており、タスクが完了するかステップ予算が尽きるまで、計画、生成、検証、および潜在的な再生成を反復します。

3. 主な貢献

1. 長視野ドリフトに対する漸進的計画： VLM がステップ数を動的に決定し、直近の次のアクションのみを出力する適応的計画モジュール。事前計画のコミットメント誤りを回避します。
2. 実行失敗に対する協調推論： 失敗を認識する介入モジュール。VLM が各クリップを検証し、特定の誤りを診断して、局所的な失敗が累積する前に次のアクションプロンプトを修正します。
3. 計算コスト一致時の一貫した性能向上： 生成コストを一致させた場合、単一推論、Pass@k、および以前のテスト時スケーリングベースライン（VideoTPO など）と比較して、オープンソースおよびクローズドソースの VGM 両方において性能が向上します。
4. ファインチューニングとの直交性： この手法は、推論向けにファインチューニングされた VGM 上でもさらなる向上をもたらします。これは、ステップレベルの VLM 監督が、推論指向のモデルトレーニングと直交的であり、積み重ね可能であることを示しています。

4. 実験結果

著者は、Gen-ViRe（72 サンプル、6 カテゴリ）およびVBVR-Bench（500 サンプル、ドメイン内およびドメイン外分割）において CollabVR を評価しました。

• テストモデル： オープンソース（VBVR-Wan2.2、Cosmos-Predict-2.5）およびクローズドソース（Veo 3.1）。
• ベースライン： 単一推論、Pass@2/4、および VideoTPO。
• 性能：
  • Gen-ViReにおいて、CollabVR は VBVR-Wan2.2 を 0.391（Pass@1）から0.531へ、Veo 3.1 を 0.481 から0.550へ向上させました。向上は複雑な推論を必要とする計画およびアルゴリズムカテゴリで最も顕著でした。
  • VBVR-Benchにおいて、CollabVR は一貫してベースラインを上回り、VBVR-Wan2.2 は 0.671 から0.757へ向上しました。
  • コスト効率： CollabVR は、Pass@k や VideoTPO と比較して、より低い生成予算で高いスコアを達成しました。例えば、Gen-ViRe において、CollabVR は VideoTPO よりもはるかに少ない生成時間で高いスコアに達しました。
• アブレーション研究：
  • 両方のモジュール（漸進的計画と協調推論）は正の寄与をしますが、その優位性はタスクの複雑さに基づいて変化します。漸進的計画（M1）は多段階タスク（Gen-ViRe）においてより重要であり、検証/回復（M2）は単一ステップタスク（VBVR-Bench）においてより影響が大きいです。
  • このフレームワークは、さまざまな VLM（Gemini 2.5 Pro、Qwen3.5-27B、Qwen3.5-9B）と機能しますが、プランナー/検証器が弱い場合、性能は優雅に低下します。
• 人間評価： ユーザー調査により、人間の注釈者は Pass@4（73.8% 対 19.7%）および Pass@1 よりも CollabVR の出力を好むことが示されました。人間による注釈ベンチマークは、VLM の計画深度、検証、および進化の決定が専門家の判断とよく一致していることを確認しました。

5. 意義と主張

本論文は、CollabVRが、目標指向の動画生成に対して個別には不完全である強力な汎用 VLM と VGM が、ステップレベルの粒度で結合され、クローズドループ推論システムを構成し得ることを実証していると主張します。

• パラダイムの転換： この研究は、動画推論の未来が、より巨大なエンドツーエンド生成器のトレーニングよりも、専門モデル（監督者としての VLM、シミュレータとしての VGM）間のより豊かな推論時協調にあると論じています。
• トレーニングフリー： このフレームワークは追加のトレーニングなしで動作し、既存の市販モデルを活用します。
• 解釈可能性： 各ステップの検証決定とプロンプトの進化が離散的な産物として露呈するため、生成される軌跡は単発出力よりも解釈可能で監査可能です。
• 限界： 著者は控えめに、テスト時のオーケストレーションは VGM の根本的な能力ギャップ（例：記号的変換や弱いステップごとの指示追従）を克服できないと指摘しています。VGM が変換を近似できない場合、分解によってその能力を創出することはできません。さらに、検証器は完璧ではなく、検証器が誤りを検出できない場合、誤りは依然として伝播し得ます。

要約すると、CollabVR は、計画と検証を生成に直接結合するステップレベルのクローズドループ監督メカニズムを導入することで、推論タスクにおける現在の VGM の特定の失敗モードを緩和するための、堅牢でトレーニングフリーのメカニズムを提供します。