技術要約：Temporal Ratioによるビデオ・アクション汎化ギャップの理解と緩和

1. 問題提起

生成ビデオ基盤モデル（VFM）は、インターネット規模のデータから得られた強力な構成的事前知識（compositional priors）を備えており、時間的整合性、物体の相互作用、および物理的な妥当性を理解することができる。しかし、これらのモデルをロボット制御のための世界・アクションモデル（WAM）やビデオ・アクションモデル（VAM）として適応させる際、ロボットのアクションデータでファインチューニングを行うと、これらの構成的汎化能力が失われることが多い。著者らは、この不一致をビデオ・アクション汎化（VAG）ギャップと呼んでいる。

既存のポリシーは、構成的な汎化（例：既知の物体と容器を未知のタスクシーケンスへと再結合すること）において失敗することが多い。これは、モデルが基礎となる生成的な事前知識を活用するのではなく、訓練データの視覚的な相関関係に過学習してしまうためである。VAMにおける標準的な設計上の選択肢（ジョイントトレーニング対二段階トレーニング、あるいはノイズレベルの差異など）は検討されてきたが、これらは断片的なパフォーマンスの風景を生み出すのみであり、なぜ特定の構成がOOD（分布外）シナリオで成功または失敗するのかという明確な創発的説明を与えていない。

2. 手法

2.1 体系的な設計空間の分析

著者らは、事前学習済みビデオ基盤モデル（具体的にはCosmos-Predict 2.5-2B）の潜在特徴を利用し、フロー・マッチングを通じて潜在逆動力学アクションヘッドを学習する一連のVAMを体系的に評価した。以下の2つの主要な軸にわたって設計空間を調査した：

• 訓練時の構成: パラメータ効率的な適応（LoRA）とフル・ファインチューニングの比較、およびジョイントトレーニング（ビデオとアクションの損失を同時に最適化）と二段階トレーニング（まずバックボーンをファインチューニングし、次にそれを凍結してアクションヘッドを訓練する）の比較。
• 推論時のパラメータ: 特徴量を抽出する際のビデオのノイズレベル（$\sigma_v$）および予測ホライゾン（$T$）の変動。

分析の結果、ID（分布内）のパフォーマンスはしばしば飽和していたが、OODのパフォーマンスはこれらの選択に対して非常に敏感であり、かつ、単一の構成が継続的にギャップを埋めることはなかったことが明らかになった。

2.2 Temporal Ratio (TR)

失敗モードを説明するために、著者らは、アンカーとなる現在のフレームと比較して、アクションヘッドが予測された将来の潜在ロールアウトにどの程度強く依存しているかを定量化するアテンションベースの指標である**Temporal Ratio (TR)**を導入した。

• 定義: TRは、アクショントークン（$A$）によって割り当てられたアテンション・マスを、将来のフレーム・トークン（$V_+$）と現在のフレーム・トークン（$V_0$）の比として計算される：
  $$TR = \frac{\sum_{q \in A} \sum_{v \in V_+} A^\ell(q,v)}{\sum_{q \in A} \sum_{v \in V_0} A^\ell(q,v)}$$
  ここで、$A$はアクション・トークンを表し、$\ell$はアクションヘッドの特定のレイヤーを示す。
• 物理的解釈: ビデオ・デノイジングの定式化において、第1フレーム（$t=0$）は、各ステップでクリーンで高忠実度な観測アンカーとして注入される。将来のフレームは、ノイズを含む潜在変数からデノイズされ、モデルの「想像された」進化を表す。高いTRは、ポリシーがこれらの想像された未来に基づいてプランニングを行っていることを示し、低いTRは、ポリシーが即時の観測に反応していることを示す。

2.3 TRに関する主な観察事項

• 予測力: TRは、構成的な汎化能力の直接的な予測因子として機能する。プランニングフェーズにおいて高いTRを持つモデルは、より優れたOOD成功率と相関している。
• タスクフェーズのダイナミクス: TRは静的なものではなく、タスクのフェーズに応じて変動する。TRは、「プランニングフェーズ」（例：物体や容器の選択）において上昇し、ポリシーが言語とゴールを将来の状態に結びつける必要がある。一方で、「精密操作フェーズ」（例：把握や配置）では、精度を確保するために現在のフレームにアンカーする必要があるため、TRは低下する。
• 失敗モードの診断: VAGギャップはしばしば不一致に起因する。ビデオ・バックボーンは正しい構成的な未来を予測しているかもしれないが、アクションヘッドがそれを無視（低TR）して、記憶されたIDの軌跡に従ってしまう場合がある。逆に、TRが高いにもかかわらずビデオの予測が不十分な場合、アクションヘッドが幻覚（ハルシネーション）に基づいた未来に従ってしまうこともある。

2.4 TR適応型ガイダンス

これらの知見に基づき、著者らは、ポリシーが将来のロールアウトに依存するタイミングで、構成的なビデオ・コンディショニング信号を動的に増幅する、推論時の適応型ガイダンス手法を提案する。

• メカニズム: この手法は、2つの反事実的なガイダンス方向を計算する：
  1. 言語ガイダンス: 条件付きビデオ特徴量とヌルテキスト・ビデオ特徴量を比較することで、指示に依存するアクション速度を分離する。
  2. プラン・ガイダンス: 標準的なホライゾンの特徴量と拡張されたホライゾンの特徴量を比較することで、長期的ホライゾンの構造を分離する。
• 適応的スケーリング: これらのガイダンス信号の強さ（$w_{lang}, w_{plan}$）は、現在のTRに基づいて動的にスケーリングされる。重みは、TRがエピソードのベースラインを超えたとき（プランニングフェーズを示唆する）に増加し、過剰なガイダンスを防ぐために上限が設定される。これにより、モデルはプランニング中に構成的な推論を活用しつつ、操作中の局所的な精度を維持するためにガイダンスを緩和することができる。

3. 主な結果

3.1 シミュレーション (LIBEROベンチマーク)

LIBEROスイート（Spatial, Object, Goal, Long）およびそれらの構成的OOD対応セットで評価：

• ベースラインの性能: 従来のWAMおよびVAMは、飽和したID性能（>95%）を示したが、OODシナリオでは崩壊した（多くの場合<15%の成功率）。
• 設計空間の知見: LoRAを用いたジョイントトレーニングと中間的なビデオノイズレベル（$\sigma_v \approx 0.883$）が、最も優れたガイダンスなしのOOD性能（平均55.7%）をもたらした。
• TR適応型ガイダンスの影響: 提案手法は、平均OOD成功率を**59.4%**に向上させ、従来のVAMベースラインに対して5倍以上の改善を実現した。同時に、ID性能はガイダンスなしの最良モデルと同等の水準を維持した。平坦な（TR適応なしの）ガイダンスはID性能を低下させたため、フェーズ認識型のガイダンスの必要性が確認された。

3.2 実世界での評価 (Bimanual YAM)

24のマルチタスク・シナリオ（食器、スナック、ボトルなど）を実行するバイマニュアル・ロボットで評価：

• 性能: 提案されたVAMは、ベースライン（$\pi_0$, $\pi_0.5$, Cosmos-Policy）を上回った。
• ガイダンスの有効性: 適応型ガイダンスにより、平均成功率は71.7%（ガイダンスなし）から**83.3%**に向上した。
• 標準的なアプローチの失敗: 従来のVAMで行われていたように、完全にノイズの乗ったステップ（$\sigma_v=1.0$）で特徴量を抽出すると、実世界のタスクにおいて成功率がほぼゼロになることが判明し、構造化された部分的なデノイズ・潜在変数の必要性が浮き彫りになった。

4. 意義と主張

本論文は、VAGギャップは単なるデータ不足やモデル容量の不足によるものではなく、アクションヘッドが現在の観測と予測された未来の間でどのように情報をルーティングするかというメカニズムの問題であると主張している。

• 診断ツール: Temporal Ratioは、ポリシーがその生成的なビデオ・プライアを効果的に活用しているかどうかを診断するための、実行時の解釈可能な指標を提供する。
• 改善のためのメカニズム: 本研究は、構成的な汎化には、(1) ビデオ・バックボーンが有用な未来を予測すること、および (2) アクションヘッドがプランニングフェーズにおいてその未来に能動的に依存すること、という二重の条件が必要であることを示している。
• 実用的な緩和策: TR適応型ガイダンスは、モデルを再学習したり局所的な操作精度を犠牲にしたりすることなく、OOD汎化を向上させるための、推論時の実用的な介入手段を提供する。

著者らは、本フレームワークがVAMの挙動を明確にし、ロボット制御におけるOOD汎化ギャップを緩和するための道筋を示すものであると結論づけているが、基礎となるビデオモデルの物理的な妥当性と、推論コストの増加については課題として認めている。