技術要約: CST-WM: 身体化された視覚的追跡のための因果構造化世界モデル

1. 問題定義

身体化された視覚的追跡（Embodied visual tracking）には、ロボットが自己中心的な観察から移動するターゲットを追跡し、視認性を維持し、追従距離を調節し、混雑した部分観測環境において安全性を確保することが求められる。核心となる課題は、ターゲットが明確に見えている時ではなく、一時的な遮蔽（オクルージョン）、視野外へのドリフト、またはターゲットがディストラクタ（妨害物）と混同されやすくなった時に発生する。これらのシナリオにおいて、ロボットは信頼できる証拠が再び得られる前に、将来のターゲットの観測可能性と見かけのスケールについて予測的な意思決定を行わなければならない。

著者らは、既存のアクション条件付き逐次予測モデルに見られる特定の失敗モードを、**「因果的幻覚（causal hallucination）」**と呼び、特定した。標準的な世界モデルでは、ロボットの制御アクションとターゲットに関連する観察との間の強い相関により、モデルが現在の行動からターゲットの証拠への直接的な因果効果を幻覚として生成してしまう可能性がある。モデルが、ロボットの運動によって観察が変化するという物理的メカニズムを通じてのみアクションが将来のターゲット証拠に影響を与えるようにするのではなく、アクション情報をターゲットの状態に直接注入する「ショートカット」を行ってしまうのである。これにより、追跡指向のプランニングに対して誤った意味論を持つ、もっともらしい将来のロールアウトが生成され、視認性を維持するアクションシーケンスとそうでないものを区別できなくなる。

2. 手法: CST-WM

因果的幻覚に対処するため、著者らはプランニング表現に構造的制約を課すCST-WM（Causally Structured World Model）を提案する。

2.1 因果的分解と状態表現

本モデルは、潜在状態 $S_\ell$ を以下の3つの異なるブランチに分解する：

1. ターゲット証拠ブランチ ($H_\ell$): 現在の観察から導出されるコンパクトな表現。検出信頼度スコア（GroundingDINOによる）と正規化されたターゲット面積（見かけのスケール/距離のプロキシとして機能）で構成される。極めて重要な点として、このブランチは完全な外部状態の推定ではなく、観測可能性とスケールの要約である。
2. ロボットブランチ ($x_\ell$): アクションの履歴から統合された、ロボットの運動学的状態を表す。
3. 観察ブランチ ($Z_\ell$): 学習済みVAEを介してエンコードされた視覚的潜在表現。

2.2 因果構造化遷移

核心となる革新は、ターゲット証拠ブランチへの直接的なアクション注入を防ぐための、遷移ダイナミクスの因数分解である。遷移は以下のように定義される：
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

主要なアーキテクチャ上の制約は以下の通りである：

• 非リーク制約（Non-Leakage Constraint）: ターゲット証拠ブランチ $H_{\ell+1}$ の更新は、前の状態とロボットの状態に条件付けられるが、現在の行動 $a_\ell$ は明示的に除外される。数学的には、$\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$ である。
• アクション経路: アクションは、$a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ （およびその後の観察を介した $H_{\ell+1}$）を通じて間接的にのみ、将来のターゲット証拠に影響を与える。
• 単層アーキテクチャ: ブランチは固定された順序（ターゲット証拠 $\to$ ロボット $\to$ 観察）で更新され、アクションを運ぶ表現がターゲット証拠の更新に入り込まないよう、厳格なマスキングが行われる。

2.3 学習とプランニング

• 学習: モデルは、遷移タプル $(O_\ell, a_\ell, O_{\ell+1})$ を用いて拡散確率モデル（DDPM）を用いて学習される。シミュレータ固有の相対距離ラベルによって監督される補助的な距離依存損失が導入され、ターゲット証拠のプロキシと実際の距離との相関を向上させる。この監督は学習時のみ使用され、テスト時には特権的な幾何学的信号は利用されない。
• プランニング: システムは、Cross-Entropy Method（CEM）を用いたモデル予測制御（MPC）を採用する。プランナーは学習されたダイナミクスを用いて候補となるアクションシーケンスをロールアウトし、ターゲットの視認性（$H_{vis}$）、適切な見かけのスケール（$H_{area}$）、アクションの妥当性、および安全性に基づいて報酬を与える価値関数によってスコアリングを行う。最良のシーケンスの最初のアクションが、後退ホライゾン（receding-horizon）方式で実行される。

3. 主な貢献

1. 因果的幻覚の定式化: 本論文は、「因果的幻覚」を、アクション条件付き世界モデルにおける特定の構造的失敗として特定し、定式化した。これは、モデルが制御信号とターゲットの証拠を混同してしまう現象である。
2. CST-WM アーキテクチャ: ターゲット証拠ブランチへの直接的なアクション注入を明示的にブロックし、ターゲット証拠がエゴモーションの結果としてのみ観察に現れることを保証する、因果構造化世界モデルの提案。
3. プランニング指向のコンパクトな表現: 推論時に完全な幾何学的状態の復元や特権的な監督を必要とせずに、観測可能性とスケールを要約するターゲット証拠プロキシ（検出信頼度 + 正規化面積）の導入。
4. 包括的な評価: EVT-BenchおよびHabitat 3.0における、標準的な追跡、ターゲット喪失からの回復、クロスデータセット転移、およびオフライン診断（ロールアウトの忠実度、プランニング値の一貫性、リーク分析）を含む厳格な評価。

4. 実験結果

著者らは、EVT-BenchおよびHabitat 3.0において、CST-WMをリアクティブなベースライン（例：TrackVLA, Uni-NaVid）および適応型世界モデル（例：Navigation World Models）と比較して評価した。

• 標準的な追跡: EVT-Benchにおいて、CST-WMは最高の成功率（Success Rate: 88.7%）、追跡率（Tracking Rate: 83.4%）、および最低の衝突率（Collision Rate: 1.41%）を達成した。Habitat 3.0では、ベースラインと比較して、追従率（Following Rate: 0.53）、距離範囲成功率（Distance-Range Success: 0.70）、およびエピソード成功率（Episode Success: 0.61）を向上させた。
• ターゲット喪失からの回復: 短期/長期の遮蔽、視野外へのドリフト、およびディストラクタの通過を伴うシナリオにおいて、CST-WMは優れた再捕捉成功率（例：短期遮蔽において0.84 vs 0.71）と、より速い回復時間を実証した。
• オフライン診断:
  • ロールアウトの忠実度: CST-WMは、長いホライゾンにおいて、ベースラインと比較して潜在的な予測誤差が低く、ターゲットの視認性AUROCが高いことを示した。この性能差はホライゾンが長くなるにつれて拡大した。
  • プランニング値の一致性: モデルは、候補シーケンスのシミュレータによるランキングとの高いランク相関（Spearmanの $\rho = 0.68$）を達成しており、これは将来の振る舞いの比較評価が優れていることを示している。
  • リーク分析: ヤコビアンに基づく診断により、ターゲット証拠ブランチへの直接的なアクションのリークがほぼゼロ（$\approx 0.001$）に抑えられていることが確認された。一方、ベースラインは顕著なリークを示した。

5. 意義と主張

本論文は、身体化された視覚的追跡において、将来の予測だけでは不十分であり、予測の構造自体が、ターゲットの証拠がプランニングに入る方法と一致していなければならないと主張している。

著者らは、ターゲット証拠が直接的なアクション注入なしに更新されるという因果構造を強制することで、モデルが因果的幻覚に関連する意味論的なエラーを回避できると主張している。この構造的整合性により、より安定した追従、より優れた距離制御、および遮蔽下でのより信頼性の高いターゲット再捕捉が可能になる。結果は、提案された因数分解が、ダウンストリームの制御性能と、想像された未来の内部品質の両方を向上させることを示唆している。

著者らは、以下の点に触れ、自らの主張に対して謙虚な姿勢を保っている：

• 本手法は検出器（GroundingDINO）に依存しており、検出器が失敗する場合（例：激しいブレ、極端な視点）は性能が低下する。
• ターゲット証拠のプロキシは距離のメトリック推定器ではなく、特定の範囲（1–3m）内で効果的なスケールベースのプロキシである。
• 主な証拠はシミュレーション（EVT-Bench, Habitat 3.0）から得られたものであり、定性的な実世界の結果は示されているものの、大規模な物理ロボットの統計は報告されていない。
• 非リーク制約はプランニング表現のための構造的要件であり、完全な外部ヒューマノイドダイナミクスの因果的復元を主張するものではない。