技術要約：視覚と触覚による推論時ポリシー・ステアリング（ViTaL）

問題提起

推論時ステアリング（Inference-time steering）は、デプロイメント中に事前学習済みの生成ロボットポリシー（例：拡散ポリシー）を、再学習することなく適応させる手法であり、実行前に候補となるアクションを検証または洗練させるものである。近年の手法は、長期的なタスク検証のために視覚的観測を効果的に活用しているが、視覚のみでは**接触を伴う豊かな操作（contact-rich manipulation）**には不十分な場合が多い。ピペッティング、拭き取り、挿入などのタスクでは、成功はグローバルな意味論的進捗（視覚で観測可能）と、接触力や把握の安定性といった微細な局所的物理相互作用（触覚で観測可能）の両方に依存する。

現在のアプローチは、これら複数のモダリティを統合する上で、主に2つの課題に直面している：

1. 時間スケールにおけるモダリティ依存の観測可能性： 視覚的な結果は、意味的なモード（例：正しいカップに向かって移動しているか）を区別するために長期的な予測を必要とする一方、触覚的な結果は局所的かつ一時的（例：押しつぶす際の力の適用）であり、長期的な視覚予測では隠れてしまうことが多い。
2. マルチモーダル報酬モデリング： 視覚と触覚の相対的な重要性はタスクのフェーズによって変化するため、統一された報酬関数を定義することは困難である。単一の報酬関数では、グローバルなタスクの進捗と、きめ細かな接触要件（例：優しい把握と落下を区別すること）のバランスを取るのが難しい。

手法：ViTaL フレームワーク

著者らは、マルチモーダルなガイダンスを**二段階最適化問題（bi-level optimization problem）**として定式化するフレームそうだ ViTaL（Visuo-Tactile Latent Steering）を提案している。このアプローチは、視覚と触覚の自然なタイムスケールに合わせて、ステアリングを2つのステージに分解する：

1. 二段階最適化の定式化

目的は、視覚的な事前分布に従いつつ、タスク条件付き報酬を最大化するアクションシーケンス $a^*_{t:t+h}$ を選択することである。

• 内側最適化（視覚的モード選択）： システムは、ベースとなるポリシーから長期的なアクションシーケンス（$H$ ステップ）をサンプリングする。これらは、将来の状態を予測するために**視覚・触覚潜在世界モデル（visuo-tactile latent world model）**を用いてロールアウトされる。**視覚検証器（visual verifier）**は、タスクのゴールに対する意味的な進捗に基づいてこれらの予測をスコアリングする。最も高い視覚的報酬を持つシーケンス $\bar{a}_{t:t+H}$ が、グローバルな行動モードとして選択される。
• 外側最適化（触覚による洗練）： 選択されたシーケンスの最初の $h$ ステップが「アクション・アンカー」として機能する。システムは、このアンカーに対して短期間（$h$ ステップ）の拡散編集（diffusion editing）を行い、これを洗練させる。**触覚検証器（tactile verifier）**は予測される触覚的な未来をスコアリングし、視覚的な計画に近接しつつ、局所的な接触制約を満たすアクションを優先するようにポリシーを再重み付けする。

2. 視覚・触覚潜在世界モデル

結果に基づくステアリングをサポートするため、ViTaLは、視覚および触覚の状態を潜在空間内で直接予測する学習済み潜在世界モデル（$p_\phi$）を採用している。

• アーキテクチャ： 凍結されたエンコーダ（視覚にはDINOv3、触覚にはAnyTouch）を使用して、観測を潜在状態（$z_v, z_\tau$）にマッピングする。アクション条件付きトランスフォーマーが、将来のジョイント潜在変数を再帰的に予測する。
• 効率性： 潜在空間で動作することにより、モデルは完全な画像や触覚マップをデコードする計算コストを回避し、テキスト条件付きガイダンスを効率的に行うことを可能にする。

3. 意味的に整合された検証器

ViTaLは、視覚的推論と触覚的推論を橋渡しするために、共通のタスク表現として言語を使用する。視覚言語モデル（VLM）は、高レベルの指示をフェーズレベルのテキスト目標（$\ell^v_p, \ell^\tau_p$）へと分解する。

• 視覚検証器： 予測された視覚的潜在変数をRGB画像へとデコードし、ゼロショット報酬モデル（ROBOMETER）を使用して、意味的な進捗（例：「ロボットは青いカップに向かって動いているか？」）を評価する。
• 触覚検証器： 予測された触覚的潜在埋め込みと、接触目標（例：「軽く握る」）のテキスト埋め込みとの間のコサイン類似度を計算する。これはテキスト条件付き触覚報酬となり、タスク固有の報酬関数を手動設計したり、触覚画像をデコードしたりすることなく、触覚的な未来をスコアリングすることを可能にする。

4. 推論時最適化

ステアリングプロセスは、サンプリングベースの視覚的選択と、触覚による拡散編集を組み合わせる：

• 視覚ステージ： $N$ 個の長期軌跡をサンプリングし、世界モデル内でロールアウトし、視覚検証器に基づいて最適なものを選択する。
• 触覚ステージ： 選択された視覚アンカーを拡散編集の条件として扱う。アンカーを部分的にノイズ化し、デノイジングプロセスをより高い触覚報酬を持つアクションへとバイアスさせることで、接触の実行を効果的に洗練させる。

主な貢献

1. 二段階マルチモーダル・ガイダンス： 視覚を長期的な意味的モード選択に、触覚をターゲットを絞った短期的な接触の洗練に使用することで、モダリティ間の時間スケールのミスマッチに対処するフレームワーク。
2. 言語条件付き触覚報酬： テキスト記述を用いて、整列された潜在空間内で予測された触覚的な未来をスコアリングする、新しい触覚検証器の導入。これにより、スケーラブルでデモンストレーションを必要としない、かつ異なるタスクフェーズに対して柔軟な触覚検証が可能になる。
3. 潜在世界モデリング： デコードすることなく、マルチモーダルな結果を潜在空間で直接かつ効率的にスコアリングすることを可能にする、視覚・触覚潜在世界モデルの統合。

実験結果

著者らは、Franka EmikaロボットとGelSight Miniセンサーを用い、3つの実世界の接触豊かな操作タスク（ピペット移送、拭き取り、ペグ挿入）においてViTaLを評価した。

• 性能向上： Vi-TaLは、ベースとなるポリシーと比較して、全体的なタスク成功率を**51%向上させた。単一モダリティのステアリング（視覚のみ、または触覚のみ）よりも少なくとも33%優れており、単純な報酬の総和によるナイーブなマルチモーダル融合よりも少なくとも20%**高い性能を示した。
• 失敗モード： 視覚のみのステアリングは、グローバルな位置合わせには成功するものの、局所的な接触エラー（例：液体のこぼれ）により失敗することが多い。触覚のみのステアリングは接触は改善するが、グローバルな目標を見失うことが多い。ViTaLはこれら両方の失敗モードを解決した。
• 報酬の精度： 予測された未来をグラウンドトゥルースと比較した際、提案された検証器は高い選好順序精度（視覚で約85%、触覚で約81%）を達成し、潜在世界モデルと意味的検証器の信頼性を証明した。
• 効率性： 二段階のアプローチは、ナイーブな融合と比較して、成功率と推論速度の優れたトレードオフを提供した。推論ステップあたりわずか0.05秒の追加時間で、失敗率を大幅に減少させた。

意義と主張

本論文は、ViTaLが、再学習や広範なタスク固有の報酬エンジニアリングを必要とせずに、事前学習済みのロボットポリシーを接触豊かなタスクに対して堅牢にするための重要な一歩であることを主張している。ステアリング問題を視覚的モード選択と触覚による洗練へと分解することで、この手法は、視覚（グローバルな文脈）と触覚（局所的な精度）の相補的な強みを活用している。

著者らは、彼らのテキスト条件付き触覚報酬が、ロボット操作における初の試みであり、柔軟で言語駆動型の接触推論を可能にすると強調している。また、システムの忠実度は潜在世界モデルに依存しており（誤差の累積が検証に影響を与える可能性があること）、触覚エンコーダが現在のVLMと比較して小さなデータセットで事前学習されているといった限界についても認めている。しかし、結果は、マルチモーダルな推論時ステアリングが、より適応可能で信頼性の高いロボット操作への実行可能な道であることを示唆している。