技術要約: TacWAM

問題提起

World Action Models (WAMs) は、将来状態の予測とロボットの行動生成を統合することで、制御を容易にします。しかし、既存の WAM は主に視覚的な未来（visual futures）に依存しています。視覚的な予測はシーンの構造や物体の動きを効果的に捉えますが、接触を伴う操作において極めて重要な物理現象（力の蓄積、変形、せん断、滑りの兆候など）に対する指導（supervision）としては限定的です。視覚的な状態は曖昧になり得ます。例えば、把握（grasp）が安定しているように見えても、実際には滑る寸前であったり、挿入が整列しているように見えても、機械的な制約を受けていたりすることがあります。

本研究が取り組む核心的な課題は、以下の2点です：

1. 情報量の多い触覚の未来 (Informative Tactile Futures): 触覚の予測は、視覚的な未来が見落とす物理的な情報（力、変形）を意味のある形で保持していなければなりません。
2. 展開時の整合性 (Deployment Consistency): これらの将来の触覚状態は、訓練時の指導として機能する必要がありますが、行動生成のための「特権的（privileged）」な入力となってはなりません。行動ブランチは、実行時にアクセス可能な情報のみに制限される必要があり、モデルが実行中にアクセスできない未来の知識に依存してしまうという、訓練時とテスト時のミスマッチを防がなければなりません。

手法: TacWAM

TacWAM (Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction) は、3つの主要なアーキテクチャ構成要素と特定の注意機構を通じてこれらの課題に対処するために設計された、触覚拡張型 WAM です。

1. 空間整合型融合 (SAF) 触覚エンコーダ

触覚予測のための統一された表現を作成するために、TacWAM は SAF 触覚エンコーダを採用し、異種混合のグリッパー側の観測を共有潜在空間へとマッピングします。

• 入力: エンコーダは、3つの空間的に登録された信号（整流された触覚の外観 $I_{rect}$、高密度な局所力場 $F_t$、およびメッシュ変形フロー $M_{flow}$）を融合します。
• バイラテラル融合: 両側のグリッパーからの特徴量がエンコードされ、バイラテラルに融合されます。
• グローバルな指導: 全体的な接触力学を保持するために、潜在表現は触覚再構成器 ($R_{tac}$) によって再構成されます。これは、高密度な力場、変形フロー、および**バイラテラル合力（両側の3D力および3Dトルク）**を予測します。この合力はグローバルな力学の指導として機能し、潜在空間が単なるバイナリの接触状態ではなく、力と変形の構造を捉えることを保証します。

2. 触覚履歴による変調予測

単一フレームの触覚観測は、しばしば曖昧である（例：同一の力の大きさであっても、安定した接触、圧力の上昇、あるいは滑りを意味する場合がある）ことを認識し、TacWAM は時間的コンテキストを取り入れます。

• 触覚履歴エンコーダは、現在のアクションチャンクに先立つ最近の触覚変化を要約し、コンパクトなコンテキストベクトル $c_{tac}$ を生成します。
• このコンテキストは適応的正規化を通じて触覚エキスパートを変調し、モデルが現在の相互作用フェーズを判別し、力と変形の進化を予測するのを助けます。重要な点は、この履歴は将来の状態の予測を条件付けるために使用されますが、行動ストリームへの直接的な特権的入力にはならないことです。

3. アンカー誘導型三モード (AGT) アテンション

情報の流れを制御する AGT アテンション・モジュールは、Mixture-of-Transformers バックボーン内における展開時の整合性を確保する核心メカニズムです。モデルは、視覚 ($V$)、触覚 ($T$)、行動 ($A$) の3つのストリームを処理します。

• アンカー: 現在の視覚フレーム ($V_0$) と現在のクリーンな触覚状態 ($T_0$) がアンカーとして機能します。
• 将来のターゲット: 将来の視覚 ($V_{1:H}$) および触覚 ($T_{1:H}$) トークンは、フローマッチングにおけるノイズを含む予測変数として扱われます。
• 情報の隔離: AGT マスクは、行動トークン ($A$) が将来の予測トークン ($V_{1:H}, T_{1:H}$) を読み取ることができないことを厳格に強制します。行動トークンは、現在のアンカー ($V_0, T_0$)、タスク言語、およびプロプリオセプション（固有感覚）にのみアクセスできます。
• 訓練目的: 将来の触覚状態は、接触に関連する表現の学習を監督するための並行的な予測目的として機能しますが、行動生成を直接条件付けることはありません。

主な貢献

1. TacWAM フレームワーク: 触覚の履歴と将来の触覚予測を用いて視覚的な訓練を拡張し、現在の観測を超えた触覚の進化から学習することを可能にする、新しい WAM です。
2. SAF 触覚エンコーダ: 触覚の外観、力、および変形を共有潜在空間にマッピングし、局所的な接触パターンとグローバルな力/トルク情報をバイラテラル合力再構成を通じて保持するメカニズムです。
3. AGT アテンション: 将来の感覚ターゲットから行動ブランチを隔離し、行動生成が展開時に利用可能な情報のみに依存することを保証しつつ、予測的な触覚指導の恩恵を受けられるようにする、三モード・アテンション・メカニズムです。
4. 実証的検証: 提案されたアーキテクチャの有効性を実世界の接触豊富な4つのタスクにおいて包括的に評価しました。

実験結果

著者らは、実世界のプラットフォーム（Agilex Piper および Xense G1-WS センサ）を用い、脆弱なポテトチップスの把持、様々なサイズのチェリーの把持、ホワイトボードの拭き取り、および動的な2本ペンの回し玉しの4つのタスクで TacWAM を評価しました。

• パフォーマンス: TacWAM は平均成功率 75.0% を達成し、最強のベースラインである VT-WAM（視覚・触覚 WAM）を 37.5 パーセントポイント 上回りました。
• タスク別の利得:
  • ポテトチップスの把持: 最強のベースラインに対し +40.0%
  • ホワイトボードの拭き取り: 最強のベースラインに対し +40.0%
  • 2本のペンの回し玉し: 最強のベースラインに対し +30.0%
• アブレーション研究:
  • 触覚履歴の除去: 成功率は大幅に低下し（平均で 82.5% から 55.0% へ）、特に力の蓄積の推論を必要とするタスク（例：チップ把持が 90% から 50% へ）で顕著でした。これは、時間的コンテキストが接触状態を判別するために不可欠であることを裏付けています。
  • AGT 制約の緩和: 行動トークンが将来の触覚予測にアクセスすることを許容した場合（Attn-AT）、または双方向の将来トークン間の相互作用を有効にした場合（Attn-VT）、性能が深刻に低下しました（平均 7.5% まで）。これは、「特権的情報」の制約が極めて重要であることを証明しています。これがないと、モデルは展開時に失敗するショートカットを学習してしまいます。
• 予測の質: TacWAM の予測される力の大きさは、履歴のないバリアントよりもグラウンドトゥルース（真値）をより密接に追跡しており、接触フェーズの推定における時間的遅延が減少していることを示しました。

意義と主張

本論文は、予測的な触覚状態は、力学に配慮した表現と厳格な情報制約が組み合わされている場合に限り、接触豊富なワールド・アクション・モデリングのための価値ある訓練シグナルになると主張しています。

TacWAM の意義は、以下のことを示した点にあります：

1. 触覚の未来は「入力」ではなく「指導」である: 将来の触覚状態は、行動生成の因果性を損なうことなく、力と変形の変化を監督することで、ワールドモデルの訓練を豊かにすることができます。
2. 時間的コンテキストは不可欠である: 単一の触覚フレームは堅牢な制御には不十分であり、現在の状態を解釈し、将来のダイナミクスを正確に予測するためには、最近の触覚履歴を要約することが必要です。
3. 情報の隔離は訓練時とテスト時のミスマッチを防ぐ: AGT アテンション・メカニズムは、行動ブランチが将来の予測を読み取ることで「ズル」をするのを防ぐことが、実世界のクローズドループ・シナリオでの展開において不可欠であることを証明しています。

著者らは、TacWAM が視覚的なワールドモデルと、接触を伴う操作の物理的な現実との間の溝を埋めることに成功し、展開時の制約を遵守しながら、触覚予測が行動学習を向上させるフレームワークを提供できると結論付けています。