技術要約：動きから触覚を見る (Seeing Touch from Motion)

1. 問題提起

接触を伴う高度な操作タスク（例：精密な挿入、物体の拭き取り）では、ロボットはグローバルな視覚だけでは捉えきれない微細な物理的相互作用を感知する必要があります。光学式触覚センサは、弾性ゲル表面の変形を監視することで高い空間解像度と多次元的な力センシングを提供しますが、きめ細かな接触状態（例：「接触の開始」と「接触の解除」の区別）を抽出することは依然として大きな課題です。

既存の手法は通常、知覚の曖昧さに起因する2つの表現に依存しています：

1. 生の触覚画像 (Raw Tactile Images): これらは外観の変化を捉えますが、異なる接触状態の間で視覚的に類似してしまうことがよくあります（例：安定した接触と、接触を解除している状態は、見た目が非常に似ている場合があります）。
2. 累積運動場 (Cumulative Motion Fields): これらは、初期の非接触フレームに対するゲルの総変形を表します。これらは全体的な変形の大きさや方向を反映しますが、接触の開始と終了の違いといった微妙な変化を区別することはできません。なぜなら、両者とも同様の累積的な変形パターンをもたらす可能性があるためです。

さらに、既存の視覚・触覚融合戦略は、クロスモーダルな相互作用とモダリティ固有の特性保持のバランスを取ることに苦慮しています。特徴レベルの融合（例：結合）では一方のモダリティが支配的になりやすく、決定レベルの融合（個別のポリシーを訓練する手法）では、クロスモーダルな手がかりを効果的に活用できません。

2. 手法

本論文では、新しい触覚表現と特化した融合アーキテクチャを通じてこれらの問題に対処する、統一された、かつモダリティを意識した視覚・触覚ポリシーであるViTacMotorを提案しています。

2.1 触覚運動相関 (Tactile Motion Correlation: TMC)

著者らは、過渡的な動き（連続するフレーム間の瞬時的な変形）と累積的な動き（初期の非接触状態からの総変形）の間の相関が、きめ細かな接触状態を明確に区別することを発見しました。

• 過渡的運動 ($M_{tran}$): 前のフレーム ($T_{t-1}$) と現在のフレーム ($T_t$) の間のオプティカルフロー。

• 累積的運動 ($M_{cumu}$): 初期の非接触フレーム ($T_0$) と現在のフレーム ($T_t$) の間のオプティカルフロー。

• 相関メカニズム: この手法は、これら2つの運動場の画素ごとの内積を計算します：
  $$Corr_t(x) = M_{tran}^t(x) \cdot M_{cumu}^t(x)$$

  物理的解釈:

  • 接触の開始 (Making Contact): 両方の動きが同じ方向を向いている $\rightarrow$ **正（プラス）**の内積。
  • 接触の解除 (Releasing Contact): 動きが逆方向を向いている（ゲルが回復している） $\rightarrow$ **負（マイナス）**の内積。
  • 安定接触 / 非接触 (Stable/No Contact): 過渡的運動がほぼゼロ $\rightarrow$ 内積はほぼゼロ。
  • スライディング接触 (Sliding Contact): 内積が空間的な勾配（負から正へ）を示し、スライディングの方向を示唆する。

  この表現はセンサに依存せず（高密度マーカおよび疎マーカの両方で検証済み）、内積の大きさは接触力と正の相関があり、生の画像や累積運動単独よりも豊かな手がかりを提供します。

2.2 統一されたモダリティ認識型視覚・触覚ポリシー (ViTacMotor)

この新しい触覚表現をグローバルな視覚と統合するために、著者らはMixture-of-Transformers (MoT) アーキテクチャを採用しています。

• モダリティ認識設計: すべての入力を一様に扱う標準的な融合とは異なり、ViTacMotorは触覚運動相関を、触覚の外観および視覚入力とは異なる独自のモダリティとして扱います。
• アーキテクチャ:
  1. エンコーダ: 視覚入力（手首/第三者視点）、生の触覚フレーム、およびTMC表現を処理する個別のエンコーダ。プロプリオセプション（自己受容感覚）の状態もエンコードされます。
  2. モダリティ固有の投影: 各モダリティ $m$ は、その独自の特性を保持するための固有の学習可能パラメータ ($W_Q^{(m)}, W_K^{(m)}, W_V^{(m)}$) を持ちます。
  3. 共有グローバル自己注意 (Shared Global Self-Attention): すべてのモダリティ埋め込みは、クロスモーダルな相補性を促進するために、共有自己注意メカニズムを通じて処理されます。
  4. モダリティ固有の精緻化: アテンションの後、出力はモダリティ固有のフィードフォワードネットワーク (FFN) とレイヤー正規化を通過してから集約されます。
• 出力: 融合された埋め込みはTransformerデコーダに送られ、人間のデモンストレーションにおける確率性をモデル化するために $\beta$-VAE目的関数を用いて、アクションチャンクを自己回帰的に予測します。

3. 主な貢献

1. 触覚運動相関 (TMC): 本論文は、過渡的運動と累積的運動の相関が、きめ細かな接触状態の曖昧さを明示的に解消することを明らかにしました。TMCは、堅牢で、物理的に解釈可能であり、かつセンサに依存しない触覚表現として提案されています。
2. ViTacMotor フレームワーク: MoTアーキテクチャを活用して効果的な視覚・触覚融合を実現する、統一されたポリシー。これは、視覚および触覚入力の特定の特性を保持しながら、クロスモーダルな相互作用をユニークに捉えます。
3. 実証的検証: 4つの困難な実世界のタスクにおける広範な実験により、最先端のベースラインと比較して優れた性能と堅牢性が示されました。

4. 実験結果

この手法は、2種類の光学式触覚センサ（高密度および疎マーカ）とAgilexロボットシステムを用い、4つの接触を伴う操作タスクで評価されました。

タスク:

• チューブ回収 (Tube Collection): ラックへの正確な整列と挿入が必要（遮蔽に敏感）。
• 電球挿入 (Lightbulb Insertion): 回転と、電球が点灯するまでの精密な挿入が必要。
• ホワイトボード消去 (Whiteboard Erasing): 表面を傷つけずにインクを除去するために、安定した制御された力が必要。
• 鉛筆削り (Pencil Sharpening): 整列と十分な押し下げ力が必要。

性能のハイライト:

• 成功率: ViTacMotorは、すべてのタスクにおいてベースライン（ACT, Diffusion Policy, ACT+T, Policy Consensus, TactileACT）を上回りました。
  • チューブ回収: 成功率 73.3% (TactileACTの60.0%に対し)。
  • 電球挿入: 成功率 40.0% (TactileACTの40.0%と同等だが、中間ステップにおいて高い堅牢性を示す)。
  • ホワイトボード消去: 成功率 86.7% (TactileACTの73.3%に対し)。
  • 鉛筆削り: 成功率 60.0% (TactileACTの46.7%に対し)。
• アブレーション研究:
  • TMCを除去すると大幅な性能低下が発生し、力制御と状態認識におけるその必要性が確認されました。
  • MoT融合を単純な結合やクロスアテンションに置き換えると性能が低下し、モダリティ認識型アーキテクチャの有効性が検証されました。
• 堅牢性: 環境の変化（不均一/均一な照明）やオブジェクトの変化（異なる消しゴム、チューブをシリンダーに変更など）に対しても、高い成功率を維持しました。

5. 意義と主張

本論文は、触覚運動相関が、生の画像や累積的な運動場では視覚的に曖昧な接触状態を明示的に区別するための、物理的に解釈可能なメカニズムを提供すると主張しています。過渡的運動と累積的運動の関係をモデル化することで、システムは接触の方向（接触の開始か解除か）と力の大きさを推論する能力を獲得します。

さらに、ViTacMotorフレームワークは、効果的な視覚・触覚操作には単なる特徴量の結合以上のものが必要であることを示しています。それは、モダリティ固有の特性を尊重しながら、深いクロスモーダルな相互作用を可能にするアーキテクチャを必要とします。著者らは、本研究を、実世界のロボットタスクに必要な微細な物理的相互作用を扱うことができる、汎用的な接触型操作ポリシーへの一歩として位置づけています。

注：著者らは、極端な視覚的妨害や大幅な物体位置の変化による汎用性の限界についても認めており、そのような条件下での失敗事例が存在することを指摘しています。