技術要約: TACTFUL

問題提起

ロボットの操作技術は、従来、物体の位置特定や識別において視覚に依存しており、触覚センシングは二次的または補正的なモダリティとして扱われることが多かった。しかし、視覚的に遮蔽された環境や、狭い空間（例：倉庫のビン、散らかったバッグの中）では、視覚は信頼できない、あるいは利用不可能である。人間は触覚と幾何学的事前知識を用いて容易に物体を探索・識別できるが、ロボットシステムは自律的な触覚探索に苦慮している。既存の触覚アプローチの多くは、簡略化された接触信号、シミュレーションベースの学習、あるいは手作りのヒューリスティックに依存しており、未知のワークスペース内で物体を発見し、その形状を再構成して識別するという複合的なタスクにおいて、実世界のハードウェア上で高精度な性能を示すデモンストレーションは限られている。

手法

本論文では、多指ロボットが閉鎖的なワークスペースを自律的に探索し、接触を通じて物体を発見し、触覚による再構成を通じてそれらを識別することを可能にする、視覚フリーのフレームワークであるTACTFULを提案する。このシステムは、シミュレーションによる事前学習を行うことなく、完全に実世界のハードウェア上で動作する。

1. ハードウェアおよびセットアップ

システムは、UR10eロボットアームに取り付けられた、5本の指を持つInspire RH56DFTPシリーズのデクストララスハンドを使用する。このハンドには、法線方向の接触力を測定する**1,062個の抵抗性タクセル（taxel）**が装備されている。ワークスペースは既知の境界を持つビンであり、その中の任意の場所に3Dプリントされた物体が配置されている。カメラは一切使用されない。

2. 学習フレームワーク (POMDP)

このタスクは、**部分観測マルコフ決定過程（POMDP）**として定式化されている。エージェントは、蓄積された触覚フィードバックと固有受容感覚のみから、物体の位置と形状を推論しなければならない。

• 観測空間 ($O$): エンドエフェクタのポーズ、関節角、ハンドの構成を含む固有受容データと、高解像度の触覚読み取り値が含まれる。決定的な要素として、接触の履歴を空間的な被覆率と幾何学的構造の表現へと圧縮する、自己教師あり学習型のトランスフォーマー・エンコーダであるSonataによって生成された触覚ポイントクラウド埋め込み（$c_t$）を組み込んでいる。
• 行動空間 ($A$): エンドエフェクタのポーズの増分（$\Delta p_t$）および指の関節角の増分（$\Delta h_t$）として定義される。
• 状態表現: 時間的依存性を扱うため、状態は直近$k=10$個の観測シーケンスで構成され、自己注意メカニズムを備えたTransformerアーキテクチャによって処理される。

3. 学習戦略: BC初期化 + PPO

実世界での強化学習（RL）による触覚ポリシーの直接学習は、非効率的でありリスクも高い。TACTFULは、2段階の学習パイプラインを採用している。

1. 行動クローニング (BC) による初期化: ポリシーは、5,311件の触覚のみによるテレオペレーション・デモンストレーションを用いてオフラインで事前学習される。BCモデルは、エキスパートの行動（デルタ・ポーズおよび構成）を観測状態から回帰することを学習し、基本的な接触戦略と局所的な探索パターンを捉える。
2. オンラインPPO学習: BCポリシーは、**近接方策最適化（PPO）**フレームワークにおけるアクターの初期値となる。ポリシーは、実世界のハードウェア上でオンラインで洗練される。
   • クリティック・ネットワーク: 値推定を安定させるために、「特権情報」（ターゲット物体の近似的な6自由度ポーズ）を受け取るが、これはデプロイメント中のアクターには提供されない。
   • アクター・ネットワーク: クリティックと同じTransformerアーキテクチャを使用するが、観測可能な触覚および固有受容データのみに依存する。

4. 動的報酬スケジューリング

複合的な報酬関数が、探索と精緻化の異なるフェーズを通じてエージェントを導く。報酬の重みは、エピソードのホライゾン（$T$）内の時間（$t$）に従って変化する。

• 接触報酬 ($r_{contact}$): 新規かつ空間的に離れた接触点（前回の接触から5mmより大きい新規タクセル活性化）を奨励し、高解像度な表面被覆を促す。
• 探索報酬 ($r_{explore}$): ローカルミニマ（局所解）を防ぎ、グローバルな発見を確実にするため、エージェントがワークスペースの新しい領域を訪問することを奨励する（1cm$^3$のボクセルグリッドを介して追跡）。
• 再構成報酬 ($r_{recon}$): 現在の密な再構成とグラウンドトゥルース（真値）との間のChamfer距離を測定することで、不正確な形状表現にペナルティを与える。
• スケジューリング: エピソードの初期段階では、$r_{explore}$の重みが大きく設定され、物体の発見を促進する。エピソードが進むにつれて、$r_{contact}$と$r_{recon}$の重みが増加し、表面の精緻化と幾何学的な正確さを優先させる。

5. 形状補完

疎な触覚ポイントクラウドは、学習済みのポイントクラウド拡散モデルに渡され、高密度で完全な物体幾何学を生成する。このモデルは、既知の物体ライブラリに対する学習された事前知識として機能し、疎な触覚データと完全な3D形状との間のギャップを埋める役割を果たす。

主な貢献

1. 学習された触覚探索ポリシー: 視覚を用いず、触覚センシングのみを使用して、多指ロボットが閉鎖的なワークスペースを自律的に探索し、物体を特定することを可能にする単一のポリシーの開発。
2. 動的報酬スケジューリング: グローバルなワークスペース探索と局所的な接触精緻化のバランスを取り、物体レベルの幾何学的事前知識を活用して3D再構成をガイドする、時間変動型の報酬メカニズムの導入。
3. 実世界での検証: 再構成された触覚幾何学のみに基づいた信頼性の高い物体識別を、シミュレーションを介さず、完全に実世界のハードウェア上で学習・実証したこと。

実験結果

フレームメントは、ビンの中に配置された3つの幾何学的に多様な実世界の物体（立方体、変形した円柱、変形したカップ）に対して評価された。ロボットは、妨害物の中から特定のターゲットを見つけ出すタスクを課された。

• パフォーマンス: TACTFUL法は、77%の成功率（全物体平均）を達成し、平均Chamfer-L2再構成誤差は0.015 mであった。
• 比較:
  • ヒューリスティック・ベースライン（成功率0.416–0.5）を上回った。これは接触フィードバックからの学習を欠いている。
  • BCのみ（成功率0.416–0.583）を上回り、オンラインRL適応の価値を証明した。
  • BC初期化なしのRL（成功率0.583–0.75）を上回り、BC初期化が安全かつ効率的な実世界学習のための重要な構造化された事前知識を提供することを確認した。
• アブレーション研究:
  • いずれか一つの報酬成分（$r_{contact}$、$r_{explore}$、または$r_{recon}$）を削除すると、パフォーマンスが著しく低下した。これは、探索、接触の質、および再構成精度のバランスを取ることの必要性を裏付けている。
  • 形状補完モデルを削除すると成功率が34%に低下した。これは、疎な触覚データに内在する幾何学的な曖昧さを解消する上での同モデルの役割を強調している。

意義と主張

本論文は、TACTFULが、触覚センシングが単なる視覚への反応的なバックアップではなく、物体レベルの推論のための効果的な主要モダリティとなり得ることを示していると主張している。構造化された学習（BC）、動的な報酬形成、および形状補完の事前知識を組み合わせることで、本システムは視覚入力なしに、ロバストな物体位置特定と識別を実現している。著者らは、現在の研究が既知の3つの物体と静的なシーンに限定されているものの、その結果は、視覚が拒絶される実世界の環境における自律的な触覚推論の可能性を検証するものであると述べている。