技術概要：TacO：物体操作のための触覚センサーのベンチマーク

問題定義

視覚に基づくデモンストレーションからの学習は、ロボット操作と意味推論において大きな成功を収めてきたが、物理的相互作用信号が重要な、複雑で接触の多いタスクには不十分である。触覚センシングが操作性能を向上させるという広範な合意があるものの、特定の操作タスクに最適な触覚センサーがどれであるかに関する実証的な指針は欠けている。既存のベンチマークは、多くの場合、センサーハードウェアを個別に評価する（較正や知覚タスクを通じて）か、再構成やパターン認識のための高解像度視覚触覚センサーに焦点を当てている。その結果、性能向上がセンシングモダリティ自体から生じたのか、タスク設計から生じたのか、学習パイプラインから生じたのかを明確に区別することが困難である。この曖昧さは、特に性能、コスト、統合の複雑さのバランスを取る際に、研究者が触覚センサーを選択する際の意思決定を妨げている。

手法

著者らは、模倣学習パイプラインを用いてロボット操作における触覚センサーを評価する、体系的かつタスク駆動型のベンチマーク「TacO」を提案する。本研究では、アクションチャンクを予測し、多様な入力モダリティをトークンとして扱うために CVAE 構造を利用する「アクションチャンキング・トランスフォーマー（ACT）」をポリシーの基幹として採用している。

実験設定

• 評価対象センサー: 4 つのモダリティにわたる 6 つの触覚センサーをテストした。
  • 抵抗式: 力感知抵抗器（FSR）、FlexiTac、eGain（液体金属）。
  • 磁気式: eFlesh。
  • 視覚式: Daimon（視覚ベースの触覚センサー）。
  • 音響式: 接触マイク。
• タスク: 触覚センシングの異なる側面を挑战するよう設計された 3 つの代表的な操作タスク。
  1. 未知質量の把持・配置: 空または重しが入った缶などの物体を把持し、滑り落ちや落下を防ぐためにポリシーが質量を推論する必要がある。
  2. プラグ挿入: 部分的な視覚遮蔽下でソケットにプラグを挿入するタスクであり、せん断力、振動、または接触幾何学的な手がかりに依存する。
  3. 物体の向き変え: 接触を維持しながらテーブル上で物体を回転させ、連続的な力制御を必要とする。
• ポリシー訓練: 各センサーとタスクに対して、2 つの独立したポリシーを同一の遠隔操作デモンストレーションデータで訓練した。
  • 視触覚ポリシー: 入力には RGB 画像、自己位置推定、触覚読み値が含まれる。
  • 視覚のみポリシー: 入力には RGB 画像と自己位置推定が含まれる（触覚データは除去）。
• エンコーダ: 触覚データはモダリティ固有に処理された。
  • 抵抗式/磁気式: 生のスカラー値または配列値を MLP 経由でエンコード。
  • 視覚式（Daimon）: RGB/深度/せん断画像を PCA または ResNet18 経由でエンコード。
  • 音響式: 高周波オーディオをメル・スペクトログラムに変換し、MLP 経由でエンコード。
• 再現性: 堅牢性を確保するため、UC サンディエゴと CMU の 2 つの機関で、比較可能な Franka Panda ロボットプラットフォームを用いて実験を実施した。また、センサーのドリフトとヒステリシスを評価するためのハードウェア反復性テストキットも開発された。

主要な貢献

1. 体系的ベンチマーク: 3 つの異なる操作タスクにわたる 6 つの触覚センサーの模倣学習パイプラインおよび実世界評価。データ次元、コスト、材料特性の広い範囲を網羅。
2. 二重分析フレームワーク:
   • センサー別分析: 視触覚ポリシーと視覚のみポリシーを比較し、触覚信号の寄与を分離。
   • センサー間分析: 異なるセンサーにおける視覚のみポリシーを比較し、「身体性効果」（すなわち、センシング能力とは独立して、センサー材料、摩擦、形状因子が性能にどのように影響するか）を分離。
3. オープンソース資源: すべてのセンサー、コード、データ、および触覚センシングを操作パイプラインに統合する際の障壁を低下させる低コストのオープンソースハードウェア反復性テストキットの公開。

結果

タスク性能

• 把持・配置: ほとんどの視触覚ポリシーは、特に質量の判別が視覚のみでは困難な重い物体において、視覚のみベースラインを上回った。触覚ポリシーは推論された質量に基づいてグリッパー幅を調整するのに対し、視覚のみポリシーは静的な平均幅を使用していた。注目すべきは、Daimon（視覚式）触覚ポリシーがこのタスクで視覚のみベースラインを下回り、衝突失敗を示した点である。
• プラグ挿入: すべての触覚ポリシーは、視覚のみベースラインに対して大幅な改善を示した。接触マイクと eFlesh が最大の改善を示した。視覚のみポリシーは、プラグを誤って配置し解放することで失敗した。一方、触覚ポリシーは接触手がかりを利用してプラグを滑らせ整列させたが、訓練データに回復デモンストレーションが不足していたため、時折詰まることがあった。
• 物体の向き変え: すべての触覚ポリシーは、視覚のみ対応策を上回った。Daimon センサーが最大の相対的改善を示した。興味深いことに、FSR のような単純なセンサーは、高解像度センサー（Daimon、eFlesh）と同等の性能を発揮し、連続的な力制御タスクでは、高空間分解能よりも適切な触覚フィードバックへのアクセスの方が重要であることを示唆している。

身体性と材料効果

• 摩擦: センサー材料は性能に大きく影響した。高摩擦でコンプライアンスのあるセンサー（eFlesh、Daimon）を用いた視覚のみポリシーは、低摩擦センサー（FSR、FlexiTac）と比較して、把持・配置および挿入タスクで一般的に高い成功率を達成した。しかし、向き変えタスクでは、制御された滑りが有益であるため、低摩擦センサーの方が視覚のみ制御下で良好に機能した。触覚フィードバックは、精密な力制御を可能にすることで、高摩擦の欠点を大幅に軽減した。
• 空間分解能: これらの操作タスクにおいて、高解像度センサー（FlexiTac、Daimon）と低解像度センサー（FSR、eFlesh、接触マイク）の間で顕著な性能差は観察されなかった。これは、粗い物体操作においては、高密度な空間表現よりもタスクに関連する物理的信号の方が重要であることを示唆している。
• 反復性: FSR センサーは最も一貫した読み値を示した。他のセンサーは、粘弾性材料の挙動によりドリフトや「訓練段階」を示した。しかし、反復性はポリシーの成功率と一貫して相関せず、操作性能における支配的要因ではないことを示している。

意義と主張

本論文は、触覚情報の有用性は普遍的ではないと主張している。むしろ、それはセンサーモダリティ、センサーインターフェースの材料特性、および特定の操作タスクに強く依存する。

• モダリティ依存性: 異なるタスクは異なるセンシング能力から恩恵を受ける（例：挿入には振動、質量推論には力推定）。
• 費用対効果: アクセス可能でオープンソースかつ低コストのセンサーは、適切な学習パイプラインと組み合わせれば、高価な商用システムと同等の性能を達成できる。
• 身体性結合: センサーの物理的特性（摩擦、コンプライアンス）はセンシング信号と根本的に結合しており、能動的触覚フィードバックが存在しない場合でも、操作の成功に大きく影響する。

著者らは、触覚センシングは一般的に有益であるが、研究者はすべてのシナリオに単一の「最良」のセンサーが存在すると仮定するのではなく、操作システムを設計する際に、特定のタスク要件とセンサーの身体性を慎重に考慮すべきであると結論付けている。