技術要約: Heterogeneous Tactile Transformer (HTT)

1. 問題提起

触覚センシングは、接触を伴うロボット操作（例：壊れやすい物体の把持、精密な組み立て）において不可欠であるが、触覚学習のスケーリングには依然として大きなボトルネックが存在する。カメラとは異なり、触覚センサは本質的に**ヘテロジニアス（異種混在）**である。すなわち、変換メカニズム、データ構造、および出力形式が根本的に異なる。

• 光学式センサ（例：GelSight, 9DTact）は、エラストマーの変形を通じて豊かな空間的・幾何学的情報を捉えるが、カメラのフレームレートによる制限を受けることが多い。
• アレイ型センサ（例：Xela, Tac-02）は、高レートの時系列信号と直接的な力や圧力の測定を提供するが、空間解像度は低くなる。

現在の表現学習手法の多くは、光学式センサに焦点を当てるか、あるいは各センサを孤立したものとして扱う。あるモダリティで訓練されたモデルは、他のモダリティからのデータを直接取り込むことができず、統一されたセンサ非依存の操作ポリシーの構築を妨げている。また、これらの異なるモダリティをペアリングした大規模かつ同期されたデータセットが存在せず、それらの間で共有表現を効果的に学習できる既存のフレームワークも存在しない。

2. 手法

2.1 Heterogeneous Paired Tactile (HPT) データセット

データの不足に対処するため、著者らは Universal Manipulation Interface (UMI) のセットアップを用いて Heterogeneous Paired Tactile (HPT) データセットを構築した。

• 規模: 160万組の同期されたペアフレーム。
• センサ: 4種類の異なるセンサ：2種類の光学式（GelSight Mini, 9DTact）と2種類のアレイ型（Xela, Tac-02）。
• 収集: センサはグリッパーの指の反対側にそれぞれ取り付けられ、日常的な物体との相互作用における同時的な接触特性を捉えるように配置された。
• 構成要素: データセットには以下が含まれる：
  • ラベルなし相互作用データ: 自己教師あり学習による事前学習用（押す、ひねる、滑らせる動作）。
  • 物体分類: 様々な形状や質感を持つ20種類の異なる物体。
  • 力推定: 外部のF/Tセンサを備えたプロービングリグを通じて収集された、同期された6自由度の力ラベル。
  • スリップ検出: 摩擦係数の時系列から導出された、静止、初期、および本格的なスリップに分類されたラベル。

2.2 Heterogeneous Tactile Transformer (HTT) アーキテクチャ

HTTは、ヘテロジニアスなセンサ間で共有潜在空間を学習するために設計された自己教師あり学習フレームワークである。これは以下のコンポーネントを持つ Masked Autoencoder (MAE) 設計を採用している。

1. センサ固有のエコーダ ($E_i$):
   • 光学式センサ用：空間パッチを処理する Vision Transformer (ViT) エコーダ。
   • アレイ型センサ用：多次元時系列のテンポラルパッチを処理する自己注意（Self-attention）トランスフォーマ。
   • 入力は、エンコードされる前にパッチ化および正規化される。
2. 共有トランスファー・トランク ($T$): すべてのセンサからのトークン埋め込みを共通の潜在空間へと処理する統一されたバックボーン。
3. センサ固有のデコーダ ($D_i$): 事前学習中にマスクされた入力トークンの再構成に使用される。
4. クロスモーダル予測器 ($P_{ij}$): ソースセンサの埋め込みと可視なターゲットの埋め込みを使用して、マスクされたターゲットセンサの埋め込みを予測するクロスアテンション・トランスフォーマ。

2.3 事前学習の目的関数

モデルは、2つの目的関数を組み合わせた結合損失関数を用いて訓練される。

1. モダリティごとのマスク再構成 ($L_{MAE}$): 各センサが自身のマスクされた入力を再構成することで、堅牢な構造的および物理的特徴を抽出することを促す。
2. クロスモーダル・アライメント ($L_{Align}$): ソースセンサの完全な埋め込みとターゲットの可視な埋め込みを用いて、マスクされたターゲットセンサの埋め込みを予測するようにモデルを訓練する。これにより、性質の異なるモダリティを共通の潜在空間に整合させる。
   • 表現の崩壊を防ぐため、ターゲットに対しては stop-gradient が適用される。
   • アライメント損失は、センサ固有の特徴開発を可能にするために、0から開始して徐々に増加する時間依存の係数 ($\alpha_t$) によって重み付けされる。

ダウンストリームタスクにおいて、デコーダと予測器は破棄され、センサのエコーダと共有トランクのみが使用される。

3. 主な貢献

1. HPT データセット: 光学式とアレイ型センサをペアリングした大規模（160万フレーム）かつ同期されたデータセットを提供し、ヘテロジニアスな触覚表現学習の研究を可能にした。
2. HTT フレームワーク: MAE スタイルの再構成と双方向のクロスセンサ予測を組み合わせ、ヘテロジニアスなセンサタイプ間で転移可能な表現を学習する自己教師ありアーキテクチャ。
3. 包括的な評価: 知覚タスク（分類、力推定、スリップ検出）および操作タスク（シミュレーションおよび実世界）にわたる広範な検証を行い、未知のセンサやタスクへの汎化能力を実証した。

4. 実験結果

4.1 触覚知覚タスク

• 物体分類: HTTは、4つのセンサすべてにおいて「Scratch」ベースラインを上回った。光学式センサにおいて、HTTは強力な光学専用ベースライン（T3, SITR）を大幅に上回った（例：9DTactで+13.5%、GSMiniで+17%）。クロスモーダル・アライメントは光学式センサの性能を向上させたが、アレイ型センサでは混合した結果となった（Xelaでわずかな低下）。これは、モダリティ間の情報の不均衡に起因する。
• 力推定およびスリップ検出: HTTはすべてのセンサにおいてベースラインを大幅に上回った。光学式のみの事前学習手法（T3, SITR）は、力に敏感なタスクへの転移に失敗することが多かったが、HTTは堅牢な性能を維持した。クロスモーダル・アライメントは特にスリップ検出において効果的であり、補完的な力と空間のキューを結びつけることで、Macro-F1スコアを大幅に向上させた（例：TAC-02で+12.0%）。

4.2 ロボット操作タスク

• 実世界実験 (Franka Arm上のSharpa Hand):
  • タスク: 「おもちゃのネジ締め（Toy Screw）」および「豆腐の把持（Grasp Tofu）」。
  • セットアップ: 学習中に見ていないセンサ（9DTact エコーダ）からのHTT埋め込みを用いたゼロショット適応。
  • 結果: HTT埋め込みを用いたポリシーは、生の6自由度力ベクトルや関節位置のみを用いたものよりも大幅に優れた性能を示した。
    • おもちゃのネジ締め: HTTは95%の成功率を達成したが、力ベクトルベースのポリシーは50%であった。著者らは、これを、生の力ベクトルでは捉えられない、循環的なリグリップに必要な空間的接触特徴（接触位置とシフト）をHTTが表現できるためであるとしている。
    • 豆腐の把持: HTTは55%の成功率を達成し、力ベクトルベースのポリシーの35%と比較して、スリップ率を3分の1減少させ、潰してしまう失敗を排除した。
• シミュレーションタスク (ManiFeel): HTT埋め込みは、ペグ挿入およびバルブ設置タスクにおいてベースラインよりも成功率を向上させ、センサ非依存の接触埋め込みの有用性を裏付けた。

5. 意義と主張

本論文は、ペアリングされたヘテロジニアスな事前学習が、汎用的かつセンサ非依存の触覚表現学習への実用的な道であることを主張している。

• 転移性: HTTは、センサ固有の事前学習を必要とせずに、新しいタスクや未知のセンサに適応する表現を学習する。
• ポリシー学習: 本フレームワークは、生の力出力よりも豊かな接触表現を提供し、接触を伴う操作ポリシーの性能を直接的に向上させる。
• スケーラビリティ: 光学式とアレイ型センサの間の溝を埋めることで、HTTは単一モダリティのデータセットの限界を超え、触覚学習のスケーリングにおける重要なボトルネックに対処する。

著者らは、現在の焦点が光学式とアレイ型のファミリーのみであること、同一ファミリー内のペアリング研究が欠けていること、およびセンサパッチ間の明示的な幾何学的空間のアライメントが欠如していることなどの限界についても述べている。今後の課題は、他のセンシングモダリティへのアライメントの拡張と、クロスモーダル監督の洗練である。