💻 computer science

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance

TouchGuide は、対照学習された接触物理モデルを統合して触覚ガイダンスで粗い視覚動作を精緻化することにより、TacUMI というコスト効果の高いデータ収集システムに支えられ、接触の多い操作における事前学習された視覚運動ポリシーを強化する、新しい推論時ステアリングフレームワークである。

原著者： Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに靴ひもを結んだり、壊れやすいポテトチップスを割らずに手渡したりする繊細な作業を教えることを想像してみてください。もしロボットに「目」（カメラ）だけを与えると、往々にして苦労します。靴は見えても、ひもが滑っているのか、チップスを握りすぎていないのかは感じ取れません。厚手の冬用手袋をはめたまま針に糸を通そうとするようなものです。穴は見えても、糸の感触はわからないのです。

本論文は、ロボット全体の「脳」を最初から再学習させることなく、リアルタイムで誤りを修正するためにロボットの「触覚」を活用する新しい方法、TouchGuide（タッチガイド）を紹介します。

その仕組みを、簡単な比喩を用いて解説します。

1. 問題点：「盲目」のロボット

現在のロボットは、「靴を拾う」といった全体像の把握には長けていますが、「ひもは十分に締まっているか？」といった、接触を伴う微細な詳細には不向きです。これらの作業を試みると、視覚に頼りすぎ、物体の物理的な感触を十分に活用していないため、失敗することがよくあります。

2. 解決策：「触覚ガイド」（TouchGuide）

著者らは、TouchGuideと呼ばれるシステムを開発しました。ロボットの主脳（方策）を、平坦で空の道路（視覚タスク）を運転するのが得意なドライバーだと考えてください。しかし、道路が凹凸があり、繊細なハンドル操作（接触タスク）が必要になると、ドライバーは道に迷ってしまいます。

TouchGuide は、ドライバーの隣に座る副操縦士として機能します。

ドライバー（ベース方策）： まず、ドライバーは窓の外を見て、視覚情報に基づいてどこへハンドルを切るか大まかに推測します。これが「粗い動作」です。
副操縦士（TouchGuide）： 車が実際に動く前に、副操縦士は特別なセンサー（触覚）を使って道路状況を確認します。ドライバーの推測が衝突やスリップを引き起こす場合、副操縦士はハンドルを優しく修正して経路を補正します。
結果： 車（ロボット）は、視覚的にも良好で、かつ物理的にも安全な経路を走行します。

重要なのは、この副操縦士がドライバーに運転の仕方を最初から教える必要がないことです。最終瞬間（「推論」中）に、ドライバーの既存の決定を誘導し、動作が物理的に妥当であることを保証するだけです。

3. ツール：「スマートハンド」（TacUMI）

この副操縦士を教育するには、高品質なデータが必要です。著者らはまた、TacUMIと呼ばれる新しいデータ収集ツールも開発しました。

人間がロボットの動きを模倣させることでロボットに教えることを想像してください。

従来の方法（遠隔操作）： 人間は VR ヘッドセットを装着し、コントローラーを握ります。ロボットの視点は見えますが、物体を感じ取ることはできません。まるで、誰かが割れやすい卵をキャッチする様子を動画で見て、それを学ぼうとするようなものです。卵の感触がわからないため、ためらったり、強く握りすぎたりする可能性があります。
TacUMI の方法： 人間は、ロボットのグリッパーと全く同じ形状のハンドヘルドデバイスを持っています。これには剛性の指先があり、人間の指に直接接続されています。人間が物体に触れると、自分の手と同じように即座に感触を得られます。
- 比喩： これは、画面を見て針に糸を通そうとするのと、自分の指で直接行うのとの違いです。TacUMI システムを使えば、人間はどのくらい強く握り、どこを持てばよいかを正確に感じ取れるため、「完璧な」データを収集できます。

4. 連携の仕組み

本論文では、この手法を 5 つの難しいタスクでテストしました。

靴ひも結び： 小さな穴に紐を通す。
チップスの手渡し： ポテトチップスを潰さずに渡す。
きゅうりの皮むき： 果肉を切らずに皮をむく。
花瓶の拭き上げ： 花瓶を倒さずに曲がった表面を拭く。
鍵の開け閉め： 鍵を鍵穴に挿入して回す。

結果：

TouchGuide なしの場合、ロボットはチップスを落としたり、ひもを切ったり、鍵を回せなかったりすることが多かったです。
TouchGuide を使用すると、ロボットは「副操縦士」を利用して、グリップや角度をリアルタイムで調整しました。
成功： ロボットはこれらのタスクで著しく向上しました。例えば、「チップスの手渡し」タスクでは、成功率が約 25% から 60% に跳ね上がりました。「鍵の開け閉め」では、20% から 30% に向上し（最良の設定ではさらに高くなりました）。

5. 「秘密の武器」：接触物理モデル（CPM）

副操縦士は、いつハンドルを切るべきかを知っているのでしょうか？それは**接触物理モデル（CPM）**と呼ばれる小さな脳を使用しています。

このモデルは、TacUMI によって収集された高品質なデータで学習されています。
それはシンプルなルールを学びます。「この動作は物理的に可能か？」
もしロボットがチップスを強く握ろうとすれば、CPM は「いや、それでは割れてしまう」と判断し、動作をより優しいグリップへと誘導します。
これは現実チェックとして機能し、ロボットの計画が物理法則と合致していることを保証します。

まとめ

本論文は、ロボットの視覚計画をリアルタイムで修正する「触覚ガイド」を追加し、かつ人間がロボットと同じ感触を正確に感じ取れる新しいハンドヘルドツールを使用することで、ロボットは以前は難しすぎた繊細で接触を伴うタスクを finally 習得できることを主張しています。最初から再学習する必要はありません。触覚センサーを備えた副操縦士からの少しの誘導が必要だけです。

技術概要：TouchGuide

問題定義

微細で接触に富むロボティクス操作（例：靴紐の結ぶ、壊れやすいチップの受け渡し）は、ロボットにとって依然として大きな課題である。模倣学習によって複雑なタスクが可能になった一方で、多くの直感的なスキルには、視覚情報と触覚情報の効果的な統合が必要である。視覚入力はグローバルな文脈を提供するが、局所的で接触固有の制御には触覚フィードバックが不可欠である。既存の視触覚ポリシーは、通常、特徴レベルの結合（モダリティの優位性に陥りうる）またはポリシーレベルの構成（複数の単一モダリティポリシーの学習が必要であり、重要なクロスモダリティ相関を捉えるのに苦労する）に依存している。さらに、触覚学習のための既存のデータ収集システムは、高精度と低コストの両立に失敗するか、直感的な制御やデータ品質を阻害する間接的な触覚フィードバック（例：VR 可視化）に依存している。

手法

本論文では、新規なクロスポリシー視触覚融合パラダイムであるTouchGuideと、費用対効果の高いデータ収集システムであるTacUMIを紹介する。

1. TouchGuide：推論時の steering

TouchGuide は、事前学習された視覚運動ポリシー（拡散モデルやフローマッチングに基づくもの、例： $\pi_0.5$ ）のための、2 段階の推論時 steering メカニズムとして機能する。ベースポリシーの再学習は不要である。

ステージ 1（視覚による粗い動作）： 脱ノイズまたはフローマッチングプロセスの初期サンプリングステップにおいて、ベースポリシーは視覚入力のみを使用して、視覚的に妥当な粗い動作を生成する。
ステージ 2（触覚ガイダンス）： 後続のサンプリングステップにおいて、タスク固有の**接触物理モデル（CPM）**が触覚ガイダンスを提供する。CPM は、限られた専門家デモンストレーション上で対照学習によって訓練され、実現可能性スコアを出力する。
- アーキテクチャ： CPM は、視覚入力と触覚入力の両方に事前学習された DINOv2 エンコーダを使用し、それらを Transformer エンコーダで融合して潜在観測を生成する。この潜在観測と潜在動作埋め込みとの間のコサイン類似度を計算することで、実現可能性スコアを生成する。
- steering メカニズム： 実現可能性スコアは、分類器ガイダンス信号として機能する。拡散ポリシーの場合、スコアの勾配がノイズ予測器から減算される。フローマッチングポリシーの場合、速度予測器から減算される。これにより、動作分布が物理的接触制約を満たす「真の分布」へと誘導される。

2. TacUMI：データ収集システム

TouchGuide 向けの高品質データ収集を促進するため、著者らはハンドヘルドグリッパシステムであるTacUMIを開発した。

設計原則： 低コスト（ベースコスト約 720 ドル）、軽量（540g）であり、間接的なリンクではなく剛性な機械的結合（剛性指先）を介した直接的な触覚フィードバックを提供する。
位置特定： 特徴が乏しいシーンにおける SLAM ベースシステムの精度制限を回避するため、Lighthouse ベースステーションを備えた Vive Trackers を用いて高精度な位置特定を行う。
同期： 統一されたハードウェア - ソフトウェアインターフェース（RK3576 CPU）を備え、30Hz で同期された高解像度の視覚および触覚信号（力場を含む）をストリーミングする。

主要な貢献

TouchGuide パラダイム： タスク固有の CPM を用いて推論時に事前学習された視覚運動ポリシーを steering する、新規なクロスポリシー融合手法。低次元の動作空間内でモダリティを融合し、ベースポリシーの再学習なしに接触物理に準拠した動作を確保する。
TacUMI システム： 直接的な触覚フィードバックを可能にする、費用対効果が高く高精度なデータ収集システム。触覚データ取得における手頃さと精度のトレードオフを解決する。
実証的検証： 5 つの困難なタスク（靴紐の結ぶ、チップの受け渡し、キュウリの皮むき、花瓶の拭き取り、鍵の開け閉め）における広範な実験により、TouchGuide が最先端の視触覚ポリシーを大幅に上回り、異なるロボット、ポリシー（Diffusion Policy、 $\pi_0.5$ ）、および触覚モダリティ（力対触覚画像）間で汎化することが示された。

実験結果

性能向上： 靴紐の結ぶタスクにおいて、TouchGuide（ $\pi_0.5$ 使用）は58.0%の成功率を達成し、ベースの $\pi_0.5$ の35.9%、Policy Consensus ベースラインの**24.7%**を上回った。チップの受け渡しでは、60.0%（ベース $\pi_0.5$ は 25.0%）に達した。
汎化性： この手法は、視覚ドメインシフト（未見の物体/シーン）および遮蔽下において堅牢性を示した。異なるベースポリシー（Diffusion Policy および $\pi_0.5$ ）および異なる触覚センサー（力および触覚画像）間で成功裏に汎化した。
データ品質： 比較により、TacUMI データで訓練されたポリシーは、SLAM ベースの UMI データまたは VR 遠隔操作データで訓練されたポリシーよりも、特に低データ領域（例：鍵の開け閉めにおける 20 回のデモンストレーション）で大幅に優れていることが示された。
効率性： TouchGuide は、実質的な性能向上を提供しながら、推論時間のオーバーヘッドをほぼ増加させない。

意義と主張

著者らは、TouchGuide が既存の視触覚手法の根本的な限界を克服し、特徴空間ではなく動作空間で融合を行うことを主張している。CPM を用いてポリシー分布を接触物理の真の分布へと steering することで、接触後に触覚変化に反応するだけでなく、接触の瞬間に物理的制約を満たすより堅牢な動作を生成する。

本論文は、TouchGuide によって、ポリシー全体を再学習する計算コストなしに、強力な事前学習モデル（VLA など）へ触覚フィードバックを統合できることを強調している。さらに、TacUMI の導入は、そのようなモデルの訓練に必要な高忠実度触覚データを収集するための、スケーラブルでアクセスしやすい解決策を提供し、高精度な研究と実用的かつ手頃な展開の間のギャップを埋める。この研究は、明示的な接触物理の steering が、微細なロボティクス操作の進展にとって重要な要素であることを示唆している。