🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

本論文は、プロプリオセプション（固有感覚）の履歴のみに基づいてトルク指令値を適応させることで、ポリシーレベルのドメインランダム化や実機データの収集を必要とすることなく、異なるロボットやペイロード間でのダイナミックな操作ポリシーのロバストなゼロショット転移を可能にする学習済みコンポーネントであるTorque Adaptation Module (TAM)を導入する。

原著者： Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある熟練したシェフを想像してみてください。彼は特定の高級なキッチンに合わせて、レシピを完成させるために長年研鑽を積んできました。彼は、ナイフにどれくらいの圧力をかけるべきか、鍋をどれくらいの速さでかき混ぜるべきか、そして特定の重くてカスタムメイドされたパン（フライパン）をどのように扱うべきかを正確に理解しています。

次に、そのシェフに、全く別のキッチンで全く同じ料理を作らせたいとしましょう。しかし、その新しいキッチンには以下のような特徴があります：

少し重いパン（未知のペイロード）。
古い油のせいで、少し「粘り気」のあるナイフ（摩擦）。
シェフが使い慣れたものよりも、反応がわずかに遅いコンロ（異なるダイナミクス）。

もしシェフが、調整を行うことなく、今まで通りの動きをそのまま使おうとしたら、料理が焦げたり、パンが滑ったり、ナイフがうまく切れなかったりするかもしれません。ロボット工学において、これは**「Sim-to-Real（シム・トゥ・リアル）」問題**と呼ばれます。完璧なコンピュータ・シミュレーション内で訓練されたロボットは、現実の世界が乱雑で、重く、予測不可能であるため、実機のロボットに投入された際に失敗してしまうのです。

問題点：「完璧」対「現実」

この論文では、既存の解決策を、「シェフに『超慎重』になれるよう教える（ドメイン・ランダマイゼーション）」ようなものだと説明しています。これでは、あらゆるキッチンに対応できるものの、動作が遅く、ぎこちなくなってしまいます。あるいは、シェフが料理をしている間に、新しいキッチンのネジやバネを一つ一つ測定しようとする（システム同定）方法もありますが、これには膨大な時間とデータが必要です。

解決策：TAM（「スマート・アダプター」）

著者らは、**TAM（Torque Adaptation Module：トルク適応モジュール）**を紹介しています。TAMは、メインのシェフのすぐ横に立っている、非常に賢い「副料理長（スーシェフ）」のようなものです。ただし、彼はナイフが食材に触れる直前の、まさに最後の一瞬にだけ介入します。

TAMがどのように機能するかを、簡単なパーツに分解して説明します：

1. 「ブラックボックス」ポリシー（シェフ）
メインのロボット・ポリシー（「シェフ」）は、完璧で理想的なロボット上で訓練されています。それは「腕を位置Xに動かせ」や「力Yを加えろ」といったコマンドを出力します。このシェフは、重いパンや粘り気のある油については知りません。

2. 低レベル・コントローラー（腕）
これは、シェフのコマンドを実際の筋肉の動き（トルク）に変換する部分です。「よし、位置Xに到達するためには、10ニュートンの力で押す必要がある」と判断します。

3. TAM（副料理長）
TAMは、低レベル・コントローラーと実際のロボット・モーターの間に位置します。TAMはシェフに何をすべきかを指示することはありません。さらには、シェフが何を達成しようとしているのか（レシピや目標）さえも知りません。

代わりに、TAMはロボットの履歴を観察します。以下のことを確認します：

過去数秒間で、腕が実際にどのように動いたか。
実際にどれだけの力が加えられたか。
腕がどのように「感じられたか」（固有受容感覚）。

この履歴に基づき、TAMは次のように気づきます。「おや、重いパンのせいで、腕が想定よりも遅く動いているぞ」。

4. 魔法の調整（残留トルク）
TAMは、微細かつ即時的な補正を計算します。もしコントローラーが「10ニュートンの力で押せ」と言った場合、TAMは「実際には、摩擦を補うために10.5ニュートンで押すべきだ」とささやきます。そして、コマンドがモーターに届く直前に、この小さな「追加の押し」（残留トルク）を加えます。

なぜこれが特別なのか？

プラグアンドプレイが可能： ある仕事（例：箱を押す）のために訓練されたロボット・ポリシーと、全く異なる仕事（例：キューブをひっくり返す）のために訓練されたポリシーのどちらに対しても、TAMは両方に機能します。メインのシェフを再訓練する必要はありません。単にTAMというアダプターを差し込むだけです。
「視覚」ではなく「感触」から学ぶ： TAMはロボットのカメラを見る必要も、タスクの内容を知る必要もありません。ただ、ロボットの履歴を感じ取るだけでよいのです。それは、エンジンの音やステアリングの振動を聞くだけで、車が重いことを察知できる盲目のエキスパートのようなものです。
高速である： TAMは、これらの微細な調整を毎秒1,000回（1 kHz）行います。これは、物体をひっくり返したり、ボールのバランスを取ったりするような、動的で素早いタスクをこなすのに十分な速さであり、より低速な手法では不可能な速度です。
現実世界のデータを必要としない： この「副料理長（TAM）」は、コンピュータ・シミュレーション内での数千ものランダムな「もしも（重いパン、粘り気のある油、壊れたバネなど）」のシナリオを用いて訓練されます。一度訓練されれば、実機のロボットに投入された際、たとえ全く未知の重さが付加されていても、即座に動作することができます。

結果

論文では、この手法を実機のロボット（Franka Panda）を用いて、3つの非常に異なるタスクでテストしました：

箱を押す（強化学習によって学習されたポリシーを使用）。
キューブをひっくり返す（人間のデモンストレーションを模倣して学習されたポリシーを使用）。
皿の上でボールのバランスを取る（数学ベースのコントローラーを使用）。

すべてのケースにおいて、TAMを備えたロボットは、物理現象をその場で推測しようとするロボットや、単に「慎重」になろうとするロボットよりも優れたパフォーマンスを示しました。TAMによって、ロボットは現実世界の乱雑さに直面しているにもかかわらず、まるで完璧なシミュレーションの中にいるかのような自信とスピードを持って動くことができたのです。

要約としての比喩

ロボット・ポリシーが、完璧で乾燥したレーストラックで運転を学んだドライバーであり、現実の世界が雨の降る泥道だとしましょう。

従来の手法は、ドライバーに対して、非常にゆっくりと慎重に運転するように命じます（保守的）。
他の手法は、走行中に泥の深さを測定しようとします（低速で複雑）。
TAMは、車の滑りを感じ取り、ドライバーに運転スタイルを変えるよう伝えることなく、コースから脱落しないように、ステアリングとアクセルペダルを毎秒1,000回瞬時に微調整する**コ・パイロット（副操縦士）**のようなものです。

論文は、TAMが、シミュレーションという「完璧な世界」で訓練されたロボットが、新しいロボットや新しい重い物体を手に取るたびに再訓練されることなく、現実という「乱雑な世界」で成功するための、堅牢で柔軟なツールであることを結論付けています。

技術要約：堅牢な動作転送のためのトルク適応モジュール (TAM)

1. 問題定義

本論文は、ロボット操作におけるsim-to-real（シミュレーションから実機への転送）および動作の堅牢性という課題に取り組んでいる。特定の「理想的な」ロボットモデルに対して設計または学習されたポリシーは、対象となるロボットのダイナミクスが異なる場合、実機へのデプロイ時に失敗することが多い。これらの不一致は以下の要因から生じる：

Sim-to-realギャップ（未モデル化の摩擦、ダンピング、アクチュエータの遅延）。
未知のペイロード（追加された質量および重心のシフト）。
個体間の差異（製造上の公差）。

接触を伴う動的なタスクにおいて、わずかな動作の不一致であっても、接触のタイミングやモードを乱し、タスクの失敗を招く。既存の手法には以下のような重大な制限がある：

システム同定 (SysID): 新しいロボットやペイロードの変化ごとに、継続的なデータ収集とモデルの再同定を必要とする。
ドメインランダム化 (Domain Randomization): ロボットのダイナミクス範囲を十分に活用できず、過度に保守的なポリシーを生み出すことが多い。
ポリシー側での適応 (例: RMA, UPOSI): 適応用のブランチを用いてポリシーの再学習や蒸留を行う必要があり、これはクローズドソース、サードパーティ製、あるいはモデルベース（MPC）のポリシーに対してはコストが高い、あるいは不可能である。

2. 手法：トルク適応モジュール (TAM)

著者らは、トルック・インターフェース（低レベルコントローラとロボットの物理的アクチュエータの間）に挿入される学習済みモジュールであるTAMを提案している。TAMは高レベルのポリシーとは独立して動作するため、ポリシー自体を修正することなく、あらゆる既存のポリシー（RL、BC、またはMPC）に適応させることができる。

コアアーキテクチャ

TAMは、異なるタイムスケールで動作する2つの主要コンポーネントで構成される：

履歴エンコーダ (5 Hz):
- 入力: プロプリオセプティブ（固有受容感覚）データ（関節位置 $q$ 、速度 $\dot{q}$ ）および印加トルク $\tau^a$ の長期間の履歴（12秒間）。
- 特徴量の拡張: エンコーダは、観測された運動に対して理想的なモデルが必要とするトルクと、実際に印加されたトルクとの差として計算される物理残差特徴量 ( $e_\tau$ ) を組み込んでいる。これはダイナミクスの不一致を示す直接的な信号となる。
- 処理: パッチ単位の時系列トークン化戦略と因果的Transformerを使用し、高周波（1 kHz）の履歴をコンパクトな潜在状態 $z_t$ へと効率的に処理する。
トルクアダプタ (1 kHz):
- 入力: 潜在状態 $z_t$ 、最近のステート/トルクの短いローカルウィンドウ、および低レベルコントローラによって生成された公称トルク $\tau^0_t$ 。
- 出力: 残差トルク補正 $\Delta\tau_t$ 。
- メカニズム: $z_t$ に条件付けられた適応型レイヤー正規化（Adaptive Layer Normalization）を使用し、同じ重みで異なるダイナミクスに対して異なる補正則を表現できるようにする。
- 最終コマンド: 補正されたトルク $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ がロボットに送られる。

学習戦略

タスク非依存のデータ: TAMは、特定のタスクのデモンストレーションではなく、ランダム化された自由空間での関節運動ロールアウトを用いて学習される。
教師あり学習: 学習目的はローカルトルクマッチングである。ある状態と公称トルクが与えられたとき、摂動を受けた（ターゲットとなる）ロボットが理想的なロボットと同じ加速度を実現するために必要な「ティーチャー（教師）」トルクを算出する。
2段階のパイプライン:
1. マルチロボット事前学習: モジュールは、5種類の異なるロボットモデル（Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4）からのランダム化されたロールアウトを用いて学習され、共有された補正初期化を学習する。
2. ロボット固有のファインチューニング: ターゲットとなるロボットのシミュレータが利用可能な場合、事前学習された重みをそのロボットのランダム化されたロールアウトに対してファインチューニングする。このステップにおいて実世界のデータは必要とされない。

3. 主な貢献

デカップリングされた適応: 適応層をトルクインターフェースに移動させることで、TAMはポリシーの観測、報酬、または内部状態にアクセスする必要がない。これにより、多様なポリシー（RL, BC, MPC）やアクションスペース（関節ターゲット、エンドエフェクタターゲット、直接トルク）に対して、単一のTAM重みセットを再利用できる。
ゼロショットの実世界転送: この手法は、未知のペイロードやダイナミクスを持つ実世界のロボット上での堅牢な実行を可能にし、基礎となるポリシーの再学習や実世界のキャリブレーションデータの収集を必要としない。
高周波補正: 1 kHzで動作することで、接触や慣性の変化に対する迅速な応答を必要とする高速かつ動的な操作タスクをサポートする。
汎用性: マルチロボット事前学習アプローチにより、モジュールは未知のロボット形態へと汎化することができ、シミュレーションによるファインチューニングによってさらなる改善が可能である。

4. 実験結果

著者らは、3つの異なるタスクとシミュレーションによるクロスロボット追従研究において、実機のFranka Emika Pandaロボットを用いてTAMを評価した。

実世界タスク (Franka Panda)

ビジョンベースRL ボックス押し (Box Pushing): TAMは**76.2%**の成功率を達成し、直接実行（47.6%）およびオンラインシステム同定（57.1%）を大幅に上回った。
行動模倣 (BC) キューブフリップ: TAMは**72.0%**の成功率を達成し、理想的なシミュレーションのベースライン（73.5%）にほぼ匹敵し、オンラインSysID（34.0%）の成功率を倍以上に引き上げた。
MPC ボール・オン・プレート・バランシング: TAMは15秒間に13.6 ± 2.9個のゴールを完了し、オンラインSysID（13.1）および直接実行（8.8）を上回り、理想的なシミュレーションの性能（15.9）に接近した。
未知のペイロードを伴うトラッキング: 隠された1 kgのペイロードを伴うエンドエフェクタ追従タスクにおいて、TAMは追従誤差（RMSE）を約6 cm（直接実行）から1.29 cm（運搬状態）へと減少させ、明示的なパラメータ推定ベースラインを上回った。

シミュレーションによるクロスロボット汎化

5台のロボットで事前学習されたTAMの重みを、未知の2台のロボット（Google Robot, Unitree Z1）でテストした。
マルチロボット事前学習されたTAMは、直接実行およびオンラインSysIDのベースラインと比較して、追従誤差を大幅に減少させた。
ターゲットロボットのシミュレーションによるファインチューニングは、さらに誤差を減少させ、2段階の学習パイプラインの有効性を実証した。

アブレーション研究

履歴エンコーダ: 長期間のエンコーダを除去すると、成功率が大幅に低下した（シミュレーションにおいて84%から42%へ）。これは時間的コンテキストの重要性を強調している。
物理残差特徴量: $e_\tau$ 特徴量を除去すると、クロスロボット転送が弱まった。これは、特定の形態を超えて汎化するための役割を裏付けている。
直接トルク vs パラメータ予測: 残差トルクを直接予測する手法は、明示的な物理パラメータをまず予測しようとする手法よりも優れた性能を示した。

5. 重要性と主張

本論文は、TAMが操作におけるsim-to-real転送の扱い方にパラダイムシフトをもたらすと主張している。ポリシーに堅牢性を学習させることや、継続的なシステム同定を強いる代わりに、TAMは適応の負担をモジュール化されたトルクレベルのインターフェースへとオフロードする。

モジュール性: これにより、独立して作成されたポリシー（RL, BC, MPC）に対して、再学習なしで「プラグアンドプレイ」の適応が可能になる。
効率性: ランダム化されたシミュレーションとマルチロボット事前学習を利用することで、実世界のデータ収集を排除する。
堅牢性: 未知の物理パラメータを持つ実機ハードウェア上での、動的で接触の多い操作を可能にし、従来のメソッドが失敗する場面でも理想的なシミュレーションベースラインに近い性能を実現する。

著者らは制限事項も認めている。TAMはトルクインターフェースへのアクセスと、一致した運動学的構造を必要とする。また、ターゲットのダイナミクスがアクチュエータのトルク予算内で補正可能であることを前提としており、長期的な安定性の厳密な保証や、訓練分布外のダイナミクス（例：訓練で見られなかった極端な接触力）を必要とするタスクについては保証を提供しない。