🤖 AI

ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction

ForceTwinは、力センサー付きグリッパーを用いた人間による計測された相互作用を分析することで、関節を持つ物体の物理学に基づいたデジタルツインを特定するシステムであり、既存の運動学のみの手法や視覚言語ベースの事前知識に基づく手法と比較して、大幅に高精度な操作と制御を可能にする。

原著者： Tim Engelbracht, René Zurbrügg, Mayank Mittal, Marco Hutter, Marc Pollefeys, Hermann Blum, Zuria Bauer

公開日 2026-09-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tim Engelbracht, René Zurbrügg, Mayank Mittal, Marco Hutter, Marc Pollefeys, Hermann Blum, Zuria Bauer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットは、あらゆる物体が固定され、あらゆる動きがあらかじめプログラムされている工場において、長らくその主役を務めてきました。しかし、ロボットが人間の家庭という場所に足を踏み入れた瞬間、それは混沌とした現実に直面します。引き出しが空であることもあれば、重い食器で詰まっていることもあります。ドアには単純な蝶番がついていることもあれば、開ける際に抵抗となる隠れたスプリングがついていることもあります。これらの物体を動かすためには、ロボットは単にそれがどのような見た目かという画像以上のもの、つまり、その物体がどのように「感じられるか」を理解する必要があります。物体がどれほどの重さなのか、滑り台のような軌道の摩擦はどの程度なのか、そしてその機構の中に隠された力がどのように働いているのかを知らなければなりません。この物理的な直感力がなければ、ドアを押そうとするロボットは、単に動けなくなってしまうかもしれません。それが、物体が詰まっているのか、それとも自然な抵抗があるのかの区別がつかないために。

これこそが、チューリッヒ工科大学の研究者とその共同研究者たちが、「ForceTwin」と呼ばれる新しいシステムで取り組んできた課題です。カメラを使って重さや硬さを推測する代わりに、彼らは人間にその作業を行わせます。人は力センサーを備えた特別なツールを持ち、単にドアや引き出し、キャビネットを押し、引き、揺らします。人間が物体と相互作用する際、そのツールは物体がどのように動くか、そして決定的なことに、物体を動かすためにどれだけの力が必要かを正確に記録します。この単純で自然な相互作用から、システムは「デジタルツイン」を構築します。これは、物体の形状だけでなく、その特有の「物理的な個性」を含む仮想的なコピーです。このツインは、特定のドアを開けるためにどれだけの労力が必要かを、目に見えないスプリングや、重い中身、あるいはカメラでは決して見ることのできない粘りつく蝶番まで考慮して正確に把握しています。

この発見の核心は、「外見は物理特性の乏しいガイドである」という気づきにあります。見た目が同じ二つのドアであっても、開けるのに必要な力は大きく異なる場合があります。一方は軽く緩いかもしれませんが、もう一方は強力なドアクローザー機構によって重く、閉まる際に勢いよく閉まってしまうかもしれません。デジタルコピーを作成しようとするこれまでの試みは、視覚的なデータや言語による記述に基づいて特性を推測することに依存しており、その結果、見た目は正しくても感覚が合わないシミュレーションを生み出すことがよくありました。ロボットがこれらの欠陥のあるモデルを使用すると、特に強力な内部機構を持つ物体に対して、頻繁に失敗しました。研究者たちは、人間との相互作用中の実際の力を測定することで、物体の真の物理パラメータを特定できることを見出したのです。彼らは、物体の質量や基本的な摩擦といった一定の特性と、ドアクローザーのように動きの速さや距離によって挙動が変わる複雑で変化する力とを切り分けました。

このアプローチが実際に機能するかどうかをテストするため、チームはデジタルツインを実世界で検証しました。彼らは、人間の探索から得られたデータを使用して、2種類の非常に異なるロボット、すなわち4足歩行ロボットの「Spot」と、据え置き型のロボットアーム「Franka」をプログラムしました。ロボットには、引き出し、スライドドア、そして重い木製や金属製のドアなど、さまざまな物体を開けるタスクが与えられました。ロボットが新しい物理情報に基づいたツインを使用したとき、成功率は87パーセントに達しました。対照的に、物体の見た目から物理特性を推測した古い手法や、形状は知っているが力については知らない手法を用いた場合、成功率はそれぞれ60パーセントと57パーセントに低下しました。その差は、困難な物体において最も顕著でした。強力なスプリング機構を備えた重い金属製のドアでは、古い手法を用いるとロボットは完全に停止してしまい、ドアを動かすのに十分な力を生み出すことができませんでした。しかし、ForceTwinシステムは、ロボットがその抵抗を押し切ってタスクを完了することを可能にしました。

研究者たちはまた、これらのデジタルツインを使用して、シミュレーションを通じてロボットに新しいスキルを教えることができることも実証しました。正確な物理データをコンピュータ・シミュレーションに投入することで、ロボットにドアを通り抜ける歩行訓練を行いました。そして、訓練されたロボットを実世界のドアへと送り出し、同じタスクを実行させたところ、成功しました。これは、人間の相互作用によって捉えられた物理モデルが、複雑な現実世界の行動を導くのに十分なほど正確であることを証明しました。システムは、人間の押し引きの生データを取り込み、物体の慣性と摩擦を計算し、次にスマートなアルゴリズムを使用して残りのトリッキーな力をモデリングすることで機能します。これにより、ロボットのコントローラーによって即座に使用できる、あるいはシミュレーション環境にエクスポートできる、物体の挙動の完全な姿が作り出されます。

このシステムは強力ですが、限界もあります。データを収集するために、対象となる物体に対して人間が物理的に干渉する必要があり、触れたことのない物体の特性を瞬時に推測することはできません。また、物体が動かされている間は予測可能な挙動を示すことを前提としているため、突然引き出しが詰まったり、ラッチの状態が変化したりすることまでは考慮できません。しかし、調査対象となった物体については、結果は驚くほど正確です。このシステムは、物体の重さや抵抗の推定における誤差を、従来の推測手法と比較してほぼ半分に減少させました。重い引き出しが実際に重いことや、特定のドアには内部のスプリングを克服するための特定の追加の力が必要であることを、見事に特定しました。

この研究は、ロボットが物理的世界をどのように学ぶかについてのパラダイムシフトを表しています。静止画からすべてを推論しようとするのではなく、物体を真に理解するためには、それに触れなければならないという考えを受け入れているのです。人間の相互作用の器用さと力センサーの精密さを組み合わせることで、研究者たちは、ロボット自身のグリッパーを超えた「触覚」を与える方法を作り上げました。彼らは、単純な人間主導の探索が、詳細な物理モデルを生成し、それが機械が人間の家庭という、乱雑で抵抗のある現実をナビゲートすることを可能にすることを証明しました。その結果、ロボットは単にドアを見るのではなく、それを開けるために必要な労力を理解し、潜在的な失敗を成功した相互作用へと変えることができるのです。

技術要約: ForceTwin

問題提起

関節を持つ物体（ドア、引き出し、オーブンなど）のロボット操作には、幾何学的および運動学的な知識だけでなく、相互作用を支配する物理的なダイナミクスへの理解が必要である。これらのダイナミクスには、慣性、摩擦（クーロン摩擦および粘性摩擦）、および状態依存のメカニズム力（ドアクローザーやスプリングなど）が含まれる。極めて重要な点は、これらの特性はインスタンス固有であり、外観に基づく事前知識からは不可視であることが多いという点である。見た目が同一の物体であっても、内部の慣性負荷やメカニズムが大きく異なる場合があり、視覚や言語ベースのモデルのみに頼ると、物理的に不自然な推定結果を招く可能性がある。

既存のデジタルツイン・パイプラインは、通常、運動学的構造の復元や、視覚的事前知識に基づく静的な物理パラメータの割り当てのみを行う。その結果、標準的なアセット形式では表現できない非線形かつ状態依存のメカニズム応答を捉えることができない。さらに、ロボットによるプロービング手法も存在するが、それらは多くの場合、ロボットの配備を必要とし、簡略化された一定の摩擦モデルしか復元できず、複雑なメカニズムのダイナミクスを見落としてしまう。

手法: ForceTwin

著者らは、人間による計測された相互作用を通じて、関節を持つ物体の物理情報を反映したデジタルツインを特定するシステムであるForceTwinを提案する。その核心となる前提は、人間オペレーターが力覚センサーを備えたハンドヘルド型のグリッパーを使用することで、物体を安全かつ効率的にプローブ（探査）し、ロボット単独では捉えることが困難な全ダイナミックレンジのデータを提供できるという点にある。

1. データ収集

人間オペレーターが力覚センサー付きのツール（Hoi! グリッパー）で物体を握り、さまざまな速度と加速度で操作する。システムは2つの同期されたデータストリームを記録する：

ツール・ポーズ ( $WPTCP$ ): ワールドフレームにおけるツール中心点の軌跡。
接触力（コンタクト・レンチ） ( $WF$ ): ツールから物体に加えられた6自由度の力/トルク。これはグリッパー自身の重量と慣性に対して補正されている。

2. 運動学の推定

システムはまず、関節構造（ジョイントタイプ：回転または直動、およびジョイント軸）を推定する。

ツール運動を、指数積形式（product-of-exponentials form）を用いた1次元のスクリュー運動としてモデル化する。
ベイズ情報量基準（BIC）を用いて、関節のクラスを選択する。
ファクターグラフを用いて、ジョイントの幾何学形状とサンプルごとの状態を精緻化し、回転ジョイントに対してスクリューピッチがゼロであることを強制する。

3. ダイナミクス同定

システムは、一般化された努力量（ $\tau$ ）の同定を半パラメトリックな部分線形モデルとして定式化する。物体を動かすために必要な総努力量は次のようにモデル化される：
$\tau = \underbrace{I \ddot{q} + \mu \text{sgn}(\dot{q}) + b \dot{q}}_{\text{有効なパラメトリック・ダイナミクス}} + \underbrace{g_\theta(q) + c_\phi(q, |\dot{q}|)\dot{q}}_{\text{構造化されたメカニズム残差}} + \epsilon$

パラメトリック項: 慣性 ( $I$ )、クーロン摩擦 ( $\mu$ )、および粘性減衰 ( $b$ ) は、非負最小二乗法を用いて推定される。これにより、シミュレータに直接マッピング可能な、物理的に妥当なパラメータ（例：非負の質量）が保証される。
構造化ニューラル残差: 残りの状態依存の挙動（ドアクローザーなどのメカニズム）は、構造化されたニューラルネットワークによって捉えられる。
- $g_\theta(q)$ : 構成依存の負荷（例：スプリング力）。
- $c_\phi(q, |\dot{q}|)$ : 非負性を維持しつつ方向的な非対称性を許容する減衰係数。
適合戦略: パラメトリック係数を先に適合させた後、残りの誤差に対して残差ネットワークの学習を行う。この逐次的なアプローチにより分解が正規化されるが、著者らは、この分解が厳密には一意的ではないこと（例：一定のメカニズム減衰が粘性項に吸収される可能性があること）を認めている。

4. ツインの組み立て

同定された物理モデルは、幾何学的アセット（同一の記録から再構成されたもの、または別途提供されたもの）にレジストレーションされる。モデルはアセットの座標フレームに変換され、ジョイントの慣習に合わせて再パラメータ化され、エクスポートされる。パラメトリック部分は標準的なシミュレータのフィールドに書き込まれ、非線形なメカニズム項は、状態依存のジョイント努力量として評価されるか、あるいはスプリング・ダンパーとして近似されてエクスポートされる。

主な貢献

人間による相互作用からのシステム同定: ハンドヘルド型の力覚センサー付きグリッパーを用いて、インスタンス固有の関節を持つ物体のダイナミクスを同定するパイプラインの導入。これにより、ロボットの配備から同定プロセスを切り離している。
半パラメトリック・モデリング: 物理的に制約されたパラメトリック項（慣性、摩擦）と、非線形メカニズムのための構造化されたニューラル残差を組み合わせたハイブリッドモデルの定式化。これにより、シミュレーション互換性のあるパラメータと、ジョイント努力量の予測モデルが得られる。
二重の有用性（制御とシミュレーション）: 同定されたツインが、実世界のロボット制御のためのフィードフォワード・ダイナミクスモデルと、強化学習のための高忠実度アセットの両方に機能することを示す。

実験結果

推定の忠実度

運動学: ForceTwinは、視覚のみのベースライン（OPDMulti）よりも優れており、相互作用ベースのベースライン（MoMa-SG）をわずかに上回る軸推定精度を示した。軸の種類の推定精度は100%に達し、軸位置の誤差はMo-Ma-SGと比較して半分に減少した。
慣性パラメータ: 視覚言語モデル（VLM）の事前知識と比較して、ForceTwinは慣性パラメータ推定におけるマクロ平均絶対相対誤差を 53.0% から 29.5% に低減させた。VLMの事前知識は、特に荷重の重い物体において慣性を一貫して過小評価していたが、ForceTwinの推定値はより正確であった（ただし、モデル化されていない努力量の吸収により、わずかに高く偏る傾向がある）。
システムレベルの忠実度: 「実機からシミュレーションへ」のフリースイング実験（特定の角度からドアを放す実験）において、ForceTwinのツインは、閉まる時間の誤差をVLM事前知識の57.7%から 16.3% にまで減少させた。

実機ロボット操作

同定されたツインは、9組の物体・エンボディメント・ペアに対し、SpotロボットおよびFranka FR3アームのデカルト座標インピーダンス制御におけるフィードフォワード項として展開された。

目標達成率: ForceTwinは、全体で 87.3% の平均目標達成率を達成し、VLM事前知識（59.7%）および運動学のみのツイン（56.9%）を大幅に上回った。
強力なメカニズム: オーブンや金属製のドアのような強いメカニズムを持つ物体において、性能差が拡大した。ベースラインは、フィードフォワードモデルが十分な力を供給できなかったために達成率が5%未満で停滞したが、ForceTwinは67～100%の達成率を達成した。
追従誤差: ForceTwinは、すべての物体において最も低い追従RMSEを達成した。

ポリシー学習

同定されたダイナミクスは、Isaac Labにエクスポートされ、ANYmal四足歩行ロボットの全身ドア横断ポリシーの学習に使用された。

同定されたダイナミクスを用いて学習されたポリシーは、実世界の木製および金属製のドアへの転移に成功した。
木のドアのポリシーはスムーズな横断を実行したが、金属のドアのポリシーは、シミュレーションと実機のキャリブレーションの差に起因する高いジャークのため、「ストップ・アンド・ゴー」のような挙動を示した。

意義と主張

本論文は、ForceTwinがロボット操作における決定的なギャップ、すなわち「ロボットの事前配備なしに、インスタンス固有の状態依存ダイナミクスを捉えることができない」という課題に対処することを主張している。人間の相互作用を活用することで、慣性に関して視覚的事前知識よりも約2倍正確な物理パラメータを復元し、標準的なコントローラを停止させてしまうような強い非線形メカニズムをモデル化することに成功した。

著者らは、同定されたツインが単なるシミュレーション用アセットではなく、機能的な制御コンポーネントであることを強調している。それは、強力な内部メカニズム（スプリング式のドアなど）を持つ物体を操作する際に、運動学のみのモデルや事前知識ベースのモデルが立ち往生してしまう問題を解決する。さらに、本システムは、同定されたモデルが強化学習パイプラインに直接統合可能であることを示しており、接触を伴う全身タスクにおけるシム・トゥ・リアル（Sim-to-Real）の溝を埋めるものである。

著者らは、限界についても謙虚に述べている。具体的には、努力項の分解は一意的ではなく、モデルはメモリレス（ヒステリシスやスティクションを無視している）であり、同定はインスタンス固有（能動的なプロービングが必要）であるという点である。また、プローブされていない部分へのダイナミクスの転移は依然として未解決の課題であるとも述べている。