Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

ロボットは長らく工場の主役であり、あらかじめプログラムされた経路に沿って精密に動き、自動車を組み立てたりパッケージを仕分けしたりしてきました。しかし、これらの機械が予測不可能な現実世界の混沌、特に単に持ち上げるだけでなく、物体を操作しなければならない場面に直面すると、しばしば苦戦します。課題は「接触に富む（contact-rich）」操作にあります。そこでは、ロボットは物体を動かすために、押す、滑らせる、回転させる、あるいはひっくり返すといった動作を行わなければなりません。単純な持ち上げとは異なり、これらの動作は、物体、ロボットの腕、そして環境の間で起こる、複雑で変化し続ける相互作用に依存しています。もしロボットが箱を強く押しすぎれば、箱は滑っていってしまうかもしれません。もし不適切な角度で押せば、箱は転倒したり、動けなくなったりする可能性があります。長年、研究者たちは、機械が試行錯誤を通じて物理法則を最終的に学習することを期待して、膨大な量のデータを用いてロボットにこれらの状況を扱う方法を教えようとしてきました。しかし、このアプローチは多くの場合、時間がかかり、大量のデータを必要とし、コンピュータ・シミュレーション内で訓練されたロボットを実際の部屋に配置した際に機能しないという問題がありました。

ある研究チームは、人間が物体を動かす際にどのように考えるかを模倣することで、この問題を解決する異なる方法を提案しました。すべての微細な筋肉の動きや摩擦の詳細を一度に学ぼうとする代わりに、彼らはタスクを2つの明確な思考レベルに分解しました。高次レベルでは、ロボットは「箱を前方に滑らせるためにハンドルを押す」といった、物体をどこに触れるべきか、そしてどのような一般的な結果を得たいのかを決定します。低次レベルでは、別のシステムが、物体がくっついているのか滑っているのかといった、その瞬間の正確な物理現象に合わせて、その計画をどのように実行するかをリアルタイムで判断します。この、学習ベースの「脳」と物理ベースの「筋肉」を組み合わせた新しいフレームワークにより、ロボットははるかに速く学習でき、追加の訓練なしにシミュレーションから現実へとスキルを転送することが可能になります。

研究者たちは、このアイデアを、単純な棒状のツールを備えたロボットアームを用いてテストし、把持（掴むこと）を必要としないタスクを実行させました。一つのシナリオでは、ロボットは様々な文字型のブロックを、ランダムな開始位置から特定のターゲットへと押し出す必要がありました。別のシナリオでは、立方体を再配向させるため、望ましいポーズに落ち着くまで回転させたり反転させたりする必要がありました。第三のシナリオでは、物体をテーブルの上に乗せるために、階段を利用して物体をひっくり返す必要がありました。成功の鍵となったのは、「接触意図（contact intention）」と呼ばれる特定の種類の指示でした。これは、関節の動きに関する詳細なコマンドではなく、「物体をここに触れ、それをあの位置へ動かすことを目指せ」という高次の目標です。ロボットの高次ポリシーは、見た情報に基づいてこの意図を予測します。一度意図が設定されると、低次コントローラーが引き継ぎます。このコントローラーは、高速で計算を行う計算機のように機能し、ロボットの棒が選択された箇所で物体に接触し続け、目標に向かって物体を動かせるよう、次の数秒間の動きを絶えず計画し、物体が滑ったりぶつかったりした場合でも即座に調整します。

このアプローチが特に効果的な理由は、「何を」するかと「どのように」するかを分離している点にあります。高次ポリシーは物体の形状と目標を理解する必要があるだけで、接触に伴う乱雑で複雑な物理現象を無視することができます。これにより、ロボットは迅速に学習し、見たことがない形状に対しても汎用性を発揮できます。テストにおいて、ロボットは比較的少ない訓練量で、未知の文字を押し出す作業においてほぼ完璧な成功率を達成しました。対照的に、この役割の分離を行わず、プロセス全体をゼロから学習しようとしたシステムは、はるかに多くのデータを必要とした上、パフォーマンスも劣っていました。研究者たちは、彼らの手法が、従来のエンドツーエンドの手法と比較して、タスクを学習するために必要な決定ステップ数が約40分の1であることを見出しました。さらに、高次ポリシーは幾何学に焦点を当てているため、具体的な物理的ダイナミクスに依存せず、単純なコンピュータ・シミュレーションで訓練し、調整なしに実世界のロボットに展開できるのです。

この分離による結果は、シミュレーションと現実世界の両方において驚くべきものでした。研究者が訓練済みのロボットをコンピュータから物理的なFrankaロボットアームへと移行させた際、ロボットは微調整なしに高い信頼性でタスクを実行しました。文字押し出しタスクでは、訓練中に見た文字に対して100%の成功率を、見たことがない文字に対しては95%の成功率を達成しました。より複雑な、三次元空間での立方体の反転タスクにおいても、ロボットはほぼ毎回成功しました。実世界でのテストでは、ロボットは未知の文字を押し、物体を再配向させることに成功し、多くの場合、10回未満の高次決定でタスクを完了しました。失敗が生じたのは、カメラが物体を見失うといった実用的な問題によるものであり、ロボットの論理に欠陥があったためではありません。これは、ロボットが単に特定の動きのセットを暗記したのではなく、世界と相互作用するための堅牢な戦略を真に学習したことを示しています。

この研究はまた、システムの各パーツを取り除いた場合に何が起こるかを調査し、各コンポーネントがいかに不可欠であるかを確認しました。中間目標を設定する能力を取り除くと、ロボットは最終目的地に直接到達しようとして、物体を円を描くように動かしたり、隅に追い込んだりして、しばしば行き詰まりました。また、環境に衝突せずに安全に触れることができる場所に関する情報を取り除くと、ロボットは有効な接触点を見つけるのに苦労しました。これらのテストは、ロボットが成功するためには、物体の形状に関する明確な感覚と、段階的に動かすための計画の両方が必要であることを示しました。このフレームワークは、接触ダイナミクスを直接学習しようとする他の手法よりも優れていることも証明されました。それらの手法は、局所的なループに陥ったり、収束するために膨大なデータを必要としたりすることがよくあります。困難な物理計算を専用のコントローラーにオフロードすることで、学習システムは最も重要な戦略的決定に集中できるようになるのです。

結局のところ、この研究は、ロボットを非構造化環境においてより有能にするための新しい道筋を提示しています。それは、機械に物理世界のあらゆる詳細を一度に学ばせるのではなく、タスクの階層を与えることが、物体を操作する方法を教える最善の方法であることを示唆しています。ロボットは幾何学と戦略について推論することを学び、別個の信頼できるシステムが即時的な物理的実行を処理します。このアプローチは、学習をより速く効率的にするだけでなく、シミュレーションと現実の間の溝を埋め、仮想世界で訓練されたロボットを、直ちに現実の世界で稼働させることを可能にします。研究者たちは将来に向けて、このフレームワークを複数の指を持つより複雑な手へと拡張することを目指していますが、現在の手法は物体の位置の正確な追跡に依存しており、より器用なタスクにおける膨大な接触点という課題に直面する可能性があることも認めています。しかし、現時点では、その結果は、機械が世界に触れ、周囲を動かす術を学ぶための、明確で堅牢な方法を示しています。