RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

ロボットに人間のように両手を使う方法を教えることは、現代のロボット工学における最も困難な課題の一つです。洗濯物を畳んだり、瓶の蓋を開けたり、重い箱を運んだりといった複雑なタスクを学習するには、ロボットは何千もの例を見る必要があります。現実世界でこれらの例を集めることは、時間がかかり、コストがかかり、しばしば危険を伴います。もしロボットがグラスを落とせば、それは割れてしまいます。もし皿の山を倒してしまえば、片付けは大変な作業になります。このため、科学者たちはコンピュータ・シミュレーションに目を向けました。彼らは、ロボットが何も壊すことなく何百万回も練習できる仮想世界を構築しています。しかし、この分野を停滞させている大きな問題があります。ほとんどのシミュレーションは、固定された家具がある閉ざされた部屋のようなものです。ロボットをその部屋の中でいくらでも走らせることはできますが、ユーザーが所有する特定のコーヒーマグのような新しい物体を追加したり、部屋のレイアウトを変更したりすることは容易ではありません。これを行うには、通常、人間のエンジニアが、物体の形状を再構築し、重さを定義し、ロボットの指がどこに触れるべきかを正確に判断するために、何時間も手作業を費やす必要があります。この手作業があまりにも遅いため、真に順応性のあるロボットを教えるために必要な、大規模で多様なデータセットの作成が妨げられているのです。

ある研究チームは、「RoboCousin」と呼ばれる新しいシステムを導入し、シミュレーションを「開かれた拡張可能なワークショップ」に変えることで、このボトルネックを解決しました。このシステムは、ロボットに事前に選択されたリストの物体のみを学習させるのではなく、ユーザーが任意の物体の単純な写真や部屋の記述を提供することで、それを即座に、ロボットが練習するためのリアルでインタラクティブな3Dモデルへと変換することを可能にします。このシステムは単に綺麗な画像を作るだけではありません。物体の物理的特性（重さや表面の滑りやすさなど）を自動的に判断し、ロボットのグリッパーがどこを掴むのが最適かを計算します。このプロセスは、平坦な画像を「デジタル・カズン（デジタルの兄弟）」へと変貌させます。これは、見た目や動きが実物と同じでありながら、他の物体や背景と混ぜ合わせることが可能な、柔軟な仮想バージョンです。

研究者たちは、既存のシミュレーション・プラットフォームの上にこのシステムを構築し、最初の写真から最終的なロボットの動きまでを処理するパイプラインを追加しました。ユーザーが物体の画像を提供すると、システムはまず物体を背景から分離し、その三次元的な形状を再構成します。次に、人工知能を使用して物体の物理的特性（質量や摩擦など）を推測し、ロボットがリアルに相互作用できるようにします。極めて重要なのは、システムが「接触点」、つまりロボットの手が安全かつ効果的に物体を掴める特定の場所を自動的に特定することです。従来のセットアップでは、人間がすべての物体に対して手作業でこれらの場所を指定する必要があり、これが物体の追加を制限する退屈なプロセスとなっていました。この新しいシステムでは、コンピュータがこれを瞬時に行います。その結果、3,000以上の異なる物体インスタンスと50種類の異なる背景環境のライブラリが、ロボットが使用できる状態で用意されました。

トレーニングをさらに強固なものにするために、このシステムは「デジタル・カズン」を作成します。「デジタル・ツイン」が実世界のシーンの正確で硬直したコピーであるのに対し、「デジタル・カズン」は、重要な関係性は維持しながらも詳細を変更したバリエーションです。例えば、ロボットがテーブルからボトルを拾う方法を学ぶ必要がある場合、システムは、ボトルが異なる色であったり、テーブルの素材が異なっていたり、あるいは背景がリビングルームではなくキッチンであったりしても、ボトルが依然として理にかなった方法でテーブルの上に置かれている限り、シーンを生成することができます。このアプローチは、ロボットに特定のセットアップを丸暗記させるのではなく、タスクの核心となる概念を教えます。また、システムは部屋レベルにもスケールアップします。移動型ロボットが仮想の家の中をナビゲートし、テーブルに近づき、そして操作タスクを実行するための経路を計画することができます。これらはすべて、単一の連続したシミュレーション内で行われます。これにより、ロボットは腕の動かし方だけでなく、タスクに到達するための全身の動き方も学習できます。

チームは、この自動化されたアプローチが実際に現実世界で機能するかどうかをテストしました。彼らはシステムを使用して100万以上のトレーニング・トラジェトリ（軌跡）を生成し、その後、二本腕の物理的なロボットに特定のタスクを実行するよう訓練しました。結果は驚くべきものでした。システムによって自動的に再構成された物体を用いて訓練されたとき、ロボットは、人間の専門家によって丁寧に手作りされた物体を用いて訓練された場合と同等、あるいは場合によってはそれ以上のパフォーマンスを発揮しました。例えば、ボトルを拾うタスクにおいて、新しいシステムの資産を使用した場合、成功率は40パーセントから80パーセントへと跳ね上がりました。さらに、単一の正確な部屋のコピーではなく、多様な「カズン」のシーンを用いて訓練された場合、ロボットは新しい状況への対応力が大幅に向上しました。メガネケースを拾うというテストでは、単一の正確なシーンで訓練されたロボットは完全に失敗しましたが、多様なカズンのシーンで訓練されたものは55パーセントの成功率を収めました。

研究者たちはまた、物体を掴む場所に関するコンピュータの自動的な推測が正確であることを検証しました。彼らは、システムが提案した把握ポイントを、人間によって注意深くマークされた一連のポイントと比較しました。コンピュータの提案はわずかに優れており、シミュレーションにおける成功率は、人間がマークしたポイントの72パーセントに対し、76パーセントを達成しました。これは、システムが、オブジェクトのアノテーション（注釈付け）という遅い手作業のプロセスを、少なくとも同等に信頼できる高速な自動プロセスに置き換えられることを証明しています。現実世界の観察をシミュレーション資産へと変換する能力と、多様なトレーニングシナリオを生成する能力を結びつけることで、RoboCousinは実用的な進むべき道を示しています。それは、ロボット学習の未来が、エンジニアがすべての新しい物体を手作業で構築するのを待つことではなく、むしろ、私たちが生きる雑多で多様な世界を即座に理解し、適応できるシステムに依存していることを示唆しています。