DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

ロボットが動き方を学ぶ仮想世界において、彼らが相互作用する物体は、あまりにも完璧すぎることが多い。デジタルなリンゴは決して凹むことのない硬い球体であり、デジタルのタオルは決して折れ曲がることのない平らなシートである。シミュレーションの中でロボットが何かを掴み、持ち上げ、あるいは運ぶ方法を学ぶためには、その物体が現実のものと同じように振る舞わなければならない。それは、握ればへこみ、落とせば垂れ下がり、持ち上げたときにはその形を維持しなければならない。これらのデジタルオブジェクトを一から作成することは困難である。なぜなら、物体の視覚的な外観、つまり「どのように見えるか」は、物語の半分に過ぎないからである。もう半分は、その隠された物理的性質、すなわち、それがどれほど重いのか、どれほど柔らかいか、あるいは硬いのか、そして触れたときにどのように反応するかである。これらの目に見えない性質を知らなければ、ロボットはデジタルなバナナを掴もうとして、コンピューターがその曲がり方を知らなかったというだけの理由で、ガラスのように砕け散ったり、水のように指の間から滑り落ちたりすることになるだろう。

研究者たちは長い間、テキストによる説明や一枚の写真を用いて、これらの3Dオブジェクトを生成しようと試みてきたが、これまでは、視覚的には説得力があるものの、物理的には壊れているという結果が多く見られた。それらはぬいぐるみのように見えるかもしれないが、シミュレーション内では、自重で崩れたり、ロボットの握りに反応できなかったりする。課題は、写真や文章には、コンピュータに対してその物体がどのように変形すべきかを正確に伝えるための十分な情報が含まれていないという点にある。この問題を解決するために、研究チームは「DeformSmith」と呼ばれる新しいシステムを開発した。このフレームワークは、単に物体がどのように見えるべきかを推測するのではなく、層状に物体を構築し、プロセスが完了する前に、その物体の物理的な挙動をテストし、シミュレートされたロボットを使って物体を操作しようとするのである。

この新しいアプローチの核心は、人間のエンジニアがプロトタイプを構築する際の方法を模倣した、段階的な構築プロセスであり、ただし、重労働を行うのはコンピュータである。システムは単純な説明や一枚の写真から始まり、まず物体の3D形状を構築する。形状が存在すると、システムはそれに物理的なアイデンティティを割り当て、それがどれほどの重さがあり、地面とどのように相互作用するかを決定する。次に、素材の特性を加え、物体がスポンジのように柔らかいのか、あるいはゴムボールのように硬いのかを決定する。極めて重要なのは、システムは単にこれらの値を設定して、うまくいくことを祈るだけではないということである。システムは、物体を落としたり、押し込んだりといった一連の物理テストを実行し、それが正しく振る舞うかどうかを確認する。もし物体が簡単に崩れすぎたり、間違った方向に跳ねたりした場合は、システムは自動的に内部設定を調整し、再度試行する。

この手法をユニークにしているのは、いかにしてロボットをループ内に取り込んでいるかという点である。物体が基本的な物理テストに合格した後、シミュレートされたロボットアームが、それを掴み、運び、そして置く動作を試みる。ここでシステムは最も多くのことを学ぶ。ロボットが物体を掴もうとする際、システムは物体が形を維持しているか、滑っていないか、あるいは操作を不可能にするような変形をしていないかを注意深く観察する。もしロボットが失敗した場合、システムはその失敗をヒントとして利用する。物体が滑りすぎているのか、あるいは握りが弱すぎるのか、あるいは素材がタスクに対して柔らかすぎるのか、といったことを察知する可能性がある。システムはその後、物体の特性を洗練させるか、あるいはロボットの動きを変更し、ロボットがタスクを正常に完了できるまでこのサイクルを繰り返す。これにより、物体が現実世界のシナリオでどれほど上手く機能するかに基づいて、物体が絶えず改善されるフィードバックループが形成される。

研究者たちは、ラグビーボールからぬいぐるみのアザラシに至るまで、テキストによる説明と単一の画像の両方を用いて、数十種類の異なる物体を作成することでこのシステムをテストした。彼らは、同じことを試みる他の高度な手法と比較した。これらの比較において、DeformSmithによって作成された物体は、著しくよりリアルであった。落とされたとき、それらは自然に見える方法で形を維持し、跳ねたり、へこんだりしたが、他のシステムによる物体はしばしばパンケーキのように平らになったり、バラバラに崩れたりした。どちらの物体がより良く見え、振る舞ったかを人間が判断するブラインドテストにおいて、この新しいシステムは大多数のケースで勝利した。このシステムは、ロボットが操作できる物体を作成することにおいて特に成功しており、ロボットによる精緻化を用いた場合の、物体を拾い上げて移動させる成功率は、半分未満から3分の2以上に跳ね上がった。

このシステムは、形状が正しいことを確認してから重さを気にし、重さが正しいことを確認してから素材を気にするといったように、問題を管理可能な段階に分解することで機能する。これにより、コンピュータが一度にすべてを修正しようとして混乱することを防いでいる。中心となる「ハーネス」が監督者として機能し、すべてのルールを追跡し、ある段階で行われた変更が前の段階で行われた作業を壊さないようにしている。例えば、システムが物体をより柔らかくすることに決めた場合、その変更によって物体が重くなりすぎたり、床に沈み込んだりしないかをチェックする。この注意深い階層的なアプローチにより、システムはロボット訓練シミュレーションで使用できる、インタラクティブで複雑な物体を構築することができる。

このシステムは強力であるが、研究者たちは、現在のところ、液体や砂のような粒状の材料よりも、押しつぶしたり引き伸ばしたりできる固体の物体に対して最も効果的に機能すると指摘している。推論される物理的特性も、視覚的な手がかりとシミュレーションに基づく推定値であるため、実際の物理的なロボットに使用する場合は、現実世界での測定による検証が必要となる。しかし、単純な入力から多様な物理的に信憑性のある物体を生成できる能力は、ロボティクスにおける新たな扉を開くものである。エンジニアは、ロボットが遭遇するあらゆる物体を一つずつ手動でモデリングする代わりに、物体の説明をするか写真を見せるだけで、システムがテスト、操作、学習の準備ができている「デジタルツイン」を構築することができる。この能力は、ロボットが、自動生成された膨大な物理的に正確なデジタル資産のライブラリを用いて練習することで、日常的な物体の不規則で変形しやすい世界を、より速く習得できる未来を示唆している。