Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space

ロボットの手に、ジャグリングやコイン回し、あるいはカードの束を保持したまま並べ替えさせる方法を教えようとしている場面を想像してみてください。これは、科学者がロボットの指を人間の指のように器用にするために取り組んでいる分野、「巧緻な操作（デクスタラス・マニピュレーション）」の世界です。長い間、エンジニアたちは、指、バネ、摩擦のすべてがどのように振る舞うかを正確に記述する完璧な数式を書くことで、この問題を解決しようとしてきました。しかし、現実の世界は混沌としています。ゴムは滑り、金属は曲がり、摩擦は変化します。そのため、これらの完璧な数学モデルは、実際にロボットが動こうとする時に失敗してしまうことがよくあります。

最近、科学者たちは「強化学習（RL）」と呼ばれる異なるトリックを使い始めました。これは、ロボットが何度も試行錯誤しながら学ぶビデオゲームのようなものです。もし物体を落としてしまったら、「ゲームオーバー」となり、最初からやり直しです。成功すれば、ポイントがもらえます。問題は、ガイドがないと、ロボットの学習が非常に遅くなることです。ロボットは、物体を空中に放り投げてからキャッチするという「チートコード」を偶然発見してしまったり、あるいは、ミスのように見えるものの実際には何も学ばないような方法で物体を落としたりすることがあります。ロボットは、物が落ちるのを防ぐための基本的な物理法則を理解していないため、不安定で危険な動きのループに陥ってしまうのです。

「Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space（落下しないアクション空間における安定した把持内操作の学習）」と題されたこの論文は、巧妙な中間策を提案しています。ロボットにゼロから学習させるのでも、完璧な数学に頼るのでもなく、著者らは物理学に基づいた「補助輪」システムを与えることを提案しています。彼らは、物体を保持するための既知の安定した手法を取り入れ、ロボットが学習できる安全な遊び場を構築しました。この遊び場の中では、ロボットは自由に実験し、より優れた動きを獲得できますが、物体を落としたり、自身の指を壊したりすることは物理的に不可能です。その結果、ロボットは以前よりもはるかに速く、正確に物体を操作することを学習でき、かつ安全性を維持することができます。

ロボットの手のための「補助輪」

九州大学の研究チームである著者らは、ロボット工学における特定の悩み、つまり「物体を離さずに、持ちながら動かす方法」をいかに教えるかという課題に取り組みました。彼らはこれを「イン・グラス・マニピュレーション（把持内操作）」と呼んでいます。テニスボールを手に持ち、指が滑り落ちることなく、ロゴが自分の方を向くように回転させる場面を想像してみてください。

この論文は、純粋な強化学習を用いてロボットにこのスキルを教えることは、幼児に崖の端でレースカーの運転を教えるようなものだと主張しています。ロボットは最終的には運転を覚えるかもしれませんが、その過程で何度もクラッシュすることになるでしょう。強化学習の世界では、これは「ロングテール不安定性問題」と呼ばれます。ロボットは、一瞬はうまくいっているように見えても、最終的には物体を落としてしまうような、奇妙で不安定な動きを見つけ出してしまうのです。著者らは、物体を落としたとき、学習プロセスが混乱することを発見しました。なぜ失敗したのかが分からず、本来壊れるべきではないものを直そうとして時間を無駄にしてしまうのです。

解決策：セーフティ・サンドボックス

この問題を解決するために、著者らは数学を捨てたわけではなく、その使い道を変えました。彼らは、FTODG（Fingers-Thumb Opposability-based Dynamic Grasping：指と親指の対向性に基づく動的な把握）と呼ばれる、証明済みの物理手法からスタートしました。FTODHを、物体を絶対に落とさないように持つ方法を正確に知っている、非常に厳格で賢い教師だと考えてください。この教師は、物体を安定させるための力とバランスに関する特定のルールを使用します。

しかし、この「教師」には欠点があります。少し硬直しているのです。物体を完璧に保持することはできますが、物体を新しい場所に精密に移動させたり、思い通りに回転させたりすることには長けていません。それは、自転車から落ちないように守ってくれるけれど、ウィリー走行のやり方は教えてくれない教師のようなものです。

この論文の大きなアイデアは、教師と生徒を組み合わせることです。彼らは TSIGL（Theoretically Stable In-Grasp Learning：理論的に安定した把持内学習）と呼ばれるシステムを作成しました。仕組みは以下の通りです。

1. セーフゾーン（安全地帯）: 彼らは「安定したアクション空間」を構築しました。砂場に高い壁がある状態を想像してください。この砂場の中で、ロボットは指を動かし、物体を回転させたり動かしたりするための様々な方法を自由に試すことができます。
2. セーフティネット: 彼らは 制御バリア関数（CBF） と呼ばれる数学的ツールを使用しました。これは、砂場の周囲にある目に見えないフォースフィールド（力場）のようなものです。もしロボットが、物体を落としたり、強く握りすぎたりするような動きをしようとした場合、このフォースフィールドが即座にその動きを阻止し、優しく安全な位置へと押し戻します。
3. 学習: ロボット（強化学習を使用）は、この安全なゾーンの中でのみ探索を許されます。ロボットは、指の力や速度を微調整しながら、物体を動かすための最善の方法を見つけることができますが、「ゲームオーバー（落下）」のシナリオを心配する必要はありません。

得られた結果

チームは、コンピューターシミュレーション内で「Shadow Dexterous Hand」というロボットハンドを用いてこのアイデアをテストしました。彼らはロボットに3つのスキルを教えました。3本の指で物体を保持すること、物体を離さずに新しい場所に移動させること、そして物体を回転させることです。

結果は明白かつ印象的でした。彼らが「安全なサンドボックス」なしで（エンドツーエンドの学習を用いて）ロボットに学習させた場合、ロボットは物体を数千回も落としました。あるテストでは、標準的な手法を用いたロボットは、回転を学習しようとする過程で缶を3,138回も落としました。対照的に、セーフティネットを備えたTSIGL手法では、物体を一度も落としませんでした。

ロボットは失敗した試行に時間を浪費しなかったため、はるかに速く学習できました。シミュレーションにおいて、TSIGLを用いたロボットは42回の連続成功を記録しましたが、標準的な手法は、物体を落とす前に1回や2回の連続成功すらままならない状態でした。さらに、ロボットがスキルを習得した後は、元の物理教師（FTODG）単独の時よりも、実際に優れたパフォーマンスを発揮しました。ロボットは、硬直した数学モデルよりも正確に物体を動かすために、グリップを適切に調整する方法を学習したのです。

なぜ重要なのか

著者らは、これがまだ実世界の物理的なロボットではなく、シミュレーション内でのテストであることを注意深く述べています。しかし、シミュレーションは、物理学の安全性と学習の柔軟性を組み合わせることで、ロボットがより効率的に複雑なスキルを学習できることを示しました。

この論文は、これらの問題を解決するために強化学習だけに頼るべきだという考えを明確に否定しており、セーフティネットがなければ学習が遅すぎ、不安定であることを示しています。また、単に「落とさないように」というペナルティを与える（ロボットに「落とすな」と伝える）だけでは不十分であることも示しています。それでは、学習中に抜け穴を見つけて物体を落としてしまうからです。唯一の真の解決策は、物体を落とすことが数学的に不可能になるよう、ロボットの行動を物理的に制約することであると、彼らは結論付けました。

要約すると、この論文は、ロボットに器用さを教える最善の方法は、失敗して燃え尽きるのを待つことではなく、物理法則によって保護されながら、スキルをマスターするまで練習できる安全な遊び場を与えることであると示唆しています。