ロボットハンドのダンス

ロボットに、ブドウの皮をむいたり針に糸を通したりするような繊細な動作を教えようとすることを想像してみてください。これは単に機械の腕を地点Aから地点Bへ動かすという話ではありません。ロボットの「指」の話なのです。ロボ称の世界では、これを「巧緻な操作（dexterous manipulation）」と呼びます。標準的なロボットのグリッパーは、ただ開閉するだけのトングのようなものですが、巧緻な手を持つロボットは、人間の手のように多くの関節を持っており、物体を潰さずに触れ、持ち、ひねるためには複雑な協調が必要となります。

ロボットにこれらのスキルを教える際の最大の障害は、ロボットが学習するには馬鹿すぎるということではなく、その「やり方」を見せるのが信じられないほど難しいことなのです。模倣学習（imitation learning）と呼ばれる手法で、お手本を見せてロボットに教えるには、人間がタスクを完璧に遂行している間、ロボットにそれを観察させなければなりません。しかし、巧緻な手の場合、これは悪夢です。人間のオペレーターは、ロボットの腕を操舵しながら、同時にすべての指の関節を調整して、優しい握り方を維持しなければなりません。それは、片手で車を運転しながら、同時にもう片方の手で複雑なピアノのソロ演奏をするようなものです。もし人間がほんの少しでもミスをすれば、データは台無しになり、ロボットは何一つ学ぶことができません。この論文は、まさにその問題に取り組んでいます。どうすれば、人間のオペレーターを狂わせることなく、ロボットにこれら高度な指のテクニックを学習させることができるのでしょうか？

NestDex：ロボットの「副操縦士」に出会う

この研究の背後にいるジェームス・ジャオ氏とそのチームは、NestDexという新しいシステムを紹介しました。これは、ロボットの指に「副操縦士（コ・パイロット）」を与えるようなものだと考えてください。人間にすべての指の動きを直接コントロールさせる代わりに、NestDexは作業を二つの部分に分解します。人間のオペレーターは依然として大きな動き、つまり腕の操舵や移動先の決定をコントロールしますが、指の動きはスマートに事前学習された「内部ポリシー（inner policy）」によって処理されます。

あなたが、段差を避ける方法を正確に知っている高度なクルーズコントロールを備えた車を運転しているところを想像してください。あなたはただ車に「前へ進め」と言うだけで、クルーズコントロールが滑らかな走行を維持するために、ステアリングホイールの微細で素早い調整を処理します。NestDexにおいて、人間はシンプルな「クラッチ」（単一の制御）を使用して、特定のスキルがどの程度進行しているかをロボットの指に伝えます。人間がクラッチを押し進めると、ロボットの指は「ボトルを掴む」や「ボタンを押す」といった、あらかじめ学習されたスキルを自動的に実行します。人間が後ろに引くと、ロボットの指の動きは巻き戻されます。人間は紙コップをどのようにつまむかを知る必要はありません。ただ、いつ「つまむ」スキルを開始するためにクラッチを押すべきかを知っていればよいのです。

このシステムは二つのレイヤーで機能します。まず、チームはこの「副操縦士」方式を用いてデータを収集します。人間は腕を誘導し、指のスキルを切り替えることで、完璧なデモンストレーションのライブラリを作成します。次に、完全に主導権を握るための別の「外部ポリシー（outer policy）」を訓練します。この外部ポリシーは、最終的なタスクのためのロボットの脳であり、副操縦士によるデモンストレーションから学習しますが、最終的には副操縦士のシステムや人間の助けを借りず、腕と指の両方を自律的に制御して、ショーを運営します。

圧縮と平滑化の魔法

NestDexが用いる巧妙なトリックの一つは、「ハンド・アクション・バリエーショナル・オートエンコーダー（H-VAE）」です。これは、ロボットの動きに対する圧縮アルゴリズムと考えることができます。ロボットの手には20の関節があり、それは指の動かし方が何百万通りもあることを意味します。ロボットに20個の数値を一度に予測させようとするのは、学生に百科事典をページごとに丸暗記させるようなものです。H-VAEは、これらの複雑な指の動きを、より小さく単純な「秘密のコード（潜在アクション）」へと圧縮し、ロボットが学習しやすくします。ロボットがタスクを実行する準備ができたら、この秘密のコードを元の20関節の動きへとデコード（復元）します。論文では、この圧縮を使用することで、生の複雑な動きを直接学習しようとするよりも、ロボットの学習速度が大幅に向上し、パフォーマンスも向上したことが示されました。

また、研究チームは、指が滑りやすい物体に触れたときなど、現実世界の物理現象をロボットがどのように扱うかをテストしました。彼らは、ロボットの動き方について3つの方法を比較しました。

1. 固定再生（Fixed Replay）： 成功した動きの録画ビデオを、起きた通りにそのまま再生する。
2. クローズドループ（平滑化なし）（Closed-Loop (No Smoothing)）： ロボットは現在の位置を見て次の動きを決定するが、動きがガクガクとした停止・再開の繰り返しになる。
3. テンポラル・アンサンブルを用いたクローズドループ（Closed-Loop with Temporal Ensembling）： ロボットは自身の位置を確認し、予測を行うが、その予測を最近の過去の予測値と平均化することで、動きを滑らかにする。

結果は明白でした。「固定再生」法は、対象物が予想と少しでも異なって動くと、ロボットが衝突してしまうため、頻繁に失敗しました。「クローズドループ」法はより堅牢でしたが、動きがぎこちなかったです。勝者は「テンポラル・アンサンブル」法でした。これは滑らかでありながら適応力もありました。水ボトルを掴むテストでは、滑らかで適応的な方法が10回中9回の成功を収めたのに対し、固定再生は10回中3回しか成功しませんでした。このことは、ロボットが繊細なタスクを扱うためには、単にスクリプトを再生するのではなく、リアルタイムでグリップを調整し、かつそれを滑らかに行う必要があることを示唆しています。

副操縦士から単独パイロットへ

チームは、トングを使ってニンジンを移動させることから、バインダーに書類を綴じることまで、6つの異なる困難なタスクでNestDexをテストしました。彼らの「副操縦士」システムを、人間が指を直接制御しようとする標準的な手法（AnyTeleopと呼ばれます）と比較しました。結果は衝撃的でした。標準的な手法はいくつかのタスクで完全に失敗し、「トーストの準備」や「バインダーへの書類整理」などのタスクにおけるデモンストレーション収集の成功率は0%でした。対照的に、NestDexはこれら6つの全タスクにおいて、デモンストレーション収集の成功率100%を達成しました。

さらに重要なことに、論文はNestDexによって収集されたデータが実際に機能することを証明しています。ロボットが単独でタスクを行うよう訓練した際、「トングによる移送」と「材料の移送」のタスクにおいて100%の成功率を収めました。より困難なタスクにおいても、標準的な手法から得られたデータを使用した場合よりも成功率は大幅に高くなりました。論文は、最終的なタスクを実行中にロボットが副操縦士システムを動かし続ける必要はないという考えを明確に否定しています。副操乗士はあくまでデータを収集するためのツールです。一度ロボットが「外部ポリシー」を学習すれば、指のためのコンパクトな「秘密のコード」と、学習した滑らかで適応的な制御戦略を用いて、独立してタスクを遂行できます。

要約すると、NestDexは、人間に熟練したロボットの指使いを強いる必要はないということを示唆しています。代わりに、スマートに事前学習された指のスキルを起動するシンプルなリモコンを与えることができます。これにより、ロボットが学習するために必要な高品質なデータを収集することがはるかに容易になり、その結果、物理的な物体を扱う複雑で混沌とした世界に対して、より優れた性能を持つロボットを生み出すことができるのです。著者らは、このアプローチがデータ収集をより速く、より信頼性の高いものにするだけでなく、ロボットが自律的に巧緻なタスクを真にマスターすることを可能にすると結論付けています。