Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

ロボットが究搬な助手として、自動車部品の溶接をしたり、瓦礫から人を救出したり、倉庫で箱を積み上げたりできる世界を想像してみてください。しかし、ロボットが真に役に立つためには、その腕を正確にどう動かすべきかを知る必要があります。それが「コントローラー」の仕事であり、関節をどこへ向かわせるかを指示する脳となります。通常、これらのロボットは何かを持ち運びます。工具や重い箱、あるいはスプレーを噴射するにつれて軽くなっていく消火器などです。問題は、ロボットの手にある重量が変わると、腕の動き方も変わってしまうことです。それはまるで、突然重いバックパックを背負わされた自転車に乗ろうとするようなもので、進むべき道を外れないようにペダルを強く踏み込み、ハンドル操作も変えなければなりません。

長年、科学者たちは古い数学的なテクニックを用いて、こうした重量の変化に対処する方法を教えようと試みてきました。これらの手法は、ロボットに対して「もし重くなったら、より強く押せ」といった硬直したルールを与えるようなものです。しかし、重量が急激または劇的に変化した場合、これらのルールはしばなしばしば失敗し、ロボットがよろめいたり、目標値を通り過ぎたり（オーバーシュート）、あるいはガタガタと震えて自身を壊してしまったりします。そこで登場するのが、より新しく華やかなアイデアである「深層強化学習（DRL）」です。これは、ロボットにルールブックを与えるのではなく、何度もビデオゲームをプレイさせることで学習させる方法だと考えてください。ロボットは動きを試し、上手くいけば「スコア」を受け取り、ミスから学び、熟練プレイヤーになるまで繰り返します。この論文では、この「ゲーム感覚のアプローチ」によって、手の中の重さが絶えず変化したり、減少したり、跳ね上がったりする場合でも、移動するターゲットを完璧に追跡するようにロボットを訓練できるかどうかを検証しています。

研究チームはこのアイデアをテストするために、人気のある6軸ロボットであるUR5eを用いて実験を行いました。彼らは、「ソフト・アクター・クリティック（SAC）」と呼ばれる特定の種類のゲーム形式アルゴリズムを使用して、このロボットを訓練したいと考えました。大きな課題は、ロボットが荷重（範囲は0kgから重い5kgまで）を運んでいる間、素早くうねるような経路を辿らなければならないことでした。さらに、動作の途中で重量が変化することもありました。

あらゆる重量に対応できるほどスマートにするため、チームは単一の特定の負荷だけでトレーニングを行ったわけではありません。代わりに、「ドメインランダム化」というトリックを使用しました。レベルデザイナーが新しいゲームを開始するたびに、キャラクターの重力、摩擦、あるいは体重をランダムに変更するビデオゲームを想像してください。このように混沌とした常に変化する環境の中でロボットを訓練することで、ロボットは一つの特定の負荷に対する唯一の解決策を暗記するのではなく、あらゆる重量に対して機能する柔軟な戦略を学んだのです。また、現在の位置だけでなく、少し前の状態や次にどこへ行く必要があるのかをも入力することで、ロボットに特別な「記憶」を与えました。これにより、サーファーが足元の水面だけを見つめるのではなく、次の波を予測するように、ロボлоトは自身の腕の物理現象の変化を予見できるようになりました。

シミュレーションの結果は非常に印象的なものでした。彼らが開発した新しい「ゲーム訓練型」のコントローラーを、従来のコントローラー（標準的なPID制御のような、昔ながらのルールブック方式）と比較したところ、その差は歴然でした。従来のコントローラーは、重量が変わるとひどく苦戦しました。重い荷物を運んでいた時に重量が急落したり、逆に重さがない状態で始まり突然重くなった場合、旧来のコントローラーは混乱が生じました。目標を通り越したり、激しく振動したり、膨大なトラッキングエラーを引き起こしたりしたのです。最も困難なテスト、つまりペイロードが複雑に変化する場面（静止していたかと思えば徐々に変化し、その後突然ジャンプするなど）において、旧式のコントローラーの平均誤差は無秩序な19.41度であり、不規則で非効率なエネルギー消費を生んでいました。

対照的に、新しいDRLコントローラーは極めてスムーズな操作を実現しました。平均誤差わずか1.41度で、ロボットをパス上に留めたのです。これは約92.72%もの大幅な改善です。精度が高かっただけでなく、動き自体もずっと滑らかでした。旧式コントローラーのトルク（関節にかかる力）は大きく変動し、平均で5.26 Nmも跳ね上がりましたが、新しいコントローラーはそれらの変動をわずか1.72 Nmに抑えました。これは、ロボットが優雅に動き、少ないエネルギーを用い、モーターへのストレスも少なかったことを意味します。

この研究はまた、この「ランダム化された訓練」こそが秘伝のソースであることを示しました。単一の固定された重量でロボットを訓練してから別の重量でテストしようとすると、エラーが急増し惨憺たる結果となりました。しかし、様々な混合重量で訓練したことにより、あらゆる状況下で作動する汎用的なスキルを習得できたのです。研究者は、ロボットの「スコアカード」（報酬関数）のデザインも決定的に重要であったことも発見しました。「的を捉えるためのポイント」「滑らかな動きのためのポイント」「エネルギーを浪費しないためのポイント」のバランスを取る必要があったのです。もし的を捉えることだけに固執すれば、ロボットは自らを叩き壊すほど震えてしまいますし、滑らかさにこだわりすぎれば、軌道の修正能力が低下してしまいます。これら複数の報酬の完璧な配合が、精密かつ優しい動きをするロボットへと導いたのです。

もちろん、これらは現時点ではすべてコンピュータ・シミュレーション内での出来事です。著者らは、ロボットが仮想空間ではチャンピオンになれたとしても、現実の世界でチャンピオンになる前にはまだハードルがあることに注意深く言及しています。一つには、トレーニング中に突発的で奇妙なミスをする「悪い日」があり、より優れたメモリ（長期記憶ネットワークのようなもの）を与えることが役立つのではないかと推測されています。また、実世界のロボットにランダムな探索を行わせることは危険を伴う可能性があるため、どのようにしてこれらの仮想的なスキルを物理的な機械へと安全に移転するかについても検討が必要です。

要約すれば、本論文は、ルール（重量）が絶えず変化するゲームを通じてロボットを教育することにより、従来の方法よりも遥かに適応力が高く精緻なコントローラーを作成できることを示唆しています。これは、人間が設定を微調整し続けることなく、現実世界の乱雑で予測不可能な現実に立ち向かうことができるロボットに向けた、有望な一歩なのです。