Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics

ボタンを押す、あるいは壊れやすい物体を拾い上げるなど、ロボットに複雑な物理的タスクを実行させることは、エンジニアにとって難しいパズルです。ロボット工学の世界では、機械に対して「何が上手くいっていて、何がうまくいっていないか」を伝える一連の指示が必要です。この一連の指示は「報酬関数」と呼ばれます。もし指示が曖лоう（曖昧）であったり間違っていたりすると、ロボットはシステムを回避する方法を見つけ出し、タスクを実際に完了することなく高いスコアを獲得しようとしたり、あるいは期待されていることが理解できずに単に諦めてしまったりすることがあります。従来、人間はどの動きが成功につながるかを推測しながら、これらの指示を手書きで作成しなければなりませんでした。このプロセスは時間がかかり、コストも高く、人間が予期しなかった状況にロボットが遭遇した場合には、しばしば失敗に終わります。

「嗜好に基づく学習（preference-based learning）」として知られる新しいアプローチは、複雑なルールを書く代わりに、人間が単に2つのロボットの動きのうちどちらがより良く見えるかを伝えることで、この問題を解決しようとするものです。これは一見シンプルに聞こえますが、新たな問題を生み出します。それは、ロボットが何かを役に立つレベルで学習するためには、何千回もの比較を見る必要があるということです。現実世界の環境において、人間にロボットを観察して判断させることをそれほど多く繰り返してもらうのは、非現実的であり、コストもかかります。ロボットの学習は遅くなり、人間の注意力のコストが、これらの機械が制御されたラボの外で役に立つためのボトルネックとなります。

トロント大学と清華大学の研究者たちは、このプロセスを大幅に加速させる手法を開発しました。彼らはこのアプローチを「残留報酬モデル（Residual Reward Model）」と呼んでいます。ゼロから始めて人間にロボットのすべてを教えるのではなく、この手法では、ロボットがそのタスクをどのように行うべきかについての「最善の推測」を持って始めることができます。この推測は、エンジニアによって書かれた単純なルール、大規模言語モデルによって生成された記述、あるいは人間がタスクを実行する様子を一度観察することから学んだ報酬関数などから得られます。ロボットはこの初期の推測を基礎として使用します。人間が「こちらの動きの方が、あちらよりも良かった」という嗜好を提供したとき、ロボットはルールブック全体を書き直そうとはしません。代わりに、初期の推測を修正するために必要な、わずかな差異、すなわち「残差（residual）」のみを学習します。

これは、スポーツの基本的なルールはすでに知っているが、コーチから技術の細かなニュアンスを指摘される必要がある学生のようなものです。学生は走ったり投げたりすることを学び直す必要はなく、コーチのフィードバックに合わせてフォームをわずかに調整するだけで済みます。同様に、ロボットは既存のタスクに対する理解に対して、人間のフィードバックを用いて、小さく精密な調整を行います。この構造により、学習プロセスは安定します。もし初期の推測が不完全であっても、ロボットは全体的な概念を発見するのではなく、エラーを修正することだけを行えばよいため、学習を進めることができます。

研究者たちは、ロボットアームがボタンを押したり、物体をビンの中に掃き入れたり、ドアの鍵を開けたりするタスクを含む、さまざまなシミュレーション環境でこのアイデアをテストしました。また、実験室の設定で実物のロボットであるFranka Pandaアームを用いてテストも行いました。あらゆるケースにおいて、「最善の推測」と小さな修正を組み合わせた手法は、人間の嗜好のみからすべてを学ぼうとする手法よりもはるかに速く学習しました。シミュレーションでは、この新手法を用いたロボットは、より少ない人間の判断回数で、多くのタスクにおいて完璧な成功率に達しました。例えば、ロボットがボタンを押すタスクにおいて、ゼロから学習しようとする標準的な手法は成功率20%で停滞しましたが、新手法は100%に達しました。

この研究は、このアプローチがミスに対して堅牢（ロバスト）であることも示しました。もし初期の「最善の推測」がわずかに間違っていたり、人間のフィードバックが時としてノイズを含んでいたり、あるいは一貫性がなかったりしても、ロボットは正しい動作を学習することができました。初期の推測はセーフティネットとして機能し、ロボットが無意味な挙動へと迷い込むのを防ぎ、一方で修正によって最終的に正しい経路を見つけ出すことを保証しました。これは、非常に限られた人間のフィードバックを用いてテストを行った際に特に重要でした。人間がごくわずかな判断しか提供できない場合でも、残留法を用いたロボットは改善を続けましたが、標準的な手法は有用な学習を行うことができませんでした。

おそらく最も重要な点は、研究者たちが、この学習がコンピュータ上のシミュレーションから実物のロボットへ、追加のチューニングなしに直接転移できることを示したことです。彼らは仮想環境でロボットを訓練し、その学習されたポリシーを実物のFranka Pandaアームに適用して、物体に手を伸ばす、ブロックを押し、あるいは物体を拾い上げて移動させるといったタスクを実行させました。残留法で訓練されたロボットは、実世界のこれらのタスクにおいて、ベースラインの手法よりもはるかに速く成功しました。物体を押し進めるという困難なタスクにおいて、標準的な手法は広範な訓練の後でも成功率は半分にとどまりましたが、新手法は同じ訓練時間で95%の成功率を達成しました。

これらの知見は、事前の知識と人間のフィードバックを組み合わせることで、ロボットがこれまで考えられていたよりもはるかに少ない人間の監督で、複雑な物理的スキルを学習できることを示唆しています。これは、ロボットがあらかじめすべてを知っているという意味ではありません。むしろ、ロボットが持っている知識を起点として、受け取るあらゆる人間のフィードバックを最大限に活用できることを意味しています。この効率性は、時間や人間の注意力が限られた資源である現実世界の仕事において、ロボットアシスタントを実用的なものにするための鍵となる可能性があります。この研究は、ロボットに「幸先の良いスタート（head start）」を与えること、たとえそれが大まかなものであっても、白紙の状態から始めるよりも、人間の嗜好からより速く、より確実に学習できることを裏付けています。