Reward Learning through Ranking Mean Squared Error

ロボットに歩いたり、走ったり、コップを持ち上げたりすることを教えている場面を想像してみてください。人工知能（特に強化学習）の世界では、ロボットは何かを試行錯誤し、うまくできた時にポイント（報酬）をもらうことで学習します。しかし、ここに落とし穴があります。完璧なポイントシステムの設計は非常に困難だということです。

もしあなたがロボットに「前進したらポイントをあげる」と伝えたら、ロボットは実際に歩くのではなく、地面の上で足をバタバタさせることでポイントを得る方法を見つけ出してしまうかもしれません。これは「報酬の誤指定（reward misspecification）」と呼ばれます。これは、学生が主題を学ぶのではなく、解答集を丸暗記することでテストをパスできてしまうようなものです。

旧来の手法：「どちらが良いか、悪いか？」

これを解決するために、研究者たちは人間に助けを求める方法を考え出しました。コードを書く代わりに、人間がロボットの動きを観察し、「今の歩き方は、さっきのより良かった」と伝える方法です。これは**嗜好ベース学習（Preference-Based Learning）**と呼ばれます。

これはブラインド・テイスト・テスト（目隠しでの味比べ）のようなものです。判定役に2つのコーヒーを出し、「どちらが良いですか？」と尋ねます。判定役は一方を選びます。

• 問題点: これでは「はい」か「いいえ」という、ごくわずかな情報しか得られません（「どちらが良いか」という情報のみ）。また、もし両方のコーヒーがひどい味だった場合、判定役は「どちらもダメだ」と言うことはできても、「両方ともひどすぎる」というニュアンスを表現することはできません。人間が比較を繰り返すのは大変な作業であり、全体像を捉えきれないのです。

新しい手法：「コーヒーを評価する」

より新しいアイデアは、**評価ベース学習（Rating-Based Learning）**です。二つのものを比較する代わりに、人間にある一つのものを見せ、「1から5つ星で評価してください」と頼む方法です。

• メリット: これは人間にとって（精神的な負担が少なく）容易であり、より豊かな情報を与えてくれます。1つ星の評価はコーヒーがひどいことを伝え、5つ星の評価は素晴らしいことを伝えます。相対的な比較ではなく、絶対的な質を捉えることができるのです。

R4： 「ランキング・スコア」のコーチ

この論文では、R4 (Ranked Return Regression for RL) と呼ばれる新しい手法を紹介しています。R4は、それらの星による評価から学習するための特別なスコアリング・システムを使う、賢いコーチだと考えてください。

R4の仕組みを、簡単な比喩で説明します：

1. セットアップ: ロボットの歩行動作の山があるとします。人間はそれらに「悪い」「普通」「良い」と評価を付けました。
2. 旧来の手法 (RbRL): 以前の手法は、ロボットの内部スコアを、特定の「良い」グループの「ちょうど真ん中の値」に強制しようとしました。それはまるで、「『良い』と評価されたら、スコアは必ず75でなければならない」と言うようなものです。これでは、ある「良い」歩行はギリギリの良さであり、別のものは素晴らしいものである、という事実を無視してしまいます。すべての「良い」歩行を一律に見せてしまうのです。
3. R4の手法: R4は、ランキング平均二乗誤差 (rMSE) という巧妙なトリックを使用します。
   • スコアを特定の数値に強制する代わりに、R4はこう問いかけます。「もし私が『悪い』歩行、『普通』の歩行、『良い』歩行を一つずつ取ってきたとき、それらを正しい順序でランク付けできるか？」
   • これは、コンピュータによって調整可能な「ソフト・ソーター（soft sorter）」という特別な数学的ツールを使用します。これは、これら3つの歩行に対するロボットの予測スコアを確認し、「『良い』歩行を『悪い』歩行よりも高くランク付けできているか？」と問いかけます。
   • もしロボットが順序を間違えた場合、システムはロボットの脳を優しくつつき、ランキングを修正するように促します。

なぜこれが優れているのか？

• 恣意的な境界線がない: 「普通」がどこで終わり、「良い」がどこから始まるのかを、あなたが決める必要はありません。ただ「これはあれより良い」と言えばよいのです。
• 多様性を維持できる: 「良い」歩行のスコアが90でも95でも構いません。すべてを無理やり85にする必要はありません。これにより、優れたパフォーマンスの自然な差異が保持されます。
• 柔軟性がある: もし人間が「最高に良い」といった新しいカテゴリーを追加したくなっても、システムは壊れることなく対応できます。

証明：理論と現実

著者たちは、これが単なる推測ではないことを数学的に証明しました。

• 保証: もし人間の評価が理にかなっている（つまり、「良い」歩行は本当に「悪い」歩行よりも優れている）ならば、R4はその評価に適合する最高の報酬システムを見つけ出すことが保証されていることを示しました。これは、有効な解を一つも漏らすことなくパズルを解くための、最も効率的な方法です。

実験：ロボットと人間

チームは、R4を2つの方法でテストしました。

1. シミュレーションされた人間: コンピュータプログラムを使用して、ロボットの歩行を評価する「人間」を模倣しました。R4は、従来の手法よりも一貫して、ロボットにより良く、より速く動くよう教えることができました。
2. 実際の人間: 画面上のロボットの歩行を評価してもらうために、8人の実際の人間を雇いました。
   • 結果: 人間たちの傾向は非常に多様でしたが（ある人は4つ星を使い、ある人は12点満点を用い、厳格な人も寛容な人もいました）、R4は従来の手法よりも優れた動きをロボットに教えることができました。
   • 感覚: 人間たちは、ロボットを評価することは非常に簡単であり、大変な作業とは感じなかった（低い認知負荷）と報告しています。

まとめ

この論文は、R4が、人間の評価を用いてロボットを教えるための、よりスマートで柔軟で、数学的に証明された方法であると主張しています。人間に「これはあれより良い」という比較を強いるのではなく、単純な評価を行ってもらい、R4がその評価をロボットのための完璧な教師へと変える特別なランキング・トリックを使用するのです。これは従来の手法よりも優れており、人間の癖にも対応でき、人々にとって使いやすいものです。