Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models
本論文は、現在の視覚言語報酬モデルには言い換え不変性が欠如しており、目標記述のバリエーションのみに基づいて同一のロボット軌跡に対して矛盾する報酬を割り当てることが多いことを示すベンチマークであるROBORMBENCHを導入し、軌跡に基づいた教師あり学習を用いて訓練された専用モデルが著しく高い安定性を持つことを示す。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに、単に言葉で話しかけるだけでタスクを教える場面を想像してみてください。複雑なコードを書いたり、手動でアームを操作したりする代わりに、人間は「赤いブロックを手に取って、青いボウルに入れてください」といった言葉による指示を与えます。するとロボットは、ビジョン・ランゲージ・モデルとして知られるデジタルな脳を使用して、自分自身の動作を観察し、自分がどれほど上手くできているかを判断します。このデジタルな脳は審判として機能し、ビデオの内容と受け取った指示に基づいて、ロボットの進捗に対してスコアを割り当てます。もしスコアが高ければ、ロボットはその行動を繰り返すことを学び、低ければ別の方法を試します。この手法は、ロボットをより柔軟でプログラミングしやすいものにし、硬直した、あらかじめ書かれたルールではなく、自然言語から学習することを可能にすると期待されています。
しかし、このシステムが確実に機能するためには、デジタルな審判が一貫している必要があります。同じ物理的な動作であれば、人間がどのように指示を表現したかにかかわらず、同じスコアが与えられるべきです。もしロボットがブロックをボウルの中に置くことに成功したならば、「ブロックをボウルに入れてください」と言われようと、「容器の中にブロックを配置してください」と言われようと、高いスコアを受け取るべきです。もし審判が言葉のわずかな違いによって判断を変えてしまうなら、ロボットは矛盾した信号を受け取り、何を学ぶべきか混乱してしまいます。これが、延世大学、カーネギーメロン大学、ソウル大学の研究者たちが調査しようとした核心的な問題でした。彼らは、現在の世代のデジタルな審判が、人間の言語の微妙な変化に対処できるのか、あるいは正気を失ってしまうのかを知りたかったのです。
これをテストするために、チームはROBORMBENCHと呼ばれる特殊なテスト環境を構築しました。彼らは、物体の操作やアイテムの移動など、ロボットが行う様々なタスクの、現実世界のビデオクリップを約2,400件集めました。各ビデオには、タスクがどれほど正確に完了されたかを示す、人間によって検証されたラベルである「グラウンドトゥルース（正解）」のスコアが付与されていました。次に、これらのタスクに対する元の指示を取り上げ、それを何千回もの方法で書き換えました。単純な単語の入れ替えから、文章全体の構造変更に至るまで、21,000以上の異なるバージョンの指示を作成しました。例えば、「大根を手に取ってください」を「大根を取った後で」に変えたり、動作の焦点から最終的な目標状態へとシフトさせたりしました。極めて重要なのは、厳格なフィルタリングプロセスを用いて、書き換えられたすべての指示が元の指示と全く同じ意味を持つようにしたことです。ビデオ自体は同一のままであり、テキストだけが変化しました。
これらの何千もの書き換えられた指示を様々なビジョン・ランゲージ・モデルに通したところ、その結果は驚くべきものでした。複雑な言語を理解する能力が高いとされるこれらのモデルは、驚くほど脆弱であることが判明したのです。多くの場合、全く同じロボットのビデオに対して、あるバージョンの指示では成功として高いスコアを与えながら、少し異なるバージョンの指示では失敗として低いスコアを与えるという現象が起きました。あるモデルは、ロボットがピンクのボウルに大根を置く様子を見て、「ピンクのボウルに大根を置いてください」と言われたときには完璧なスコアを与えますが、「大根を取った後、それをピンクのボウルに置いてください」と言われると、失敗のスコアを与えることがありました。このような「行ったり来たり」は、重大な懸念となるほど頻繁に発生しました。研究者たちは、この不安定さは単なる小さな不具合ではなく、同じ物理的挙動に対して成功と失敗の判断を完全に逆転させてしまうほど深刻なものであることを見出しました。
この研究では、モデルをより大きく、より賢くすることが問題を解決するかどうかも調査されました。彼らは、小さく特化したモデルから、複雑な推論が可能な大規模で汎用的なシステムまで、極めて規模の異なるモデルをテストしました。驚くべきことに、モデルのサイズを大きくしても問題は解決しませんでした。実際、最も大規模で最も有能なモデルの中には、より小さなモデルよりも不安定であったり、あるいはそれ以上に不安定であったりするものさえありました。モデルに問題をステップ・バイ・ステップで「思考」してから答えを出すよう指示した場合でも、一貫性の欠如は解消されませんでした。データは、単に計算能力を増やしたり推論能力を有効にしたりするだけでは、異なる言葉が同じ現実を記述しているということをモデルに理解させる保証にはならないことを示しました。
研究者たちは、最も優れたパフォーマンスを示したのは、最大級の汎用システムではなく、ロボットの軌跡を評価するために特別に訓練された、より小さなモデルであることを発見しました。これらの専用のリワード・モデル（報酬モデル）は、ロボットの動きとその結果から直接学習しており、指示の言い回しに関わらず、はるかに安定していました。これは、信頼性の鍵が単に強力な「脳」を持つことではなく、言語の表面的な詳細を無視し、タスクの物理的な現実に集中するように特別に教え込まれた「脳」を持つことにあることを示唆しています。
これらの発見がもたらす影響は、ロボット工学の未来において非常に重要です。もしロボットの学習プロセスが、言葉の選択によって判断を変えてしまう審判によって駆動されているならば、ロボットは間違った対象に対して最適化しようとする可能性があります。ロボットは、実際にタスクを完了することではなく、コマンドの特定の言い回しに合わせようとしたり、受け取るフィードバックが矛盾しているために、混乱のループに陥ったりするかもしれません。本研究は、ロボットが言語から安全かつ効果的に学習するためには、進捗を評価するシステムがパラフレーズ（言い換え）に対して堅牢である必要があると結論付けています。それらは、意味的に等価な指示を同一のものとして扱い、報酬が「人間がどのように尋ねたか」ではなく、「ロボットが実際に何をしたか」に依存するようにしなければなりません。この安定性が達成されるまで、真に柔軟で言語に導かれたロボットへの道は、依然として不透明なままです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。