Joint On-and-Off Policy Learning for Vision-and-Language Navigation
本論文は、Vision-and-Language Navigationベンチマークにおいて最先端の性能を達成するために、3段階のトレーニングパイプラインを通じてオフポリシー模倣学習とオンポリシー探索を相乗的に統合する新しいフレームワークであるJOP-VLNを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが、ロボットに自分専用のツアーガイドになってもらうよう教えているところを想像してみてください。あなたは、「キッチンへ歩いて行き、青い花瓶のところで左に曲がって、冷蔵庫の前で止まって」といった音声コマンドを聞き取り、壁にぶつかったり迷ったりすることなく、実際にその通りに動いてほしいと考えています。これは**視覚と言語によるナビゲーション（Vision-and-Language Navigation: VLN）**の世界です。これは、カメラを通じて複雑な現実世界を理解し、人間の言葉を理解して移動しなければならない「身体化エージェント（体と目を持つロボット）」に関するロボット工学の一分野です。
ここでの大きな課題は、ロボットは自分自身の失敗から学ぶのが非常に苦手だということです。もし、完璧な歩行ビデオを見せてロボットに教えれば、ロボットはそれらのビデオを模倣することを学びます。しかし、いざ新しい部屋に入ったり、椅子の位置が変わっていたりすると、ロボットはパニックに陥ります。なぜなら、物事がうまくいかなかった時にどうやって立て直すかを学んでいないからです。これは、練習問題の答えを暗記したものの、先生が数字を変えた途端に固まってしまう学生のようなものです。これを解決するために、科学者たちは通常、2つの異なる方法を試みます。either（どちらか一方の）方法として、ロボットに完璧な経路の例をもっと多く見せる（模倣学習）、あるいは、ロボットを自由に歩き回らせて、目標に近づいたときに「ご褒美（報酬）」を与える（強化学習）というものです。長い間、これら2つの手法は、互いに会話することのない別々の学校のように存在していました。
そこで、これら2つの学校を合同パーティーに招くことに決めた新しいフレームメント、JOP-VLNが登場します。研究者たちは、エキスパートの模倣による安全性と、自律的な探索による勇敢さを融合させた3つの明確なステージでロボットを教えるシステムを構築しました。これは、ロボットがまずマスターコーチから基礎を学び、次に「補助輪」付きの世界で練習し、転んだときにはセーフティネットがキャッチしてくれる環境で学び、最後に、特別なルールに従って、自分が混乱したりミスをしたりした瞬間にのみ注意を払って、より賢くなるために探索するというトレーニングキャンプのようなものです。
この論文では、ロボットが未知の状況に遭遇した際に立ち往生してしまう問題を解決するために、この3段階のパイプラインを紹介しています。第1ステージでは、ロボットは基本的なナビゲーションスキルと、見たものを要約する方法を学びます。これは、まるで学生がアルファベットを学び、文章の書き方を学ぶようなものです。第2ステージでは、ロボットはナビゲーションを試みますが、コースから外れそうになると、「神モード」のセーフティシステム（オラクル）が介入して経路を修正します。ロボットは、これらの修正された経路から学習します。これにより、エラーからの回復方法を効果的に練習することになります。これは、自身の試行とセーフティネットによる修正が混ざったデータから学習する「オフポリシー」の部分です。
魔法が起きるのは第3ステージです。研究者たちは、ロボットをランダムに探索させると、ただ円を描いて歩き回ったり、悪い習慣に対して自信過剰になったりする可能性があることに気づきました。そこで、巧妙なフィルターを追加しました。彼らは、ロボットが本当に確信を持てなかった瞬間、あるいは「高エントロピー（予測が激しく揺れ動いている状態）」だった瞬間にのみ、学習を行うようにしたのです。これにより、ロボットがすでに知っている簡単なタスクに時間を浪費するのを防ぎ、難しい課題に集中することを強制します。さらに、以前に失敗した特定の経路に最も多くの時間を割いて練習するように、トレーニングデータを整理しました。これにより、自分のミスを修正する方法を確実に学習できるようにしています。
このアプローチの結果は目覚ましいものです。標準的なナビゲーション・ベンチマークでテストした際、JOP-VLNはR2Rデータセットで69.9%、RxRデータセットで**68.0%**の成功率を達成しました。これらの数値は、単一の学習タイプに依存していた従来の手法を上回る、新しい最先端（state-of-the-art）であることを意味しています。研究者たちはまた、実世界のオフィスや屋外の庭園において、4本脚のロボット犬を使用して実機テストも行いました。現実世界の複雑な照明や質感がある中でも、ロボットは複雑な指示に従うことができ、この「結合された」学習スタイルが、以前よりも汎用性を高めることを証明しました。論文は、エキスパートの指導と、エラーに焦点を当てたスマートな探索を注意深く組み合わせることで、単にルールに従うだけでなく、現実世界の予期せぬ展開にも対応できる回復力（レジリエンス）を備えたロボットを構築できることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。