Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
本論文は、記号と観測の間のマッピングに関する事前知識なしに、エージェントが非記号的環境において線形時相論理（Linear Temporal Logic）の指示に従うことを可能にするため、Neural Reward Machinesを用いてマルチタスク強化学習方策と記号グラウンダーを共同訓練する手法を提案し、既存の手法を凌駕するゼロショット汎化を実現する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットが、見たこともない部屋に入っていく場面を想像してみてください。そのロボットはコーヒーメーカー、デスク、そして郵便受けを目にしますが、ロボットにとってそれらは単なる画面上の形や色に過ぎません。それがコーヒーのための機械であることや、スロットが郵便のためのものであることを、ロボットは知りません。しかし、ある人間がロボットに対して複雑な指示を与えます。「まず郵便受けへ行き、次にコーヒーメーカーへ、最後にデスクへ行ってください。ただし、途中で赤い床タイルには踏み込まないでください」と。人間にとってはこれは簡単なことです。なぜなら、私たちは言葉の意味や物体を理解しているからです。しかし、ロボットにとっては巨大なパズルとなります。それはまず、どの物体がどれなのかを見極めなければなりません。さらに、移動の仕方を学びながら、イベントの順序を記憶し、かつ赤いタイルを避けなければならないのです。これは、物事が何と呼ばれているかという辞書を手渡されることなく、現実世界において人工知能がいかにして指示に従う方法を教えるかという課題です。
数十年の間、研究者たちはロボットに世界の完璧な地図を与え、「コーヒー」に対応するピクセルはこれだ、といった具合に正確に伝えることでこの問題を解決しようとしてきました。これは制御された実験室では機能しますが、乱雑で予測不可能な現実世界では失敗します。最近の研究で詳述されている新しいアプローチは、ロボットが動きを学ぶのと同時に、自らこれらの意味を学習することを試みています。科学者たちは、「AをしてからBをする、ただしCは決してしない」といったように、「地点Xへ行け」と言うよりも高度なルールを書くための手法である「時系列論理（temporal logic）」と呼ばれる、時間と言列を含む特定の種類の指示に焦点を当てました。目標は、カメラの映像のみを使用し、成功または失敗した際の単純な信号だけを受け取り、何も知らない状態で始まる世界において、ロボットがこうした複雑な時間ベースのルールに従う方法を学べるかどうかを確認することでした。
研究チームは、ロボットが2つのことを同時に学習するシステムを構築しました。第一に、次にとるべき行動を決める戦略である「ポリシー（方策）」を学習します。第二に、より重要なことに、「グラウンダー（接地器）」を学習させます。これは翻訳機のような役割を果たし、カメラからの生の画像が指示の内容において何を意味するかを解明しようとするコンポーネントです。もしロボットが赤い正方形を見て、指示の中に「赤を避ける」とあれば、グラウンダーはいずれ、その赤い正方形を「溶岩」や「危険」としてラベル付けできるようにならなければなりません。困難なのは、ロボットには間違いを指摘してくれる教師がいないことです。得られるのは疎な報酬、つまりタスクを正しく完了した時にわずかなプラスの信号が得られ、失敗した時にはマイナスの信号が得られますが、その間のプロセスについては何も与えられないということです。これは、会話の中の一言一言に対するフィードバックがないまま、会話が終わった瞬間に「イエス」か「ノー」とだけ告げられて新しい言語を学ぼうとしているようなものです。
これを解決するために、チームは指示自体の構造を利用するという巧妙なトリックを用いました。彼らは、指示を、ロボットが動くにつれて状態が変化していく一つの「マシン」として扱いました。例えば、ロボットが郵便物を手に取れば、マシンは「郵便物の工程は終了、次はコーヒーを探せ」という新しい状態へと移行します。研究者たちは、ロボットの翻訳機に対し、このマシンが与えるであろう報酬を予測するように訓練しました。ロボットが動き回り、マシンがいつ「成功」あるいは「失敗」と判定するかを観察することで、翻訳機はゆっくりと、目にする画像と指示内の正しい言葉を一致させていくのです。これは 시행錯誤（試行錯誤）のプロセスであり、ロボットはタスクのロジックを用いて、記号の意味を自習していきます。研究者は、全く異なる2つの環境でこれをテストしました。一つはビデオゲームのように簡略化されたグリッドベースの環境で、そこではロボットがアイテムのある迷路を進む必要がありました。もう一つは、滑らかで連続的な空間で、ロボットは平坦な面の上を行く車のように動き、決められた順番で色のついたゾーンを訪れることが求められました。
結果は、この手法が驚くほどうまく機能することを示しました。グリッドの世界では、最初から正しい辞書を与えられていた場合とほぼ同等の精度で、ロボットは指示に従うことを学習しました。たとえ指示がより長く複雑になったとしても、項目を特定し、出来事のシーケンスに従う術を身につけたのです。連続的な世界においても、ロボットは高い精度でゾーンを識別できることを学習しましたが、最も複雑な回避タスクにおいてはやや苦戦しました。決定的なことは、ロボットが移動の方法を学んでいる最中に、これらを別個のトレーニングフェーズを経ることなく、同時に意味を学習できた点です。このシステムは、エージェントが――生データから抽象的な概念へと結びつける「記号の接地」を行うためには、タスクを実行し、ルールの構造を使って自身の学習を導けば十分であることを証明しました。
また、本研究では、同じ問題を解決するための従来の手法との比較も行われました。従来のメソッドは、指示の文法に基づいてロボットの脳をパーツごとに組み立てようとするものでしたが、指示が長くなると対応できず、新たなタスクの複雑さに屈してしまいました。対照的に、今回の新しいアプローチは効果的にスケールアップし、オブジェクトの意味を理解することと移動の戦略を学ぶことは深く結びついており、共に学習すべきであることを示しました。研究者によると、ロボットの物体識別の能力は急速に向上し、多くの場合、数百万ステップのトレーニング内で高い精度に達しています。これは、タスクの構造による間接的なフィードバックがあれば、人間に指し示されなくても、ロボットは何が何であるかを教えてくれるのに十分であることを示唆しています。
このシステムは完全ではなく、特に全ての期間を通じて危険を回避することが難しかった最も過酷な連続的環境においては課題が残りましたが、核心となる発見は明白です。未知の世界における複雑な時系列の指示に従うよう、タスクの持つロジックを活用して世界の特性としての意味を学習させることで、人工エージェントを訓練することは可能です。これにより、遭遇するあらゆる物体について事前にプログラムされたマップを必要とせず、新しい環境に入り、提示されたルールを聞いて、自分で行うべきことを判断できるマシンの実現に近づきます。この研究は、タスクの論理性と環境の学習を組み合わせることで、ロボットが生のデータと意味のある行動の間の溝を埋め始めることができるということを実証しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。