World models of environment, agent and joint agent-environment systems
本論文は、計算力学を用いて、環境、エージェント、およびそれらの共同相互作用に関する標準的な予測モデルを区別・定義するフレームワークを提案し、クローズドループの結合とサポートの制限がいかにしてこれらの世界モデルの構造と複雑さを根本的に変化させ得るかを実証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能の時代において、中心的な課題は、機械に周囲の世界を理解させる方法を教えることです。意思決定を行うためには、ロボットであれ、ソフトウェアプログラムであれ、あるいはデジタルな脳であれ、知的なエージェントには「世界モデル」が必要です。これは物理的な地球儀ではなく、システムが次に何が起こるかを予測するための内部的な地図や一連の規則のことです。もしロボットが「ボタンを押すと通常はドアが開く」ということを知っていれば、その相互作用に関する単純なモデルを持っていることになります。数十年にわたり、研究者たちは、エージェントが行う行動に基づいてこれらのモデルがいかに未来を予測するかという点に焦力を注いできました。彼らは、「もし私がこの行動をとったら、何が見えるだろうか？」と問いかけます。このアプローチは非常に成功しており、エージェントが行動を起こす前に結果をシミュレーションすることで、機械が複雑なタスクを学習することを可能にしてきました。しかし、この伝統的な見方は、モデルがエージェントの動きを待っている受動的な舞台としての環境を理解するためだけに構築されているという前提に基づいています。それは、エージェント自身の振る舞いを、物語の動的な一部としてではなく、固定された入力として扱っています。
ある研究チームは、これらのモデルをより微細に捉える新しい方法を提案しました。彼らは、人工知能がどのように考えているかを真に理解するためには、それが「何を」予測しているかだけでなく、「どのチャネル」の情報を見ているのかを区別しなければならないと主張しています。エージェントとその周囲の環境との間のあらゆる相互作用において、因果関係の流れを捉える視点には3つの異なる方法があります。第一に、特定の行動が与えられたときに何が見えるかを予測する「環境の視点」です。第二に、何が見えているかに基づいて次にどのような行動をとるかを予測する「エージェント自身の視点」です。第三に、両者がループの中で連動しているときに展開される、実際の行動と観察のシーケンスを予測する「システム全体の視点」です。研究者たちは、計算力学（computational mechanics）として知られる数学的枠組みを用いて、これら3つの視点それぞれに対して、最も効率的で最小限のモデルを定義しました。彼らの研究は、これらのモデルが単なるバリエーションではなく、根本的に異なる構造であることを明らかにしています。
この研究における最も驚くべき発見は、エージェントが環境と閉じたループ内で実際に稼働しているときに何が起こるかに関するものです。理論上、エージェントは、自分が決して選択することのない行動も含め、考えうるあらゆる行動を想像することができます。「無制限（unrestricted）」の視点に基づいたモデルは、あらゆる反事実的な可能性を考慮しなければなりません。研究者たちは、多くのシステムにおいて、このような無制限のモデルは極めて複雑であり、すべての可能性を追跡するために無限の内部状態を必要とすることさえあることを発見しました。しかし、エージェントが実際にとる行動のみを考慮する「支持された（supported）」モデルに目を向けると、状況は劇的に変化しました。彼らは、エージェントの実際の振る舞いのモデルは、常に結合システムのモデルによって決定されることを証明しました。言い換えれば、環境の複雑で無限の可能性は、エージェントの実際の選択というレンズを通して見ると、はるかに単純で有限な構造へと収束するのです。
これを説明するために、研究者たちは、単純なバイナリ環境と限定的なメモリを持つコントローラーを用いた具体的な例を構築しました。このシナリオでは、環境には0または1のいずれかをとる隠れた状態が存在します。特定の行動はこの状態をランダムにリセットしますが、他の行動は状態を維持します。もし、あらゆる可能な行動のシーケンスに対して環境の挙動を予測しようとするモデルを作ろうとすれば、そのモデルは無限に大きくなります。なぜなら、エージェントは理論的には、状態を任意に長い時間固定し続けることができ、それによって無限の数のユニークな信念状態を生み出すことができるからです。しかし、研究者が、時折状態をリセットし、リセットする前に短期間の固定ステップ数を経て状態を保持するという、限定された一連の行動しか行わない特定のコントローラーを導入すると、複雑さは消え去りました。コントローラーが実際に行う行動に限定された環境のモデルは、有限で扱いやすいものとなったのです。「無限」の可能性は、実際の相互作用においては決して実現されなかったのです。
この区別は、AIが実際に何を学習しているのかを理解する上で極めて重要です。研究者たちは、AIが意思決定のために使用する内部状態は、必ずしも世界の全容を描いた地図ではないことを示しました。むしろ、それは経験した特定の相互作用の地図なのです。エージェントの実際の振る舞いに制限された環境のモデルは、結合プロセス全体の簡略化されたバージョンです。研究者たちは、この簡略化されたモデルの状態が、結合システムの状態から直接導き出されることを実証しました。これは、エージェントの持つ世界モデルの複雑さが、環境単独の固有の特性ではなく、エージェントと世界の間の特定の結合の結果であることを意味します。もしエージェントができることが限られているならば、その世界モデルも相応に限定され、より単純なものになります。
この研究の含意は、人工知能をどのように解釈し、信頼するかという点にまで及びます。もし私たちがAIが世界について何を信じているかを知りたいのであれば、単に真空状態での予測を見るだけでは不十分です。「それはあらゆる可能な行動の下での環境を予測しているのか、それとも、自身が従っている特定のポリシーに基づいた環境を予測しているのか？」と問わなければなりません。研究者たちは、これらは二つの異なる質問であり、二つの異なるモデルを必要とするのだと主張しています。AIは、現実のほんの一片しか遭遇しないため、非常に単純な内部表現を持っている場合があります。これは、AIが「愚か」であるとか、世界が単純であるという意味ではありません。AIのモデルが、システムにおける特定の役割に合わせて調整されていることを意味しているのです。環境のモデル、エージェントのモデル、そして結合プロセスのモデルを分離することで、研究者たちは、これらのシステムが実際に何を行っているのかを記述するための、より明確な言語を提供しています。
このアプローチはまた、「計画（プランニング）」と「学習」の違いをも明確にします。エージェントがデータから学習するとき、それはしばしば、あらゆる可能な相互作用からではなく、特定の相互作用のセットから学習しています。研究者の枠組みを用いることで、このデータから学習されたモデルが「支持制限された（support-restricted）」モデルであることを理解できます。それは、エージェントが実際に直面する状況においては妥当であり正確ですが、環境の全理論的景観を記述することには失敗しているかもしれません。これは、なぜ一部のAIシステムが、理論的な観点からは不完全または簡略化されたモデルを持っているように見えるにもかかわらず、実用においてうまく機能するのかを説明する助けとなります。彼らは不可能なことをモデル化しようとしているのではなく、現実をモデル化しているのです。
本研究は、世界モデルの構造は固定されたものではなく、相互作用自体によって形作られるという結論を下しています。エージェントと環境がどのように結合しているかが、未来を予測するために必要なモデルの複雑さを決定します。これは、「エージェントが学ぶべき唯一の完璧な世界モデルが存在する」という考え方に挑戦するものです。むしろ、「最善の」モデルとは、どのような問いが投げかけられているかに依存します。もし問いが「もし私がXをしたらどうなるか？」であれば、その答えには複雑なモデルが必要かもしれません。しかし、もし問いが「私がYをしているとき、次に何が起こるか？」であれば、その答えははるかに単純な構造の中に見出される可能性があります。これらのモデルを正確に定義することで、研究者たちは知能のメカニズムを理解するためのツールを提供し、機械の心の複雑さが、しばしばその身体と世界の制約を反映していることを示しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。