Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
本論文は、自己予測を通じてベイズエージェントが環境の一部として自身をモデル化することを可能にすることでAIXIを拡張し、マルチエージェント設定における非定常性を解決し、新たな形態の協調を促進するための無限次心の理論を実現する、埋め込まれた普遍的予測知能のための数学的枠組みを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットにゲームの遊び方を教えようとしている場面を想像してみてください。何十年もの間、標準的な方法は、ロボットに実際にプレイさせ、間違いを犯させ、報酬を与え、そしてうまくいったことをより多く行い、うまくいかなかったことを控えるようにさせるというものでした。これは「強化学習」と呼ばれ、犬にアメを与えるトレーニングのようなものです。行動が起こるのを待ち、その後にフィードバックを与えるのです。世界が退屈で変化しないのであれば、この方法は素晴らしい効果を発揮します。しかし、もし世界が、他の賢い学習者（他のロボットや人間など）で満たされており、彼らがあなたの行動に基づいて戦略を変えてくるようならどうでしょう？突然、昨日得られた「アメ」は今日には通用しなくなるかもしれません。なぜなら、あなたの相手があなたのトリックを見破ってしまったからです。これは、誰もが誰もかを観察しており、ルールが常に変化している——なぜならあなた自身がゲームの一部だからである——という、社会的生活の混沌とした現実です。
この論文はこの混沌とした現実に切り込みます。AIにおける大きな問題、すなわち、エージェント（AIのようなもの）が単なる独立したプレイヤーではなく、自分が理解しようとしているシステムの中に実際に「組み込まれている」世界において、どのように学習し、協力できるかという問題に取り組んでいます。著者たちは、「AIXI」と呼ばれる有名な概念に基づいています。これは、宇宙を記述する数学的な規則を推測することで未来を予測する、理論上の超知能です。しかし、古典的なバージョンのこのアイデアは、AIを宇宙の外側に立ち、中を覗き込んでいる観測者として扱っています。著者たちは、これは間違っていると主張しています。現実の世界では、AIは宇宙の一部であり、人間が社会の一部であるのと同様です。もしあなたが友人が何をしようとしているのかを知りたいなら、ただ彼を見るだけでは不十分です。彼もまた、あなたについて考えているのだということを理解しなければなりません。この論文は、AIが自身の決定が未来を予測するために使用するデータの一部であることを理解する、新しい数学的枠組みを提案しています。これにより、AIは自分と同じように考えているかもしれない他者を推論できるようになります。
「外から見る」ことの問題点
チェスを友人とプレイしている場面を想像してください。AIに関する古い考え方（「デカップル（分離型）」学習と呼ばれるもの）では、AIは盤面を見て、「もし私がここにナイトを動かせば、友人はおそらくそこにポーンを動かすだろう」と考え、その後に手を打ちます。これは、自分の精神をチェス盤や友人とは切り離された独立した機械として扱っています。そこでは、友人を、単に動きに反応する静的な風景の一部として扱っており、AIが次に何をしようとしているかを観察し、予測しようとしている「思考する実体」としては扱っていません。
著者たちは、このアプローチは社会的な状況においては破綻していると言います。もしあなたが、あなたが何をしようとしているかを推測しようとしている誰かと部屋にいる場合、あなたは「私は、彼が、私が、と考えていると、考えていると……」というループに陥ります。これは「心の理論」の無限再帰と呼ばれるものです。従来のやり方は、世界がビデオゲームのレベルのように、変化しない静的なものであると仮定しています。しかし、マルチエージェントの世界では、「レベル」は誰かが新しいことを学ぶたびに変化します。もしAIが、レベルを変化させているのが自分自身であることを理解していなければ、AIは的外れな推測を繰り返すことになるでしょう。
新しいアイデア：「埋め込まれた」存在であること
この論文は、「埋め込まれたベイズ・エージェント（Embedded Bayesian Agents）」という概念を紹介しています。これらのエージェントは、宇宙の外側に立って中を覗き込むのではなく、自分自身、友人、そして環境がすべて混ざり合った一つの「宇宙」の中にいると想像します。
次のように考えてみてください。古いモデルでは、AIは映画を観てプロットを予測しようとしている監督です。新しいモデルでは、AIは映画の中の「俳優」です。AIは、もし自分が泣く決断をすれば、他の俳優が慰めの反応を示すかもしれないことを知っていますが、同時に、他の俳優もまた自分を見ており、AIが悲しそうに見えるのを見て、彼ら自身が泣こうと決めているかもしれないということも理解しています。
これを行うために、AIは「自己予測（self-prediction）」と呼ばれる特殊な種類の予測を用います。AIは単に世界が自分に示すものを予測するのではなく、次に「自分」が何をするかを予測します。「世界について知っていることを踏まえると、自分は次にどのような行動を取る可能性が最も高いか？」と自問し、その答えを用いて他者の行動を推測するのです。これにより、AI自身の自分に対する信念が他者を理解する助けとなり、他者に対する信念が自分自身を理解する助けとなるというループが生まれます。
「構造的類似性」の魔法
ここからが非常に興味深い部分です。論文は、これらのエージェントはすべて同様の「ソフトウェア（アルゴリズム）」で動いているため、構造的に類似していると示唆しています。同じ家で育ち、同じ学校に通い、脳の配線も同じ双子を想像してみてください。もし片方の双子に謎解きをさせたとしても、もう片方の双子も同じように解く可能性が高いでしょう。
著者たちは、もしAIが「おい、あの他のエージェントは、おそらく自分と同じように作られているはずだ」と気づけば、その知識を利用して相手の行動を予測できることを示しています。これは「構造的類似性（structural similarity）」と呼ばれます。もしAIが「似たようなエージェントは、似たような状況において似たように振る舞う」ということを知っていれば、推測することをやめて、確信を持つことができるのです。
これは、「囚人のジレンマ」と呼ばれる古典的なゲームにおける驚くべき結果へとつながります。このゲームでは、二人のプレイヤーは「協力する（互いに助け合う）」か「裏切る（互いに裏切る）」かの選択を迫られます。古い考え方では、個人のためには常に相手を裏切るのが最も安全な動きであるとされます。しかし、著者たちは、もし「埋め込まれた」エージェントたちが、自分たちが互いの同一のコピーであると気づいた場合、両者が協力することを選択することを示しています。なぜでしょうか？ なぜなら、もし「私」が協力することを選べば、「私のコピー（相手のエージェント）」もまた協力することを選ぶと分かっているからです。なぜなら、私たちは全く同じことを考えているからです。相互の協力は、相互の裏切りよりも両者に高い報酬をもたらします。論文は、これらのエージェントが数学的にこの協力状態に到達できることを証明しており、これは従来の「デカップル」されたエージェントには決してできなかったことです。
解決策：MUPIと「反射的オラクル」
この論文は単に議論しているだけではありません。それを実現するための数学的な仕組みを構築しています。彼らはこれを「MUPI（Embedded Universal Predictive Intelligence）」と呼んでいます。
これを実現するためには、厄介なパズルを解く必要がありました。つまり、無限ループに陥ることなく、自分自身を予測できるAIをどのように構築するかという問題です。自分のソースコードを出力しようとするコンピュータプログラムを想像してみてください。もしプログラムが、書き込みを行っている最中に自分のコードを読み取ろうとすれば、混乱してしまうかもしれません。
著者たちは、「反射的オラクル（Reflective Oracle）」と呼ばれる巧妙な数学的ツールを使用しています。これは、鏡を見ている自分自身が、さらに鏡を見ている自分を映し出している様子を、画像がぼやけたり無限になったりすることなく見せてくれる、魔法の鏡のようなものです。このツールにより、AIは同じ推論ツールを使用している他のエージェントについて推論することができ、事実上の「無限再帰」の問題を解決します。
彼らは、このフレームワークを使用すれば、エージェントがいずれ互いを完璧に予測できるようになることを証明しています。彼らはこれを「無限次心の理論（infinite-order theory of mind）」の達成と呼んでいます。これは、エージェントがようやく「私は、あなたが、私が、と考えていると、考えていると……」というループを脱し、「私たちは共に賢く、共に似ており、ゆえに共に最適な結果を選択する」と言えるようになる状態です。
これが意味すること
この論文は、AIに対する考え方を、分離された観測者から、埋め込まれた参加者へと変えることで、機械が協力するための新しい方法を解き放つことができることを示しています。彼らは、エージェントが自分自身を世界の一部としてモデル化できれば、たとえ戦いたくなるような困難な状況であっても、自然に協力する方法を見つけ出せることを数学的に証明しました。
著者たちは、これがあくまで理論的なフレームワークであることを慎重に述べています。彼らは、このようなエージェントが「存在可能」であり、「協力的な解決策に収束できる」ことを数学的に証明しました。まだ現実世界でこれを行うロボットを構築したわけではありませんが、その設計図（ブループリント）を示したのです。彼らは、多くのAIが人間や他のAIと相互作用する必要がある時代へと移行する中で、これこそがAIの未来を考える上で正しい方法であると主張しています。社会的な知性の鍵は、単にAIに多くのデータを与えることではなく、AIに「自分自身も予測しようとしている物語の一部である」ということを教えることにあるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。