Contextual encoding of states and indices for episodic memories make goal-directed action selection flexible, transparent, and efficient

新しい問題に直面したとき、私たちの脳は単に最適な解を見つけるために数字を計算するわけではありません。代わりに、過去へと遡り、次の行動を導くための類似した状況の具体的な記憶を引き出します。関連する経験を思い出し、それに基づいて自身の選択を説明できるこの能力は、人間の知性の象徴です。数十年にわたり、科学者たちはこの柔軟性を模倣する人工システムの構築を試みてきましたが、成功している手法の多くは、解釈が困難で膨大な計算能力を必要とする複雑な数学的形式の中に、大量のデータを蓄積することに依存しています。これらのシステムは、ゲームのルールが変わったり、新しい目標が現れたりすると、ゼロから学習し直さなければならないことがよくあります。研究者たちの課題は、素早く学習し、新しい制約に即座に適応でき、かつ、その決定を平易な言葉で説明できるシステムを、小型でエネルギー効率の高いデバイス上で実現することでした。

グラス大学（Graz University of Technology）の研究チームは、「エピソード記憶認知マップ（Episodic Cognitive Map：ECM）」と呼ばれる新しいアプローチを開発しました。これは、異なる道を歩むものです。知識のすべてを抽象的な数値に圧縮しようとするのではなく、このシステムは、経験の詳細な日記を保持する人間の精神のように機能します。このアルゴリズムは、ランダムウォークを行うことで環境を探索し、自身が行ったあらゆるステップを個別の記憶として記録します。このシステムのユニークな点は、記憶の保存と使用方法にあります。単にどこに行ったかを覚えるだけでなく、訪れたすべての場所を、それがどの旅の一部であったかという特定の行程に関連付けて記録します。もしシステムが地点Aから地点Bへ移動する必要がある場合、考えられるすべての経路の距離や価値を計算するのではなく、自身の過去の旅のライブラリを参照し、「現在の場所と目的地を両方含んでいた過去の旅はどれか？」と問いかけます。その問いへの答えが、次にとるべき最善の一歩を直接的に指し示すのです。

研究者たちは、数百の場所を含む地図や、行動の結果が不確実な状況など、複雑な意思決定タスクを模したシミュレーション環境でこのアイデアをテストしました。これらのテストにおいて、ECMアルゴリズムは驚異的な効率性を証明しました。システムは、より複雑な人工知能の手法に匹敵する速度と正確さで、あらゆる出発点からあらゆるゴールへのナビゲーションを学習しました。極めて重要なのは、これがメモリセルと意思決定ニューロンの間の単純なバイナリ（二値）接続のみを使用して達成されたことです。これは、システムが重い数学的計算を行ったり、高精度な数値を保持したりする必要がないことを意味します。システムは、目標が変わっても再学習することなく、新しい環境を学習し、ナビゲーション問題を解決し、それを支えた具体的な過去の経験を提示することで、自身の選択を説明することができます。

このシステムの強みは、即座に適応する能力にあります。多くの人工知能モデルでは、目標を変更したり新しい安全規則を追加したりする際に、システム全体の再学習が必要となり、これには数時間から数日かかることがあります。しかし、ECMアルゴリズムは、一瞬のうちに行動を調整できます。もし経路が塞がれたり、新しい安全制約が導入されたりしても、システムは単にメモリライブラリをフィルタリングして、塞がれた経路や危険なエリアを含む記憶を無視するようにします。そして、残された有効な記憶に基づいて新しいルートを選択します。この柔軟性により、特定の通りが閉鎖されている都市のナビゲーションや、リスクの高いエリアの回避といった複雑なシナリオを、地図を学び直すことなく扱うことができます。

この仕組みを理解するために、システムが距離ではなく「つながり」のメンタルマップを構築していると考えてみてください。システムが新しい領域を探索するとき、自身が行ったあらゆる旅の記録を作成します。この領域の各場所には、その場所が登場した特定の旅がタグ付けされます。システムが目標に向かって移動する必要があるとき、その目標に関連付けられた記憶が活性化されます。すると、これらの記憶によって、過去の旅においてその目標と頻繁に共に見られた場所が照らし出されます。システムは、単に目標とのつながりが最も強い場所へと導く行動を選択します。このプロセスは非常に直接的であるため、複雑な計算をバイパスできます。システムは、起こりうる将来のすべての状態の価値を知る必要はなく、現在と望ましい未来をどのように結びつけるかという過去の経験を知るだけでよいのです。

研究者たちはまた、このシステムが時間の経過とともにどのように自己改善できるかについても調査しました。彼らは、古くて有用性の低い記憶を、成功した計画から得られた新しい記憶で時折置き換えることにより、メモリサイズを増やすことなく内部マップを洗練できることを見出しました。「再帰的自己改善」として知られるこのプロセスにより、アルゴリズムは経験を積むにつれて、より短い経路を見つけるのが得意になります。環境が予測不可能で、行動が予期せぬ結果をもたらす場合でも、システムは信頼できるルートを見つける能力を維持しました。これは、記憶がどれほど成功に結びついたかという頻度に基づいて重み付けを行うことで、リスクと報酬のバランスをとる戦略を学習した結果です。

この研究の最も重要な発見の一つは、システムが完全な透明性を持って自身の決定を説明できることです。すべての選択は特定の過去の経験に基づいているため、システムはどの記憶が特定の行動につながったのかを正確に示すことができます。もし人間が「なぜその経路を選んだのか」と問えば、システムは、その経路を有望に見せた履歴の中の具体的な旅を指し示すことができます。これは、複雑な数学の層の中に意思決定の理由が隠されてしまい、しばしば「ブラックボックス」として機能する現代の多くの人工知能システムとは対照的です。ECMアルゴリズムは、効果的であるだけでなく、理解可能で信頼できる知的な機械を構築する方法を提示しています。

この研究の意義は、ナビゲーションの枠組みを超えて広がっています。ECMアルゴリズムの原理は、軽量でエネルギー効率が高く、センサーやロボットのような小型デバイスで動作可能な人工知能を構築するための新しい方法を示唆しています。このシステムは複雑な浮動小数点演算ではなく単純なバイナリ接続に依存しているため、消費電力が非常に少ないハードウェアに実装することが可能です。これは、強力な中央コンピュータへの接続に頼らずに、高速でインテリジェントな意思決定を行う必要があるエッジコンピューティングにとって理想的な候補となります。新しい文脈に適応し、その理由を説明できる能力は、安全性と信頼性が極めて重要となるアプリケーションにおいて特に価値があります。

研究者たちは、現在の研究が、状態が明確に定義されラベル付けされている環境に焦点を当てていることを認めています。彼らは、システムが周囲の状況を理解するために、画像や音などの生の感覚データを解釈しなければならない、より複雑な状況へとこのアプローチを拡張することを計画しています。また、現在の視界が、自分がどこにいるかを正確に知るための十分な情報を提供していない場合に、システムがどのように対処するかについても探求することを目指しています。こうした将来の課題はあるものの、現在の成果は、単純なメモリベースのアプローチが、はるかに洗細緻な手法に匹敵するパフォーマンスレベルを達成できることを示しています。人間の脳がエピソード記憶を利用する方法から着想を得ることで、研究者たちは、過去と現在との間の最も単純で直接的なつながりに頼ることこそが、時に最も強力な解決策となることを証明したのです。