In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models

人間の脳は学習の達人です。ギターのコードの弾き方のような新しいスキルを習得しても、自転車の乗り方を即座に忘れてしまうことはありません。このように、生涯を通じて知識を蓄積していく能力を「継続学習（continual learning）」と呼びます。対照的に、ニューラルネットワークと呼ばれる数学的な結合の層から構築された人工知能システムは、この同じ課題に対して深刻な苦戦を強いられます。これらの機械が新しい情報セットを学習すると、しばに以前に知っていたことを上書きし、消去してしまうことがよくあります。「破滅的忘却（catastrophic forgetting）」として知られるこの現象は、機械の内部設定が新しいデータに適合するように調整される際、古いデータに必要なパターンを誤って破壊してしまうために起こります。ロボットやソフトウェアが真に持続可能で適応可能なものになるためには、過去を失うことなく継続的に学習するという、この問題を解決しなければなりません。

この問題をどのように解決するかを理解するために、研究者たちはしばしば生物学に目を向けます。哺乳類の脳では、海馬と呼ばれる構造が新しい記憶の一時的な保持領域として機能し、一方で新皮質が長期的な知識を保存します。毎晩、睡眠中に脳は最近の経験を再生し、それらを一時的な保持領域から長期保存領域へと転送します。さらに、脳は二つの半球に分かれており、それぞれが異なる働きをすることがよくあります。片方の側は柔軟性を持って新しい未知の情報を取り扱う傾向があり、もう片方は確立されたルーチンを管理する安定性を担います。モナッシュ大学とCSIROロボティクスの研究チームは、これらの生物学的原理を取り入れ、人工知能が忘却することを防ぐための新しいコンピュータ・アーキテクチャを構築しました。

研究者たちは、4MAS（4 Module Awake/Sleep）と呼ぶシステムを作成しました。これは、単一のモノリシックな脳ではなく、生物学的な脳の左半球と右半球を模倣した、二つの明確な半分、すなわち「半球」を持つ構造になっています。各半球には独自のメモリシステムが含まれています。それは、見たものの直近の例をいくつか保持する短期バッファと、データの全体的な形状を学習する長期ジェネレーターです。このシステムは、覚醒（awake）と睡眠（sleep）を交互に繰り返すサイクルで動作します。覚醒フェーズの間、システムは実データを用いて新しいタスクを学習すると同時に、短期メモリからの例を復習します。睡眠フェーズの間は、新しいデータは導入されません。代わりに、二つの半球が互いに通信します。彼らは学習した内容の合成例を生成し、それらを用いて互いに微調整を行い、古い知識を強化しながら新しい知識を統合していきます。

この設計における主要な革新は、二つの半球が同一ではないという点です。研究者たちは、二つの半球に異なる「性格」を持たせるようプログラムしました。一方の半球は、すでに知っていることを保持することに焦点を当てた、安定していて保守的なものに調整されています。もう一方は、新しいパターンに適応することに意欲的な、可塑性が高く探索的なものに調整されています。この役割分担により、システムは新しいことを学ぶ必要性と、古いことを覚えている必要性のバランスを取ることができます。研究者たちは、このアーキテクチャを、以前見ていなかったカテゴリーの画像を次々と学習しなければならない、いくつかの標準的な画像認識チャレンジを用いてテストしました。

結果は驚くべきものでした。手書き数字の単純なデータセットにおいて、システムは、すべてのデータを一度に見たモデルの性能にほぼ匹敵する98.3パーセントの精度を達成しました。より複雑な衣類の画像データセットでは、84.9パーセントの精度に達し、忘却を防ごうとする他の手法を大幅に上回りました。100種類のオブジェクトカテゴリーを含む非常に困難なデータセットにおいても、システムは継続的に学習し、29.29パーセントの精度を達成し、これまでの最高の手法よりも優れた結果を出しました。この研究は、システムが単に新しいデータを暗記したのではなく、研究者が「表現ドリフト（representational than representational drift）」と呼ぶ指標において、古いデータをほとんど失うことなく保持していたことを示しました。過去を保持しながら未来を学ぶシステムの能力は、睡眠フェーズと直接結びついていました。研究者たちが睡眠サイクルを取り除くと、システムの性能は低下し、二つの半球は効果的に連携できなくなりました。

実験からは、二つの半球の具体的な差異も極めて重要であることが明らかになりました。両方の側を同一にした場合、システムの性能は低下しました。片方が柔軟で、もう片方が安定している場合にのみ、システムは成功したのです。これは、専門化された部分が異なる仕事を行うことが、単一の均一な部分がすべてをやろうとするよりも効果的であることを示唆しています。研究者たちは、「睡眠」時の学習率を非常に低く保つことで、劇的な変化ではなく緩やかな調整が可能になり、システムが最もよく機能することを発見しました。また、最近の例を保存するための小さなメモリが必要であるものの、そのメモリがある一定の大きさに達すると、それ以上大きくしてもあまり効果がないことも発見しました。

この研究は、人工知能の問題を永遠に解決したと主張するものでも、機械がすぐに人間のように夢を見ることを示唆するものでもありません。使用されたモデルは比較的単純であり、特定の制御されたデータセットで機能したものです。しかし、その知見は明確な進むべき道を示しています。メモリのタスクを二つの専門化された側へと分割し、知識を定着させるための休息期間を用いるという生物学的な戦略を模倣することで、エンジニアは生物のように学習する機械を構築できるのです。この研究は、人工知能を長年悩ませてきた「安定性と可塑性のジレンマ（stability-plasticity dilemma）」が、単一のシステムにすべてを行わせるのではなく、仕事と休息のサイクルを通じて互いに支え合う専門化されたエージェントのチームを作ることで、管理できるものであることを証明しています。