Metaplasticity as adaptive gradient preconditioning for incremental learning

人間の脳は、継続的に学習するという驚くべき能力を備えています。子供は犬を認識することを学び、次に自転車の乗り方を学び、さらに新しい言語を学ぶことができますが、その間、一度も犬の識別方法を忘れることはありません。この新しい知識のシームレスな流れは、古い記憶を上書きすることはありません。対照的に、脳に触発された数学的モデルに基づき構築された人工知能システムは、まさにこの課題に対して深刻な苦戦を強いられています。これらのコンピュータプログラムが新しいタスクを学習する際、しば_た「破滅的忘却（catastrophic forgetting）」という現象に陥ることがよくあります。これは、新しい学習が古い学習を激しく消し去ってしまう現象です。システムは不安定になり、現在を把握しようとしながらも、過去を保持することができなくなります。科学者たちは、機械がいかに新しいことを学ぶための柔軟性を持ちつつ、すでに知っていることを保持するための安定性を備えるかという、この「安定性と可塑性のジレンマ（stability-plasticity dilemma）」を解決しようと長年模索してきました。

数十年にわたり、研究者たちは、追加のルールを加えたり、後で復習するために古いデータを保存したりすることで、脳の解決策を模倣しようとしてきました。しかし、これらのアプローチは、コンピュータがいつ一つのタスクが終わり、別のタスクが始まるのかを正確に知る必要があるか、あるいは過去の例を保存するために膨大な量のメモリを要求します。これらの要件は人工的なものであり、生物学的な知能が実際にどのように機能しているかを反映していません。シドニー大学の研究者による新しい研究は、異なる道筋を提案しています。コンピュータに古いデータを強制的に記憶させたり、タスク終了後に重要性を計算するために立ち止まらせたりするのではなく、生きているシナプスがするように、システムがリアルタイムで、瞬間ごとに自らの学習速度を調整すべきであると彼らは示唆しています。彼らはこの手法を「SynGAP」と呼び、学習プロセスを個別のステップの連続としてではなく、流れが自然に堤防の形を作る連続した川のように扱う手法としています。

核心となるアイデアは、「メタ可塑性（metaplasticity）」として知られる生物学的概念から引き出されています。脳において、シナプスは単にオン・オフを切り替える単純なスイッチではありません。それは「歴史」を持っています。シナプスの状態は、過去にどの程度使用されてきたかに基づいて変化し、それによって再び変化しやすくなったり、しにくくなったりします。これが「可塑性の可塑性」です。もしある接続が長い時間をかけて強化されてきたなら、脳はその記憶を守るために、それを変更することをより困難にします。もし接続が新しいか未使用であれば、それは柔軟なままです。研究者たちは、人工ニューラルネットワークもこの原理から恩恵を受けられることに気づきました。彼らの手法は、タスクが完了するまで待ってからネットワークのどの部分が重要かを判断するのではなく、ネットワークが自身の履歴を絶えず監視できるようにします。ネットワークの各部分が過去の学習にどれだけ貢献してきたかの移動平均を保持し、事実上、新しいデータが加わるたびに更新される「重要性の記憶」を生成するのです。

これを実践するために、チームは学習プロセスにおける動的なバルブとして機能するシステムを開発しました。コンピュータが新しいことを学ぼうとする際、パフォーマンスを向上させるために必要な標準的な調整を計算します。しかし、これらの調整が適用される前に、それらはフィルターを通過します。このフィルターは、各接続の履歴をチェックします。もしある接続が過去のタスクにおいて極めて重要であったなら、フィルターは変化を緩やかに抑制し、新しい学習が古い学習を破壊するのを防ぎます。もし接続が重要でないならば、フィルターは変化が自由に起こることを許可します。決定的なのは、これがコンピュータが現在どのようなタスクを行っているかを知る必要もなく、また過去の例の膨大なライブラリを振り返るために保存する必要もないということです。システムは単に前方へと流れ、すでに学んだことに基づいて自らの感度を調整していくのです。

研究者たちは、コンピュータが異なるカテゴリーの画像を次々と認識しなければならない、二つの挑戦的なベンチマークでこのアプローチをテストしました。一つのテストでは、システムは10個のグループに分けられた100種類の画像クラスを学習しなければなりませんでした。エラーが発生するたびに単純に最小化しようとする標準的な学習法では、最初のグループをほぼ完全に忘れてしまい、古いタスクに対する精度は10%未満に留まりました。古いデータを保存したり、学習プロセスに余分なペナルティを加えたりする手法はより優れた結果を示しましたが、それでも苦戦し、学んだことの半分以上を忘れてしまうことがよくありました。しかし、新しいSynGAP法は、著しく高い成功レベルを達成しました。古いタスクに対して約27%の平均精度を維持しており、これは標準的な正則化手法よりも4倍以上高く、古いデータを保存する方法よりも約10%高い数値です。また、確立されたそれらの手法と比較して、忘却の度合いを10%以上減少させました。

物体認識の連続的なストリームを含む二つ目のテストにおいても、結果は同様に強力でした。新しい手法は約68%の精度に達し、最高の標準的な学習ツールを約10パーセントポイント上回りました。おそらく最も重要なことは、システムが硬直化しなかったことです。過去の記憶を保護しすぎる手法は、コンピュータが新しいことを学ぶことを不可能にします。研究者たちは、彼らのアプローチが繊細なバランスを実現していることを見出しました。それは、過去を保護しながらも未来を凍結させないのです。システムは、古い知識の核となる構造を維持しながら、新しい情報に適応できる柔軟性を保ち続けました。

このアプローチの成功は、学習アップデートの性質をどのように変えるかにあるからです。伝統的な手法は、最終目標にペナルティを加えることで問題を解決しようとします。これは本質的にコンピュータに対し、「以前の状態から離れすぎるな」と命じるものです。これは学習経路を歪め、タスクの数が増えるにつれて葛藤を生み出します。対照的に、新しい手法は学習ステップそのものを修正します。それは幾何学的なガイドとして機能し、古い記憶を破壊する方向へとコンピュータを遠ざけつつ、干渉しない方向への自由な移動を許可します。これは、外部からの信号や保存された記憶によってではなく、データ自体の流れによって、連続的に行われます。研究者たちは、この生物学的プロセスを数学的に定式化することで、非常に少ない追加メモリで動作し、かつ堅牢で効率的なシステムを構築できることを実証しました。

このシステムは非常に効果的ですが、研究者たちは、あらゆる可能なシナリオに対して完璧な解決策ではないことも指摘しています。現在はネットワークの内部幾何学に関する簡略化された見解に依存しており、多くのケースではうまく機能しますが、極めて複雑な問題に対しては洗練が必要になる可能性があります。また、機能するために少量の保存されたデータを依然として必要としますが、これは従来の方法よりもはるかに少ない量です。こうした限界はあるものの、この研究は大きな前進を示しています。生物学的システムがいかにして安定性と変化の間の緊張を管理しているかを詳細に観察し、それらの原理を連続的なリアルタイムのプロセスへと翻訳することで、私たちは生きている精神のように学習する人工知能を構築できることを示しています。研究は、破滅的忘却を防ぐ鍵は、学習を止めることでも、過去を蓄え込むことでもなく、学習の履歴によって未来の学習のあり方そのものを形作ることにあると示唆しています。