A bio-inspired hybrid lifelong learning based on self-selective memristors

技術要約：自己選択型メンリスタに基づく生物学的着想によるハイブリッド生涯学習システム

問題提起
動的かつオープンエンドな環境で作動する人工知能システムには、以前のスキルを保持しながら知識を継続的に獲得する能力、すなわち「生涯学習（Lifelong Learning）」能力が求められる。現在のAIモデルは、「安定性と可塑性のジレンマ」に直面している。これは、新しいタスクを学習すると既存の表現が上書きされ、壊滅的忘却（Catastrophic Forgetting）を招く現象である。既存の解決策は、一般に二つの相反するカテゴリーに分かれる。一つは適応性を犠牲にして知識を保護する正則化ベースの手法であり、もう一つは柔軟性を促進するものの学習された表現の不安定化を招く恐れのある動的アーキテクチャやメモリ再生手法である。さらに、これらのソフトウェア中心のアプローチは、多大な計算オーバーヘッドとメモリコストを強いる。複雑な生物学的着想に基づくアルゴリズムと、それを実行するためのハードウェアとの間には決定的な乖離が存在する。ほとんどの生物学的モデルは、個別の生物学的メカニズム（例：能動的な忘却、あるいはメタ可塑性）を孤立して採用しており、それらの相乗的な統合を実現していない。また、メモリとプロセッシングを分離したフォン・ノイマン型アーキテクチャに依存しているため、エッジアプリケーションにおいて過大なエネルギー消費とレイテンシの問題を引き起こしている。

手法
著者らは、補完的な神経生物学的原理をハードウェアネイティブな学習システムへと統合することにより、この溝を埋めるハードウェア・アルゴリズムの協調設計（Co-design）パラダイムを提案する。

1. アルゴリズム・フレームワーク (Hybrid Lifelong Learning - HLL):
   HLLモデルは、二つの異なる生物学的メカニズムを融合させている：

• ショウジョウバエに着想を得た動的能動的忘却 (Drosophila-inspired Dynamic Active Forgetting - DAF): ショウジョウバエのキノコ体（Mushroom Body）を模倣し、リソース配分を最適化し可塑性を高めるために冗長なシナプスを剪定する。これは、「能動的忘却率」($\alpha$) を伴い、弱く増強された入力は急速に減衰する一方で、強く増強された入力は保持される。
• ヒトの脳 (Human Brain - HB) に着想を得たメタ可塑性と固定化: ヒトの脳のメカニズムから着想を得たこのコンポーネントは、固定化された知識を保護し、前方転移（Forward Transfer）を促進する。タスク固有の期待値や誤差に基づいてシナプス可塑性を変調するために、グローバルなゲインパラメータ ($\beta$) を利用する。これは、ドーパミンによるメタ可塑性に類似している。

2. ハードウェア実装 (Self-Selective Memristors - SSM):
   これらのダイナミクスを物理的に実現するために、著者らはITO/InOx/GaOx/Pt自己選択型メンリスタを用いた1-kb (32×32) クロスバーアレイを製作した。

• デバイス物理: この二層ヘテロ構造は、整流障壁として機能する低酸素空孔濃度（7.6%）のGaOx層と、抵抗スイッチングを促進する高酸素空孔濃度（65.33%）のInOx層を備えている。この非対称性により、高い自己整流性（SR > 10⁶）と非線形性（NL > 10⁶）が得られ、外部セレクタを必要とせず、クロストークを防止する。
• 固有のダイナミクス: デバイスは、能動的忘却をエミュレートする調整可能なコンダクタンス減衰を示す。減衰率は刺激依存的であり、プログラム可能な保持比率を可能にする。また、デバイスはSTDP、PPH、PPDといった不可欠なシナプス機能をサポートしている。
• システムアーキテクチャ: システムは5つの並列なシナプス・プロセッシング・コア（SPC）を統合している。各SPCは、パルス振幅と周波数を介して、異なる調整可能な重み更新ダイナミクス（可塑性と安定性の勾配）を持つように構成されている。SPC1は高い可塑性（急速な適応、忘却率 ~92%）に設定され、SPC5は高い安定性（知識保持、忘却率 ~37%）に設定されている。

3. 協調設計戦略:
   システムは、すべての5つのコアが並列にインカミング・タスクを処理する分散型プロセッシング・アーキテクチャを通じて動作する。可塑性と安定性のプロファイルが現在のタスクに最も適合するコアが、支配的なアトラクターとなる。ハードウェア互換のゲインパラメータ ($\beta$) が、アルゴリズムの規則とデバイス物理を橋渡しし、パルスパラメータを調整することで、ニューロモジュレーションとスパースゲーティングを実現する。

主な貢献

• 相乗的な生物学的統合: 本研究は、ショウジョウバエ由来の能動的忘却とヒト由来のメタ可塑性を単一の統一された学習モデルへと統合することで、孤立した生物学的メカニズムを超越している。
• ハードウェアネイティブなエミュレーション: SSMデバイスは、安定性と可塑性の連続体を物理的に具現化する。デバイス固有のコンダクタンス減衰と自己整流特性が、ソフトウェアベースの正則化や外部セレクタに頼ることなく、学習規則（忘れることと固定化）を直接実行する。
• スケーラブルなアーキテクチャ: 高い自己選択性を持つSSMがスニークパス電流を抑制することで、1/3Vスキームの下で最大17.1 Tbに達するテラビット規模のストレージ容量を実現している。
• 勾配的な可塑性・安定性連続体: 5つのコア・アーキテクチャは、急速な再構成可能性から長期保持に至るハードウェアネイティブな連続体を作成し、明示的なコア選択ロジックなしでの創発的な協調的タスク分割を可能にする。

結果
システムは、ハードウェアで校正されたシミュレーション（タイルレベルのハードウェアテストによって検証済み）を用い、20個の連続的なCIFAR派生タスク（S-CIFAR-100, R-CIFAR-100, R-CIFAR-10/100）を用いて評価された。

• 性能: システムは平均テスト精度68.5%を達成し、これはCPU（70%）およびGPU（70.3%）の実装に匹敵する数値であり、DAF単独のモデルを大幅に上回った。
• 効率性: 従来のCMOSアクセラレータと比較して、SSMベースのシステムは3.42倍の高速化と91倍のエネルギー効率向上を示した。
• 安定性と可塑性のバランス: システムは前方転移（FT）と後方転移（BWT）のバランスを成功裏に保った。最適な能動的忘却率 ($\alpha$) の範囲は約120%であることが判明した。これより低い値では転移が不十分となり、高い値では壊滅的な性能低下を招いた。
• 堅牢性: デバイス間（D2D）およびサイクル間（C2C）のばらつきにもかかわらず、性能を維持した。これは、堅牢な製造（LRSにおけるD2Dのばらつきは2.91%）によって最小化されている。
• ハードウェア検証: 1-kbアレイにおける読み出しエラーは±0.06%以内に抑えられ、タイルレベルの相対誤差は0.08%であり、高い計算忠実度が確認された。

意義
本論文は、生涯学習を効率的に展開するための、ハードウェアとアルゴリズムが統合されたスケーラブルな基盤を確立したと主張している。メンリスタの物理特性に直接埋め込まれたマルチメカニズムの相乗効果を通じて、安定性と可塑性のトレードオフを解決することで、本研究は複雑な生物学的着想アルゴリズムと実用的なハードウェア実装との間の長年の隔たりを埋めている。これは、ニューロモーフィックAIが、単なる受動的なメモリ基質を超えて、動的な環境において継続的かつリソース効率の高い適応が可能な、能動的で適応的なコンピューティング・プラットフォームへと進化できることを示している。著者らは、この協調設計パラダイムを、従来のフォン・ノイマン型アーキテクチャのようなエネルギーやレイテンシのペナルティを負うことなく、オープンエンドな現実世界のシナリオで効果的に動作できる自律システムへの重要なステップとして位置づけている。