Neural information processing and time-series prediction with only two dynamical memristors

技術要約：わずか2つの動的メンリスタによる神経情報処理と時系列予測

問題提起
メンリスタベースの人工ニューラルネットワーク（ANN）は、低エネルギーかつ高速なコンピューティングの可能性において広く認識されているが、現在の実装の多くは、クロスバーアレイ内における静的な抵抗状態のマルチレベル・プログラマビリティに依存している。このアプローチでは、学習中のシナプス重みの再帰的なチューニングのために、多大なソフトウェア・オーバーヘッドを必要とすることが多い。対照的に、メンリスタの固有の「動的」特性（具体的には、抵抗スイッチング速度の指数関数的な電圧依存性に由来する適応応答時間）は、依然として十分に活用されていない。揮発性メンリスタを用いた短期的メモリなどの既存の動的アプローチでは、高い計算効率を実現するために、大規模なリザーバ（例：90個のデバイスのアレイ）を必要とすることが多く、これがフットプリントとエネルギー効率を制限している。課題は、最小限のハードウェア構成要素で複雑な時間的タスクを実行するために、これらの動的特性を根本的に活用する情報処理スキームを開発することにある。

手法
著者らは、外部バイアスを通じてメンリスタのスイッチングのダイナミクスを調整し、時間的信号処理を行うスキームを提案し、実験的に検証した。核心となるメカニズムは、「電圧-時間ジレンマ」に基づいている。ここで、抵抗スイッチングの時定数（$\tau$）は、バイアス電圧に対して指数関数的に依存する。

1. 制御された忘却とメモリ： 本システムは、正のプログラミング・パルス（「学習」または低抵抗状態を誘導）と、一定の負のオフセット電圧（「忘却」または高抵抗状態を誘導）の組み合わせによって駆動される、非揮発性の$Ta_2O_5$メンリスタを利用している。負のオフセットの大きさを調整することで、メモリの時定数を制御できる。強い負のオフセットは、揮発的な短期メモリ（急速な忘却）を生み出し、弱いオフセットは、特定の信号閾値が満たされたときに、システムが長期メモリ状態（緩やかな忘却）に入ることを可能にする。
2. 神経スパイク検出回路： 完全な人工ニューラル回路を作成するために、$Ta_2O_5$検出器は揮発性の$VO_2$モット・メンリスタ発振器と結合されている。
   • $Ta_2O_5$素子は入力ストリームを分析する。特定のパターン（例：ノイズに埋もれた神経スパイク）を検出すると、低抵抗状態（LRS）へと遷移する。
   • この抵抗変化は、直列抵抗の両端の電圧を変化させ、それが$VO_2$発振器への入力となる。
   • 発振器は周期的な電圧スパイク（トーニック・スパイク）を発生させる。
   • グローバルなフィードバックループが、これらの出力スパイクを反転した極性で$Ta_2O_5$検出器の入力へとルーティングし、次の検出イベントに向けて回路を自律的に準備させるための即時リセット（高抵抗状態への遷移）をトリガーする。
3. 時系列予測： 予測タスクにおいて、著者らはわずか2つの非揮発性$Ta_2O_5$メンリスタからなる最小限のアーキテクチャを利用している。各メンリスタには、わずかに異なる負のオフセット電圧が印加され、これにより異なる、調整可能なメモリ時定数（$\tau_1$および$\tau_2$）が付与される。入力信号は両方に供給され、それぞれの出力電流（抵抗器の両端の電圧降下として読み取られる）が、ターゲットとなる動的システムの出力を予測するためにソフトウェア上で線形結合される。

主な貢献

• ダイナミクスの活用： 本論文は、静的な抵抗状態のみに頼るのではなく、スイッチング速度の指数関数的な電圧依存性を利用することで、複雑な時間的処理が可能であることを示している。
• ミニマリストなニューラル回路： 著者らは、1つの非揮発性と1つの揮発性メンリスタのみを使用して、完全に自律的な人工ニューラル回路を実現した。この回路は、高ノイズ環境下で神経スパイクのパターンを検出し、単一の出力パルスを発し、外部の介入なしに自律的にリセットすることに成功している。
• 最小限のハードウェアによる高精度予測： 本研究は、ダイナミカル・レイヤーがわずか2つの非揮発性メンリスタで構成されているにもかかわらず、より大規模なリザーバ・コンピューティング・システムに匹敵する精度で時系列予測を実行できることを証明している。
• チューナビリティ（調整可能性）： 本システムは、負のオフセット電圧を介して「忘却率」を調整する方法を導入しており、物理的なデバイス構造を変更することなく、特定の時間的パターン（短期メモリ vs 長期メモリ）に合わせてハードウェアをカスタマイズすることを可能にしている。

結果

• 信号検出： 実験結果は、$Ta_2O_5$検出器が閾値下のパルスと閾値上のパルスを区別できることを示している。ノイズの多い環境（0.2 V rms ノイズ）において、本回路は単一のメンリスタを用いて、神経スパイク（0.4 V 振幅）に対して99%の検出精度を達成した。完全なニューロ・トランスシーバー（フィードバック付き）に拡張した場合、精度は**98%**と高い水準を維持した。回路は、高振幅で短時間のノイズスパイクを無視しつつ、より長時間の神経スパイクには反応することに成功しており、これは単純な電圧閾値回路が通常失敗するタスクである。
• 時系列予測： 2メンリスタ・システムは、NARMA2ベンチマーク（非線形動的システム）を用いてテストされた。オフセット電圧と読み出し重みを最適化することで、システムは訓練セットで$3.09 \times 10^{-3}$、検証セットで$3.03 \times 10^{-3}$の正規化平均二乗誤差（NMSE）を達成した。この性能は、90個の揮発性メンリスタのリザーバを利用した先行研究の性能に匹敵するものであり、それにもかかわらず、本研究ではわずか2つの非揮発性ユニットのみを使用している。

意義
本論文は、これらの結果が「非常に少数のコンポーネントを持つ単純なメンリスタ回路」を用いて、高複雑度の時間的信号処理タスクを解決できる可能性を示していると主張している。メンリスタの豊かな動的特性（具体的には、短期メモリと長期メモリ間の調整可能な遷移）を柔軟に活用することで、著者らは、非常にコンパクトでエネルギー効率の高いエッジコンピューティング用のビルディングブロックへの道筋を提示している。このアプローチは、大規模な静的ネットワークの訓練や、固定されたダイナミクスを持つ大規模なリザーバの管理に関連する、エネルギー消費の激しいソフトウェア・オーバーヘッドを回避するものである。著者らは、本スキームがリアルタイムのハードウェア動作を可能にし、任意の数の入力チャンネルへと拡張可能であり、システムダイナミクスがハードウェアにエンコードされつつもバイアス電圧によって調整可能な、時間的解析のための汎用性の高いプラットフォームを提供することを強調している。