人工知能システムは、単に予測を行うだけでなく、その予測に対して自身がどの程度確信を持っているかを理解することをますます求められるようになっています。この「不確実性を認識する」コンピューティングへの移行は、ベイズ推論と呼ばれる数学的手法に依存しています。そこでは、システムはあらゆる知識を単一の固定された事実としてではなく、可能性の範囲として扱います。これを機能させるためには、これらの範囲からランダムなサンプルを絶えず生成して、異なる結果をテストしなければなりません。これらを標準的なコンピュータチップ上で効率的に行うことは、膨大な量のメモリとエネルギーを必要とするため困難です。研究者たちは、計算に必要なランダム性を自然に模倣する方法で情報を保存できる、メモリスタと呼ばれる微小な電子部品を用いることで、この問題を解決することを長年期待してきました。しかし、これらの部品の物理的な実態が障壁となっていました。それらが持つランディネス（無作為性）そのものが、しば々に精密な科学的作業に利用するにはあまりにも混沌としており、予測不能であったのです。
研究チームは、これらの部品をこの特定のタスクのために活用する新しい方法、つまりエラーの源を信頼できるツールへと効果的に変える方法を実証しました。彼らは、標準的なシリコンチップに統合された酸化ハフニウム製のメモリスタを用いたカスタム回路を構築しました。これらの微小なデバイスに完璧なランダム性を自律的に生成させようとする代わりに、チームは情報の保存とランダム性の生成を分離するシステムを設計しました。彼らのセットアップでは、3つの微小なデバイスがグループ化され、単一の知識を表します。そのうち2つは知識の平均値を保持し、3つ目のデバイスは、その値がどの程度変動するかを制御するコントロールノブとして機能します。決定的なのは、実際のランダムな変動はデバイス自体から発生するのではないということです。代わりに、回路は外部からの安定した制御されたホワイトノイズのストリームをシステムに注入します。3番目のメモリスタは、この外部ノイズがどの程度通過することを許可するかを単に調整し、実質的に不確実性のレベルをチューニングするのです。
研究者たちはまず、メモリスタが単独で必要なランダム性を生成できるかどうかをテストしました。その結果、デバイス内部の自然な変動は一貫性がなく、時間の経過とともに変化するパターンに従っており、システムの要求する精密なサンプリングには不適切であることがわかりました。ノイズはデバイスの特定の履歴に依存しすぎており、コンポーネントごとに激しく変動していました。外部ノイズ源を導入することで、彼らはこれらの制限を完全に回避しました。外部ノイズは、毎回同じクリーンで安定したランダム性のストリームを提供し、メモリスタは単に精密なボリュームコントロールとして機能しました。この分離により、チームは平均値と不確実性の量を独立してプログラムすることができました。これは、このようなコンパクトなハードウェアでは以前は困難であった成果です。
このハードウェアを実世界のタスクに有用なものにするために、チームはチップの物理的な癖を考慮した特別な学習方法を開発しました。彼らは、個々のメモリスタ間に避けられない小さな差異を、修正すべきエラーとしてではなく、システムの挙動の一部として既知のものとして扱いました。これらの物理的な変動を含むモデルを構築することで、実際のハードウェアの制約内で完璧に動作するようにニューラルネットワークを訓練することができました。標準的な医療データベースを用いた心拍リズムの分類タスクでこのシステムをテストしたところ、有望な結果が得られました。この新しいアプローチは、不確実性を表すために大量のデバイスに依存していた従来の手法よりも大幅に少ないメモリを使用しました。また、予測の精度と、その予測に対してシステムがどの程度の自信を持っているかを推定する能力を、見事に維持することに成功しました。この研究は、複雑で不確実性を認識した推論を実行できる、コンパクトでエネルギー効率の高いチップの構築に向けた明確な道筋を示しており、人間の脳と同じようなニュアンスを持って思考できるハードウェアへの歩みを一歩進めるものです。
技術要約：階層的ベイズ時間サンプリングのための変動性考慮型メモリスタ回路
問題提起
ベイズニューラルネットワーク（BNN）には、人工知能における不確実性を定量化するために、確率的なシナプス重みを保存およびサンプリング可能なハードウェアが必要である。デバイス間（D2D）のばらつきを利用して不確実性を直接表現するポピュレーションコーディングは、同一のデバイス群を用いる手法であるが、各シナプス重みに対してサンプル数と同数のデバイスを必要とするため、膨大なメモリオーバーヘッドが生じる。一方、単一のビットセルを繰り返し用いて、固有のサイクル間（C2C）または読み取り間（R2R）の変動からサンプルを生成する時間サンプリングは、よりコンパクトな代替案となる。しかし、メモリスタの固有のゆらぎは、堅牢なベイズ推論に必要な制御性、再現性、およびスペクトル特性（具体的には、ホワイトノイズではなくフリッカーノイズのような特性を持つことが多い）を欠いていることが多く、ハードウェアで時間サンプリングを実現することは困難である。さらに、既存のアプローチは、デバイスの耐久性を損なう繰り返しの書き込みサイクルなしに、分布の平均と標準偏差を独立して制御することに苦慮している。
手法
著者らは、分布パラメータの非揮発的な保存と、時間的な確率性の生成を分離した、メモリスタベースの時間コーディング回路を提案している。その手法は、主に以下の3つのコンポーネネントで構成される。
回路アーキテクチャ:
- システムは、130 nm CMOS技術のバックエンド・オブ・ザ・ライン（BEOL）で製造された、TiN/Ti/HfOx/TiNスタックを用いた2048メモリスタ・デモンストレーター（64×32アレイ）を利用している。
- 各シナプス重みは、3つのメモリスタ・デバイスを用いてエンコードされる。すなわち、確率成分（Gσ）を制御するための1つと、正および負の平均寄与（Gμ+ および Gμ−）をエンコードするための2つの差動デバイスである。
- 固有のデバイスノイズに依存する代わりに、回路はσブランチに外部生成されたホワイトノイズ源を注入する。メモリスタのコンダクタンスGσは、可変ゲインとして機能し、有効なRCカットオフ周波数、ひいては出力に到達するゆらぎの振幅を制御する。
- 平均（μ）は、2つの差動ブランチ間の電流の差から導出され、標準偏差（σ）は、ノイズ注入ブランチのゆらぎから導出される。出力は電荷トランスインピーダンス増幅器（CTIA）によって処理され、ガウス分布 N(μ,σ2) に従う時間サンプルを生成する。
固有の変動性の特性評価:
- 著者らは、固有のメモリスタの変動性（D2D、C2C、およびR2R）が時間サンプリングには不十分であることを実験的に示した。R2Rの変動性は小さすぎ、デバイス間で分散が大きく、かつプログラムされたコンダクタンスの状態に依存しないことが判明した。
- スペクトル解析により、固有のR2Rゆらぎは、要求されるホワイトノイズスペクトル（β=0）ではなく、フリッカーノイズに特徴的な 1/fβ 依存性（β≈1）に従うことが明らかになった。
ハードウェア認識型学習（階層的変分モデル）:
- μ および σ をエンコードするメモリスタにおける残存するD2D変動に対処するため、著者らは階層的確率モデルを開発した。彼らは、実験的に実現された重みを決定論的な値としてではなく、平均ベクトル M と共分散行列 Σ で定義される二変量ガウス分布としての「確率的楕円状態」として扱う。
- 学習は**階別的変分モデル（HVM）**を用いて行われる。連続的な隠れ楕円分布（ϵH）が最適化変数として機能する。各学習ステップにおいて、この連続的な状態は、チップの測定値から得られた離散コードブックに基づき、最も近い実験的に実現可能な量子化状態（ϵQ）へと投影される。
- ベイズ損失および勾配は量子化状態 ϵQ 上で評価され、これによりネットワークがハードウェアの物理的制約と不確実性の統計量に対して直接学習することを保証する。
主な結果
- 制御された確率性: 提案されたアーキテクチャは、外部ホワイトノイズを注入した際に、メモリスタのコンダクタンス Gσ と出力標準偏差 σ(Vout) の間に線形かつプログラム可能な関係を確立することに成功した。注入がない場合、その関係は非単調で信頼性が低い。
- スペクトルの純度: 外部注入時の出力ノイズスペクトルは約フラット（β=0）であり、ホワイトノイズの生成を確認した。一方、平均ブランチの固有ノイズは無視できるレベルに留まっている。
- 性能: MIT-BIH不整脈分類タスクにおいて、提案手法は、等価なポピュレーションコーディング実装と比較して、2.7倍のメモリフットプリント削減を達成した。
- 精度と不確実性: ハードウェア認識型学習は、ベイズ推論の精度と不確実性の推定を維持する。本システムは、有限数の時間サンプルがあれば、分類および分布外（OOD）検出性能の大部分を回収できることを示しており、サンプリングコストと精度の間の制御可能なトレードオフを提供する。
意義と主張
本論文は、分布パラメータの保持と時間的なランダム性の生成を分離することで、メモリスタ・デバイスを用いたコンパクトなベイズ推論への道筋を確立したと主張している。その意義は以下の点にある：
- スケーラビリティ: 重みごとに単一のセルを使用し（パラメータ制御のために3つのデバイスを使用）、時間サンプリングを用いることで、ポピュレーションコーディングによるメモリオーバーヘッドを回避している。
- 堅牢性: デバイスの変動性を明示的にモデル化し、外部ノイズ源を使用することで、分布を形成するための繰り返しの書き込みサイクルを必要とせず、ハードウェアの非理想的な特性下でもシステムが堅牢であることを保証している。
- ハードウェア・ソフトウェアの協調設計: 実験的に測定されたデバイス統計を（HVMを介して）学習ループに統合することで、ネットワークがエラーを事後的に補償するのではなく、製造されたハードウェア固有の確率的性質に直接適応することを可能にしている。
著者らは、このアーキテクチャにより、非揮発性メモリのフットプリントを増やすことなく、時間の経過とともに確率的サンプルの数を増やすことが可能となり、スケーラブルなベイズハードウェアにおける主要なボトルネックを解決できると結論付けている。
毎週最高の 電気工学 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録