Neural Langevin Machine: a local asymmetric learning rule can be creative

技術要約：ニューラル・ランジュバン・マシン (Neural Langevin Machine)

問題提起
変分オートエンコーダ（VAE）、敵対的生成ネットワーク（GAN）、拡散モデル（Diffusion Models）といった現在の人工ニューラルネットワークに基づく生成モデルは、生物学的妥当性と学習の複雑さに関して重大な課題に直面している。具体的には、以下の要素が欠如していることが多い。

1. 非対称再帰性 (Asymmetric Recurrence): 生物学的ニューラルネットワークは非対称なシナプス結合を持つが、多くの一般的なモデルは対称的な構造に依存しているか、あるいはグローバルな誤差信号を必要とする。
2. 局所学習 (Local Learning): 生物学的な回路は局所的な信号を通じて学習するが、ほとんどの生成モデルはグローバルな誤差逆伝播に依存している。
3. 神経ダイナミクスの活用: 神経応答の変動や不動点（またはカオス的アトラクタ）は例示を保存・生成できるが、生成サンプリングにおける神経応答の変動性のポテンシャルは十分に探索されていない。
4. 熱力学的可逆性 (Thermodynamic Reversibility): ランジュバン動力学を用いたこれまでの試みは、熱力学的可逆性を強制することが多く、これは生物学的制約に反しており、脳の知覚および想像プロセスを効果的にモデル化することに失敗している。

手法
著者らは、ランダムな非対称結合を持つ回帰型ニューラルネットワーク（RNN）の不動点を活用する生成モデル、ニューラル・ランジュバン・マシン (NLM) を提案する。

• ダイナミクス: モデルは、以下の確率微分方程式（ランジュバン動力学）によって定義される：
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  ここで、$x$ はシナプス電流ベクトル、$T$ は温度パラメータ、$\epsilon(t)$ はガウス型ホワイトノイズである。
• エネルギー関数: ポテンシャルエネルギー $E(x)$ は、カオス的なRNNに固有の指数関数的に多数存在する不安定な不動点を安定化させるように構築されている。これには、エネルギーの勾配から導出されたオンサーガー・フィードバック項が含まれており、カオス的なゆらぎを安定化させる。エネルギー関数は以下の形式をとる：
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  ここで、$\phi(x) = \tanh(x)$ は発火率関数、$b_i$ はバイアス、$J_{ij}$ は非対称な神経結合を表す。
• 学習規則: モデルは、モデル分布とデータ分布の間のカルバック・ライブラー（KL）ダイバージェンスを最小化するように、結合パラメータ $\{J_{kl}\}$ を最適化する。この最小化は最小エントロピー原理に従い、以下の局所的かつ非対称な学習規則をもたらす：
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{model}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{data}} \right]$$
  ここで、$h_k$ は積分されたシナプス電流である。項 $(x_k - h_k)$ は、ポストシナプスの活動速度を減少させる「予測誤差」として解釈されるポストシナプス寄与を表す。この規則は局所的であり、ニューロンの信号のみを必要とし、ニューロンのインデックスに対して非対称である。
• 学習プロトコル: 著者らは、非平衡（OOE）領域を探索するためにいくつかの学習戦略を実装している：
  • PCD-k (Persistent Contrastive Divergence): パラメータ更新の間に、$k$ ステップの間、持続的なチェイン（persistent chains）を使用する。
  • Rdm-k: 各勾配推定ステップにおいて、ランダムな構成からランジュバン・チェインを再初期化する。
  • AE-NLM: データを潜在空間に圧縮するためにオートエンコーダを訓練し、その潜在空間内でNLMを訓練することで、計算複雑性を大幅に削減する。

主要な貢献

1. 生物学的に妥当な生成モデル: NLMは、局所学習、神経ダイナミクスに基づくサンプリング、および非対称再帰性という3つの基準を満たしている。これは、速度調整された予測学習として解釈可能な学習規則を導出している。
2. 不安定な不動点の安定化: 本研究は、エネルギー関数におけるオンサーガー・フィードバック項が、カオス的RNNの不安定な不動点を安定化させ、それらをメモリや生成に利用可能にすることを実証している。
3. 局所的非対称学習規則: 導出された学習規則は、生成モデリングを基本的な物理原則（最小エントロピー）に結びつけ、「確率のないベイズ脳」仮説やヤン・ルカン（Yann LeCun）のエネルギーベースAIの経路と整合させている。
4. 非平衡（OOE）領域: 本論文は、システムが熱力学的平衡に達するのを待つことなく、最高の生成性能が得られるOOE領域を特定しており、これは確率的ノイズによって駆動される連続的な脳のダイナミクスを模倣している。

結果

• 生成性能: MNIST（手書き数字）およびFashion MNISTに適用した結果、NLMはサンプルの生成に成功した。可視化によれば、確率的ノイズによって駆動される、異なる数字クラス間（例：'6'から'1'へ）の連続的な状態遷移が示されている。
• 記憶から汎化への遷移: 学習データのサイズが増加するにつれ、モデルは純粋な記憶（過学習）から汎化へと移行する。この遷移は、敵対的精度指標（AAI）を用いて定量化される。
  • データ不足の領域では、モデルは訓練サンプルを記憶する。
  • 特定のデータ閾値を超えると、モデルは統計的に実データと区別がつかないサンプルを生成する。
  • 過剰なデータサイズは最終的に品質を低下させる可能性があり、飽和点が存在することを示唆している。
• 固有値スペクトル: 学習中、結合行列 $J$ のスペクトルは等方的（isotropic）な状態から「アンカー」形状へと進化し、正の実軸の周囲に分布する固有値が汎化において重要な役割を果たす。
• デノイジングと連合記憶: NLMは連合記憶ネットワークとして機能する。破損した画像（25%のピクセルノイズ）を提示すると、ダイナミクスはクリーンな数字の表現へと収束し、非対称結合を持つ新しいタイプの連合記憶を実証している。
• 潜在空間の強化: Fashion MNIST（10カテゴリ）に対してAE-NLMプロトコルを使用することで、生成品質が向上し、低次元の潜在空間でのサンプリングが可能になる。

意義と主張
著者らは、NLMが「想像力の創造的活動空間」の動的な探索を可能にする、神経科学に触発された生成モデルへの有望な道筋を提供すると主張している。不安定な不動点と局所的な非対称学習を利用することで、本モデルは生物学的な神経メカニズムと工学的な目的との間の溝を埋めている。本研究は、脳が知覚、記憶、および想像のための同様のメカニズムを利用しており、位相空間の連続的な探索が記憶から汎化への遷移を促進している可能性を示唆している。この論文は、主観的な知覚と想像の理解に向けた一歩として、また、潜在空間訓練を通じて現在の支配的な生成モデルに対する計算効率の高い代替案を提供することで、このフレームワークを位置づけている。