技術的要約：熱力学的アンサンブルにおける有限ナッジ平衡伝播（Finite-Nudge Equilibrium Propagation）

問題提起

平衡伝播（Equilibrium Propagation; EP）およびコントラスティブ・ヘブ学習（Contrastive Hebbian Learning; CHL）は、エネルギー最小化に基づく局所的な学習規則を利用することで、誤差逆伝播法（バックプロパゲーション）に代わる生物学的に妥当な手法を提示している。しかし、従来のEPの定式化は、以下の2つの制約的な仮定に依存しており、それが理論的および実用的な適用範囲を制限している：

1. 無限小の極限（The Infinitesimal Limit）： 従来のEPでは、教師信号（出力に適用されるナッジ）が無限小（$\beta \to 0$）であることを要求する（そうすることで、教師あり損失の正確な勾配を回収できる）。実際には、安定した学習のために有限のナッジが必要となることが多いが、これは真の勾配に対してバイアスを生じさせる。
2. 決定論的なダイナミクス： 古典的な解析では、ネットワークの状態が単一の決定論的なエネルギー最小値に崩壊すると仮定する、温度ゼロのダイナミクスを想定することが多い。この理想化は、物理的または生物学的な回路の確率的な性質を考慮できておらず、複数の局所解が存在する非凸なエネルギー景観において困難に直面する。

その結果、熱的なアンサンブルにおける有限ナッジ学習の理論的地位は未完成のまま残されており、これらの学習規則が実際にどのようなグローバルな目的関数を最適化しているのかという問いが未解決のままとなっている。

手法

本論文では、ネットワークの状態を決定論的な点としてではなく、有限温度 $T$ におけるギブス・ボルツマン分布に従う確率変数として再定義する。システムはエネルギー関数 $E(\theta, s)$ とタスク依存の損失 $\ell(s)$ によって定義される。

確率的コントラスティブ目的関数

著者は、新しい目的関数である確率的コントラスティブ目的関数 $J(\theta)$ を、2つのフェーズ間のヘルムホルツ自由エネルギーの差として定義する：

• 自由フェーズ ($\beta=0$)： ネットワークはエネルギー関数 $E(\theta, s)$ のみの下で緩和する。
• ナッジ・フェーズ ($\beta=1$)： ネットワークは目的関数カーネル $F(\theta, \beta, s) = E(\theta, s) + \beta\ell(s)$ の下で緩和する。

目的関数は以下のように定義される：
$$J(\theta) \triangleq A(\theta, 1) - A(\theta, 0)$$
ここで、$A(\theta, \beta) = -T \log Z_\beta(\theta)$ はヘルムホルツ自由エネルギーであり、$Z_\beta$ は分配関数である。

勾配の導出

本論文は、無限小のナッジや凸性を仮定することなく、$\nabla_\theta J(\theta)$ に関する2つの厳密な表現を確立している：

1. 期待値コントラスト（定理 3.1）：
   勾配は、ナッジされたギブス分布と自由なギブス分布における、局所的なエネルギー微分の期待値の差として正確に表される：
   $$\nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho_1}[\nabla_\theta E(\theta, s)] - \mathbb{E}_{s \sim \rho_0}[\nabla_\theta E(\theta, s)]$$
   これにより、標準的な2フェーズ・コントラスティブ更新則が、任意の有限温度および有限のナッジ強度において、$J(\theta)$ に対する正確な勾配降下を実現することが証明される。

2. 積分共分散（定理 3.4）：
   勾配は、ナッジ強度 $\beta \in [0, 1]$ に関する、損失とエネルギー勾配の共分散の積分としても表現できる：
   $$\nabla_\theta J(\theta) = -\frac{1}{T} \int_0^1 \text{Cov}_{s \sim \rho_\beta}[\ell(s), \nabla_\theta E(\theta, s)] \, d\beta$$
   この定式化は、無限小のEP則（$\beta=0$ における一次テイラー展開を用いてこの積分を近似するもの）を、任意の有限のナッジへと一般化したものである。

ゼロ温度および変分極限

• ゼロ温度極限： $T \to 0$ のとき、理論は古典的な決定論的コントラスティブ則を回収する。エネルギー景観に複数の最小値がある場合、勾配は単一の任意の最小値や一様な平均ではなく、それらの最小値における勾配の曲率重み付き平均に収束する（ラプラス近似）。
• 変分解釈： ギブス変分原理を用いることで、目的関数 $J(\theta)$ は、教師あり損失の正則化されたプロキシであることが示される。これは、ナッジされたフェーズにおける期待損失と、ナッジされた分布と自由な分布の間の距離を罰するカルバック・ライブラー（KL）ダイバージェンス項に分解される：
  $$J(\theta) = \mathbb{E}_{s \sim \rho_1}[\ell(s)] + T \cdot \text{KL}(\rho_1 \parallel \rho_0)$$

主な結果

著者は、Fashion-MNISTデータセットを用いた、tanhユニットを持つ単層エネルギーベースネットワークによる数値実験を通じて、自身の理論的枠組みを検証している。

1. 学習性能：

   • 無限小EP ($\beta=0.01$)： 学習に失敗し、チャンスレベルの精度（20–30%）付近で停滞した。
   • 有限ナッジEP ($\beta=1.0$)： 標準的なバックプロパゲーションに近い挙動を示し、テスト精度 $\sim 80\%$ を急速に達成した。
   • パス積分EP（Path-Integral EP）： 積分共分散則を実装したバリアントも高い精度を達成した。

2. 信号対雑音比 (SNR)：

   • 小さなナッジ強度（$\beta \lesssim 10^{-2}$）では、更新信号はサンプリングノイズと区別がつかなかった。
   • $\beta$ が 1.0 に近づくにつれ、SNRは1桁改善し、無限小の手法では到達不可能な信号領域を有限のナッジが解放することを実証した。

3. 勾配のアライメント：

   • 実践的なコントラスティブ更新と真の自由エネルギー勾配とのコサイン類似度は、$\beta$ とともに単調に増加し、$\beta=1.0$ で $\sim 0.5$ に達した。これは、大きなナッジであっても、熱力学的目的関数に対して勾配的な性質を維持していることを裏付けている。

4. 厳密な検証：

   • 数学的周辺化（MCMCノイズを回避）を用いたより小さなデータセット（Digits）での追加実験により、勾近の恒等式が有限の $\beta$ において正確に成立すること、および解析的微分と数値的微分の間の相対誤差がマシン精度に留まることが確認された。

意義と主張

本論文は、確率的な設定におけるコントラスティブ学習の理論的不完全性を解消することを主張している。主な貢献は以下の通りである：

• 無限小極限からの脱却： 本研究は、有限ナッジ学習が単なるバックプロパゲーションのバイアスのある近似ではなく、明確に定義されたヘルムホルツ自由エネルギーの差に対する正確な勾配降下であることを証明している。
• 生物学的妥当性： 任意の有限のナッジに対して、古典的な2フェーズ・コントラスティブ更新が正確な勾配推定器であることを検証することで、ウェイトトランスポートや無限小の摂動を必要としない局所的な学習規則の正当性を強化している。これらは生物学的制約と整合させることが困難な要素である。
• 非凸性と確率性の処理： 有限温度における非凸なエネルギー景観における学習のための厳密な基礎を提供し、学習規則がグローバルな最小値が一意でない場合や、システムが熱的な領域で動作している場合でも、定義されたままであることを示している。
• 実用的な利点： 結果は、理論的解析でよく用いられる「小さなナッジ」の近似が、実際にはノイズのために有害である可能性を示唆している。有限のナッジは、効果的な学習に不可沢欠な信号対雑後比（SNR）の向上をもたらす。

著者は、本研究を、EP、CHL、および変分推論を統合し、局所的な学習のメカニズムを自由エネルギーおよび情報理論的コストの最小化へと結びつける統計力学的な基礎として位置づけている。