Thermodynamic cost of inference and learning in physical neural networks

技術要約：物理的ニューラルネットワークにおける推論と学習の熱力学的コスト

問題提起
ディープニューラルネットワークの急速な拡大は、学習と推論の両方においてエネルギー需要を増大させている。現在のハードウェアの非効率性は十分に文書化されているが、根本的な問いが残されている。それは、特定のデバイス実装に依存しない、ニューラル計算そのものに固有のエネルギーコストとは何か、という点である。デジタルハードウェアの場合、標準的な熱力学的ベンチマークはランダウアーの原理であり、論理的に不可逆な操作ごとに $k_B T \ln 2$ の最小散逸を割り当てる。しかし、この境界はメタステーブル（準安定）またはマルチステーブル（多安定）な情報保持状態に適用されるものであり、連続的なアナログ計算や、クロック駆動のデジタルゲートではなく緩和と平衡化によって動作する物理システムを直接制約するものではない。本論文は、ネットワークをハミルトニアンに従う物理システムとしてモデル化した際の、エネルギーベースの物理的ニューラルネットワークの熱力学的限界を決定することを目的とする。

手法
著者は、一般的なフィードフォワードニューラルネットワークを物理的なハミルトニアンに埋め込む理論的枠組みを提案している。

1. ハミルトニアンの埋め込み: 標準的なフィードフォワードネットワーク（層 $x_n$、重み $W_n$、バイアス $b_n$）を、弾性エネルギー関数へとマッピングする：
   $$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$$
   ここで、各層の関係は、剛性 $\kappa$ を持つ弾性適合制約として扱われる。「フィードフォワード状態」は、ゼロエネルギー多様体（$H=0$）に対応する。ホップフィールドネットワークのように状態がアトラクタとなるものとは異なり、この構成は高度に縮退した基底状態多様体を作り出し、あらゆる入力が唯一の、ゼロエネルギーで適合する状態を選択する。
2. ダイナミクス: システムは過減衰ランジュバン動力学（$\dot{x}_n = -\mu \nabla_{x_n} H + \text{noise}$）に従って進化する。
3. 推論 vs 学習:
   • 推論: 固定された入力の下で、隠れ変数および出力変数がゼロエネルギー多様体へと緩和されるプロセスとしてモデル化される。
   • 学習: 入力とターゲット出力の両方がクランプ（固定）され、歪み（損失）が生じることで、力学的平衡（バックプロパゲーション）を通じてパラメータ更新を駆動する、過拘束のプロセスとしてモデル化される。
4. 熱力学的境界: 論文では、熱状態間を駆動するために必要な仕事の厳密な境界を導出している。これには、最適輸送のためのワッサースタイン2距離（$W_2$）を用い、さらにそれをカルバック・ライブラー（KL）ダイバージェンスとフィッシャー・ラオ距離を含む情報幾何学的境界へと緩和している。
5. 数値検証: 最小限の物理ネットワーク（アーキテクチャ 64 $\to$ 20 $\to$ 10）を用いて、手書き数字データセット（MNIST）に対する学習を行った。シミュレーションでは、様々なプロトコル速度と温度における仕事の散逸、緩和時間、および精度をテストした。

主要な貢献と結果

1. 準静的極限における可逆的な推論:
   本論文は、埋め込まれたネットワークの平衡自由エネルギーが、あらゆる温度において入力および全てのパラメータ（重みとバイアス）に依存しないことを証明している。したがって、いかなる入力遷移においても自由エネルギーの変化（$\Delta F$）は正確にゼロである。準静的極限（無限に遅い動作）において、推論にはゼロの仕事が必要となる。これは、計算がしばしばビットの消去を伴うデジタルシステムとは対照的である。ここでの計算は、ゼロエネルギー多様体に沿った単一安定（monostable）かつ等静的な応答であり、ランダウアー・コストを完全に回避している。

2. 有限速度での推論コスト:
   有限速度での動作の場合、必要な仕事は、初期の熱状態と最終の熱状態の間のワッサースタイン2距離の二乗を、プロトコル期間 $\tau$ で割った値によって下限が抑えられる。

   • この境界は、エントロピー的尺度へと緩和される：$E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$。ここで、$d$ は最も広い層の幅、$\tau_L$ は拡散タイムスケール、$\Gamma_{inf}$ は信号対雑音比に関連する忠実度係数である。
   • 最速の利用可能速度（$\tau \approx \tau_{inf}$ のとき）において、忠実度と緩和時間は相殺され、コストはおよそ最も広い層の次元あたり $k_B T$ となる。
   • 決定的なことに、このコストはパラメータ数（シナプス）ではなく、ネットワークの幅（ニューロン数）に比例してスケールする。シミュレーションにより、測定された仕事が輸送境界を4%以内の誤差で満たすことが確認された。
   • 散逸された仕事が熱スケール（$k_B T$）を下回ると精度が崩壊することから、信頼性は仕事量と熱的な識別能の比率によって決定されることが確認された。

3. 学習の不可避なコスト:
   学習は推論とは根本的に異なる。なぜなら、学習はパラメータ（重みとバイアス）の変更を必要とするため、準静的極限においても残存する不可避なコストを伴うからである。

   • 総学習コストは、データ提示項（低速な提示とともに消失する）と、パラメータ・アニーリング項から構成される。
   • パラメータ・アニーリング・コストは、全学習工程を通じてパラメータあたり数 $k_B T$ 程度である。このコストは、パラメータ構成を確立するために一度だけ発生するものであり、データ提示ごとに消去コストを支払うデジタル学習とは異なる。
   • コストはパラメータ数（$N_\theta$）に比例してスケールするが、準静的極限においてはデータセットのサイズには依存しない（これは、$N_\theta \times \text{データセットサイズ}$ にスケールするデジタル・ベンチマークとは対照的である）。

4. デジタル・ベンチマークとの比較:
   本論文は、これらの物理的境界を、不可逆なデジタルハードウェア（16ビット算術）のランダウアー限界と比較している。

   • 推論: 物理的コスト（$\sim d k_B T$）は、デジタル・ランダウアー・ベンチマーク（$\sim N_\theta k_B T$）よりも数桁低い。これは、物理的ネットワークが離散的な操作ではなく、幾何学を通じて乗算を行うためである。
   • 学習: 物理的コストは一度限りのパラメータ更新コストであるが、デジタル学習はデータ内の各トークンに対して消去コストを課す。
   • 論文の表1は、物理的推論がランダウアー・ベンチマークよりも $\sim 10^5$ 倍効率的であり、物理的学習がデジタル学習に対して同様の優位性（トークンごとの消去コストの不在による）を持つことを推定している。

意義と主張
本論文は、ニューラル計算の基本的な熱力学的価格を確立し、算術（推論）とメモリ（学習）のコストを区別している。

• 推論: 熱力学的コストは、パラメータ数ではなく、ネットワークの幅と動作速度によって決定される。理想的な極限において、計算自体は無料である。コストは、信号を熱雑音から分離するために必要な有限の速度からのみ生じる。
• 学習: コストはメモリの側面、すなわちパラメータを書き込むことに支配される。このコストは、低速極限においても不可避であるが、データセット全体にわたって償却されるため、データごとに消去コストを支払うデジタル学習よりも大幅に安価になる可能性がある。
• 物理的 vs デジタル: 本研究の結果は、物理的ニューラルネットワークが、単なるエンジニアリングの改善によるものではなく、計算中の情報消去に伴う根本的なランダウアー・コストを回避できるため、理論的にデジタル実装を凌駕できる可能性を示唆している。したがって、ニューラルネットワークの「熱力学的価格」は、算術よりもむしろそのメモリ（学習）に関連している。

著者は、これらの境界は理想的な基質に適用されるものであると注記している。現実世界のコスト（データ変換、制御、非理想的な材料）が現在は支配的である。さらに、本モデルはアフィン＋活性化関数の構造を仮定しており、アテンション・メカニズムや学習後の重みの保持コストについてはまだ扱っていない。それにもかかわらず、これらの結果は、将来のニューロモーフィックおよび物理的コンピューティング・アーキテクチャを評価するための厳密な熱力学的基準を提供するものである。