Equilibrium Propagation for Non-Conservative Systems

本論文は、非可逆的な相互作用を考慮するために学習フェーズのダイナミクスを修正することにより、平衡伝播（Equilibrium Propagation）を任意の非保存系へと拡張するフレームワークを提案し、それによってコスト関数の勾配の厳密な計算を可能にし、従来の手法と比較して優れた性能を実現するものである。

要約

ビッグピクチャー：バックプロパゲーション（誤差逆伝播法）を使わずにマシンを教える

想像してみてください。あなたはロボットに、写真の中の猫を認識させる方法を教えようとしています。今日、私たちが一般的に行っている方法（「バックプロパゲーション」と呼ばれます）では、ロボットは写真を見て、推測を行い、自分の間違いに気づくと、その間違いを修正するために、脳の層を一つずつ、全層にわたって「修正信号」を後ろへと送り返します。

問題は、この「バックワード・パス（逆方向の伝播）」を実際の物理的なマシン（生物学的な脳やシリコンチップなど）に構築するのは非常に難しいということです。なぜなら、情報を時間を遡って、あるいは遠く離れた場所に瞬時に送る必要があるからです。

**平衡伝播（Equilibrium Propagation: EP）**は、よりスマートで物理的な学習方法です。バックワード・パスの代わりに、ロボットは単に「穏やかな状態（平衡状態）」へと落ち着きます。ロボットは、2つのわずかに異なるシナリオを試します。

1. 自由状態（Free State）: ロボットは写真を見て、自然に推測します。
2. ナッジ状態（Nudged State）: 誰かが、ロボットの最終的な推測を正解の方へと優しく押し（ナッジし）ます。

これら2つの穏やかな状態の間で、ロボットの脳がどのように変化したかを比較することで、次回より良くするための内部設定をどのように調整すべきかを理解できるのです。それは、「自分が考えたこと」と「ナッジされた結果、考えさせられたこと」の間の違いを感じ取ることで学ぶようなものです。

問題点：「対称性」のルール

この学習手法のオリジナル版（EP）は、ある厳格なルールに従うシステムに対してのみ機能していました。それが**「対称性」**です。

保守的なシステムを、滑らかな丘の上を転がるボールだと考えてみてください。ボールが地点Aから地点Bへ転がる場合、その経路は丘の形によって決まります。もし経路を逆にしても、物理法則は同じです。コンピュータの脳において、これは「ニューロンAがニューロンBと通信する場合、ニューロンBもまた、全く同じ強さでニューロンAと通信しなければならない」ということを意味します。

しかし、現実世界の多くのシステムや現代のAIモデルは、このような滑らかな丘ではありません。それらは、流れのある川や、一方通行の道路のようなものです。

• 非保守的システム: 情報は一方通行で流れます（例えば、データが 入力 → 隠れ層 → 出力 と進み、決して逆戻りしないフィードフォワード・ネットワークのように）。
• 問題: 旧来のEP法は、これらのシステムでは機能しません。なぜなら、この手法は「川」に対して「丘」の数学を用いようとするため、学習の計算が狂ってしまうからです。ロボットは間違った教訓を得てしまいます。

解決策：2つの新しい手法

著者らは、この「平衡伝播」の手法を、これらの一方通行で非対称なシステムでも機能させるための、2つの新しい方法を提案しています。

1. 非対称EP（AsymEP）：「ローカルな修正」

天秤のバランスを取ろうとしている場面を想像してください。しかし、誰かが密かに片側に重りを追加し続けています（これが非対称な部分です）。旧来の手法はこれを無視して、とにかくバランスを取ろうとしますが、それでは失敗します。

AsymEPは、天秤に小さな、局所的な「カウンターウェイト（対抗重り）」を加えます。

• 仕組み: 「ナッジ」フェーズ（ロボットが正解へと押し進められている時）において、アルゴリズムは特別な補正項を加えます。この項は、接続がいかに「偏っているか（非対称か）」に基づいて計算されます。
• 例え: これは、パンクしたタイヤで自転車に乗っているサイクリストのようなものです。旧来の手法は、ただ「もっと強くペダルを漕げ」と言うだけです。AsymEPは、ハンドルに小さな局所的調整を加えることで、パンクを補償し、まっすぐ走って正しく学習できるようにします。
• 結果: これにより、接続が一方通行であっても、システムは「正確な勾配（正しい教訓）」を算出できるようになります。

2. ダイアディックEP（Dyadic EP）：「ダブル・ブレイン」のアプローチ

AsymEPが「局所的な修正」であるなら、ダイアディックEPはより大きな「アーキテクチャの変更」です。

• 例え: 2つの同一のコピーが並走して動いていなければ機能しない、複雑な機械を想像してください。一方のコピーは「順方向」の流れを、もう一方は「逆方向」の流れを表しています。
• 仕組み: アルゴリズムはシステムの変数を2倍にします。これにより、2つのコピーが相互作用する、より大きな「エネルギー・ランドスケープ（エネルギー地形）」が作成されます。この倍増された空間においては、元のシステムの乱れた一方通行の川が、再び滑らかで対称的な丘へと姿を変えます。
• 結果: この「倍増された」システムに対して数学が適用されるため、学習は完璧になります。これは、一方通行の道路を鏡を使って二方向通行に見せかけ、標準的な交通ルールを適用できるようにすることに似ています。

実験内容

著者らは単に数学的な議論をしただけでなく、これらを実際の画像認識タスク（手書き数字や衣類の識別など）でテストしました。

1. 対称的なスタート: 彼らは、対称的なネットワーク（従来のEPのようなもの）から開始しました。その結果、AsymEPは従来の手法よりも速く学習し、より良い結果を出しました。
2. 強制的な非対称性: 彼らはネットワークを非常に「一方通行（高度に非対称）」になるよう強制しました。
   • 旧来の手法（ベクトル場法）は惨敗し、ランダムな推測と変わらない結果しか出せませんでした。
   • AsymEPは、ネットワークが完全に一方通行であっても、完璧に機能し続けました。
3. フィードフォワード・ネットワーク: これが大きな勝利です。現代のAI（スマートフォンに入っているようなもの）は通常、フィードフォワード（厳格な一方通行）です。従来のEPは、これらのネットワークを訓練することが全くできませんでした。しかし、AsymEPはこれらのネットワークの訓練に成功し、現代のAIで使用されているアーキテクチャを扱えることを証明しました。
4. ディープラーニング: 彼らは複雑なデータセット（CIFAR-10）を用いた深いネットワークでテストを行いました。AsymEPとDyadic EPは、標準的な「バックプロパゲーション（ゴールドスタンダードとされる手法）」とほぼ同等の性能を発揮しました。

まとめ

• 問題: かつての「平衡伝播（EP）」というクールな学習方法は、対称的なシステムでしか機能しませんでしたが、現実のAIや物理システムは、多くの場合、非対称（一方通行）です。
• 解決策: 著者らは、AsymEP（学習ルールに局所的な補正を加える手法）と、Dyadic EP（システムサイズを倍増させて数学的に成立させる手法）を作り出しました。
• 成果: これらの新しい手法により、この物理的で脳に近い学習スタイルを、現代のAIで使用されているのと同様のタイプのネットワークに適用できるようになり、標準的な（実装は難しいが強力な）手法と同等の成果を上げることができました。

端的に言えば、彼らは、機械の内部配線が厳格に一方通行であっても、「緩和（リラクゼーション）」と「局所的なナッジ」を用いて、物理的なマシンを教える方法を見出したのです。

技術概要

技術要約：非保存系における平衡伝播（Equilibrium Propagation）

1. 問題提起

標準的なニューラルネットワークの最適化は、誤差逆伝播法（backpropagation）に依存しており、これには明確な逆方向のパス、非局所的な誤差信号の伝達、および明示的な勾配の保存が必要となる。これらの制約は、局所的な相互作用や連続的な緩和（relaxation）を通じて動作する生物学的妥当性や物理的実装（例：ニューロモーフィック・ハードウェアやアナログ・ハードウェア）と整合させることが困難である。

平衡伝播（EP）は、学習を「自由（free）」フェーズと「ナッジ（nudged）」フェーズという、動的システムの2つの定常状態間のコントラストとして定式化することで、有望な代替案を提示している。しかし、元のEPの定式化は、エネルギー関数から導出されるダイナミクスに基づき、対称な相互作用（例：$J_{ij} = J_{ji}$）を強制する**保存系（conservative systems）**に限定されている。この制限により、以下の特性を持つ広範なモデルへのEPの適用が妨げられている：

• 現代のフィードフォワード・アーキテクチャ（AIにおいて支配的）。
• 生物学的回路。
• 熱力学的平衡から遠く離れた物理系（例：非線形光学系、エキシトン・ポラリトン凝縮体）。

Vector Field (VF) アルゴリズムのように、EPを非保存系へと一般化しようとするこれまでの試みは、コスト関数の正確な勾配を計算できない。これらは保存的な極限においてのみ偏りのない勾配を提供する。反対称部分のヤコビアンが増大するにつれ、勾配推定の誤差が増大し、最適化の失敗（例：コストを最小化するのではなく最大化してしまうこと）を招く可能性がある。

2. 手法

著者らは、任意の非保存系に対してEPを拡張するための、数学的に等価な2つのフレームワーク、非対称EP (Asymmetric EP / AsymEP) と Dyadic EP を提案している。両手法とも、推論には定常状態を用いるというEPの核心的な原理を維持しつつ、正確な勾配を回収するためにダイナミクスを修正する。

2.1 非対称EP (AsymEP)

AsymEPは、元の推論ダイナミクスを保持しながら、「ナッジ」フェーズにおいて局所的な補正項を導入する。

• メカニズム: ナッジフェーズにおいて、システムは拡張された力場の下で進化する。この力場には、元の力 $F$、標準的なナッジ項 $-\beta \frac{\partial C}{\partial x}$、および自由平衡点におけるヤコビアンの反対称部分 ($A_J$) に比例する新しい補正項が含まれる：
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• 勾配の回収: この補正は、学習則におけるヤコビアンの転置を効果的に行い、ナッジされた定常状態と自由定常状態の差が、真の勾配に必要な正確なポストシナプス項を与えることを保証する。
• 局所性: 補正項は、$A_J$ が接続されていないニューロンに対して消失すること、および状態の差 $(x - x_0)$ がシナプスにおいて利用可能であることから、空間的に局所的である。

2.2 Dyadic EP

Dyadic EPは、状態空間を倍増させることで、非保存的なダイナミクスを保存系へと写像する変分的アプローチである。

• メカニズム: 元の $n$ 変数系は、エネルギー関数 $H(z, z', \theta)$ とコスト関数 $D(z, z')$ によって定義される $2n$ 変数系 $(z, z')$ へと写像される。エネルギー関数は、対角線上（$z=z'$）で元のダイナミクスを回収し、かつオフダイアゴナル（対角外）の方向が非相反的な力を符号化するように構築される。
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• 学習: システムは、拡張されたエネルギー $H_T = H + \beta D$ のサドルポイント（鞍点）へと進化する。$z_\beta - z'_\beta$ が誤差信号として機能する。
• AsymEPとの関係: AsymEPは、Dyadic EPを元の $n$ 次元空間へ一次投影したものと見なすことができる。Dyadic EPは、正のナッジフェーズと負のナッジフェーズの並列実行を可能にするが、物理的な自由度を2倍にする必要がある。

3. 主な貢献

1. 正確な勾配計算: 本論文は、任意の非保存的な動的システムに対して、コスト関数の正確な勾配を計算するための初のフレームワークを提供し、Vector Fieldアルゴリズムの限界を克服した。
2. 2つの一般化: 非対称なダイナミクスを直接修正するAsymEPと、状態空間を倍増させるDyadic EPの2つを導入し、無限小のナッジ極限における両者の等価性を証明した。
3. フィードフォワード能力: これらの手法は、純粋なフィードフォワード・ネットワークの学習を可能にする。これは、従来のEPベースの手法（VFなど）が、明示的な逆方向の接続なしには誤差信号を伝播できないために失敗するシナリオである。
4. 理論的統一: 本研究は、EPの背後にある変分原理が普遍的であり、状態空間を拡張するかダイナミクスを修正することによって、非相反的な力にも適用可能であることを示し、エネルギーベースモデルと一般的な動的システムの間の溝を埋めるものである。

4. 実験結果

著者らは、連続ホップフィールド・ネットワークおよび畳み込みアーキテクチャを用いて、MNIST、Fashion-MNIST、およびCIFAR-10における本フレームワークの検証を行っている。

• 対称な初期化: 対称な初期化を用いたMNISTにおいて、AsymEPは標準的なEPおよびVector Field (VF) アルゴリズムの両方よりも高い精度を達成し、より速く学習した。
• 構造的不対称性: ネットワークが高度な構造的不対称性（EPが適用不可能な場合）を持つように制約された場合：
  • VFの性能: 非対称性が増大するにつれてVFの性能は崩壊し、MNISTにおいてチャンスレベル（例：約10%の精度）まで低下した。
  • AsymEPの性能: AsymEPは、完全に反対称な結合行列を含むあらゆる非対称レベルにおいて、堅牢な性能を維持した。
• フィードフォワード・アーキテクチャ:
  • 純粋なフィードフォワード設定において、VFは最後の層のみを効果的に学習し（Extreme Learning Machineとして機能）、結果として低い性能（MNISTで約64%）となった。
  • AsymEPはすべての層を正常に学習し、MNISTで約92.7%の精度を達成した。
• 深いネットワーク (CIFAR-10): CIFAR-10で訓練された深い畳み込みネットワークにおいて、AsymEPとDyadic EPはともに標準的なバックプロパゲーション (BP) の性能を密接に追跡し、BPの90.7%に対し、それぞれ約89.7%および90.7%を達成した。対照的に、VFはチャンスレベルまで崩壊した。
• 安定性: 実験の結果、AsymEPで訓練された非保存的なダイナミクスは、強い非対称性や制約された入力投影の下でも、振動を抑制し安定性を維持できることが示唆された。

5. 意義と主張

著者らは、本研究が、非対称性が偶発的なものではなく本質的なものであるニューロモーフィック・ハードウェア、散逸物理系、および神経アーキテクチャにおける学習の新たな道を切り開くと主張している。

• 物理的実装可能性: 重みの対称性や明示的な逆方向パスの要求を取り除くことで、提案されたアルゴリズムは、非保存的なダイナミクスを自然に示す物理基盤（例：メモリスタ、光学系、アクティブマター）により適合する。
• 生物学的妥当性: これらの手法は局所的な相互作用と連続的な緩和に依存しており、バックプロパゲーションと比較して、より生物学的に妥当なクレジット割り当てメカニズムを提供している。
• 普遍性: Dyadic EPの定式化は、EPの変分原理が普遍的であり、基礎となる力が保存的か非保存的かにかかわらず、定常状態で動作するあらゆるネットワークに適用可能であることを示唆している。

結論として、Asym-EPは特定の物理的メカニズムによる実装を必要とする可能性のある局所的な補正力を導入し、Dyadic EPは状態空間を倍増させる必要があるものの、両者は正確な勾配を用いて非保存系を訓練するための厳密な理論的・実践的な経路を提供するものである。