技術要約：拡張ラグランジュ乗数法を用いた予測符号化 (PC-ALM)

1. 問題設定

現代のディープラーニングは、誤差変数（error variables）の同時生成と、精密にオーケストレーションされたバックワード・パスを必要とするグローバルなアルゴリズムである、誤差逆伝播法（BP）に依存しています。このメカニズムは、生物学的な回路がそのようなグローバルな同期を実現できないことを考えると、生物学的に不自然です。その結果、研究の焦点は、局所学習の代替案、具体的には**予測符号化（Predictive Coding: PC）**へと移ってきました。

PCネットワークにおいて、学習は局所的なエネルギー関数（層間の二乗誤差の総和）を最小化するものとして定式化されます。PCは、活性化および重みを更新するための層局所的な動的システムを提供しますが、決定的な限界を抱えています。それは、深層または幅の狭いネットワークにおいて、ネットワークを通じて伝播するクレジット信号（勾ラディエント）が、真のBP勾配と乖離してしまうことです。この乖離は、特に「深い・狭い」領域において、BPと比較して著しい性能低下を引き起こします。さらに、標準的なPCは層の制約に対する二次ペナルティ緩和に依存しているため、その平衡状態が必ずしも正確なBP勾配をもたらすとは限りません。

2. 手法：PC-ALM

著者らは、PCを**拡張ラグランジュ（Augmented Lagrangian: AL）および乗数法（Method of Multipliers: MM）**の文脈で再構成した手法である、**拡張ラグランジュ予測符号化（PC-ALM）**を提案しています。

コアとなる定式化

標準的なPCのエネルギー（二次ペナルティ緩和）を最小化する代わりに、PC-ALMは元の制約付き最適化問題の拡張ラグランジュ関数を最適化します。
$$\mathcal{L}_\rho(h, \theta, \lambda) = \frac{1}{2}\|y - W_L h_{L-1}\|^2 + \sum_{i=1}^{L-1} \lambda_i^\top (h_i - \sigma(W_i h_{i-1})) + \frac{\rho}{2} \sum_{i=1}^{L-1} \|h_i - \sigma(W_i h_{i-1})\|^2$$
ここで、$\lambda_i$ は層の整合性制約 $h_i = \sigma(W_i h_{i-1})$ に関連するラグランジュ乗数（双対変数）です。

アルゴリズムのメカニズム

PC-ALMは、標準的な有限推論PCと同じ推論予算（ステップ数 $T$）で動作しますが、以下の双対上昇ループを導入します。

1. 主ステップ（推論）： 活性化 $h$ は $\mathcal{L}_\rho$ に関する勾配降下法によって更新されます。極めて重要な点として、層 $i$ における勾配には双対変数からの項が含まれます：$\nabla_{h_i} \mathcal{L}_\rho = (\rho r_i + \lambda_i) - W_{i+1}^\top \dots (\rho r_{i+1} + \lambda_{i+1})$。ここで $r_i$ は予測誤差です。これにより、予測ターゲットが $-\lambda_i/\rho$ だけシフトします。
2. 双対ステップ： 主更新の直後に、制約違反（残差）を蓄積するために乗数が更新されます：$\lambda_i \leftarrow \lambda_i + \alpha r_i$。
3. 重みの更新： $T$ ステップの後、$\lambda$ を通じて誤差の統合された履歴を組み込んだ拡張ラグランジュ関数の勾配を用いて、重みが更新されます。

主要な動態の違い

• 再帰的ダイナミクス： PCの拡散的な熱流（heat-flow）ダイナミクスとは異なり、PC-ALMは主・双対の相互作用によって駆動される振動的な過渡現象を導入します。
• クレジット伝播： 双対変数 $\lambda$ は、予測誤差の「遅延積分器」として機能します。著者らは、これが**「弾道的（ballistic）」なクレジット伝播**を生み出すことを観察しました。これにより、信号は出力付近で減衰するPCの拡散的な伝播とは対照的に、深いネットワーク全体に均一かつ迅速に伝わります。

3. 主要な貢献

1. 線形領域における理論的等価性： 著者らは、線形PCネットワークにおいて、PC-ALMが双対変数 $\lambda$ が正確に**BPのアジョイント（随伴）**となる平衡状態に収束することを証明しました。したがって、平衡状態における重みの更新はBPと同一であり、完全に層局所的な更新を通じて分配されます。
2. 有限推論バリアント： 非線形ネットワークでは正確な収束が保証されないことを認識し、著者らは標準的なPCと同じ計算予算内で動作する、乗数法の有限推論バリアントを開発しました。
3. PC-BP間のギャップの解消： 実証的に、PC-ALMは、標準的なPCが大幅に性能を落とす深い狭いネットワークを含む、あらゆる幅・深さの領域（深さ128まで）においてBPの性能に一致します。
4. 動態に関する洞察： 論文では、PC-ALMの安定条件を特徴付け、クレジット伝播の「弾道的」な性質を特定しています。合成信号（$\lambda + \rho r$）は、PCで見られる減衰とは異なり、全層に均一に分布することを示しています。

4. 実験結果

著者らは、画像分類タスク（Fashion-MNIST, MNIST）において、様々な幅（$N$）および深さ（$L$）、および活性化関数（Identity, Tanh, ReLU）を用いた残差MLPを用いてPC-ALMを評価しました。

• 性能： 推論予算を $T = 2L$ に設定した場合、PC-ALMは全範囲の $N$ および $L$ においてBPの精度に一致します。対照的に、標準的なPCの性能は、特に狭いネットワークにおいて、深さが増すにつれて低下します。
• 堅牢性： PC-ALMは、異なるパラメータ化レジーム（標準から平均場、およびレイジーからリッチまで）において安定しており、BPの性能に一致します。一方、標準的なPCは「リッチ」なパラメータ化レジームで遅れをとります。
• クレジットの整合性： PC-ALMの勾配とBPの勾配の間のコサイン類似度の分析により、PC-ALMは、標準的なPCがBPとの整合性に近づくために必要なステップ数よりも大幅に少ない推論ステップ数で、高い整合性（例：>0.9）を達成することが示されました。
• 変曲点： BPへの整合性は、推論ステップがおよそ $L/\sqrt{\alpha}$ に比例する箇所で予測可能な「スナップ（急激な変化）」または変曲点を示しており、これは迅速なクレジット伝播のメカニズムを示唆しています。

5. 意義と主張

本論文は、PC-ALMが、生物学的に妥当な局所学習とBPのグローバルな最適性の間のギャップを埋める、予測符号化の一般化であることを主張しています。

• 生物学的妥当性： 層局所的な更新を維持し、グローバルなバックワード・パスを回避することで、PC-ALMは生物学的に妥当な学習の候補であり続けながら、従来のPCの定式化における性能限界を克服しています。
• 整合のメカニズム： 本研究は、制約誤差を双対変数（ラグランジュ乗数）へと蓄積することが、局所的なダイナミクスをグローバルな勾配に整合させる鍵となるメカニズムであることを示唆しています。これは、分散システムがいかにして純粋に局所的なダイナミクスを用いて、BPのようなクレジット信号を計算し伝播できるかについての理論的枠組みを提供します。
• 効率性： PC-ALMは、BPとの整合性を得るためにPCネットワークを広げるよりも、推論効率が高いと提示されています。メモリコスト（ネットワークを広げることによるもの）と比較して、わずかな追加計算（双対更新）で、固定された幅において高い勾配整合性を達成します。

著者らは、PC-ALMは非線形制約付き最適化の収束の困難さを解決するものではないものの、予測符号化の局所的な性質を保持したまま、BPに代わる実用的で安定した高性能な代替手段を提供すると結論付けています。