Optical Implementation of Equilibrium Propagation Using Spatial Photonic Ising Machines

技術要約：空間的フォトニック・アイシング・マシンを用いた平衡伝播の光学的実装

問題提起
機械学習アルゴリズムのハードウェア実装は、特にフォトニック・システムにおいて、その潜在的なエネルギー効率からますます求められている。しかし、最先端のデジタル・ネットワークは誤差逆伝播法（バックプロパゲーション）に依存しているが、これは双方向の光伝搬と精密な位相測定を必要とするため、アナログ物理系へのマッピングが困難なアルゴリズムである。対照的なエネルギーベースのアプローチは、物理基質固有のダイナミクスを活用することで代替案を提供するが、平衡伝播（Equilibrium Propagation: EP）――明示的な逆伝播を行わずにエネルギーベースのネットワークを訓練するフレームワーク――の実験的な実現は依然として稀である。既存の物理実装の多くは、外部のデジタル更新ループを必要とするか、あるいはスケーラビリティに制限のある完全自律型のシステムとして動作している。したがって、EPに必要な勾配ベースの更新を実行できる、並列かつエネルギー効率の高い物理システムが必要とされている。

手法
著者らは、空間的フォトニック・アイシング・マシン（SPIM）を用いた、平衡伝播のハイブリッドな光・デジタル実装を提案し、実証している。この手法の核心は以下の通りである：

1. エネルギー汎関数とダイナミクス： システムは、エネルギー汎関数 $E$ の基底状態へと緩和する動的システムを訓練する。このエネルギーには、入力バイアス、二次相互作用、境界二次項、および出力ニューロンのためのコスト項が含まれる。学習可能なパラメータは、相互作用行列 $J_{in}$ および $J_{dyn}$ である。
2. SPIMによるエンコーディング： 相互作用勾配の評価（$O(N_d^2)$ の行列ベクトル積）という計算上のボトルネックを回避するため、著者らはSPIMを利用している。彼らはゲージ変換法を用い、連続的なニューロン状態（$s_i \in [-\pi/2, \pi/2]$）と、ランク1のバイナリ学習パターン（$\xi_{k,i} \in \{-1, 1\}$）を、空間光変調器（SLM）上の位相変調としてエンコードする。
3. ハミルトニアンの評価： SPIMは、自由空間伝搬と単一の強度測定を介してハミルトニアン $H_{SPIM}$ を計算する。ランク1のマティス問題（Mattis problems）の線形結合をとることで、相互作用行列の完全なプログラム可能性を実現している。
4. 勾配推定：
   • 推論： ニューロン状態に関する勾配は、位相を $\pm \pi/4$ シフトさせた2回のハミルトニアンの光学的測定を用いる有限差分スキームを用いて推定される。
   • 学習： カップリングパラメータ（$\lambda_k$）に関する勾配は、単一ショットで光学的に評価される。バイナリパターン（$\xi_{k,i}$）に関する勾配は、実験の実行時間を短縮するために数値的に評価されるが、論文ではこれは理論的に光学的に評価可能であるとも述べられている。
5. 最適化ループ： システムは二段階の最適化に従う。すなわち、内側ループはエネルギーを最小化し（推論）、外側ループは出力ニューロンをターゲットに向けて「ナッジング（微調整）」することに対するシステムの感度に基づいてパラメータを更新する。著者らは、バイナリパターンの更新にはBinary Optimizer (BOP) を使用し、数値シミュレーションにおける連続変数には標準的なオプティマイザ（Adamなど）を使用している。

主要な貢献

• ハイブリッド実装： 本論文は、SPIMがハミルトニアンおよび特定の勾配の評価という計算負荷の高い処理を担当し、デジタルコンポーネントが残りの項と最適化ロジックを処理するという、具体的なハイブリッド光・デジタルアーキテクチャを実証している。
• 連続ニューロン表現： ゲージ変換法を適応させることで、著者らはバイナリ変数用に設計されたハードウェア・プラットフォーム上で、連続的なニューロン状態を表現することに成功し、標準的なSPIMの重大な制限を克服した。
• 実験的実証： システムはWine分類データセットを用いて実験的に検証され、$89.7 \pm 3.2\%$ のテスト精度を達成した。
• 数値的スケーラビリティ分析： 著者らは、MNISTデータセットを用いた広範な数値シミュレーションを提供している。彼らは、将来の（バイナリの制限を取り除いた連続パラメータを持つ）SPIMが $97.81 \pm 0.15\%$ の精度を達成できることを示している。また、このアーキテクチャが制約されたリソース（例：8ビット精度）の下でも実行可能であり、構造化されたより深いアーキテクチャをサポートできることも示している。

結果

• 実験（Wineデータセット）： ハイブリッドシステムは、7回の独立した試行において平均 $89.7 \pm 3.2\%$ のテストセット精度を達成した。この結果とシミュレーション精度（$98.2\%$）との乖離は、実験的なノイズ（ショットノイズ、位相変動、レーザー出力の不安定性）に起因しており、これが平衡状態に影響を与える実効的な温度として作用している。
• 推論の加速： 学習後、エネルギー景観には明確な吸引領域（basins of attraction）が現れ、これにより推論を単一の勾配降下ステップへと加速させつつ、$85.71 \pm 2.3\%$ の精度を維持することが可能となった。
• 数値的（MNISTデータセット）：
  • 連続パラメータを用いることで、システムは $97.81 \pm 0.15\%$ の精度を達成し、これは標準的なEPの実装や他のフォトニック・シミュレーションに匹敵する。
  • スケーリング研究により、最小構成（$N_d=32, K=22$）でも線形分類器を上回ることができることが示された。
  • 量子化分析により、ニューロンの精度を（SLMの解像度と一致する）8ビットに下げても、精度を低下させることなく推論ステップを大幅に加速できることが明らかになった。一方で、4ビットの精度では顕著な性能低下が見られた。

意義と主張
本論文は、「平衡伝播のエネルギー効率の高い物理的実装に向けた具体的な経路」を提供すると主張している。SPIMの並列性を活用することで、このアプローチは（双方向の伝搬や精密な位相測定といった）光的逆伝播の厳格なハードウェア制約を回避している。著者らは、本手法を用いることで、複雑な光学系や訓練のための正確なデジタルツインを必要とすることなく、スケーラブルなSPIMプラットフォームを標準的な機械学習タスクに直接再利用できることを強調している。

本研究は、SPIMの応用範囲を二次非制約バイナリ最適化（QUBO）やボルツマンマシンの訓練を超えて広げ、アナログで低エネルギーなニューロモーフィック・コンピューティングの有力な候補として位置づけている。著者らは、現在の実験的制限（バイナリパターン、ノイズ）が複雑なデータセットにおける性能に影響を与えるものの、将来的なハードウェアの改善（連続パラメータ、より大きなSLM、波長マルチプレキシング）によって、この手法のポテンシャルを完全に実現できると結論付けている。