Temporal speckle enables probabilistic weights for uncertainty-aware photonic AI

技術要約：時間的スペックルによる不確実性を考慮したフォトニックAIのための確率論的重み付け

問題提起
医療や自律システムなどの安全性が極めて重要な領域に配戦される人工知能システムは、曖昧な観測（アレオリック不確実性）や未知の入力（エピステミック不確実性）に遭遇した際、不確実性を認識できずに失敗することがよくあります。従来の決定論的なニューラルネットワークは、このようなシナリオにおいて過剰な自信（オーバーコンフィデント）を持ってしまいます。ベイズニューラルネットワーク（BNN）は、重みの点推定ではなく確率分布を推論することで原理的な解決策を提供しますが、その実用的な展開は計算負荷によって阻害されています。予測時に多数の確率分布からサンプリングを行うことは、決定論的なデジタルハードウェアにとってボトルネックとなり、レイテンシ、エネルギー消費、およびメモリトラフィックを増大させます。既存のアナログハードウェア手法（メモリスタデバイスなど）は、スケーラビリティ、ドリフト、および1つの重みに対して複数のデバイスを必要とする課題に直面しています。したがって、プログラム可能な重み分布、並列サンプリング、および確立された機械学習フレームワークと互換性のある直接的なフォトニック演算を可能にする物理的メカニズムが必要です。

手法
著者らは、広帯域のカオス光の**時間的スペックル（temporal speckle）**を、確率論的重みのネイティブな物理的表現として利用するフォトニックアーキテクチャを提案しています。

• 確率のスペクトル符号化: デジタル的に乱数を生成する代わりに、本システムは、広帯域スペクトル内の個々の周波数チャネルにおける光学特性に、重み分布の平均（$\mu$）と標準偏差（$\sigma$）を直接符号化します。
  • 平均 ($\mu$): 特定の周波数チャネルの積分光パワー（$P$）によってプログラムされます。
  • 標準偏差 ($\sigma$): そのチャネルの光帯域幅（$\Delta\nu$）によってプログラムされます。
  • メカニズム: 周波数成分間のランダムなビートが、時間的なパワー変動を生み出します。検出器の有限な電気的帯域幅（$B_{el}$）が測定間隔を定義します。光帯域幅が増加すると、コヒーレンス時間が減少し、検出器はより多くの時間的コヒーレンスセルを平均化することになります（$M_{eff} \sim \Delta\nu/B_{el}$）。この平均化処理により、相対的な変動が抑制される（$\propto M_{eff}^{-1/2}$）ため、帯域幅によって確率性を制御し、パワーによって信号の平均を制御することが可能になります。
• フォトニック確率論的畳み込みアクセラレータ: 本システムは、スペクトル符号化と周波数・時間インターリービングを組み合わせたものです。
  • プログラマブルなウェーブシェイパーにより、9つのスペクトルチャネル（194 THzを中心とし、403 GHz間隔）を定義し、それぞれ独立して制御可能なパワーと帯域幅を持たせます。
  • 電気光学変調器（EOM）が、すべてのチャネルに対して時間的な入力データを同時に符号化します。
  • チップ集積された**チャープ波導路ブラッグ回折格子（CWBG）**が、周波数依存の遅延を導入します。遅延スロープ（$-93.12$ ps THz$^{-1}$）により、隣接するチャネルが正確に入力シンボル期間（$37.5$ ps）分だけ遅延され、スペクトル符号化された重みがフォトディテクタ上で対応する入力値と整列します。
  • フォトディテクタは整列した光パワーを合算し、単一の物理的ステップで畳み込み演算の確率論的な実現（stochastic realization）を生成します。
• ハイブリッド・ベイズニューラルネットワーク（BNN）: 著者らは、ネットワークアーキテクチャ（DenseNetスタイルのスキップ接続と深度分離畳み込みを組み合わせたもの）を共同設計し、唯一の確率論的畳み込み層のみをフォトニックアクセラレータ上に実装しています。残りのネットワークは決定論的かつデジタルなままです。
  • 学習: 微分可能なサロゲートモデル（PyTorch互換）が、確率的変分推論（SVI）を用いて、ハードウェアを意識した学習中にフォトニック層の統計量（平均と分散）をシミュレートします。
  • 推論: 物理的なアクセラレータがサロゲートに取って代わります。システムは、各パスに対して新しい物理的な重みの実現値を用いて、複数の確率論的なフォワードパス（例：10回）を実行します。
  • 不確実性の定量化: エピステミック不確実性は相互情報量（異なる重みの実現値間での予測の不一致）によって測定され、アレリック不確実性はソフトマックス・エントロピー（単一の予測内の不確実性）によって測定されます。

主な貢献

1. 確率論的重みの物理的表現: 広帯域カオス光が、スペクトル整形されることで、計算負荷の高い乱数生成を伴わずに、複数の独立した確率分布を並列に格納およびサンプリングできることを実証しました。
2. 超高速畳み込みアクセラレータ: 1つの確率論的畳み込み出力を37.5 ps（毎秒267億個の出力に相当）で計算するフォトニックプロセッサを実現しました。これは、他のフォトニックシステムで報告されているナノ秒規模の確率論的操作よりも大幅に高速です。
3. エンドツーエンドの不確実性考慮型推論: ハードウェア意識型の学習と実験的展開を可能にするPyTorchインターフェースを備えた、ハイブリッドBNNワークフローに物理アクセラレータを統合することに成功しました。
4. 不確実性の種類の分離: 相互情報量とソフトマックス・エントロピーの指標を用いて、未知の入力（エピステミックな新奇性）とノイズの多い入力（アレリックな曖昧さ）を分離できることを実験的に示しました。

実験結果

• 特性評価: システムは25個のランダムに生成された確率論的カーネルを用いてテストされました。測定された出力の平均と標準偏差は、ターゲット値と密接に一致しており、平均誤差は$0.016 \pm 0.173$、標準偏差の誤差は$0.036 \pm 0.092$でした。
• 血球分類: ハイブリッドBNNは7つの血球クラスで学習されました。保持されていない赤芽球（分布外データ）を提示した際、システムはそれをエピステミックな不確実性として検出しました。
  • 保持された細胞タイプの検出において、**91.16%**のAUROC（受信者動作特性曲線下面積）を達成しました。
  • 不確実な画像を拒絶することで、保持された分布内の画像の分類精度は90.26%から**94.62%**へと向上しました。
• 標準ベンチマーク（MNIST, Fashion-MNIST, Ambiguous-MNIST）:
  • MNISTにおいて**96.01%**の精度を達成。
  • 相互情報量に基づく拒絶により、非拒絶画像のMNIST精度は**99.70%**に向上しました。
  • Fashion-MNISTにおけるエピステミック不確実性の検出は、**84.42%**のAUROCを達成しました。
  • Ambiguous-MNISTにおけるアレリック不確実性の検出は、**88.03%**のAUROCを達成しました。
  • 3つのデータセットは、相互情報量とソフトマックス・エントロピーの空間において明確に異なる領域を占めており、不確実性の種類の分離を確認しました。

意義と主張
本論文は、プログラム可能な確率論的重み、光学的畳み込み、およびエンドツーエンドの不確実性考慮型推論を統合した、初の実験的なフォトニック実装を提供すると主張しています。固有の光ノイズをプログラム可能な計算リソースへと変換することで、本システムはベイズ推論のサンプリングのボトルネックを取り除きます。著者らは、このアプローチが単にランダムサンプリングを加速するだけでなく、確率論的な重みを同一の光信号内に格納、サンプリング、および処理することを可能にすることで、最先端技術を進展させると述べています。本研究は、ハードウェアとアルゴリズムの協調設計を活用して、特定の層に確率性を集中させることで、予測性能を維持しながら物理的リソースの要求を低減する経路を確立しています。これは、不確実性の下での推論が不可欠な、安全性に敏感なAIワークロードのための実用的なシステムコンポーネントとなります。