技術要約: HAMON – 長期予測のための受動的光学シーケンス混合

問題提起

長期時系列予測は、伝統的にディープラーニングアーキテクチャ、特に高密度で重畳された表現とデジタル行列乗算を利用するTransformerに依存してきました。しかし、標準的なベンチマークにおける競争力のある性能は、必ずしもこれらの複雑な非線形特徴を必要としないという最近の証拠があります。軽量な線形モデル（DLinearなど）や周波数領域モデル（FITSなど）は、予測の核となる演算が低複雑度であり、近似的に線形であることを示しています。

この観察は、計算基盤に関する根本的な問いを投げかけます。もし、予測の核となる操作が本質的に時間的またはスペクトル成分の線形混合であるならば、それは学習されたデジタル算術によって実装されなければならないのでしょうか？本論文は、シリコン上で計算コストの高い線形演算（積和演算を必要とするもの）が、受動的な物理媒体、具体的にはフーリエ光学に従うコヒーレント光の伝搬によって「無料」で行える可能性があると提唱しています。

手法

著者らは、シーケンス混合層を受動的な回折光学コアに置き換えた、HAMON（Passive Optical Sequence Mixing：受動的光学シーケンス混合）を導入しています。

コアアーキテクチャ

HAMONは、予測タスクを回折問題として再定義します。

1. 入力エンコーディング: 多変量履歴時系列 $x \in \mathbb{R}^{L \times C}$ を正規化（可逆的なインスタンス正規化、RevINを使用）し、幅 $G$ の一次元光学アパーチャにエンコードします。
   • 振幅エンコーディング: 正規化された値を電界の振幅として直接設定します。
   • 位相エンコーディング: アパーチャは単位振幅を持ち、正規化された値が位相（$e^{i\alpha \pi x}$）を変調します。
   • 「未来」の位置にあたるアパーチャ部分は、暗い状態（強度ゼロ）のままにされます。
2. 受動的光学コア: 入力電界は、$N$ 個の連結された学習可能な位相マスクと、それらの間の自由空間伝搬距離 $z$ を通過します。
   • 位相マスク: 各レイヤー $\ell$ は、要素ごとの乗算 $U \leftarrow U \odot \exp(i\phi_\ell)$ を通じて位相シフト $\phi_\ell$ を適用します。
   • 伝搬: マスク間では、電界は角スペクトル法（フーリエ光学）を用いて伝搬し、回折と干渉をシミュレートします。
   • リードアウト: 電界はリードアウト平面へと伝搬されます。予測値は、初期に暗かった領域（将来のタイムステップに対応する部分）から抽出されます。
     • コヒーレント・リードアウト: 複素電界の実部を使用します。
     • 強度・リードアウト: 振幅の二乗 $|U|^2$ を使用します。
     • 差分強度・リードアウト: 符号付き出力として標準的な検出器と互換性を持たせるため、2つの暗い領域の強度を減算します。
3. 出力処理: リードアウトされた値は、最終的な予測 $y \in \mathbb{R}^{H \times C}$ を生成するために逆正規化されます。

学習

システムは、微分可能な波動光学シミュレータを介したデジタル・バックプロパゲーションによって学習されます。学習可能なパラメータは、マスクの位相プロファイル $\{\phi_\ell\}_{\ell=1}^N$ のみに限定されます。損失関数は、予測に関する平均二乗誤差（MSE）と、入力履歴を再構成するための補助的なバックキャスト項を組み合わせたものです。光学コアの後にデジタル線形予測ヘッドは適用されません。

主な貢献

1. 基盤の置換: HAMONは、シーケンス混合演算をデジタルシリコンから受動的な光へと移動できることを示しています。これは、学習されたデジタル線形層を、学習可能な回折伝搬演算に置き換えるものです。
2. 受動的推論: 従来の光学ニューラルネットワークが非線形リザーバやデジタルリードアウトヘッドに依存していたのに対し、HAMONは、シーケンス混合の全工程を単一の受動的光学伝搬パスを通じて実行します。
3. ハードウェアを意識した設計: 本アーキテクチャはハードウェアの制約を考慮して設計されており、コヒーレント振幅リードアウトを必要とせず、標準的な強度検出器と互換性のあるバリアント（位相/差分強度）を提供します。
4. メカニズムの検証: アブレーション研究（位相スクランブリング、インターフェースの変化）およびクロスシミュレータチェック（TorchOptics）を通じて、著者らは、予測能力がデジタル境界条件ではなく、データを持つ光学電界と回折の物理学から生じていることを検証しています。

実験結果

HAMONは、標準的な長期予測ベンチマーク（ETT、Weather、Electricity、Traffic）において、予測ホライゾン $H \in \{96, 192, 336, 720\}$ およびルックバック $L=336$ で評価されました。

• 性能:
  • ETTm2: HAMONは、すべてのホライゾンにおいて強力なデジタルベースライン（PatchTSTやDLinearを含む）を上回り、MSEを最大14%改善しました。
  • ETTh2: 最長ホライゾンを除き、すべてのホライゾンでベースラインを上回りました。
  • その他のデータセット: HAMONはWeatherにおいて競争力があり、ETTh1、ETTm1、Electricity、Trafficでは最強のベースラインに及びませんでした。
• リードアウトのバリアント: 検出器適合型の「HAMON-DiffInt」バリアント（位相エンコーディング + 差分強度リードアウト）は、コヒーレント・リードアウト・バリアントと同等の競争力を維持しつつ、特にETTm1とWeatherにおいて性能を向上させました。
• アブレーション:
  • 位相スクランブリング: 入力位相をゼロにする、シャッフルする、あるいは符号を反転させると、性能が著しく低下しました。これにより、モデルがデータの時間的な位相構造に依存していることが確認されました。
  • 深さ: レイヤー数を16から24に増やしても、わずかな改善しか見られませんでした。これは、16レイヤーの構成が十分な物理特性を捉えていることを示唆しています。
  • コンテキスト長: ルックバックを96から336に増やすと性能が向上しました。これは、光学アパーチャが追加の歴史的コンテキストから恩恵を受けることを示しています。

意義と主張

本論文は、HAMONを新しいデジタル最先端モデルとしてではなく、基盤レベルの調査として明確に位置づけています。主な主張は、現代のシーケンスモデルの核となる計算、特に長期予測に必要な線形混合は、受動的な物理プロセスとして実装できるということです。

• 限定的な範囲: 著者らは、HAMONが完全なエンドツーエンドの光学学習器ではないことを認めています。正規化、エンコーディング、およびリードアウトは、依然としてデジタルまたは電気光学的な境界操作です。
• シミュレーション vs ハードウェア: 結果は波動光学シミュレーションに基づいています。本論文は実験的なハードウェア検証を主張するものではなく、基礎となる物理学（フーリエ光学、回折、干渉）が標準的でよく理解されているものであることを論じています。
• 今後の方向性: HAMONは、具体的な光学ハードウェア実装のターゲットを定義しています。これは、「受動的な物理的シーケンス混合」が実現可能な研究プログラムであり、線形演算をデジタルプロセッサから回折光学へとオフロードすることで、エネルギー効率の高い推論を提供する可能性があることを示唆しています。

要約すると、HAMONは、もし予測タスクが線形演算によって解決可能であるならば、その演算は厳密にデジタル実装を必要とせず、学習可能な受動的回折を通じて効果的に実現できるという仮説を検証しています。