技術的概要：位相コヒーレント・トランスフォーマー（PCT）

1. 問題定義

複素数値ニューラルネットワーク（CvNN）は、歴史的に位相情報が本質的な信号処理分野（MRI、無線通信など）に限定されてきた。テキスト、視覚、推論における汎用アーキテクチャとしての採用は限定的であった。本論文は、特定のアーキテクチャ的ボトルネックを特定している：既存の複素数値トランスフォーマーの多くは、実数値アーキテクチャからソフトマックス・アテンション機構をほぼそのまま継承している。

著者らは、ソフトマックス・アテンションが行正規化されたトークン競合に依存しており、行内のアテンション重みの和が 1 になる構造を有していると主張する。この構造は、層を超えて位相情報の保存を必要とする複素数値計算と根本的に整合しない。ソフトマックスによって強制される「トークン競合」は、位相の重ね合わせを破壊する結合を導入し、「複素ペナルティ」をもたらす。これにより、特に長距離依存タスクにおいて、従来の複素数値トランスフォーマーは実数値の対応物よりも性能が低下する。

2. 手法：位相コヒーレント・トランスフォーマー（PCT）

これに対処するため、本論文は層を超えて位相コヒーレンスを保存するように設計された新しいアテンションプリミティブである**位相コヒーレント・トランスフォーマー（PCT）**を提案する。

中核メカニズム

PCT は、行正規化されたソフトマックスをトークン非競合アテンション機構に置き換える：

1. 基盤（Substrate）：クエリ（$Q$）、キー（$K$）、バリュー（$V$）に対してネイティブな複素数線形射影を使用する。
2. 正規化：クエリとキーを L2 正規化する（$\bar{q}, \bar{k}$）。
3. スコアリング：アテンション・スコアは、正規化されたベクトルの内積の実部から導出される：$s_{ij} = \text{Re}\langle \bar{q}_i, \bar{k}_j \rangle \cdot \sqrt{d}$。
4. ゲーティング：ソフトマックスの代わりに、PCT はスコアに対して実数値、要素非依存、滑らかなゲートを適用する。主要な実装では、$-\log N$ に初期化された学習可能なバイアスを持つシグモイド関数を使用する：
   $$\alpha_{ij} = \sigma(s_{ij} + b)$$
5. 集約：出力は複素数の重み付き和として計算される：$\text{out}_i = W_o \sum_{j} \alpha_{ij} v_j$。

決定的な点は、行正規化が存在しないことである。これによりトークンは独立してアテンションを向け、ソフトマックスの競合的正規化による破壊的干渉を招くことなく、複素数値の位相の重ね合わせを保存できる。

理論的枠組み：2 段階の位相コヒーレンス

本論文は、ゲート関数 $f$ に対する 4 つの条件によって定義される「2 段階の位相コヒーレンス」の枠組みを通じて、PCT の成功を形式化する：

• C1：ゲートの出力は実数値である。
• C2：ゲートは動作範囲内で有界である。
• C3：ゲートは勾配が非ゼロの滑らかなものである（逆位相成分を保存する）。
• C4：ゲートは要素非依存である（行結合がない）。

レベル 1（L1）コヒーレンス：C1 と C4 によって満たされ、層ごとの位相関係が保存される（トークン結合がない）ことを保証する。
レベル 2（L2）コヒーレンス：L1、C2、C3 によって満たされ、位相ノイズが深いスタック全体で指数関数的に蓄積しないことを保証する。本論文は、C3 の違反（例：ReLU の使用）が壊滅的なカスケード故障を引き起こし、C2 の違反（例：無界のゲート）が部分的な劣化をもたらすことを証明している。

3. 実験設定

著者らは、パラメータの公平性を確保（$\text{real\_dim} = \text{complex\_dim} \times 1.41$）しつつ、9 つの中規模ベンチマークにわたる体系的な6 セル比較を実施した。

6 セル：

1. real_softmax：標準的なトランスフォーマーベースライン。
2. real_sigmoid：実数値シグモイド・アテンション。
3. real_screen：実数値スクリーニング・アテンション（Nakanishi 2026）。
4. complex_softmax：従来の複素数値トランスフォーマー（大きさのソフトマックス）。
5. complex_screen：ハード閾値ゲートを備えた複素数値変種（C3 の部分的違反）。
6. PCT (complex_sigmoid)：提案アーキテクチャ。

ベンチマーク：

• 合成/アルゴリズム的：コピー・メモリ（短距離/長距離）、干し草の山の中の針（NIAH）、LRA-ListOps、FFT-MNIST、位相メモリ、マルチピッチ。
• 実世界：RadioML（変調分類）、MusicNet。
• 深さスケーリング：深さ 2 から 20 までのテスト。

4. 主要な結果

汎化と性能

• 従来の複素数値モデルへの優位性：PCT はすべてのタスクにおいて complex_softmax を一貫して上回る。長距離コピータスクにおいて complex_softmax は偶然レベルまで崩壊するのに対し、PCT は 1.000 の精度を達成する。
• 実数値ベースラインへの優位性：パラメータ公平な条件下では、PCT は長距離検索やアルゴリズム的推論を含むすべてのテストされたタスクで real_softmax を上回る。
• 最強の実数値ベースラインとの競争力：PCT は、合成およびアルゴリズム的タスクにおいて、最強の非ソフトマックス実数値ベースラインである real_screen と同等かそれ以上の性能を示す。物理的な複素数ドメインタスク（RadioML）では real_screen が PCT をわずかに上回るが、PCT は依然として complex_softmax を大幅に上回る。

特定タスクの知見

• NIAH（干し草の山の中の針）：PCT は、複素 Q/K が帰納的優位性を提供しないタスク（純粋に位置情報に基づく）である NIAH（L=2048）で 1.000 の精度を達成する。これは、複素数値ネットワークがそのようなタスクに本質的に弱いという考えと矛盾する。失敗の原因は基盤ではなく、アテンション機構にあった。
• 長距離ロバスト性：PCT は、長距離コピータスクにおけるハイパーパラメータ（学習率とバッチサイズ）の変動に対して独自にロバストであり、他のセルが失敗する広い範囲で 1.000 の精度を維持する。
• 深さスケーリング：PCT は深さ 2 から 20 にわたって深さ関連の精度崩壊を示さない。精度は安定しており、深い複素数値ネットワークにおける位相ノイズの蓄積という長年の懸念に対処している。

除去実験と分離

• ゲート違反：PCT 条件を意図的に違反するゲートを用いた実験は、理論的枠組みを確認する：
  • C3 違反（逆位相の削除）：ReLU やクランプド ReLU などのゲートは、深さに関係なく、長距離タスクで即座に偶然レベルまで崩壊させる。
  • C2 違反（無界性）：Cubic（動作範囲内で無界）などのゲートは、著しい性能劣化（例：コピータスクで 1.000 から 0.200 への低下）を引き起こすが、C3 が intact な場合、完全な崩壊は引き起こさない。
• 基盤のロバスト性：複素数値基盤は必要であるが、単一のコンポーネント（Q、K、V、または出力）が不可分的に責任を負うわけではない。複素数値性が保存される限り、アーキテクチャはパラメータ化の選択に対してロバストである。

5. 意義と主張

本論文は、トークン非競合アテンションと多層位相保存の導入により、複素数値ニューラルネットワークが従来の信号処理分野を超えて汎化できるようになったと主張する。

• アーキテクチャ原理：主な貢献は、ソフトマックスが位相保存型の複素数計算と構造的に互換性がないという点の特定である。ソフトマックスに内在する「トークン競合」は、位相コヒーレンスを破壊する不要な制約である。
• 設計指針：本論文は「PCT への近さ」の分類体系を確立する。C1–C4 条件を満たす（または部分的/回避された違反を持つ）アーキテクチャはよく汎化するのに対し、ReLU やソフトマックスのような厳密な違反を持つものは失敗する。
• 限定的な範囲：著者らは明示的に、PCT がテストされたベンチマークで強力な汎化を示すものの、深さに対する定量的なスケーリング則（Chinchilla 型など）を主張するものではないと述べている。主張は質的である：PCT は、以前に複素数値ネットワークで観察されていた深さ崩壊の故障モードを排除する。
• 未解決の問題：本論文は、RadioML タスクにおいて real_screen が PCT を上回るという異常値に言及し、物理的な複素数ドメインデータの特定のメカニズムに関する未解決の問題としてフラグを立てているが、これは核心的な反ソフトマックス主張を無効化するものではない。

要約すると、本論文は、複素数値トランスフォーマーにおける汎化の鍵は、単に実数値コンポーネントを複素数空間に移植することではなく、位相コヒーレンスの構造的要件を尊重するようにアテンションプリミティブを再設計することであると論じている。