技術要約：シーケンスモデルにおける「量子的なショートカット」

1. 問題提起

シーケンスモデルは、通常、情報の経路を決定する「バックボーン」（アテンションやリカレンスなど）によって定義される。しかし、現在のほぼすべてのモデルは、その**基質（サブストレート）**に関する設計上の事前選択を共有している。すなわち、隠れ状態を表現するために使用される数体系と、状態から予測への写像の関数形式である。主流の基質は、実数値の状態ベクトル（$\mathbb{R}^d$）と、その後のアフィン変換およびソフトマックスによる読み出し（リードアウト）を用いている。

本論文は、バックボーンとは独立した、この「実数・アフィン・ソフトマックス」の基質における2つの根本的な限界を特定している。

1. ランクのボトルネック： アフィン写像とソフトマックスの組み合わせは、最大で $d+1$ のランクを持つ対数確率行列を生成する。もしデータの条件付き構造がより高いランクを持つ場合、状態がどのように計算されようとも、モデルは誤設定（ミススペシフィケーション）となる。
2. 勾配消失と忘却のトレードオフ： スペクトル半径 $\rho < 1$ を持つ実線形リカレンスは、$T$ ステップにわたって伝播する勾配を $\rho^T$ 倍に減衰させる。安定性を維持しつつ「忘却」を可能にするためには、モデルは状態を減衰させなければならないが、これは同時に初期位置からの信号をも侵食してしまう。

著者らは、これらの限界が基質自体に起因すると考えている。彼らは、複素数基質（量子論の数学、特に位相力学とボルンの規則に基づくもの）を用いることで、これらの問題を克服し、目標損失に達するために必要な最適化ステップ数を削減できるかどうかを調査している。

2. 手法

デプロイ可能な複素数基質

本論文では、以前のモデル（Nebliら [10]）において直接的なデプロイを妨げていた、理想化された量子着想モデルの2つの特性を緩和した、「デプロイ可能な」複素数基質を導入している。

1. 厳密なユニタリ性の緩和： 忘却を禁止してしまう厳密なノルム保存型（ユニタリ）リカレンスの代わりに、著者らは収縮的かつ入力依存的なリカレンスを使用している。状態の進化は $|\psi_{t+1}\rangle = a_t \odot |\psi_t\rangle + b_t$ と定義される。ここで、遷移係数 $a_{t,k}$ は、実数のゲート $\alpha_{t,k} \in (0,1)$ と単位モジュラスの位相 $\lambda_{t,k}$ の積である。
   • メカニズム： ゲート $\alpha$ が忘却（大きさの収縮）を担い、位相 $\lambda$（ディアゴナルなケイリー変換によって生成される）が情報を歪曲することなく輸送する。これにより、忘却と情報輸送が分離される。
2. ボルンの語彙読み出しの緩和： 全語彙に対してボルンの規則（$p_v = |\langle e_v | \psi \rangle|^2$）を適用することは計算コストが高い（$O(NV)$）。著者らは、ボルンの規則を**線形アテンションのスコアリング関数**（二次形式$|\langle q | k \rangle|^2$）としてのみ適用し、最終的な語彙出力には標準的なタイド・ソフトマックス・ヘッドを維持している。

実験設計

基質の影響を孤立させるため、著者らは2つの異なるバックボーンに複素数基質を実装した。

• H-Mamba: Mamba状態空間モデルの複素数版。
• H-Transformer: ボルンの規則によるスコアリングを用いた線形アテンションによるTransformerの複素数版。

コントロール（対照群）：

• パラメータの整合： 複素数モデルと実数モデルの総パラメータ数を0.02%以内の誤差で一致させた。
• プロトコル： すべてのモデルに対し、個別のチューニングを行わず、単一の固定されたトレーニングプロトコル（AdamW、コサインスケジューリング、750ステップのウォームアップ）を適用した。
• コーパス： サイズが150倍に及ぶ3つのバイトレベルのコーパス（enwik8: 100 MB、OpenWebText: 3 GB、FineWeb: 15 GB）を使用した。
• 指標： 主要な指標は、単なる最終損失ではなく、特定の検証損失ターゲット（文字あたりのビット数：bpc）に到達するまでの最適化ステップ数である。

3. 主な貢献

1. デプロイ可能な複素数基質の定義： 複素位相の干渉特性（ケイリー変換経由）を保持しつつ、選択的な忘却（シグモイドゲート経由）と効率的な語彙読み出し（ソフトマックス経由）を可能にする基質を定式化した。
2. 「量子的なショートカット」： この基質が、同サイズの対応する実数モデルと比較して、目標損失に達するために必要な最適化ステップ数を、状態空間モデルでは約3倍、アテンションモデルでは約2倍削減することを実証した。
3. メカニズム分析：
   • 位相輸送： 理論的分析（補題6.2）によれば、相対的な位相は、収縮ゲートに関わらず、単位感度でリカレンスを通じて輸送される。一方で実数の大きさは減衰する。
   • 干渉： 二次形式のボルン・スコアは、線形な実数読み出しには存在しない、仮説の破壊的干渉（打ち消し合い）を可能にする。
   • 分解： 状態空間モデルにおける加速は、主に勾配のコンディショニングの改善（位相輸送）によるものであり、アテンションにおける加速は、干渉とコンディショニングの混合によるものである（ただし、実数ベースラインは既に十分に良好なコンディションを持っているため、後者の寄与は限定的である）。

4. 結果

最適化の効率

3つのコーパスと3つの損失ターゲット（2.5, 2.2, 2.0 bpc）すべてにおいて：

• H-Mamba は、実数版Mambaよりも約1/3のステップ数でターゲットに到達した。
• H-Transformer は、実数版Transformerよりも約1/2のステップ数でターゲットに到達した。
• この優位性は、トレーニングの極めて早い段階（最初の200ステップ以内）で確立され、減少していく損失曲線全体を通じて安定していた。

ウォームアップ後の挙動

論文では、初期のトレーニング効果と持続的な優位性を区別している。

• 状態空間（Mamba）： 学習率のウォームアップ終了後、性能差は拡大した（例：OpenWebTextにおいて0.321から0.354 bpcへ）。これは、この優位性がウォームアップ・スケジュールの副産物ではなく、構造的な利点であることを示唆している。
• アテンション（Transformer）： ウォームアップ後に性能差はゼロに向かって減衰した。これは、この優位性が主に初期トレーニング段階の効果であることを示している。

最終的な性能とデータ限界

• 大規模なウェブ・コーパス（OpenWebText, FineWeb）において、複素数モデルは実数モデルよりも低い最終検証損失を達成した。
• 小規模なenwik8（100 MB）では、複素数モデルは実数モデルよりも早くデータ限界に達し、より早く過学習を開始した。これは、彼らのサンプル効率の高さの結果である。

計算コスト

• トークン数： ステップ数の減少は、消費トークン数の直接的な減少につながる（例：FineWebで2.0 bpcに到達するために、H-Mambaは～0.57Bトークンを節約できた）。
• 実行時間（Wall-Clock Time）： アテンションのペアについては、現在の融合カーネルのオーバーヘッド（実数版の半分のスループットで動作）により、ステップ数の優位性が相殺され、実行時間は同等となっている。状態空間のペアについては、最適化された実数ベースライン・カーネルの開発待ちであるが、ステップ数の優位性は、適切なカーネルが開発されれば潜在的な時間短縮が可能であることを示唆している。

5. 重要性と主張

本論文は、基質（数体系と読み出し形式）が、バックボーンと同様に重要な設計軸であることを主張している。主要な意義は、緩和されたデプロイ可能な形式であっても、実数の基質を複素数の基質に置き換えることで、シーケンスモデリングに必要な最適化ステップ数が大幅に削減されることを示した点にある。

著者らは明示的に述べている：

• 「量子的なショートカット」とは、最適化ステップ数の削減であり、必ずしも実行時間の削減ではない（現在のカーネルの非効率性による）。
• この優位性は、初期フェーズにおいてはバックボーンに依存しないが、状態空間バックボーンにおいては持続的である。これは、メカニズムが「位相を減衰させずに輸送する」というリカレンスの能力に根ざしているという仮説を支持している。
• パラメータ数の違いやチューニングのアーティファクトによるものではない。厳格なパラメータ一致と同一のプロトコルを用いているためである。
• 本論文は、ソフトマックス・ヘッドが残っているため、語彙レベルでのランク・ボトルネックを解決すると主張しているのではない。むしろ、複素数基質が既存のバックボーンの最適化の軌跡とサンプル効率を改善することを実証している。

結論として、モデルが計算を行う「場（フィールド）」は、バックボーンと同様に基本的な設計決定であり、複素数力学がシーケンスモデルのより効率的なトレーニングへの実行可能な道を提供することを述べている。