技術的概要：E∆-MHC-Geo トランスフォーマー

1. 問題定義

現代の深層学習は、深層ネットワークにおける勾配流を促進するために、残差接続（$X_{l+1} = X_l + F(X_l)$）に大きく依存しています。しかし、標準的な加法的残差には幾何学的な保証が欠如しており、ノルムのドリフトや層間混合における表現力の限界を引き起こしています。これを解決しようとする最近の試みには以下のようなものがあります：

• 多様体制約ハイパー接続（mHC）： シンクホルト・クノップ射影を用いて二重確率混合行列を作成します。これは近似的に直交しますが、長い系列にわたって誤差が蓄積し、射影は計算反復的であるという欠点があります。
• 深層デルタ学習（DDL）： 恒等ショートカットを入力依存のハウスホルダー演算子（$H_\beta = I - \beta kk^\top$）に置き換えます。適応的である一方、$\beta \in \{0, 2\}$ の場合のみ厳密に直交します。訓練中、$\beta$ は連続的に変化するため、等長性が破られ、勾配の不安定化を招きます。

さらに、既存の幾何学的アプローチは、しばしば完全な直交群 $O(n)$ にアクセスすることに失敗します。具体的には、回転を生成するための一般的なツールであるキャリー変換は、代数的に固有値 $\lambda = -1$（純粋な反転/反射）を生成することができず、急速な符号反転や補正を必要とするタスクにおける有用性が制限されています。

2. 手法

E∆-MHC-Geo トランスフォーマーは、入力適応型幾何学と無条件直交性を統合する新しいアーキテクチャを提案します。

2.1 データ依存キャリー回転

中核的な革新はデータ依存キャリー変換です。以前の手法では回転平面が初期化時に固定されていましたが、このアプローチでは入力 $x$ に基づいて回転生成子を動的に計算します。

• 生成子の構築： 2 つのニューラルネットワークが入力からベクトル $u(x)$ と $v(x)$ を計算します。
• 歪対称生成子： 行列 $A(x) = u(x)v(x)^\top - v(x)u(x)^\top$ が構築されます。重要なのは、$u$ と $v$ がどのように導出されたかに関わらず、代数的構成によりこの行列が歪対称（$A^\top = -A$）であることです。
• 変換： 残差混合演算子は以下のように定義されます：
  $$Q(x) = \left(I + \frac{\beta(x)}{2}A(x)\right)^{-1}\left(I - \frac{\beta(x)}{2}A(x)\right)$$
  ここで、$\beta(x)$ は学習可能で入力依存の大きさです。
• 理論的保証： 著者は（定理 4.1）において、$A(x)$ が歪対称であるため、$Q(x)$ は無条件に直交（$Q^\top Q = I$）であり、任意の入力および$\beta(x)$ の任意の値に対してノルムを保存することを証明しています。これは、$\beta \notin \{0, 2\}$ の場合に直交性を失う DDL と対照的です。

2.2 ハイブリッドアーキテクチャと反転

キャリー変換の既知の限界として、固有値 $\lambda = -1$ を生成できないことが挙げられます（定理 4.6）。これは特殊直交群 $SO(n)$（行列式 +1）に写像されるためです。「実際には、いいえ」といった反転を必要とするタスクに対処するため、著者はE∆-MHC-Geo ハイブリッドを導入します：

• 演算子の選択： モデルは、学習されたゲート $\gamma(X) \in (0, 1)$ を介して、キャリー回転 $Q(X)$ と固定されたハウスホルダー反射 $H_2(k)$（ここで $\beta=2$）を組み合わせます：
  $$G_\gamma(X) = \gamma(X) Q(X)X + (1 - \gamma(X)) H_2(k(X))X$$
• 中点崩壊正則化： モデルが直交群の非直交内部（$\gamma \in (0, 1)$）に留まるのではなく、直交成分を利用することを保証するため、正則化項 $L_{gate} = 4\gamma(1-\gamma)$ が適用されます。これは $\gamma$ が境界（0 または 1）に崩壊することを促し、実質的に直交群の回転成分と反射成分の間を「ジャンプ」させます。

2.3 アーキテクチャ統合

幾何学的演算子は、トランスフォーマーブロック内の標準的な恒等ショートカットを置き換えます。アーキテクチャには mHC と同様の学習済み事前/事後マッピング（$H_{pre}, H_{post}$）が含まれますが、残差混合は、正確な入力適応型直交演算子 $G_\gamma$ によって実行されます。

3. 主な貢献

1. 無条件直交性： データ依存キャリー変換を通じて、ソフトペナルティや射影に依存することなく、すべての入力およびすべての訓練ステップに対して正確で非反復的な直交性を提供する最初のアーキテクチャ。
2. $O(n)$ へのハイブリッドアクセス： 回転のための $SO(n)$と反射のための$O(n) \setminus SO(n)$ の両方の連結成分にモデルがアクセスすることを可能にする新しいゲーティング機構。これにより、純粋なキャリー手法に固有の「反転問題」が解決されます。
3. 正則化の理論的解析： 中点における対称正則化子の挙動を説明する「普遍ゼロ勾配定理」（定理 7.3）により、中点崩壊戦略に対する原理的な正当性が提供されます。
4. 実証的検証： 一致したパラメータ数（約 179 万）を持つ 4 つのベースライン（同時発表の JPmHC を含む）に対する厳密なテストにより、優れた安定性と幾何学的忠実度が実証されました。

4. 実験結果

実験は、幾何学的性質を分離するように設計された合成ベンチマークで行われ、結果は 3 つのランダムシードで平均化されました。

• 長期的安定性： 127 ステップにわたるエコー系列を予測する安定性ベンチマークにおいて、E∆-MHC-Geo は最小の損失を達成し、JPmHC を1.9 倍、GPT を3.8 倍上回りました。平均偏差がわずか0.001でノルム保存を維持し、理論的等長性を検証しました。
• ジャイロスコープ（回転）タスク： 連続的な回転予測を必要とするタスクにおいて、JPmHC はより広い表現（$n_{embd}=512$）の恩恵を受け、絶対損失が最も低くなりました。しかし、E∆-MHC-Geo は33% 少ない層とより狭い表現（$n_{embd}=128$）を使用しながらも、非幾何学的ベースライン（GPT に対して 3.7 倍）を大幅に上回りました。
• 反転と反射： モデルに $y = -x$ を学習させる診断タスクにおいて、E∆-MHC-Geo ゲートは $\gamma \approx 0.05$ に成功裏に崩壊し、ハウスホルダー反射ブランチを選択して0.96 のコサイン整合を達成しました。対照的に、反射ブランチを持たない JPmHC と、$\beta$ を正確に 2 に収束させるのに苦労した DDL は、正確な反転整合を達成できませんでした。
• $\pi$ 近傍の回転： モデルは回転と反射の境界に近づく際の堅牢性を示し、$\pi$ に近い角度（例：$179.9^\circ$）でも低損失に収束しましたが、正確な $\pi$ には反射ブランチが必要です。

5. 意義と主張

本論文は、E∆-MHC-Geoが、以前の手法の強みを統合することで幾何学的深層学習における重要な前進を表すと主張しています：

• 深層デルタ学習（DDL）の入力適応性と mHC のマルチストリームフレームワークを維持しています。
• シンクホルト射影の近似直交性や DDL の条件付き直交性とは異なり、無条件に成立する正確な代数的直交性を提供します。
• キャリー回転とハウスホルダー反射をハイブリッド化することで反転問題を独自に解決し、モデルが完全な直交群 $O(n)$ にアクセスすることを可能にします。

著者は、JPmHC はより広いアーキテクチャに起因して高次元のストリーム別表現力を必要とするタスクで優れている可能性がある一方で、E∆-MHC-Geo はより少ない層で安定性、ノルム保存、幾何学的正確性を提供すると強調しています。この研究は、入力適応型・無条件直交変換の使用に関する理論的・実証的基盤を確立し、層間変換の量と同様にその構造が重要であることを示唆しています。著者は、現在の結果は制御された合成ベンチマークに基づいており、大規模な自然言語やビジョンタスクへのスケーリングは今後の課題であると述べています。