三相トランスフォーマー (Three-Phase Transformer) 技術要約

本論文は、デコーダ専用トランスフォーマーのアーキテクチャにおいて、**「三相交流システム」**の幾何学的な原理を応用した新しい構造的事前知識（Structural Prior）を提案するものです。著者の Mohammad R. Abu Ayyash 氏（Brains Build Research）によって執筆され、2026 年 4 月に公開されました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

従来のトランスフォーマーモデルは、隠れ状態（残差ストリーム）を均一なベクトル空間として扱ってきました。しかし、この空間を構造的に分割し、特定の幾何学的制約（ここでは「三相」のバランス）を課すことで、モデルの学習効率や表現力を向上できる可能性があります。

• 既存の課題: 位置エンコーディング（RoPE など）や埋め込み層の改良は多数行われていますが、残差ストリームそのものの幾何学的構造を「三相（120 度位相シフト）」として定義し、それを維持するアーキテクチャは存在しませんでした。
• 提案の核心: 三相交流システム（3 つの正弦波が 120 度ずつずれており、常に和がゼロになる性質）をモデルの次元空間に適用し、これを「モジュール」として追加するのではなく、**「残差ストリームを読み取るための規約（コンベンション）」**として実装します。

2. 手法 (Methodology)

提案された「Three-Phase Transformer (3PT)」は、標準的な SwiGLU + RMSNorm + RoPE + GQA のバックボーンの上に、5 つの構造的変更を加えたものです。追加される学習可能パラメータは極めてわずか（123M パラメータモデルで +1,536 個、全体の 0.00124%）です。

2.1 主要な 5 つの変更点

1. 三相チャネル分割 (Three-phase channel partition):

   • モデル次元 $d_{model}$ を 3 つの等しい幅のストリップ（位相 A/B/C）に構造的に分割します。
   • 学習可能な位相基底や正弦波ベースは存在せず、単に下流の層がインデックスをどのように扱うかという構造上の制約です。

2. ガブリエルの角 (Gabriel's horn) DC 注入:

   • 3 つの位相がバランスしているとき、チャネル空間には「すべての位相で同じ値を持つ 1 次元の DC（直流）部分空間」が空いたまま残ります。
   • この空間に、絶対位置情報を表す固定された解析関数 $r(p) = 1/(p+1)$（ガブリエルの角）を注入します。
   • 特徴: 指数関数的な減衰ではなく、$1/p$ の減衰により、長いシーケンスでも位置情報がゼロに潰れることなく、かつ総エネルギーが有限に保たれます。RoPE（相対位置）と直交する絶対位置の側面チャネルとして機能します。

3. 位相回転層 (PhaseRotationLayer):

   • アテンションと FFN の間に挿入される層です。
   • 各ブロックで、各チャネル（位相）に対して 2 次元のギブンス回転（Givens rotation）を適用します。回転角は学習可能ですが、3 つの位相間には固定された 120 度（$2\pi/3$）のオフセット構造があります。
   • この回転は非残差（残差接続なし）で適用されますが、直交変換であるため勾配の消失・爆発を起こさず、情報の欠落もありません。

4. 位相整合グループ化クエリアテンション (Phase-aligned GQA):

   • GQA のヘッド数を、3 つの位相で均等に分割できるように設定します（例：123M モデルでは Q ヘッド 12、KV ヘッド 3 を 3 分割し、各位相に Q 4、KV 1 を割り当てる）。
   • これはアーキテクチャ上の制約であり、追加パラメータはありません。

5. 位相認識 RMSNorm (Phase-aware RMSNorm):

   • グローバルな RMSNorm の代わりに、各位相ごとに独立した RMSNorm を適用し、その後結合します。
   • パラメータ数はグローバル RMSNorm と同じですが、各位相が独立したスケーリングを学習できます。

2.2 動作原理

アテンションや FFN は通常の通りすべてのチャネルを混ぜますが、上記の 4 つの操作（DC 注入、位相ごとの RMSNorm、回転層、ヘッド数の制約）が、残差ストリームが「三相バランス」の状態に保たれるよう、周期的に整列させます。これは「モジュール」の追加ではなく、**「撹乱（アテンション/FFN）と再平衡（位相操作）の間の自己安定化均衡」**として機能します。

3. 主要な結果 (Results)

実験は 550 万パラメータ（TinyStories）から 1 億 2300 万パラメータ（WikiText-103）まで行われました。

3.1 性能向上

• 123M パラメータモデル (WikiText-103):
  • 一致した RoPE のみのベースラインと比較して、Perplexity (PPL) が 7.20% 改善（17.31 → 16.06）。
  • Bits Per Byte (BPB) が 2.62% 改善（1.1148 → 1.0855）。
  • 学習パラメータの増加はわずか +1,536 個（0.00124%）。
• 収束速度:
  • ステップ数ベースで 1.93 倍、ウォールクロック時間で 1.64 倍 の高速収束を実現しました。

3.2 重要な発見とメカニズム

• RoPE との直交性: 三相構造は RoPE と競合せず、直交する部分空間で機能します。RoPE 単体よりも、RoPE + 三相構造の方が大幅に性能が向上しました。
• 自己安定化 (Self-stabilization): 明示的なゼロ和制約（loss 項）を削除しても、三相バランスは自然に維持されることが確認されました。これはニューラルネットワークにおける保存則（Noether の定理に類似）の具体例です。
• U 字型の深さドリフト: 12 レイヤーのモデルにおいて、回転パラメータのドリフトが浅い層と深い層で大きく、中間層（ブロック 2）で最小となる「U 字型」のプロファイルを示しました。これは既存の層スケーリング手法とは異なる新しい発見です。
• N=3 の特殊性: 550 万パラメータでは N=1（位相分割なし）が優れていましたが、123M パラメータでは N=1 と N=3 の差は統計的に有意でなくなり、N=3 が「最適」という主張はデータセットやシードに依存することが示されました。しかし、「チャネル分割＋回転＋DC 注入」という構造自体は規模に依存せず有効であることが確認されました。

4. 主要な貢献 (Key Contributions)

1. 新しいアーキテクチャクラス: 埋め込みや位置エンコーディングの改良ではなく、「残差ストリームの幾何学的構造」を定義する新しいアプローチを提示しました。
2. 極めて軽量な実装: 性能向上のために追加されるパラメータがほぼゼロ（0.001% 未満）であり、既存のモデルに容易に組み込めます。
3. ガブリエルの角の応用: 絶対位置情報を、学習不要な解析関数として、残差ストリームの直交部分空間（DC チャンネル）に注入する手法を提案しました。
4. 自己安定化の証明: 明示的な制約なしに、幾何学的なバランスが学習過程で維持されることを実証し、保存則の枠組みをニューラルネットワークに応用しました。
5. 大規模検証: 550 万パラメータから 1 億 2300 万パラメータまで、一貫した改善効果とスケーラビリティを実証しました。

5. 意義と結論

本論文は、トランスフォーマーの性能向上において「巨大なモジュールの追加」や「膨大なパラメータ」が必須ではないことを示しました。代わりに、「残差ストリームをどのように解釈し、維持するか」という幾何学的な規約を設計することで、極めて少ないコストで大きな改善を得られることを実証しています。

特に、三相交流の概念（120 度の位相シフトとゼロ和）をニューラルネットワークの表現空間に応用した点は、電気工学や音楽理論（増三和音）と数学的に共通する構造を持つことを示唆しており、AI アーキテクチャ設計における新しい視点を提供しています。また、RoPE との直交的な組み合わせや、DC チャンネルへの絶対位置注入というアイデアは、今後の大規模言語モデルの設計において重要な指針となるでしょう。