技術要約：Kuramoto Attention（蔵本アテンション）

問題と動機

標準的な自己注意（self-attention）メカニズムは、通常、クエリとキーがソフトマックス重みを生成して値を平均化する、コンテンツベースの検索システムとして記述されます。これは効果的ではあるものの、このプロセスの幾何学的解釈はしばしば抽象的です。近年の研究では、標準的なアテンションを漸近的にクラスタリングする相互作用粒子系として分析したり、他のモデル（例：AKOrN）では、設計段階から蔵本（Kuramoto）振動子力学をアテンションに統合しようとしたりしています。

本論文は、隠れ状態を明示的に位相値（phase-valued）として扱うことで、自己注意と位相同期の間のギャップに対処します。目的は、値の更新が単なる同期の近似ではなく、あらゆるステップにおいて数学的に蔵本結合項と同一となる自己注意層を構築することです。著者らは、特定の制約された幾材構造、具体的にはトーラス上に存在する構造が、標準的なトランスフォーマーに匹敵する実行可能な言語モデルとして機能できることを示すことを目指しています。

手法：Kuramoto Attention

提案されている層は、各トークンの隠れ状態を、$k$ 個の単位振動子のバンクを表す位相ベクトル $\theta \in \mathbb{R}^k / (2\pi\mathbb{Z})^k$ としてモデル化します。この層は、主に以下の3つのステージを通じて動作します。

1. ゲート付き位相類似度（スコア）

トークンは学習可能な位相として埋め込まれます。クエリ・トークン $t$ とキー・トークン $u$ の間の類似度スコアは、ゲート付きコサインカーネルを用いて計算されます：
$$s_{t,u} = \frac{\tau}{\sqrt{k}} \sum_{j} g^q_{t,j} g^k_{u,j} \cos(\theta_{t,j} - \theta_{u,j} + \omega_j(t-u))$$

• ゲート: 正のクエリゲート ($g^q$) とキーゲート ($g^k$) は、ソフトプラス活性化関数と平均正規化を介して位相特徴量から導出されます。これらのゲートは、トーラス上の学習可能な位置依存のメトリックとして機能します。
• 回転位置エンコーディング: 回転位置エンコーディング（Rotary embeddings）は、位相ドリフト $\omega_j(t-u)$ として入り込みます。ここで $\omega_j$ は、座標ごとに学習されるレートです。このドリフトは、蔵本モデルにおける「自然振動数」として機能します。
• アテンション: 重み $A_{t,u}$ は、因果的マスキングを伴うスコアに対するソフトマックスによって得られます。

2. 円周平均値更新（蔵本ステップ）

値が学習可能な投影である標準的なアテンションとは異なり、ここでの値は生の位相状態そのものです。更新メカニズムは、注目された位相の、アテンション重み付きの円周平均（circular mean）を計算します：
$$G_{t,j} = \sum_{u \le t} A_{t,u} e^{i\theta_{u,j}}$$
更新増分は、現在の位相 $\theta_{t,j}$ におけるこの結果ベクトルの接線成分です：
$$a_{t,j} = -\sin(\theta_{t,j}) \text{Re}(G_{t,j}) + \cos(\theta_{t,j}) \text{Im}(G_{t,j})$$
この増分は、学習された符号付きの座標ごとの値ゲート $v(\theta_t)$ によってスケールされ、状態がトーラス上に留まるようにノルム一致関数によって制限されます。

• 鍵となる同一性: 著者らは、この特定の更新増分が、まさに蔵本結合項 $\sum_u A_{t,u} \sin(\theta_{u,j} - \theta_{t,j})$ であることを証明しています。ソフトマックス行列は、適応的でコンテンツ依存の結合カーネルとして機能します。

3. フィードフォワード・ブロック

SwiGLUフィードフォワード・ブロックが、層間で状態を再配置するための、2番目の有界な増分を提供します。これは、生の角度に対して動作し周期性を破るため、厳密な意味での「幾何学ネイティブ」ではない唯一のコンポーネントです。これは、埋め込み値の加法的な混合メカニズムとして機能します。

4. リードアウト

隠れ状態と語彙項目ごとの学習されたプロトタイプ位相との間の位相整列を測定することで、ロジットが生成されます。

主な貢献

本論文は、以下の6つの具体的な貢献を行っています：

1. 新しいアテンション層: 位相値の隠れ状態をトーラス上で持つ自己注意層である、Kuramoto attentionの導入。ここでは、学習可能な投影としてではなく、生の位相を値として使用します。
2. 蔵本の同一性: 値の更新が、あらゆるステップにおいて正確に蔵本結合項であり、ソフトマックス行列が結合カーネルとして機能することの証明。
3. 選択と同期の統一: ソフトマックス重みが、エントロピー正則化された位相検索問題を解決することの提示。この層は、まず学習されたメトリックを通じて近傍のソフトセットを選択し、次にそれらと同期（勾配によるコヒーレンシー・エネルギー）します。
4. 回転位置としての位相ドリフト: 回転位置エンコーディングを、蔵本モデルにおける自然振動数として機能する、位置依存の位相ドリフトとして解釈。
5. 乗法的値パス: 値を加法的に混合する標準的なアテンションからの脱却。ここでは、値はゲートと境界を通じて乗法的に混合され、加法的な混合はフィードフォワード・ブロックに限定されます。
6. 実証的検証: enwiki8 文字レベルの言語モデリングタスクにおいて、この制約された幾何学的構造が言語モデルとして機能することの提示。

実験結果

著者らは、enwiki8 文字レベルの言語モデリングタスクにおいて、100万および500万パラメータの2つのスケールで、一致させたRoPE+SwiGLUトランスフォーマー・ベースラインと比較して評価を行いました。

• 100万パラメータ: Kuramoto attentionモデルは、検証Bits-Per-Character (BPC) で $1.637 \pm 0.010$ を達成し、トランスフォーマーの $1.616 \pm 0.004$ と比較されました。差は0.02 BPC以内です。
• 500万パラメータ: Kuramotoモデルは中央値BPC 1.448を達成し、トランスフォーマーの中央値1.452に匹敵しました。しかし、平均値ではトランスフォーマーがリードしました（1.456 vs 1.468）。これは主に、Kuramotoの実行における1つの外れ値シードが収束に時間を要したためです。
• アブレーション解析:
  • 円周平均更新を学習可能な値投影に置き換えると（蔵本の同一性を破壊）、BPCが+0.25増加しました。
  • フィードフォワード・ブロック（加法的な混合コンポーネント）を除去すると、BPCが+0.27増加しました。
  • メトリックゲートを除去すると、BPCが+0.09増加しました。
  • これらの結果は、「負荷を担う」コンポーネントを特定しています。すなわち、オン・マニフォールドの平均とメトリックゲートは重要であり、加法的なフィードフォワード・ブロックも不可欠です。

ダイナミクスの観察:

• 局所的 vs 全局的コヒーレンス: 局所的なオーダーパラメータ（注目された近傍とのコヒーレンス）は1に近い状態を維持しており、選択されたトークンとの緊密な同期を示しています。グローバルなオーダーパラメータ（全トークン間のコヒーレンス）は深さとともに減少しており、モデルがグローバルに崩壊することなく局所的に同期していることを示しています。
• 周波数の傾向: 学習された自然振動数 ($\omega_j$) は、深さとタイムスケールの関係を示しています。初期の層は高い周波数（短距離結合）を持ち、後の層は低い周波数（長距離結合）を持ちます。

意義と主張

論文は、構造そのものと、その同期の読み取りが主要な貢献であると主張しています。著者らは以下のように断言しています：

• この制約された幾何学的構造は、非自明なスケール（最大5Mパラメータ）において、実行可能な言語モデルであり、標準的なトランスフォーマーと同等の性能を発揮します。
• 自己注意と位相同期の間に、コンパクトな架け橋が存在します。この層は追加の振動子機構を必要としません。同期は値の更新に内在しています。
• このメカニメントは、選択と同期を単一のコヒーレンスへと統合します。メトリックが近傍を選択し、更新がそれらと同期します。
• このアプローチは、任意のコンパクト群（例：$SO(3)$ やユニタリ群のような非アーベル群）に概念的に一般化可能です。トーラスはそのアーベル群のケースであり、閉形式の解が存在します。

著者らは、限界についても謙虚な姿勢を保っています。具体的には、標準的なアテンションが漸近的にしか同期しないのに対し、このモデルの同一性は（この特定の位相状態層において）厳密であること、現在のモデルは小規模なスケールではトランスフォーマーにわずかに及ばないこと、そして速度面での利点はないことを挙げています。本研究は、この手法の実現可能性を確立しており、非アーベルの場合の実装や、フィードフォワード・ブロックを完全に幾何学ネイティブにすることが今後の課題であるとしています。