技術的サマリー：補助変数による平均場トランスフォーマにおけるモード崩壊の防止

1. 問題提起

共有重み（ループ型）アーキテクチャの平均場極限におけるトランスフォーマの自己注意メカニズムに関する最近の理論的分析は、モード崩壊への傾向を示唆している。これらのモデルでは、長い推論深度においてトークン分布が単一点（ディラック測度）に退化する傾向があり、これは標準的な自己注意ダイナミクスの引力特性に起因すると考えられている。実証的観察では、位置符号化（PE）やプロンプト挿入などの手法がこの崩壊を防ぐことが示唆されているが、既存の理論的枠組みはしばしばこれらの補助変数を省略しており、理論と実践の間に乖離が生じている。

本研究が取り組む中心的な問いは以下の通りである：平均場ベースのトランスフォーマモデルにおけるモード崩壊を防止する効果的な手法は何か、また、これらの手法に対して厳密な理論的根拠を提供することは可能か？

2. 手法

著者は、既存の自己注意の平均場枠組み（特に非正規化自己注意、USA モデル）を拡張し、固定補助変分枠組みを導入する。

2.1. USA-AV モデル

本論文は、**補助変数付き非正規化自己注意モデル（USA-AV）**を定義する。このモデルにおいて：

• 状態空間: システムは $X = S^{d-1} \times A$ 上で進化し、ここで $x \in S^{d-1}$ はトークン内容、$\xi \in A$ は補助変数（例：位置またはプロンプト ID）を表す。
• ダイナミクス: トークン変数 $x_i$ は、カーネル $h((x, \xi), (y, \zeta))$ によって駆動される相互作用粒子系に従って進化する。決定的に重要なのは、補助ラベル $\xi_i$ は進化を通じて固定（凍結）され、内容変数のみが進化することである。
• 固定周辺制約: 解析は、$\rho$ が固定された補助周辺分布であるような結合法則のクラス $\mathcal{P}_\rho = \{ \mu \in \mathcal{P}(X) : \mu(dx, d\xi) = \mu_\xi(dx)\rho(d\xi) \}$ に制限される。これは、位置符号化やプロンプトが事前に決定され、推論中に変化しないという現実をモデル化するものである。

2.2. 変分解析

ダイナミクスは、エネルギー汎関数上の勾配上昇流として解析される：
$$E_h[\mu] = \frac{1}{2} \iint_{X \times X} h(z, z') d\mu(z) d\mu(z')$$
著者は、固定周辺制約の下でのこのエネルギー汎関数の最大化解を調査する。核心的な理論的洞察は条件付きディラック化に依存している：

• 非原子であると仮定された固定補助周辺 $\rho$ に対して、エネルギー汎関数は各条件付きスライス $\mu_\xi$ においてアフィンである。
• したがって、最大化解は各 $\xi$ に対して条件付きディラック測度（$\mu_\xi = \delta_{x^*(\xi)}$）として選択できる。
• したがって、大域的な最大化解はグラフ法則 $\mu^* = \Gamma[x^*]$ となり、ここで $x^*: A \to S^{d-1}$ は可測写像である。
• 崩壊防止メカニズム: 任意の特定の $\xi$ における条件付き分布が一点に崩壊する一方で、周辺化された内容分布 $\bar{\mu} = (x^*)_\# \rho$ は、写像 $x^*(\xi)$ が $\xi$ に対して十分に変化する限り、非退化（非ディラック）のままである。

3. 主要な貢献と結果

3.1. 崩壊防止のための理論的枠組み

本論文は、補助変数がトークンの条件付き集中を防止するのではなく、ディラック質量の位置が補助変数の関数として移動することを可能にすることによってモード崩壊に対する対抗力として機能することを確立している。その結果、広がった周辺分布が生成され、トークン分布が単一点に崩壊する効果が実質的に防止される。

3.2. 位置符号化（RoPE）と軌道ごとの普遍性

特定のカーネルとして回転位置埋め込み（RoPE）に焦点を当てて：

• 正確な最大化解: 著者は、RoPE カーネルがトークンが回転軌道上に存在する大域的な最大化解を許容することを証明する。
• 軌道ごとの正確な実現: 重要な結果（定理 2）は、軌道ごとの普遍性を実証する。ある回転軌道が固定されれば、その軌道上のあらゆる確率法則が、最大化された周辺出力法則として正確に実現可能である。
• 含意: 位置符号化は単なる付加的な情報ではなく、構造的にモデルが球面上の広範な分布クラスを崩壊することなく表現することを可能にする。

3.3. プリフィックストークンとゲージレベルの普遍性

この枠組みは、補助変数として扱われるプリフィックストークン（固定プロンプト）に拡張される：

• ゲージレベルの正確な実現: 定理 4 は、プリフィックストークンがより大きな柔軟性を可能にすることを示す。直交ゲージ変換を通じて、プロンプト空間から球面への可測写像によって生成される任意の目標法則を、最大化された周辺出力として正確に実現できる。
• 普遍性: プロンプト空間が標準ボレル空間であり、プロンプト法則が非原子である場合、モデルは $S^{d-1}$ 上の任意の目標分布を正確に実現できる。

3.4. スペクトル二項性と例

崩壊と非崩壊の条件を説明するために、特定のカーネルタイプを解析する：

• 非負距離バイアスカーネル: 位置ラベルがあっても、カーネル因子が点ごとに非負である場合（例：標準的な距離バイアス）、最大化解はディラック質量に崩壊する。
• 符号変化カーネル（Toeplitz/RoPE）: 符号変化の性質を持つカーネル（コサイン Toeplitz や RoPE など）は、非崩壊の最大化解（例：大円や緯度円上の一様分布）を可能にする。
• 準安定性: 本論文は、システムが最終的には崩壊する可能性があるものの、準安定性を示し、合併する前に指数関数的に長い時間スケールにわたってマルチクラスター状態に留まることを示す動的解析を提供する。

3.5. 実験的検証

有限粒子システム（$n \in \{64, 128, 256\}$）における数値実験が理論を検証する：

• ベースライン USA: 補助変数がない場合、システムは急速に単一点（ディラック測度）に崩壊する。
• USA-AV（RoPE およびプリフィックス）: RoPE または固定プロンプトを備えたモデルは、長い推論時間（$\tau=20$）にわたって非崩壊分布を維持する。
• 分布表現: 実験は、異なる補助幾何学（標準 RoPE、一般化 RoPE、プリフィックストークンなど）が、理論予測と一致する、明確で非退化の最終分布（緯度円、波状曲線、マルチクラスター状態など）を生成することを確認する。

4. 意義と主張

本論文は、深いまたはループ型のトランスフォーマアーキテクチャにおけるモード崩壊を防止する位置符号化およびプロンプト挿入の実証的成功に対する理論的正当化を提供すると主張している。

• メカニズムの特定: 崩壊防止効果は、トークンと補助変数の結合法則構造、特に補助変数が内容空間全体にわたってディラック質量を「輸送」する能力に起因することを特定する。
• 正確な実現: 近似ベースの議論とは異なり、本論文は正確な実現の結果を主張する：特定の補助メカニズム（RoPE、プリフィックス）は、軌道またはゲージの制約内で、エネルギー最大化状態として球面上の任意の所望の分布を生成できる。
• 範囲の制限: 著者は明示的に、これらの結果は固有重みを持つ任意のフル深度トランスフォーマではなく、共有重み（ループ型）の代理モデルおよび連続深度極限に適用されると述べている。彼らは、単純化された平均場モデルで観察される崩壊は、補助変数を省略することによるアーティファクトの側面があると論じている。

この研究は、自己注意ダイナミクの変分解析と実践的なアーキテクチャ構成要素の間の溝を埋め、補助変数が深層注意メカニズムの表現力と安定性にとって根本的であることを示唆している。