技術的サマリー：アンサンブルとしてのナダラヤ・ワトソン推定量に基づくマルチヘッドアテンション

1. 問題提起

トランスフォーマー・アーキテクチャにおいて、単一ヘッドアテンションに対するマルチヘッドアテンション（MHA）の実証的な優位性は確立されているものの、この性能差の背後にある統計的メカニズムは理論的に未探索の領域にとどまっている。既存の文献は、単一ヘッドのソフトマックス・アテンションとナダラヤ・ワトソン（NW）カーネル回帰との間の代数的同等性を特定している。しかし、この同等性が、なぜ複数のヘッドが性能を向上させるのかを説明するために、マルチヘッド設定へ拡張されたことはない。

具体的には、標準的なアンサンブル学習理論は、推定量の平均化が分散を減少させることを示唆している。しかし、この正当化は MHA に対しては不十分である。なぜなら：

1. 単一ヘッドアテンション（NW 推定量として）は、分散減少が最も劇的に現れる高分散の基底学習器（例えば、決定木）とは異なり、すでに低分散のカーネル平滑化器であるため。
2. MHA における分散減少は、ヘッド間の非相関に依存するためである。もしヘッドが同一であれば、平均化は利益をもたらさない。逆に、多様であればあるほど、利益は最大化される。

本論文は、MHA が誤差を減少させる条件、ヘッドの多様性の役割、および固定された計算予算下での最適なアーキテクチャ構成（ヘッド数対ヘッドあたりの次元）を説明する厳密な統計理論の欠如に対処する。

2. 手法

本論文は、MHA を構造化された NW 推定量のアンサンブルとして扱うことで、厳密な統計的枠組みを開発する。手法は以下の手順で進行する。

• 代数的基盤: 単一アテンション・ヘッドが、帯域幅 $h = 1/\sqrt{d_k}$（ここで $d_k$ は射影次元）を持つ指数カーネルを用いた NW 推定量と代数的に同一であるという確立された同一性に基づいている。
• アンサンブル分解: MHA の出力は、行列 $W_K^h$ によって定義されるキー空間の異なる学習済み射影部分空間で動作する $H$ 個の NW 推定量の重み付き和として形式化される。
• バイアス・分散・共分散分析: 著者らは、MHA アンサンブルの平均二乗誤差（MSE）の正確な分解を導出する。この分解は、アンサンブルバイアス、個々のヘッド分散の重み付き和、およびヘッド間共分散項を明示的に分離する。
• 多様性の幾何学的分析: ヘッド間の関係を定量化するために、本論文はキー射影行列 ($Range(W_K^h)$) が張る部分空間間の主角度を利用する。これらの部分空間間の重なりは、クロスグラム行列 $G_{hh'} = (W_K^h)^\top W_K^{h'} / d_k$ を通じて測定される。
• 制約下での最適化: 本論文は、バイアス（帯域幅の影響を受ける）と分散（ヘッド数の影響を受ける）のトレードオフをバランスさせながら、総次元予算制約 ($H \cdot d_k = D$) に従って導出された MSE 上限を最小化することで、最適なアーキテクチャを解く。

3. 主要な貢献と結果

A. アンサンブル NW 分解（定理 3.1）

本論文は、MHA の MSE が 3 つの項で構成されることを証明する。
$$MSE_H = (\text{アンサンブルバイアス})^2 + \sum \alpha_h^2 V_h + \sum_{h \neq h'} \alpha_h \alpha_{h'} C_{hh'}$$
重要なのは、分析がヘッド間共分散 ($C_{hh'}$) が統計的効率を支配する決定的要因であることを示している点である。分散減少は自動的には起こらない。共分散項が十分に小さい場合（すなわち、ヘッドが非相関である場合）にのみ発生する。

B. ヘッド多様性指数（HDI）と定理 4.2

著者らは、クロスグラム行列の特異値から計算可能なスペクトル指標である**ヘッド多様性指数（HDI）**を導入する。
$$HDI = 1 - \frac{2}{H(H-1)} \sum_{h < h'} \|G_{hh'}\|_F^2$$

• 結果: 統合 MSE は、HDI に対して単調非増加である。
• 含意: 最大分散減少は、射影部分空間が直交している場合（HDI = 1）に達成され、同一の射影（HDI = 0）は分散減少をもたらさない。これはアテンション・ヘッドの「多様性」に対する理論的指標を提供する。

C. 非相関最適性定理（定理 5.1）

本論文は、MSE を最小化する最適な射影行列を特徴づける。

• 結果: MSE は、キー射影行列が $h \neq h'$ に対して近似直交条件 $(W_K^h)^\top W_K^{h'} \approx 0$ を満たすときに最小化される。
• 意義: これは、経験的に観察されるヘッドの専門化（異なるヘッドが構文や意味論など異なる言語的特徴に注意を向ける現象）に対する最初の厳密な理論的説明を提供する。本論文は、学習圧力が、HDI を最大化しアンサンブル誤差を最小化するために、ヘッドを直交部分空間へと駆動すると主張する。

D. 最適なアーキテクチャスケーリング則（定理 6.1）

固定された予算 $D = H \cdot d_k$ 下で、本論文はヘッド数 ($H$) とヘッドあたりの次元 ($d_k$) の間の次元の最適な配分を導出する。

• 結果: 最適なヘッドあたり次元 $d_k^*$ は、サンプルサイズ $n$ に対して対数的にのみ増加する ($d_k^* \sim (\log n)^{2/(4+d)}$) のに対し、最適なヘッド数 $H^*$ は予算 $D$ に対してほぼ線形に増加する。
• 含意: この理論は、ヘッドを非相関化できることが前提であれば、少数の大きなヘッドではなく、多数の小さなヘッドを使用する設計思想を支持する。

E. 構造化重み付け（定理 7.1）

一様平均化 ($\alpha_h = 1/H$) を超えて、本論文は一般的なアンサンブル重み付け理論を適用する。

• 結果: ヘッドを品質（一貫性率）で順序付けした場合、幾何的重み付け（またはフィボナッチ重み付け）は、特にヘッドの品質が不均一な場合、一様平均化よりも速い MSE 減衰を達成し得る。

4. 意義と主張

本論文は、アンサンブル学習とカーネル回帰のレンズを通じてマルチヘッドアテンションの有効性を説明する、初の厳密な統計理論を提供すると主張する。その主な意義は以下の点にある。

1. 統合理論: 単一ヘッド NW 回帰理論、一般的なアンサンブル重み付け理論、および生物学的システム（アリのコロニー）やランダムフォレストで見られる非相関・分散減少の同型性という、3 つの先行研究の系を統合する。
2. 専門化のメカニズム: 「ヘッドの専門化」を、規模の偶発的な副産物ではなく、共分散を最小化する直交射影という統計的最適性条件の経験的現れとして再定義する。
3. アーキテクチャの指針: 総次元予算が固定されている場合、大規模データセットに対しては、個々のヘッドの次元を増やすよりも、ヘッドの数を増やす方が有益であることを示唆するスケーリング則を導出する。
4. 普遍的原理: 本論文は、MHA がトランスフォーマーのインスタンス化である普遍的原理であると提唱する。すなわち、ランダム化された同一エージェント + 多様性を強制するメカニズム（直交射影） $\rightarrow$ 分散減少による創発的最適性。

著者らは、アリのコロニー、ランダムフォレスト、そしてトランスフォーマーは、非相関を通じた分散減少に関する集合知能という同じ数学的真理の 3 つの実現であると結論づける。