技術的サマリー：すべてを説明する単一層：大規模言語モデルにおける巨大活性化の理解

1. 問題定義

大規模言語モデル（LLM）は、「巨大活性化（massive activations）」と呼ばれる現象を示す。これは、中間表現において、少数の特定のトークンの埋め込みベクトルが、残りのトークンに比べて数桁も大きな値を持つことを指す。近年の研究では、これらの活性化が支配的なバイアス項のように振る舞い、文脈処理に影響を与え、アテンションのダイナミクスを変化させることが示唆されているが、既存の文献には、以下の点について統合されたエンドツーエンドの説明が存在しない。

1. モデルアーキテクチャ内で、これらの巨大活性化がどこで、どのように発生するか。
2. これらが、特に「アテンションシンク（attention sink）」現象（モデルが通常、最初のトークンなどの少数のトークン集合に不均衡に注意を向ける現象）との関連において、下流の行動においてどのような機能的役割を果たすか。
3. 活性化を完全に排除することなく（先行研究では機能的役割を果たす可能性が示唆されている）、潜在的な負の影響（表現の多様性の低下など）をどのように緩和するか。

2. 手法と分析

2.1. ME 層の特定

著者らは、Qwen、Llama、Mistral、DeepSeek などの複数のモデルファミリーにわたる体系的な分析を行い、巨大活性化の起源を追跡した。その結果、巨大活性化が初めて現れる特定の層、すなわち「巨大発生層（Massive Emergence Layer: ME 層）」を特定した。

• 観察: gradual な蓄積とは異なり、巨大活性化は単一の層（例：Qwen3-4B の第 7 層）で突如として発生し、その後、残差接続を介してより深い層へ伝播する。
• メカニズム: この発生は、ME 層内の 2 つのコンポーネントが共同で駆動する。
  1. RMSNorm: 事前 FFN の RMSNorm は、大きな重みを持つ次元にスケーリング効果を集中させることで、特定のトークン（多くの場合最初のトークン）を不均衡に増幅する。
  2. FFN（Feed-Forward Network）: FFN 層はこの信号をさらに増幅し、巨大活性化の大きさの生成と維持における主要な駆動力として機能する。
• 安定性: 一度形成されると、巨大活性化トークンの隠れ状態は高い方向不変性を示す。その方向は、異なる入力や後続の層にわたって安定しており、アテンションモジュールに渡される隠れ表現の多様性を低下させる。

2.2. 提案する介入：WeMask

巨大活性化が「方向の硬直性（directional rigidity）」を引き起こし（多様な入力へのアテンションメカニズムの適応能力を制限する）、という発見に着想を得て、著者らは**WeMask（重み誘導型マスキング）**を提案する。

• メカニズム: ME 層から開始し、この手法はアテンション入力において、RMSNorm の重みが最大となる次元を選択的にマスキングする。これらの重みは、支配的な方向を増幅する主要因として特定される。
• 操作:
  1. RMSNorm 重みの大きさに基づき、上位 k 次元を特定する（$S(l) = \text{TopK}(|w^{(l)}|)$）。
  2. これらの次元に対して二値マスク $m^{(l)}$ を構築する。
  3. アテンションモジュールの隠れ状態入力にマスクを適用する：$\tilde{h}^{(l)}_0 = h^{(l)}_0 \odot (1 - m^{(l)})$。
• 目的: この操作は、巨大活性化トークンの方向の硬直性を緩和しつつ、全体の表現構造を維持し、アテンション計算のための方向的多様性を回復させる。これは、トレーニングフリーの推論時介入として、または微調整中に適用される。

2.3. アテンションシンクとの関連

著者らはアテンションシンク現象を再評価する。彼らは、アテンションシンクが単に softmax 操作のアーティファクトではなく、ME 層における巨大活性化誘発型の表現崩壊に起因する下流の結果であると仮説を立てる。

• 巨大活性化は、アテンション類似空間において固定された参照点として機能する、低ランクかつ方向的に硬直した表現を生成する。
• 提案された手法はアテンションシンクを完全に排除するものではなく、その影響を選択的に弱める。これは、適度なシンクの存在は機能的であるが、過度の支配は有害であることを示唆している。

3. 主な貢献

1. 根本原因の特定: 本論文は、巨大活性化を多様なモデルファミリーにわたって一貫して単一の層（ME 層）まで追跡し、その発生における RMSNorm と FFN パラメータの共同役割を特定した。
2. 不変性の特性評価: ME 層以降、巨大活性化トークンが高い入力不変の方向性を示し、これが自己アテンションメカニズムの柔軟性を制約することを示した。
3. 緩和戦略（WeMask）: 重み誘導型の次元マスキングにより方向の硬直性を緩和する、シンプルかつ効果的な手法を提案した。このアプローチは、モデルアーキテクチャを変更したり、追加の計算コストを伴ったりすることなく性能を向上させる。
4. アテンションシンクに関する新たな視点: 本論文は、アテンションシンクに対する隠れ状態レベルの説明を提供し、それらを巨大活性化と関連付ける。また、完全な排除ではなく部分的な減衰が最適な性能をもたらすことを提案する。

4. 実験結果

この手法は、複数のタスクと設定（トレーニングフリー推論および教師あり微調整）において、Qwen3-4B、Llama-3.1-8B-Instruct、およびQwen3-8Bで評価された。

• 指示追従: MMLU、PIQA、ARC-C、StrategyQA などのベンチマークにおいて、WeMask はトレーニングフリーおよび微調整の両方の設定で、標準的な SFT ベースラインに対して一貫して性能を向上させた。例えば、Qwen3-4B において、平均スコアは SFT の 64.43 から SFT + WeMask TF の 64.91 に向上した。
• 数学的推論: GSM8K、AIME22-24、Math500 において、この手法は一貫した改善を示し、特に微調整シナリオで顕著であった。
• 安全性アライメント: 安全性タスク（XSTest、AdvBench）において、標準的な SFT はしばしば過度に保守的な拒否行動をもたらした。WeMask はこれを緩和し、安全性と有用性のバランスを取った。例えば、XSTest において、性能は DPO の 72.30 から DPO + WeMask TF の 74.96 に向上した。
• 強化学習: この手法は、DPO および GRPO を使用してトレーニングされた RL モデルにも汎化し、異なるトレーニングパラダイム全体で堅牢性を示した。
• アブレーション研究: ランダムマスキングおよび大きさベースのマスキングとの比較により、マスクの重み誘導型であることが決定的に重要であることが確認された。無差別なマスキングは性能を低下させるが、WeMask はそれを改善した。

5. 意義と主張

著者らは、この研究が LLM の根本的な構造的限界に対処する原理的な表現レベルの介入を提供すると主張する。

• 統合された説明: 巨大活性化、ME 層、およびアテンションシンクを関連付けることで、内部ダイナミクスがモデルの行動をどのように形成するかについての統一的な見解を提供する。
• 実用的有用性: この手法は軽量で、アーキテクチャに依存せず、トレーニングフリーおよびトレーニングありの両方の設定で効果的であり、即座の性能向上をもたらす。
• 理論的洞察: 本論文は、アテンションシンクを純粋に病理的なものと見なす見方に挑戦し、それらが有害になるのは表現の硬直性が制御されていない場合のみであり、有益な信号を符号化している可能性を示唆する。提案された緩和戦略は、構造的な正則化と表現の柔軟性のバランスを取る。

著者らは限界を指摘しており、具体的には、分析は中間層での発生に焦点を当てており、最終層で観察される巨大活性化のメカニズム的説明は提供していないこと、また、この手法を事前トレーニング段階に統合する効果については調査していないことを述べている。