技術的サマリー：オープンな大規模言語モデルにおける最大活性化値の測定

問題定義

大規模言語モデル（LLM）における活性化値のダイナミックレンジは、低ビット量子化、活性化スケーリング、および安定した推論にとって重要な制約条件である。先行研究は、主に 2024 年以前の LLaMA 様式モデル（例：OPT、BLOOM）において「アウトレイヤー特徴」および「巨大な活性化値」を特徴づけてきた。しかし、正規化スタック、ゲート付き MLP、エキスパート混合（MoE）ルーティング、マルチモーダル適応、およびトレーニング段階において多様化するポスト LLaMA オープンモデル（例：Qwen3.5、Gemma3、GPT-OSS）のリリースに伴い、展開の状況は著しく変化している。

既存の文献は、巨大な活性化値を、アウトレイヤーの存在に基づく二値カテゴリカルな現象、あるいは量子化緩和技術（例：SmoothQuant、AWQ）に対する特定の障害として扱っている。以下の点に関する体系的かつ統合的な測定は欠如している：

1. 現代のオープン LLM において活性化値がどの程度大きくなり得るか。
2. 活性化値の大きさが、異なるファミリー、世代、アーキテクチャ（密型対 MoE）、およびトレーニング段階においてどのように変動するか。
3. パラメータ数単独が活性化範囲の信頼できる代理指標となり得るか。

手法

著者らは、多様なモデルセットにわたるグローバル最大活性化値の大きさ $M = \max |a|$ を測定するための統合された実証調査を提案する。

1. データとコーパス：

• 数学、コード、英語ウェブ、知識/QA、中国語、低リソース言語、混合ウェブを含む 5,000 件のマルチドメインテキストサンプルからなる共有評価コーパス。
• シーケンス長は 256 から 4096 トークンにバケット化され、長いコンテキスト（4096 トークン）に大きく偏っている（93%）。
• トークナイズ： トークナイザーの不一致によるアーティファクトを回避するため、各モデルファミリーに対して同一の生テキストを再トークナイズする。

2. モデルスイート：

• Qwen2.5、Qwen2.5-VL、Qwen3、Qwen3.5、Gemma2、Gemma3、Ling、および GPT-OSS の8 つのオープンファミリーからなる27 個のチェックポイント。
• 密型、MoE、ビジョンランゲージ、中間トレーニング済み、およびインストラクションチューニング済みバリエーションを含む。
• 一致したスケール（例：MoE 対 Dense、Base 対 Instruct）について具体的な比較を行う。

3. 測定プロトコル：

• フォワード専用推論： 重みは固定；パラメータ更新なし。
• 計装： PyTorch のフォワードフックを用いて、6 つのコンポーネントクラスからの活性化統計を収集する：
  • 埋め込み出力
  • レイヤーごとの隠れ状態（残差後）
  • アテンション出力
  • MLP または MoE 出力
  • SwiGLU ゲートの前活性化値
  • 最終 LayerNorm 出力
• 統計： 各コンポーネントについて、パイプラインは平均、標準偏差、RMS、絶対値平均、最大/最小値、および絶対値の分位数を記録する。
• 安定性チェック： サブサンプリング実験（1k および 2k サンプルを 5 回反復）により、報告されたグローバル最大値が統計的に堅牢であり、単一サンプルのアーティファクトではないことを確認する。

4. 分析フレームワーク：

• 本研究は、Sun ら [29] に基づく二値的な「巨大な活性化値」基準（$|x_i| > 100$ かつローカル比 $> 1000\times$）から、連続的な指標 $M$ へと移行する。
• 比較は、ファミリー内スケーリング、クロスファミリーの大きさ、世代進化、MoE 対 Dense、ビジョンランゲージ対テキストのみ、Base 対 Instruct、およびトレーニング段階の進化の各側面で行われる。
• 軽量な INT-8 健全性チェックにより、異なるスケーリング戦略下での測定された最大値と再構成誤差（SQNR）との相関を評価する。

主要な貢献

1. 最大規模のクロスファミリー調査： 先行研究の LLaMA 派生モデルの単一文化を超え、8 ファミリーにわたるポスト LLaMA チェックポイント 24 件におけるグローバル最大活性化値の、統合プロトコルによる初の測定。
2. 連続的な大きさの再定式化： 二値的なアウトレイヤーフラグを、連続統計量 $M = \max |a|$ に置き換える。著者らは、二値基準と連続的な大きさが一致しないことを実証する。二値基準を満たさないモデルは量子化が容易である場合があり、逆に満たすモデルは困難な場合がある。
3. 一致した設計の比較： スケール、ファミリー、世代、アーキテクチャ（MoE/密型）、モダリティ（VL/テキスト）、およびトレーニングの進捗（Base/Instruct/段階）が活性化ピークにどのように影響するかの実証的分解を提供する。
4. オープンパイプライン： 再現性を支援するため、フックベースの測定コードとチェックポイントごとの統計を公開する。

主要な結果

1. 大きさの変動性とスケーリング

• 桁の大きさ： 同程度のパラメータ数において、グローバル最大値はほぼ 4 桁（$10^2$ から $10^5$）にわたる。
  • 低範囲： Qwen3.5 および MoE チェックポイントは、しばしば $10^2$–$10^3$ の範囲に収まる。
  • 高範囲： Gemma3-27B-it は $\sim 7 \times 10^5$ に達する。
• 単調でないスケーリング： クロスファミリーおよびクロス世代の比較は、単純な単調スケーリングを破る。例えば、Qwen3.5 の活性化値は Qwen3 に比べて著しく抑制されているのに対し、Gemma3 は Gemma2 に対して急激な増加を示す。パラメータ数単独は活性化範囲の信頼できる代理指標ではない。

2. アーキテクチャおよびトレーニングの影響

• MoE 対 Dense： MoE チェックポイントは、一致したスケールの密型対応モデル（例：Qwen3-30B-A3B 対 Qwen3-32B）よりも14.0–23.4 倍低いピーク大きさを持つ。
• 残差ストリームの支配： 残差ストリーム（レイヤーごとの隠れ状態）は、24 件の主要チェックポイントの22 件でグローバル最大値を担う。例外として、GPT-OSS-20B は MLP 出力がピークを担い、Qwen3.5-0.8B は最終 LayerNorm でピークに達する。
• インストラクションチューニング（SFT）： SFT は主に後期レイヤーのピークを圧縮する（例：Qwen2.5-32B Instruct は Base に対してグローバルピークを 1.4 倍減少させる）が、中期レイヤー構造を再編成することはない。
• トレーニングの進捗： Ling-mini シリーズにおいて、トレーニングトークン数の増加（5T から 20T）は、グローバル最大活性化値の単調な増加（1.34 倍の増加）をもたらす。

3. レイヤーごとのパターン

2 つの明確なレイヤーごとの軌跡が観察される：

• ジャンプ・アンド・プラトー： 活性化値の大きさは初期/中期レイヤーで急激に上昇し、高いまま維持される（例：Qwen2.5、GPT-OSS）。
• 漸進的蓄積： 大きさは深さとともに滑らかに増加し、後期レイヤーでピークに達する（例：Qwen3.5、Gemma）。

4. 量子化への示唆

• 軽量な INT-8 健全性チェックにより、測定された最大値（$M$）が高いほど、標準的なテンソルごとのスケーリング（最大絶対値または 99.9% クリッピング）を使用した場合、信号対量子化雑音比（SQNR）が著しく低下することが明らかになった。
• 低い $M$ を持つモデル（例：Qwen3.5-0.8B）は高い SQNR（約 29 dB）を維持するのに対し、高い $M$ を持つモデルはクリッピング下で約 10–14 dB 以下、あるいはそれ以下に低下する。

意義と主張

本論文は、最大活性化値の大きさは、サイズの単純な副産物ではなく、ファミリー、アーキテクチャ、およびトレーニング段階に紐付いたモデルの性質であると結論づける。

• 展開への関連性： $M$ は、展開志向のモデルカードの一部として、任意のオープンウェイトリリースに伴い測定され、報告されるべきである。これは活性化スケーリングと量子化戦略の選択を直接左右する。
• 補完性： 本作業は、アウトレイヤーが存在する「理由」を説明する機械的研究や、上限を変換する量子化緩和論文とは直交する。本論文は、現在のエコシステム全体における「どの程度大きいか」という実証的基準を提供する。
• 限界： 著者らは明示的に、観察された差異の原因メカニズムを主張するものではないと述べている。本研究は観察的であり、オープンモデルに限定され、固定されたコーパス（最大 4k トークン）を使用している。INT-8 チェックは健全性チェックであり、完全なエンドツーエンドの量子化評価ではない。

著者らは、将来の展開パイプラインにおいて、$M$ を量子化リスクの重要な事前情報として扱うことを推奨し、ファミリーの同一性と世代は、活性化ダイナミックレンジを決定する上でパラメータ数と同程度に重要であると認識すべきであると提言する。