🤖 machine learning

Massive Spikes in LLMs are Bias Vectors: Mechanistic Uncovering and Spike-Free Quantization

本論文は、大規模言語モデルにおける大規模な活性化スパイクが、単なるスカラー的な異常ではなく構造的なベクトルバイアスであることを明らかにし、このメカニズム的な知見を活用して、テンプレートベクトルを用いてこれらのスパイクを排除し、テキストおよびビジョン・モダリティにわたる堅牢で高忠実度な低ビット量子化を可能にするポストトレーニング量子化フレームワークであるINSERTQUANTを提案する。

原著者： Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yung-Chin Chen, Chung Peng Lee, Ze-Wei Liou, Naveen Verma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大問題：図書館の「うるさい隣人」

大規模言語モデル（LLM）を、本（トークン）が絶えず読み込まれ、処理されている巨大で高速な図書館だと想像してみてください。この図書館をより速く、より少ない電力で動かすために、エンジニアたちは本を非常に小さく、効率的なサイズに圧縮しようとしています（これは**量子化（quantization）**と呼ばれるプロセスです）。

しかし、問題があります。どの図書館にも、特定の「うるさい隣人」（改行や特別な開始記号のような特定のトークン）が存在し、彼らがあまりにも大声で叫ぶため、他の全員の声がかき消されてしまうのです。AIの数学において、これらの叫び声は巨大なスパイク（Massive Spikes）、つまり通常よりも数千倍も大きい数値として現れます。

これらのスパイクがあまりにも巨大であるため、図書館はそれらを保持するためだけに、巨大で高価なストレージ・システムを構築しなければなりません。これは効率性を台無しにします。もし、このノイズを修正せずに本を圧縮（量子化）しようとすれば、図書館は支離滅裂な状態に崩壊してしまいます。

旧理論 vs 新たな発見

旧理論： 科学者たちは以前、これらの「うるさい隣人」は単なるランダムなグリッチ（不具合）や、AIが偶然音量を上げてしまった単純な「ボリュームノブ（スカラー・バイアス）」であると考えていました。

新たな発見（バイアス・ベクトル仮説）： 本論文の著者たちは、これらのスパイクは偶然の産物ではないと主張しています。これらは、AIの設計に組み込まれた**硬固で構造的な柱（structural pillars）**なのです。

比喩： ある舞台演劇を想像してください。ほとんどの役者（意味的トークン）は、物語を伝えるために動き回り、衣装を変え、異なるセリフを喋っています。しかし、特定の役者（「シンク・トークン」）が一人だけ、ステージの中央に完璧に静止して立ち、全く同じマスクを被り、全く同じセリフを言い続け、物語の内容に関わらず決して動きません。
本論文は、この「静止した役者」がランダムなものではないことを証明しています。それは、AIが正しく機能するために必要な固定されたベクトル（数学空間における特定の方向）なのです。それは、AIが注意散漫になるのを防ぎ、集中力を維持するための「何もしない（do nothing）」ボタンとして機能します。

AIはこの「静止した役者」をどう利用しているのか

論文は、これがどのように機能するかというメカニズムを掘り下げ、3段階のダンスを明らかにしています。

アトラクター（磁石）： AIの「Key」と「Query」メカニズムは磁石のように機能します。これらは他のすべての役者を、この「静止した役者」へと引き寄せます。これにより、AIが数学的な安定性を保つための**アテンション・シンク（Attention Sink）**が形成されます。
沈黙の空虚（排水口）： 全員が「静止した役者」を見ている一方で、AIの「Value」メカニズムはブラックホールのようになります。それは「静止した役者」のメッセージを取り込み、ゼロへと変えます。これにより、AIはこの場所を安定のために参照しますが、物語自体は変化させません。これは「No-Op（何もしない操作）」です。
シールド（安全地帯）： AIは、「ステージ（入力シーケンス）」が回転したり変化したりすることを知っています。この「静止した役者」が揺らぐことがないよう、AIはそれを**安全地帯（低周波チャネル）**の中に隠します。これは、風によって柱が倒れないように、柱の周囲に要塞を築くようなものです。

解決策：INSERTQUANT

著者たちは、これらの「うるさい隣人」はランダムなノイズではなく、実際には静的でプログラムされた柱であることを突き止めたため、INSERTQUANTと呼ばれる新しいツールを作成しました。

その仕組みは、「入れ替え」の比喩を使って説明できます。

柱を特定する： システムは図書館をスキャンし、「うるсяい隣人」のトークンを見つけ出します。
ノイズを黙らせる（クランプ）： これらのトークンが叫び続けてストレージ容量を占有しないように、システムは彼らがメインの処理室に入る前に、単に**ミュート（ゼロにクランプ）**します。これにより、スパイクが即座に除去され、データを圧縮（量子化）しやすくなります。
設計図を挿入する（インサート）： AIが機能するためにその「静止した役者」を必要としているため、システムは単に削除するだけではありません。代わりに、役者がいるべき場所にあらかじめ用意された設計図（テンプレート・ベクトル）を挿入します。
- 比喩： あなたが映画を撮影していると想像してください。10時間もじっと立ち続ける本物の俳優を雇う代わりに（それはコストも手間もかかります）、セットにその俳優の「立て看板（切り抜き）」を貼り付けるのです。カメラには俳優が映り、ライティングも機能しますが、あなたは多くの費用と労力を節約できました。

結果

この「切り抜き」手法（INSERTQUANT）を使用することで：

スパイクの消失： データは完璧に滑らかになり、AIは知能を失うことなく、非常に小さなサイズ（4ビット量子化）まで圧縮できるようになります。
どこでも動作する： 従来の手法は、特定の単語（改行など）を知っている必要があるため、テキストにしか適用できませんでした。しかし、この新手法はデータの「構造」に基づいているため、テキストだけでなく、Vision Transformer (ViT)（画像を見るAI）にも適用可能です。
高い忠実度： 「切り抜き」を配置した状態でも、AIは元の（圧縮されていない）バージョンと同じパフォーマンスを発揮します。

まとめ

本論文はこう述べています。「これらの巨大なスパイクをエラーとして扱うのはやめましょう。それらは、AIが安定性を保つために使用する、硬固で構造的なツールなのです。これらが固定されたツールであることを認識できれば、計算からノイズの部分を取り除き、あらかじめ用意されたテンプレートと置き換えることができます。これにより、AIを壊すことなく、極めて小さなサイズまで縮小できるのです。」

技術要約：LLMにおける大規模スパイクはバイアスベクトルである

問題提起

大規模言語モデル（LLM）は、効率的な量子化を必要とする深刻な計算およびメモリの制約に直面している。しかし、活性化の量子化の有効性は、**大規模スパイク（Massive Spikes）**によって著しく阻害されている。これは、特定のチャネルおよび特定のトークン意味論（多くの場合、低セマンティックな「シンク（sink）」トークン）に局在する極端な活性化値である。これらのスパイクは典型的な値よりも数桁大きく、ダイナミックレンジを押し広げ、特に静的なパーテンソル（per-tensor）スキームにおいて壊滅的な量子化誤差を引き起こす。

先行研究では、これらのスパイクを高レベルのスカラバイアスまたは「アウトライヤー」として特徴づけているが（Sun et al., 2024; An et al., 2025）、既存の緩和戦略は、これらを数値的な異常として扱ったり、離散的なテキストモダリティに限定されたヒューリスティック（例：特定のトークンの接頭辞化）に依存したりすることが多い。これらのスパイクの根本的な幾何学的メカニズムと、それらがモデルの挙動において果たす役割は未だ十分に解明されておらず、汎用的で堅牢な量子化フレームワークの開発を制限している。

手法：バイアスベクトル仮説

本研究は、大規模スパイクの理解を進めるために、バイアスベクトル仮説を提案する。著者らは、スパイクは単なるスカラバイアスではなく、モデルのアーキテクチャに固有の硬直的で構造的なベクトルバイアスのスカラ中間体であると主張している。

1. 幾何学的特徴付け

メカニズム解析を通じて、本論文は、RMSNorm後のスパイクを伴うトークン（シンク・トークン）が、サンプル間で分散が無視できるほど小さく、定常的で硬直したベクトル（ $\hat{x}_{sink} \to b$ ）へと収束することを確立している。これは、高分散なセマンティック・トークンとは明確に異なる。

アテンション・シンク・メカニズム： 投影重み（ $W^K$ および $W^Q$ ）が相互作用して、このバイアスベクトルを分離する。 $W^K$ はコントラスティブな増幅器として機能し、シンク・キーをセマンティック・キーから分離する。一方、 $W^Q$ はすべてのセマンティック・クエリをこの孤立したシンク・キーへと整列させ、グローバルなアトラクター（引き込み点）を作り出す。
バリュー・ステート・ドレイン（Value-State Drain）： バリュー投影行列（ $W^V$ ）は、バイアスベクトルをスペクトルの零空間（null-space）へと投影する。その結果、得られるバリュー・ベクトルはほぼゼロ（ $v_{sink} \approx 0$ ）となり、シンク・トークンが残差ストリームに対してセマンティックな更新を寄与しないことを保証し、実質的に「no-op（何もしない操作）」を可能にする。
回転の安定性： モデルは、回転位置エンコーディング（RoPE）による摂動に対して、これらの硬直した構造を能動的に保持する。これは、バイアスを「回転安定ゾーン」に局在化させることで達成される。具体的には、低周波数帯域（回転角が減衰する高チャネル指数）およびコヒーレントなチャネルペア（インデックス $i$ と $i + d/2$ ）を利用することで、回転にもかかわらず大きさの堅牢性を維持している。

2. INSERTQUANT フレームワーク

シンク・トークンが動的なセマンティック・コンテンツではなく、静的な構造的バイスとして機能するという洞察に基づき、著者らはINSERTQUANTというポストトレーニング量子化（PTQ）フレームワークを提案する。

クランプ（Clamp）： 軽量なキャリブレーション・フェーズ中にシンク・トークンを特定し、行列乗算の前にそれらをゼロへと外科的にクランプする。これにより、活性化ストリームから大規模スパイクを排除し、残りの活性化を厳密にスパイクフリーかつ量子化しやすい状態にする。
挿入（Insert）： クランプされたトークンの機能的役割を維持するために、キャリブレーションから導出された平均 $K$ ベクトルおよび $V$ ベクトルからなるテンプレート・ベクトルを、アテンション・メカニズムの入力に直接注入することで、後続レイヤーにおける機能を復元する。
汎用性： 特定のトークン識別子（例：<BOS>）に依存するプレフィックス手法とは異なり、INSERTQUANTは埋め込み空間上で動作するため、離散的なトークン定義を持たないビジョン・トランスフォーマー（ViT）などのモダリティにも汎用できる。

主な貢献

バイアスベクトル仮説： 本論文は、大規模スパイクが硬直したバイアスベクトルのスカラ中間体であることを確立した。スパイクの大きさは変動するものの、正規化された方向は不変であり、構造的なモデル構成要素として機能することを示している。
メカニズム解析： 著者らは、バイアスベクトルがどのようにアテンション・シンクとバリュー・ステート・ドレインを駆動するかを示す定量的な幾何学的解析を提供している。彼らは、 $W^K, W^Q, W^V$ との相互作用を詳述し、回転安定ゾーン（低周波数帯域およびコヒーレントなペア）へのバイアスの局在化が、能動的な構造保存の証拠であることを示している。
INSERTQUANT フレームワーク： 本研究は、スパイクの体系的な性質を利用する初のPTQフレームワークを導入している。構造的バイアスとコンテンツ・トークンを分離することで、ファインチューニングを必要とせずに、LLMとViTの両方において高忠実度な低ビット量子化を実現する。

実験結果

著者らは、複数のLLM（LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3）およびVision Transformer（CLIP ViT-L, DINOv2 ViT-L/B）を用いてINSERTQUANTを評価している。

言語モデル： 4ビットの重み/活性化/KVキャッシュ静的設定（$W4A4sKV4$）において、INSERTQUANTはPrefixQuantのような最先端の手法と同等の性能を達成している。例えば、LLaMA-2-7Bにおいて、INSERTQUANTは常識推論（CSR）精度60.26%およびWikiText-2パープレキシティ6.31を達成し、ベースラインであるPrefixQuant（60.17% / 6.21）に近く、RTNや回転ベースのベースラインを大幅に上回っている。
Vision Transformer： INSERTQUANTはViTへの汎用性に成功している。$W8A8sKV8$ 設定において、DINOv2 ViT-Bに対するRTNベースラインが**6.00%の精度に崩壊する一方で、INSERTQUANTは74.10%**の精度を維持している。
システム・オーバーヘッド： 本フレームワークは、格納されるテンプレート・ベクトルのサイズが極めて小さい（13.5GBのモデルに対して**0.007%**の増加）ため、無視できる程度のレイテンシ・オーバーヘッド（4.69%）と最小限のメモリ・オーバーヘッドしか導入しない。

意義と主張

本論文は、効果的な量子化には、LLMがいかにして「no-op」操作を可能にするためにスパイクを利用しているかというメカニズム的な理解が必要であると主張している。大規模スパイクを数値的なアウトライヤーではなく、構造的なベクトルレベルの特徴として再定義することで、これらのアーティファクトを外科的に除去し、機能的に復元できることを示している。

本研究の意義は以下の点にある：

モデル理解の深化： スパイクの決定論的な性質と、RoPEとの幾何学的な協調関係を明らかにし、単なるスカラ解釈を超えた理解を提示した。
統一された量子化ソリューション： テキスト・モダリティを超越するフレームワークを確立し、ヒューリスティックなトークン識別性に依存することなく、多様なアーキテクチャ（LLMおよびViT）に対する堅牢なソリューションを提供した。
ハードウェア効率： スパイクのない活性化空間を可能にすることで、従来の静的なパーテンソル量子化スキームでは到達困難であった、堅牢な低ビット推論（例：4ビット）を促進する。

著者らは、メカニズム的な解釈と経験的な証拠は提供しているものの、なぜ学習プロセスが必然的にこの特定の幾何学的解像へと収束するのかについての理論的な証明は提供していないとして、理論的保証については謙虚な姿勢を保っている。また、これらのスパイクをネイティブに抑制するように設計されたアーキテクチャ変更を伴う事前学習モデルに対しては、本手法は不要であることも認めている。