🤖 machine learning

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuantは、精度を維持するために重みを高密度なベースとスパースな残差に分離する統一された4ビットLLM量子化フレームワークを導入しており、そのZipperEngineコンポーネントは、それらの実行を単一の低ビットパイプラインへと融合させることで、ベースラインに対して最大1.24倍の高速化を実現しつつ、FP16に近い性能を達成します。

原著者： Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な数の本（大規模言語モデル、LLM）をバックパックに入れて持ち運びたいと考えていると想像してください。問題は、その本があまりにも重くて厚いため、バックパックに入り切らず、読むのにも膨大な時間がかかることです。

この問題を解決するために、本を小さくすることにしました。これらを小さな4ビットの「ポケット版」（量子化）へと圧縮したいのです。これにより、軽くて素早く読めるようになります。しかし、一つ落とし穴があります。本を縮めすぎると、重要な詳細が失われてしまうのです。

ほとんどの本には、「the」「is」「and」のような一般的で退屈な言葉がたくさんありますが、これらは縮小するのが簡単です。しかし、時折、稀で複雑な単語や、劇的な物語の展開（アウトライヤー／外れ値）が現れます。これらは物語にとって極めて重要です。もし、これらの珍しい言葉を一般的な言葉と同じように小さなサイズに無理やり縮めてしまうと、物語は崩壊し、AIは間違いを犯し始めます。

旧来の手法：「VIPセクション」の問題

従来の手法は、「よし、珍しくて重要な言葉は元の重い形式（高精度）のまま保持し、退屈な言葉だけを縮小しよう」と考えることで解決を図ろうとしました。

これは物語の正確さを維持できましたが、新たな問題を生み出しました。想像してみてください。バスに乗っている乗客のほとんどは小さな折りたたみ椅子（圧縮されたデータ）に座っていますが、数人のVIPだけが巨大で重い安楽椅子（高精度データ）に座っています。

問題点: バス運転手（コンピュータチップ）は、異なる座席を扱うために絶えずギアを切り替えなければなりません。立ち止まって、重い椅子を動かし、データを変換して戻す作業を行わなければなりません。この切り替え作業がバスの速度を落としてしまい、他の乗客を縮小することで得られたはずのスピードを打ち消してしまうのです。

新しい手法：MosaicQuant

著者らは、MosaicQuantと呼ばれる新しいシステムを提案しています。VIPを大きな椅子に座らせる代わりに、全員を同じ小さな折りたたみ椅子（統一された4ビット）に座らせます。ただし、珍しくて難しい言葉を扱うための、巧妙な仕掛けを追加します。

その仕組みは、以下の「モザイク」の比喩を使って説明できます。

1. ベースレイヤー（高密度4ビット）
本全体を、均一な4ビットサイズに縮小します。これにより、すべての一般的な言葉を完璧に捉えることができます。しかし、稀で複雑な言葉は、小さなフォーマットに押し込められたために、少しぼやけたり歪んだりしてしまいます。

2. 「ステッチ」レイヤー（スパース・レジデュアル／疎な残差）
珍しい言葉に対して、全く新しい大きな椅子を与えるのではなく、物語のぼやけてしまった部分だけに、小さくて目に見えない「パッチ（継ぎ当て）」または「ステッチ（縫い目）」を作成します。

本全体にパッチを当てるわけではありません。歪みが最もひどい特定のページにのみパッチを当てます。
このパッチも4ビットであるため、同じ小さな折りたたみ椅子に収まります。
わずかな箇所（本の約10%）にのみパッチを当てるため、非常に軽量であり、バックパックの重さには影響しません。

3. 「ジッパー」エンジン（ZipperEngine）
これが高速化を実現する秘訣です。旧来の「VIP」方式では、コンピュータは重い椅子と小さな折りたたみ椅子の間を行ったり来たりしなければなりませんでした。

MosaicQuantのZipperEngineは、熟練の仕立て屋のように振る舞います。メインの本（高密度ベース）と、小さなパッチ（疎な残差）を取り込み、バスが走行している間にそれらを縫い合わせます。
ギアを切り替えるために停止することはありません。メインのテキストとパッチを同時に、一つのスムーズな動きの中で処理します。これにより、コンピュータチップがデータを「変換」するために停止する必要がなくなり、高いスピードが維持されます。

なこれが重要なのか

論文では、強力なAIモデル（LLaMAやQwenなど）を用いてテストを行い、主に2つの結果を得ました。

正確性: 物語（AIの出力）は、元の重い本とほぼ変わらないほど完璧な状態を維持しました。「パッチ」がぼやけた部分をうまく修正したため、AIの知能が損なわれることはありませんでした。
速度: 異なるフォーマット間の切り替えが発生しないため、AIは標準的な16ビット版よりも最大1.24倍速く動作し、高精度と低精度を混合しようとする他の手法よりもはるかに高速でした。

要約すると、 MosaicQuantは、図書館全体をポケットサイズに縮小しながら、重要な部分を切り捨てたり重くしたりするのではなく、エラーを修正するための軽量な「パッチ」を追加し、なおかつ読み取りプロセスをスムーズかつ高速に保つ手法なのです。

技術サマリー：MosaicQuant

問題提起

4ビット量子化は、大規模言語モデル（LLM）のメモリフットプリントを削減し、推論を加速させる大きな可能性を秘めているが、根本的な限界に直面している。それは、制限されたビット幅では、高密度な共通値（インライア）と、稀に発生する大きな値（アウトライア）の両方を忠実に表現できないことである。この不一致は、大幅な精度の低下を招く。

既存のソリューションは通常、混合精度量子化を採用し、アウトライアを高精度（例：FP16またはINT8）で保持し、残りを4ビットに量子化する。しかし、このアプローチは低ビット実行の均一性を損なう。高精度へのフォールバック操作の必要性は、追加のデータ移動、フォーマット変換、および精度変換のオーバーヘッドを導入し、最終的には低ビット推論が約束する実用的なハードウェアのスピードアップを阻害してしまう。

手法

著者らは、インライア・アウトライア分離（inlier–outlier disaggregation）の原理に基づく、統一された4ビット量子化パラダイムであるMosaicQuantを提案する。アウトライアを高精度で保持する代わりに、MosaicQuantは重み行列全体を、高密度なベース（base）と疎な残差（residual）という2つの4ビットコンポーネントに分解する。

1. インライア・アウトライア分離

この手法は、等価な変換（例：SmoothQuantやQuaot）を用いて、活性化のアウトライアを重み行列へと移行することから始まる。移行された重み行列 $\hat{W}$ は、次のように分解される：
$\hat{W} \approx Q(\hat{W}) + R$
ここで：

高密度4ビットベース ( $Q(\hat{W})$ ): 一般的なインライアを忠実に捉える。
疎な4ビット残差 ( $R$ ): アウトライアによって導入される量子化誤差を補償する。

極めて重要な点は、両方のコンポーネントが4ビットで動作するため、低ビット実行パイプラインの均一性が維持されることである。

2. ブロック単位の残差割り当て

本論文は、量子化誤差がチャネル間で一様に分布しているのではなく、微細なブロックレベルの集中を示すことを特定している。したがって、MosaicQuantは、チャネルレベルではなく、ブロックレベルで疎な残差の予算を割り当てる。

高価なフル出力評価を行わずに最も重要なブロックを選択するために、著者らは**ヘシアン誘導型 $\Delta$ -スコア（Hessian-guided $\Delta$ -score）を導入している。この指標は、入力チャネルの活性化感度（対角ヘシアン推定値）で残差誤差を重み付けすることにより、各ブロックにおける出力歪みの限界減少量を近似する。アルゴリズムは、最も高い $\Delta$ -スコアを持つ上位- $K$ 個のブロックを選択し、そこに疎な4ビット残差の補償を割り当てる。実験によれば、わずか10%**のブロックに対する疎な予算があれば、出力歪みの50%以上を回復するのに十分であることが示されている。

3. ZipperEngine: 統一された実行

疎な残差を別のカーネルで実行する場合、活性化を再ロードして部分出力をマージする必要があり、それが大幅なレイテンシの増大を招くため、統一された表現だけでは不十分である。これに対処するため、著者らは以下の機能を持つ特化した実行エンジンであるZipperEngineを導入する：

カーネルの融合: 疎な残差計算を、高密度な4ビットGEMMカーネルに直接統合する。
オーバーラップ・パイプライン: 量子化、高密度計算、疎な補償、およびリダクション加算操作が、Tensor Core、CUDA Core、およびHBMにわたって並行してスケジュールされる、タイル化されたオーバーラップ・パイプラインを利用する。
結果: これにより、別個のカーネルディスパッチと冗長なメモリトラフィックのオーバーヘッドを排除し、完全に統一された4ビット推論パイプラインのハードウェア効率を実現する。

主な貢献

MosaicQuantパラダイム: ブロック単位のインライア・アウトライア分離を行う4ビット量子化アプローチであり、精度の低下を軽減しながら、完全に低ビットな実行パターンを維持する。
ヘシアン誘導型選択: 高価な正確な出力歪み評価に代わり、 $\Delta$ -ヘシアン・スコアを用いて重要な残差ブロックを特定する、効率的で活性化を考慮したブロック選択戦略。
ZipperEngine: オーバーラップ・パイプラインを介して、疎な残差計算を高密度GEMMカーネルに融合させる、高密度・疎な4ビット実行エンジンであり、追加の残差ブロックが存在する場合でも実用的なスピードアップを可能にする。

実験結果

著者らは、LLaMA3 (3B, 8B) および Qwen3 (4B, 8B, 14B, 32B) モデルを用いてMosaicQuantを評価した。

精度: MosaicQuantは、FP16に近い精度を維持する。W4A4量子化において、他の低ビット・ベースライン（RTN, SmoothQuant, QuaRot, SpinQuant, ResQ, Atom）を大幅に上回る。例えば、Qwen3-32Bにおいて、MosaicQuantは8.4のパープレキシティを達成しており、これはResQの9.2やAtomの9.3と比較して優れている。また、他の手法（RTNやSmoothQuantなど）がQwen3モデルで性能崩壊を起こしやすい場面でも、堅牢な性能を維持している。
スループット: NVIDIA RTX 4090上で、MosaicQuantはW16A16ベースラインに対して最大1.24倍のスピードアップを達成している。バッチサイズ4〜32において、TensorRT-LLMや他の量子化ベースラインと比較して、一貫して最高のスループットを提供している。
オーバーヘッド: 疎な4ビット分岐によるオーバーヘッドは最小限であり、メモリ使用量の増加はわずか**8.5–9.5%であり、融合パイプラインによりレイテンシのオーバーヘッドは6.2%**未満に抑えられている。

重要性

本論文は、MosaicQuantが4ビットLLM量子化における精度とハードウェア効率のトレードオフを解決すると主張している。高精度へのフォールバック操作の必要性を排除し、表現と実行の両方を単一の整合性のある低ビット・パイプラインへと統一することで、MosaicQuantは、一様な4ビット実行の規則性を損なうことなく、効率的なLLMサービングを可能にする。このアプローチは、疎な低精度補償が、高密度な低ビット推論のスループットの利点を維持しながら、アウトライアに起因する誤差を効果的に回復できることを示している。