🤖 machine learning

TileQ: Efficient Low-Rank Quantization of Mixture-of-Experts with 2D Tiling

TileQ は、入力次元と出力次元にわたって共有される 2 次元タイル構造の低ランク因子と、融合された単一パス推論技術を組み合わせて、精度を維持しつつエキスパート混合モデルにおけるメモリ使用量と遅延を大幅に削減する、微調整不要な学習後量子化手法である。

原著者： Hongyaoxing Gu, Xinzhe Chen, Lijuan Hu, Fangfang Liu

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongyaoxing Gu, Xinzhe Chen, Lijuan Hu, Fangfang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大な AI 企業が、多数の専門家（スペシャリスト）を抱える巨大な図書館を持っていると想像してください。この企業は「ミクスチャー・オブ・エキスパート（MoE）」システムを採用しています。その仕組みは以下の通りです：質問をすると、AI はすべての専門家を起こすのではなく、その特定の質問に最も適した数人（100 人中 2 人または 4 人など）だけを選び出します。これにより、AI は非常に賢く、かつ非常に効率的になります。

問題点：
AI は一度に数人の専門家しか「使用」しませんが、すべての専門家が呼び出されるのを待って、コンピュータのメモリ（RAM）に常駐している必要があります。これは、一度に 1 冊の 1 ページしか読まなくても、図書館のすべての本を机の上に置かなければならないようなものです。これにより莫大なスペースを占有し、必要な少数の本を見つけるために大量の本の山を翻さなければならないため、コンピュータは遅くなります。

従来の解決策（そしてなぜ失敗したのか）：
科学者たちは、これらの本を要約（量子化）したり、より小さな部分に分割したり（低ランク化）することで圧縮しようと試みました。

課題： 各専門家を個別に要約しても、依然として要約が多すぎます。専門家間で要約を共有しようとすると、従来の方法は 1 本の長い列（1 次元）に本を積み重ねようとするようなものでした。スペースは多少節約できましたが、コンピュータは必要なページを見つけるために依然として大幅に飛び回らなければならず、速度が低下しました。また、「要約ノート」自体が余分なスペースを大量に占有するため、節約効果は相殺されてしまいました。

新しい解決策：TILEQ
この論文の著者はTILEQを提案しています。これは、図書館を単一の長い列ではなく、2 次元のグリッド状の棚（チェッカーボードのように）に再編成するようなものです。

TILEQ の仕組みを簡単に説明します：

1. 「2 次元タイリング」のトリック（賢い棚）

64 人の専門家がいると想像してください。TILEQ は、これらを 64 人の別々の人物として扱うのではなく、「ねえ、専門家#1 と専門家#5 は非常に似ていて、専門家#2 と専門家#6 も双子のようだ」と気づきます。

従来の方法： 専門家#1 を要約し、次に専門家#2、次に専門家#3...と進め、64 個の個別の要約を作成します。
TILEQ の方法： これら 64 人の専門家を 8x8 のグリッド（より大きな三目並べの盤のようなもの）に配置します。
- 同じ行にある専門家は、「左側のノート」（入力に関する共通の要約）を共有します。
- 同じ列にある専門家は、「右側のノート」（出力に関する共通の要約）を共有します。
- 結果： 64 個の固有の要約が必要になる代わりに、8 個の行ノートと 8 個の列ノートだけで済みます。これにより、「ノート」を保存するために必要なメモリが劇的に削減されます。

2. 「ワンパス」推論（エクスプレスエレベーター）

AI が質問に答える必要がある場合、通常、選択した専門家それぞれに対して個別の計算を実行する必要があります。これは、人々を一人ずつエレベーターで呼び出すようなものです。遅く、非効率です。

TILEQ の解決策： 専門家が整然とした 2 次元グリッドに配置され、ノートを共有しているため、コンピュータは「アクティブ」な専門家を一度に、滑らかな動作で処理できます。これは、本を一つずつ取り出すのではなく、コンベアベルトをオンにして選択されたすべての本を一度に読者に運ぶようなものです。
メリット： コンピュータハードウェア（GPU）が、散らばった小さな断片ではなく、大きくて固体のデータブロックで作業できるため、AI の実行が大幅に高速化されます（レイテンシの低下）。

3. 「再トレーニング」不要

通常、AI を圧縮する場合、内容を忘れないようにするために再学習（ファインチューニング）を行う必要があります。TILEQ は「トレーニング後量子化（PTQ）」手法です。

比喩： 完成した高解像度の写真を、再度撮影することなく、ファイルサイズを小さく圧縮するようなものです。既存の画像を処理するだけです。これにより、莫大な時間と計算資源を節約できます。

結果

この論文は、この 2 次元グリッドと「ワンパス」方式を使用することで、以下の成果を挙げています：

メモリ： 従来の方法と比較して、これらの「ノート」に必要な追加メモリが最大10 倍削減されます。
速度： 質問に答えるまでの時間（レイテンシ）が、モデルのこれらの特定の部分においては、以前のおよそ**5%**に短縮されます。
精度： これほど小さく高速であっても、AI は未圧縮の大型バージョンと同様に質問に答えることができます。

まとめ：
TILEQ は、賢い AI の「メモリノート」を整理する巧妙な方法です。すべての専門家に重いバックパックを持たせるのではなく、軽量なバックパックを共有するチームにグループ化します。これにより、システム全体がより小さなコンピュータに収まり、知性を失うことなくはるかに高速に動作するようになります。

技術的概要：TileQ - 2 次元タイリングを用いた混合専門家（Mixture-of-Experts）の効率的な低ランク量子化

1. 問題定義

混合専門家（MoE）モデルは、専門的な「エキスパート」サブネットワークをスパースに活性化させることで大規模言語モデル（LLM）のスケーリングにおける支配的なパラダイムとなっています。このアーキテクチャは推論時の計算コストを削減しますが、重要なメモリボトルネックをもたらします。すなわち、トークンごとに活性化されるのはごく一部のサブセットであるにもかかわらず、エキスパートパラメータの全体セットがメモリ上に常駐しなければならないという点です。この大きなメモリフットプリントは、リソース制約のあるハードウェアへの展開を厳しく制限し、クラウド推論コストを増大させます。

既存の学習後量子化（PTQ）手法、特に低ランクアプローチは、圧縮への道筋を提供します。しかし、現在の最先端手法は MoE モデルに適用される際に、以下の 3 つの重大な限界に直面しています。

精度の低下: 単純な量子化スキームは、極端に低いビット幅（例：2 ビット）において深刻な性能低下を招きます。
メモリオーバーヘッド: 従来の低ランク PTQ は、各エキスパートごとに低ランク因子を格納するか、エキスパートの冗長性を十分に活用しない 1 次元共有戦略を使用するため、無視できない追加のメモリオーバーヘッドを発生させる傾向があります。
推論レイテンシ: 高精度な量子化手法はしばしば顕著なレイテンシを導入します。エキスパートが小さくスパースである MoE モデルにおいて、各エキスパートごとの非連続な低ランク行列を管理するオーバーヘッドは、推論速度を 50% 以上低下させ、スパース性の利点を相殺する可能性があります。

さらに、微調整ベースの手法（LoRA など）はモデルの汎化性能を低下させ、再トレーニングなしの迅速なタスク適応には不適切です。目標は、微調整を必要とせずに、高い精度と圧縮率を達成し、かつ最小限の推論レイテンシを実現することです。

2. 手法：TILEQ

著者は、2 次元タイリング構造化低ランク量子化を採用する、微調整不要の PTQ 手法であるTILEQを提案します。中核的な革新は、エキスパートを独立して扱うか、単一の次元のみで共有するのではなく、MoE エキスパートの入力および出力の両次元にわたって低ランク因子を共有する点にあります。

2.1. 2 次元タイリング構造化低ランク量子化

この手法は、各エキスパート $k$ の重み行列 $W_k$ を、すべての $K$ 個のエキスパートを 2 次元タイリング配置に配列することで近似します。これにより、グリッド全体にわたって低ランク因子 $U$ と $V$ を共有することが可能になります。

このプロセスは以下の 5 つの主要なステップを含みます。

スケーリング: 校正データに基づき、各エキスパートの重み行列に対角スケーリング行列を適用し、特異ベクトルを入力/出力特徴空間に整合させます。
抽出: スケーリングされた各エキスパートに対して、近似ランク $r_0$ の SVD 因子（ $U_k, V_k$ ）を抽出します。これらをベクトル化して正規化し、特徴埋め込みを作成します。
クラスタリング: 正規化された埋め込みに対してバイクラスタリングアルゴリズム（K-Means）を適用し、各エキスパートを $M \times N$ のタイリンググリッド内の理想的なグリッド座標 $(m, n)$ に割り当てます。これにより、類似した特異部分空間を持つエキスパートをグループ化します。
2 次元タイリング配置: 複数のエキスパートが同じタイルにマッピングされる競合を解決するため、貪欲な空間割り当て戦略を使用します。これは、エキスパートの理想的なクラスタ位置と実際の物理的タイル位置との間の距離を最小化します。その後、エキスパートを大きなブロック行列 $W_{big}$ に配置します。
量子化: 大きなタイリング行列 $W_{big}$ は、高価な SVD を回避するためにガウス・スケッチングを介して近似されたグローバル低ランク分解を受けます。得られた共有低ランク因子（ $U, V, \Sigma$ ）を格納し、各エキスパートの残差誤差をヘッシアン考慮型手法（GPTQ/GPTVQ）と回転技術（LOPRO）を用いて量子化します。

主要な技術的洞察: エキスパートを 2 次元グリッドに構造化することで、TILEQ は同じ行にあるエキスパートが左基底（出力空間）を共有し、同じ列にあるエキスパートが右基底（入力空間）を共有することを可能にします。これにより、1 次元共有や要素ごとの手法と比較して、格納オーバーヘッドが大幅に削減されます。

2.2. 効率的な融合スパース低ランク推論

レイテンシのボトルネックに対処するため、TILEQ は複数の低ランクエキスパート計算を単一パス操作に融合する推論アルゴリズムLoTileMoEを導入します。

メカニズム: 各エキスパートに対してトークンごとの不規則なスパースディスパッチを行う代わりに、このアルゴリズムは入力バッチ全体を共有左因子 $(U\Sigma)$ 上に一度投影します。次に、この投影を 3 次元テンソルに再整形し、ルーティング重みを適用してアクティブなタイルを選択し、共有右因子 $V$ と単一のバッチ化行列乗算を実行します。
最適化: この手法は、大規模な中間 3 次元テンソルを明示的に構築することを避け、インプレース集積バッファを使用します。これにより、不規則なメモリアクセスが、現代のハードウェア（GPU/TPU）で高度に最適化された規則的な密なテンソル演算（GEMM）に置き換えられます。
複雑性: このアプローチは、 $K$ 個の個別の小さな GEMM を処理することから、2 つの大型で形状の整った GEMM を処理することへと複雑性を削減し、ハードウェア利用率を大幅に向上させ、カーネル起動オーバーヘッドを低減します。

3. 主要な貢献

2 次元タイリング低ランク PTQ: 2 次元タイリングを介してエキスパートの類似性を活用し、入力および出力の両次元にわたって効率的な共有表現を可能にする、新規の微調整不要量子化手法。1 次元共有や独立した手法よりも高い圧縮率を達成します。
融合推論アルゴリズム: 低ランクエキスパート計算を単一パス操作に融合する最適化された推論技術（LoTileMoE）。MoE モデルにおけるスパースエキスパートディスパッチに伴うレイテンシオーバーヘッドを排除します。
性能効率: 微調整を必要とすることなく、最先端の量子化精度を達成しつつ、低ランク追加メモリ使用量を最大 10 倍削減し、推論レイテンシをベースラインオーバーヘッドの約 5% まで低減します。

4. 実験結果

著者は、Qwen1.5-MoE-A2.7B、Qwen3-30B-A3B、Qwen3-Next-80B-A3B、Mixtral-8 $\times$ 7B、Deepseek-MoE-16B などの代表的な MoE モデルにおいて TILEQ を評価しました。

精度: TILEQ は、極端な低ビット設定（2 ビットおよび 3 ビット）において堅牢性を示します。
- Mixtral-8 $\times$ 7Bの 2 ビット設定において、TILEQ はパープレキシティ 4.78 を達成し、GPTQ（15.3）および GPTVQ（5.28）を大幅に上回ります。
- 3 ビットでは、TILEQ は FP16 の性能に近づき（例：Mixtral において FP16 の 3.87 に対し、TILEQ は 4.10）、MMLU スコアも量子化されていないモデルと同等のレベルを達成します。
- さまざまな下流タスク（ARC、PIQA、Winogrande、MMLU、HellaSwag）において、GPTQ、GPTVQ、MOEQUANT、LOPRO などのベースラインを一貫して上回ります。
メモリ効率: TILEQ は、エキスパートごとの手法と比較して、低ランク因子に必要な追加メモリオーバーヘッドを最大 90%（10 倍の削減）削減します。例えば、Qwen3-30B-A3B においては、エキスパートごとの低ランク量子化と比較してメモリオーバーヘッドが 8 倍削減されます。
推論レイテンシ:
- プリフィル: 不規則なスパースディスパッチを構造化された GEMM に置き換えることで、レイテンシを 5% 未満に削減します。
- デコード: メモリバウンドであるにもかかわらず、TILEQ は連続した重みレイアウトとベクトル化アクセスを活用することで低いレイテンシ（約 5-10% のオーバーヘッド）を維持します。一方、要素ごとおよび 1 次元共有手法は 15-75% のレイテンシ増加を被ります。
アブレーション研究: 実験により、2 次元タイリング機構が性能の主要な駆動力であることが確認されました。これを除去すると、同程度の精度を維持するためにビット幅要件が 8 倍増加します。この手法は、スパース性やエキスパートサイズが異なるモデル間でスケーラブルです。

5. 意義と主張

本論文は、TILEQ が厳格なメモリおよび計算制約下での MoE モデル展開のためのスケーラブルかつハードウェアに優しいソリューションを提供すると主張しています。エキスパートを 2 次元タイリング配置に共同で構造化し、推論操作を融合させることで、TILEQ は既存の低ランク PTQ 手法が抱える精度、圧縮、レイテンシの間のトレードオフを克服します。

著者は、TILEQ が既存の PTQ フレームワーク（GPTQ など）に対する軽量かつ汎用的な拡張として機能し、計算コストの高い微調整や再トレーニングを必要とせずに次世代のスパース MoE モデルの展開を可能にすることを強調しています。この手法は、従来の手法が忠実性を維持できなくなる超低ビット量子化（2-3 ビット）を必要とするシナリオにおいて特に重要です。