技術的サマリー：E-PMQ：マージ重みアンカリングを備えたエキスパート誘導型ポストマージ量子化

1. 問題定式化：ポストマージ量子化（PMQ）

本論文は、複数のタスク特化型「エキスパート」モデルをまず単一のモデルにマージし、その後その結果得られたマージモデルを効率的な推論のために量子化する、特定の低リソース展開シナリオを扱っている。著者らはこの設定を**ポストマージ量子化（PMQ）**と定義する。

特定された核心的な課題は、標準的なポストトレーニング量子化（PTQ）手法（GPTQ など）がマージモデルに直接適用された場合、信頼性が低いことである。標準的な PTQ では、フルプレシジョンモデルが信頼できる再構成ターゲットとして扱われる。しかし、PMQ においては、フルプレシジョンのマージモデル（$W_m$）は独立して最適化されたマルチタスクモデルではなく、ソースエキスパートの挙動からすでに逸脱している可能性のあるパラメータの組み合わせである。

著者らは、単純な PMQ（$W_m$ を直接量子化する手法）が、2 つの異なる逸脱を結合していると主張する。

1. 量子化逸脱： 低ビット空間で重みを再構成することによって生じる誤差。
2. エキスパート相対マージ逸脱： マージモデル自体に内在する誤差であり、$W_m$がソースエキスパート（$W_i$）の特定の挙動からどの程度乖離しているかを示すもの。

単純な PTQ アルゴリズムが $W_m$ 単独の再構成誤差を最小化する場合、この潜在的に逸脱したモデルを真実（グラウンドトゥルース）として扱うことになる。その結果、量子化プロセスは既存のマージ逸脱を修正するのではなく、量子化誤差とそれらを結合させてしまい、特に積極的な低ビット設定（例：4 ビット）や多数のタスクをマージする場合に、顕著な性能低下を招く。

2. 手法：E-PMQ フレームワーク

これらの結合された逸脱を緩和するため、著者らはE-PMQを提案する。これは、単一マージモデルの展開効率を維持しつつ、較正段階中にソースエキスパートの情報を統合する、エキスパート誘導型フレームワークである。

中核コンポーネント

E-PMQ は、前方順序での層ごとの量子化を通じて動作する。各層 $\ell$ において、以下の要素を利用する。

• マージ重み（$W_m^\ell$）。
• ソースエキスパート重み（$\{W_i^\ell\}_{i=1}^K$）。
• 現在部分的に量子化されたモデルから収集された較正アクティベーション。

この手法は 2 つの主要なメカニズムを導入する。

A. エキスパート誘導型出力ターゲット

マージモデルの出力（$W_m^\ell X^\ell$）を唯一のターゲットとして再構成する代わりに、E-PMQ はソースエキスパートに基づいて出力ターゲットを構築する。各エキスパート $i$ に対して、ターゲットは $Y_i^\ell = W_i^\ell X_i^\ell$ であり、ここで $X_i^\ell$ はそのエキスパートに関連する較正サブセットから収集されたアクティベーションである。
目的関数は、量子化された層の出力とこれらのエキスパート誘導型ターゲットとの間の不一致を最小化する。
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
これにより、量子化プロセスが元のエキスパートの挙動と整合するように強制され、エキスパート相対マージ逸脱が緩和される。

B. マージ重みアンカリング

エキスパートターゲットのみに依存すると、マージ層が過度に修正され、量子化モデルが特定のエキスパートへと偏向し、マージプロセスによって達成された統合能力を失うリスクがある。これを防ぐため、E-PMQ は量子化重み（$Q^\ell$）をフルプレシジョンのマージ重み（$W_m^\ell$）に固定する正則化項を追加する。
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
アンカリング強度 $\lambda^\ell$ は適応的であり、層の総アクティベーションエネルギーによってスケーリングされ、異なる層間での安定性を確保する。

ソルバー実装

著者らは、この新しい目的関数を処理するために、GPTQ 風の逐次丸めソルバーを適応させた。ソルバーは修正された二次統計量を利用する。

• 有効曲率： $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• 右辺： $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  これにより、較正セットのみを使用して、エンドツーエンドの再トレーニングなしに、この手法を効率的に実装することが可能になる。

3. 主要な貢献

本論文は、3 つの主要な貢献を概説している。

1. 問題定式化： 著者らはポストマージ量子化（PMQ）を正式に定義し、単純なアプローチの失敗モード、すなわち量子化逸脱とエキスパート相対マージ逸脱の結合を特定した。
2. アルゴリズム提案： ソースエキスパート重みを利用して較正中に誘導された出力ターゲットを提供し、マージ重みアンカリングを用いて解を安定化させ、マージモデルの統合された挙動を維持する E-PMQ を導入した。
3. 実証的検証： 広範な実験により、E-PMQ が、さまざまなマージ手法（タスク算術、TIES マージ、単純平均）、モデルアーキテクチャ（CLIP-ViT、FLAN-T5、Llama-3.1）、タスク規模（8 から 20 タスク）にわたり、単純な PMQ ベースライン（RTN、GPTQ、AWQ）を一貫して上回ることを示した。

4. 実験結果

本論文は、4 ビット重み専用量子化を使用して、ビジョン（CLIP）および言語（FLAN-T5、Llama-3.1）モデルにおける E-PMQ を評価した。

• CLIP-ViT-B/32（8 タスク）： タスク算術において、E-PMQ は 4 ビット GPTQ の精度を**65.0% から 73.6%**に向上させた。TIES マージにおいては、**69.1% から 74.8%**に向上させた。
• CLIP-ViT-L/14（20 タスク）： より多くの干渉を伴うこの困難な設定において、E-PMQ は劇的な改善を示し、タスク算術下で GPTQ を**34.8% から 76.7%**に向上させた。
• FLAN-T5-base（GLUE）： E-PMQ は、タスク算術下で平均スコアを**78.26% から 83.34%に、TIES マージ下で79.98% から 83.48%**に向上させた。
• Llama-3.1（3B および 8B）： E-PMQ は、量子化バリエーションの中で最高の平均性能を達成し、GPTQ および AWQ ベースラインを上回るスコアを記録した。
• アブレーション研究： マージ重みアンカーを除去（$\alpha=0$）すると、性能が深刻に崩壊する（例：精度が約 5% まで低下）。これは、マージモデルへのアンカリングなしでは、エキスパート誘導だけでは不十分であることを確認するものである。E-PMQ はまた、ビット幅（3 ビットから 8 ビット）や削減された較正予算に対しても頑健であることを示した。

5. 意義と主張

本論文は、E-PMQ が、逸脱の蓄積により以前は信頼性が低いと考えられていた設定において、マージモデルの効果的な低ビット展開を可能にすると主張している。

• 効率性： この手法は、展開前の量子化段階でのみソースエキスパートへのアクセスを必要とする。最終的な展開モデルは、追加の推論時モジュールやエキスパート重みを持たない単一の低ビットマージモデルであり、パラメータ数と推論速度は単純なベースラインと同じである。
• 汎用性： このアプローチは、異なるモダリティ（ビジョンとテキスト）、モデル規模、マージ戦略において効果的であることが示された。
• 限界： 著者らは控えめに、E-PMQ は量子化中にソースエキスパートへのアクセスを必要とし、単純な PTQ に比べて展開前の計算コストとメモリコストが増加すると指摘している。マージモデルのみが利用可能な場合、この手法はエキスパート誘導型ターゲットを構築できない。さらに、この手法の性能は較正セットの代表性に依存する。

要約すると、本論文は、マージモデルを正常に量子化するためには、マージモデル自体を超えて、較正を誘導するためにソースエキスパートを利用しつつ、同時にマージ重みに解をアンカリングして融合の恩恵を維持する必要があると論じている。