技術的概要：運動補正重み圧縮（MCWC）

問題定義

ニューラルネットワークの展開におけるボトルネックは、計算能力ではなく、アクセラレータにチェックポイントをステージングするために必要なストレージ、帯域幅、およびコールドスタートのオーバーヘッドによって生じています。既存の圧縮パイプラインは、トレーニング後の量子化とプルーニングが主流であり、通常、各層を独立したオブジェクトとして扱います。このアプローチは、モデルの入出力関数を変化させることなく隠れユニットやアテンションヘッドを再インデックス化できるなど、関数保存対称性によって引き起こされる広範な層間冗長性を見落としています。その結果、これらの手法は、トランスフォーマーなどの現代のアーキテクチャに内在する強い層間類似性と予測可能性を活用することに失敗しています。

手法

MCWC は、モデルの深さを動画のフレームに類似した逐次信号として扱う、重み専用のコーデックを提案します。核心となる前提は、対称性によって引き起こされる「運動」を除去することで、層間における残りの重みの進化が非常に予測可能となり、効率的な残差符号化を可能にするという点です。パイプラインは主に 4 つの段階で構成されます。

1. 機能的アライメントによる運動補正

エンコーダは、FFN の隠れユニットやアテンションヘッドなどの重みブロックに対して、層間対応を最大化する関数保存の置換を特定します。

• メカニズム: 各層 $\ell$ において、この手法は、候補ブロックと以前にアライメントされた参照との間の類似性（重みベースの余弦類似度と活性化統計類似度のハイブリッド）を最大化するように、前の層 $\ell-1$ の対応ブロックと整合する置換 $\Pi_\ell$ を選択します。これは、線形割り当て問題を解くことで達成されます。
• 結果: これにより、重み系列が「アライメントされた座標系」に変換され、隣接する層が幾何学的に比較可能になります。その結果、層間の差分のエネルギーが大幅に低減されます。

2. 層逐次予測符号化

アライメント後、重みは時系列として扱われます。

• 予測: 軽量な層逐次予測器（$g_\theta$）が、層とブロックタイプの埋め込みを条件として、以前に復号されたコンテキスト（層 $\ell-1$ のアライメントされたブロック）に基づき、現在の層のアライメントされたブロックを推定します。
• 残差: コーデックは、量子化された予測残差（$R = \text{AlignedTarget} - \text{Prediction}$）のみを符号化します。
• キーフレーム: 長い系列にわたる誤差の蓄積（ドリフト）を防ぐため、周期的な「キーフレーム」は残差ではなく絶対値として符号化されます。これらは同期ポイントとして機能し、デコーダがコンテキストをリセットすることを可能にします。

3. 学習済み量子化とエントロピーモデル

• 量子化: 残差は、チャンネルごとのステップサイズと平均を持つ学習済みスカラー量子化器を用いて、離散コードインデックスにマッピングされます。
• エントロピー符号化: 学習済みエントロピーモデルが量子化されたシンボルに確率を割り当て、算術符号化を可能にします。このモデルは、層インデックス、ブロックタイプ、および予測器出力から導出された局所統計を条件とします。
• トレーニング: システム全体（予測器、量子化器、エントロピーモデル）は、レート歪み目的関数（$L = L_{task} + \lambda E[-\log p_\psi(c)]$）の下でエンドツーエンドにトレーニングされます。ここで、$L_{task}$ は再構成された重みがタスク性能を維持することを保証する蒸留損失です。

4. 側面情報と復号

ビットストリームには、エントロピー符号化された残差/キーフレーム、置換に関する側面情報（オーバーヘッドを削減するためにデルタ符号化されたレーマーコードで符号化）、および量子化パラメータが含まれます。デコーダはプロセスを逆転させます。つまり、エントロピー復号を行い、逆量子化し、予測を介して残差を再構成し、逆置換を適用して展開用の元のテンソル構造を復元します。

主要な貢献

1. 重み空間における運動補正: 動画圧縮における運動推定に類似して、表現される関数を維持しつつ層間対応を高めるためのブロック単位置換選択の導入。
2. 深さに対する予測コーデック: 深さを時間軸として扱う新規アーキテクチャ。明示的なキーフレームと残差符号化を活用して、アライメントされた層を予測可能な「フレーム」へと変換する。
3. エンドツーエンドのレート歪みトレーニング: 量子化とエントロピーモデルを共同でトレーニングし、復号後の離散残差ストリームが正確であり、かつ学習済み確率モデル下で低エントロピーであることを保証する。
4. 実証的検証: トランスフォーマー言語モデル（Pythia）およびビジョン分類器（ViT）におけるレート - 精度のパレートフロンターの改善の実証。アブレーション研究により、アライメント、予測、エントロピーモデルのすべてが完全な利益を得るために必要であることが確認された。

結果

MCWC は、Pythia-1.4B（言語モデリング）および ViT-B/16（ビジョン分類）において、均一な INT8/INT4 量子化、SmoothQuant、GPTQ、AWQ、学習済みスカラー量子化などの強力なベースラインと比較して評価されました。

• 言語モデリング: 過酷な圧縮率（例：約 2.8 ビット/パラメータ）において、MCWC はパープレキシティ 16.40 を達成し、Prune+Quant（18.10）および学習済みスカラー量子化（17.30）を上回りました。中程度のレート領域（約 4.2 ビット/パラメータ）では、パープレキシティ 15.95 を達成し、均一な INT4（16.85）を上回り、GPTQ（16.40）や AWQ（16.25）などのヘッシアン対応手法と競合する性能を維持しました。
• ビジョン分類: 2.8 ビット/パラメータにおいて、MCWC は ImageNet-1k 上で 80.15% のトップ 1 精度を維持し、Prune+Quant（77.60%）および学習済みスカラー量子化（78.70%）を上回りました。4.2 ビット/パラメータでは、80.92% の精度を達成し、均一な INT4（79.35%）を超えました。
• 復号効率: 予測再構成と逆置換は線形時間操作であるため、復号時間は標準的な量子化ベースライン（例：CPU 上の Pythia-1.4B で約 2.5 秒）と競合するレベルを維持しています。支配的なコストはエントロピー復号とテンソルの材料化です。
• 診断: アブレーション研究により、機能的アライメントが隣接層間の余弦類似度を増加させ（Pythia-1.4B の場合、約 0.28 から約 0.67 へ）、正規化された残差エネルギーを低減することが確認されました。これは、アライメントがより予測可能な座標系を露呈させることを裏付けています。

意義と主張

本論文は、MCWC を低精度推論カーネル（例：INT8/INT4 行列乗算）の代替としてではなく、専門的なチェックポイントストレージおよび転送コーデックとして位置づけています。その主な価値は、大規模モデル重みの配布と繰り返し材料化に関連するストレージ容量、ネットワーク帯域幅、およびコールドスタート遅延を削減することにあります。

著者らは、運動補正を通じて層間冗長性を活用することで、MCWC が従来の量子化とは直交するボトルネックに対処すると主張しています。この手法は、チェックポイントが移動、保存、または複製される頻度が高い展開環境（サーバーレスのコールドスタート、モデルレジストリ、エッジ配布など）で最も効果的です。これにより、一度のオフライン符号化コストを、繰り返し行われる展開の節約によって償却することが可能になります。この研究は、ニューラル重みを孤立したテンソルではなく、深さを通じた構造化された軌跡として扱うことが、効率的なモデル圧縮への新たな道筋を提供することを示唆しています。