技術要約: ReRound – キャリブレーションフリーのLLM量子化における中間値の曖昧性を解消するための再構成的丸め

1. 問題提起

ポストトレーニング量子化（PTQ）は、高精度な重みを低ビットの整数にマッピングすることで、大規模言語モデル（LLM）のストレージおよびメモリ使用量を削減します。このプロセスの重要なステップは、最終的な丸め割り当てであり、そこでは量子化された浮動小数点数の重みを、その下限（floor）または上限（ceiling）の隣接する整数のいずれかに割り当てる必要があります。

標準的な**最近接丸め（RTN）スキームは、純粋にスカラー距離に基づいてこの決定を下します。これは、整数境界付近の重みについては明確ですが、量子化区間の中央付近（例：$r \approx 0.5$）にある重みに対しては中間値の曖昧性（midpoint ambiguity）**を生じさせます。これらの領域では、切り上げまたは切り下げによって生じるスカラー誤差はほぼ同一です。その結果、RTNによる決定はこれら曖昧なゾーンにおいて恣意的になりがちですが、こうした決定のわずかな集合が線形層全体の丸めパターンを大きく変えてしまい、モデルの精度を低下させる可能性があります。既存の手法は、量子化パラメータ（スケール、ゼロポイント）を最適化するか、キャリブレーションデータを使用して丸め割り当てを学習しますが、活性化サンプルやダウンストリームのラベルを使用せずに、丸めステップ自体の特定の曖昧さに対処する手法はほとんどありません。

2. 手法: ReRound

ReRoundは、事前学習済みLLM自身の重みから直接学習された情報を用いて、中間値が曖昧なRTNの決定を再検討するキャリブレーションフリーのフレームワークです。この手法は、主に3つのステージで構成されています。

A. 拡散モデルによる条件付き重み再構成

ReRoundは、事前学習済みLLMの重み行列に対して条件付き拡散モデル（具体的にはU-Net）を学習させます。

• 学習: モデルは、低ビットの確率的丸め（SR）バージョン（$P_{low}$）を条件として、高精度な重みパッチ（$P$）を再構成することを学習します。ターゲットは連続的な高精度パッチであり、条件は量子化された観測値です。
• 推論: PTQフェーズ中、モデルは決定論的なRTN量子化重み（$P_{cond}$）を条件として、連続的な再構成重み（$W_{rec}$）を生成します。
• 目的: これらの再構成された重みは、モデルのパラメータとしてデプロイされるものではありません。代わりに、特定のLLM内の重みの分布を反映する**学習された事前分布（prior）**として機能し、丸めの曖昧性を解消するための根拠を提供します。

B. 位置依存の許容度を用いた再構成ガイド付き丸め

ReRoundは、再構成された重みを用いて、元のRTNの決定が曖昧な場合にのみ、代替の丸め割り当て（floorからceilingへの切り替え、またはその逆）を提案します。

• 提案条件: 再構成された重み（$\tilde{w}_{rec}$）が、元のRTNの割り当て（$q_{rtn}$）とは異なる隣接整数（$q_{alt}$）に丸められる場合にのみ、変更が提案されます。
• 位置依存の許容度: すべての提案が受け入れられるわけではありません。ReRoundは、重みの量子化区間内における分数的な位置 $r$ に基づく許容度メトリック $\tau_{pos}(r; \tau)$ を採用しています。
  • 中間点付近（$r \approx 0.5$）では、許容度は高く、再構成ガイドによる変更が許可されます。
  • 整数境界付近では、許容度は指数関数的に減少し、スカラー誤差の差が顕著な標準的なRTNの決定を維持します。
  • 変更は、再構成された重みと元の重みの偏差が、この位置依存の許容度内に収まっている場合にのみ受け入れられます。
• 候補生成: 許容度パラメータ $\tau$ をスイープすることにより、ReRoundは、受け入れられた丸めの修正セットを表す一連の候補量子化整数重み行列（$Q_\tau$）を生成します。

C. スペクトル選択

キャリブレーションデータなしに最適な候補を選択するために、ReRoundは重みのみのスペクトル基準を使用します。

• 各候補行列 $Q_\tau$ は、連続行列 $W_\tau$ を形成するために逆量子化されます。
• $W_\tau$ の主要な特異値を、元のフル精度行列 $W$ の特異値と比較します。
• スペクトル偏差が最小となる（支配的な特異値が最もよく一致する）候補が、最終的な量子化重み行列として選択されます。これにより、選択された丸めパターンが元の層の支配的な構造モードを保持することが保証されます。

3. 主な貢献

1. ReRoundフレームワーク: 特定のLLMの重みに学習された事前分布を利用して、中間値が曖昧な丸めの決定を導く、新しい条件付き拡散モデルを用いたキャリブレーションフリーのアプローチ。
2. 位置依存の許容度: 再構成ガイドによる変更を動的に制御し、中間領域を優先しつつ境界付近のRTNを保持するメトリック。
3. スペクトル選択基準: 活性化サンプル、テキストキャリブレーション、またはダウンストリームのラベルを必要とせずに、最適な量子化整数行列を選択するための手法。
4. 互換性: この手法は完全にオフラインで動作し、量子化グリッド、スケール、ゼロポイント、および推論手順を変更することなく、量子化された整数割り当てのみを変更するため、他のPTQ手法のパラメータを精緻化できます。

4. 実験結果

論文では、Gemma 2 2B、Gemma 3 1B、Qwen3 1.7B、OLMo 2 1Bなどの一連の小型LLMについて、3ビットおよび4ビットの重み量子化でReRoundを評価しています。

• キャリブレーションフリーのベースラインとの比較: ReRoundは、すべてのテスト済みモデルにおいて、標準的なグループ単位のRTNおよび他のキャリブレーションフリー手法（HQQ、BNB FP4、Hadamard変換RTN）を一貫して上回っています。3ビット量子化においてすべてのモデルで最高の平均精度を達成し、4ビット量子化においてもほとんどのモデルで最高の結果に匹敵または上回っています。
• キャリブレーション依存のベースラインとの比較: ReRoundは、キャリブレーションデータを使用せずに、いくつかのモデル（例：Gemma 2 2Bで平均精度67.4%を達成し、SignRoundの67.0%を上回る）において、GPTQ、AdaRound、SignRoundなどのキャリブレーション依存手法を凌駕しています。
• アブレーション研究: 再構成ガイド、位置依存の許容度、またはスペクトル選択のいずれかを取り除くと、精度が低下し、完全なパイプラインの必要性が確認されました。
• 汎用性: ReRoundは、他の手法（例：SINQ）によって生成された量子化パラメータに適用した場合でもRTNベースラインを改善しており、事後的な精緻化ツールとしての有用性を示しています。
• 効率性: この手法は、低ビット推論中にオーバーヘッドを導入しません。オフラインのコストは、モデルごとの1回の拡散モデル学習実行と、高速なPTQ選択ステップ（モデルあたり数秒）です。

5. 重要性と主張

ReRoundは、事前学習された重みの構造的パターンを効果的な事前分布として活用する、低ビット量子化の新しいパラダイムとして位置づけられています。その主な重要性は以下の通りです。

• 曖昧性の解消: 標準的なRTNの既知の限界である「中間値の曖昧性」を、ヒューリスティックなルールではなく、学習された事前分布を用いて具体的に解決します。
• キャリブレーションフリーの効率性: キャリブレーションフリーの手法の中で最先端の精度を達成し、キャリブレーション依存のアプローチとも競合しますが、高価なキャリブレーションデータセットを必要としません。
• 推論の保存: 量子化グリッドと推論ロジックをRTNと同一に保ちつつ、整数割り当てのみを変更することで、シームレスなデプロイを保証します。

著者らは、制限事項として、モデルごとの個別の拡散モデルが必要であること（モデル固有のオフラインコストの導入）や、現在の焦点が小型LLMであることに触れています。今後の課題として、モデル間で重みの事前分布を転送することや、量子化パラメータを共同で最適化することなどが挙げられています。