Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion

技術要約：ヌル空間を閉じる：Classifier-Free Diffusionのためのガイダンス認識型量子化

問題提起
実世界の計算リソース制約下でClassifier-Free Guidance (CFG) 拡散モデルをデプロイするには、Post-Training Quantization (PTK) が必要である。しかし、既存のPTQ手法は、CFGモデルを単一ブランチのネットワークとして扱っており、推論に不可なくペアとなる条件付き/無条件付きの構造を無視している。この構造的な見落としは、デプロイメントにおいて2つの決定的な課題を生じさせる。

1. 測定の盲点（Measurement Blindness）: 標準的な効率性指標（パラメータ数、Bit-OperationsまたはBOPs）はシングルパスのコストを報告するが、CFGの2パス実行パターン（$\tilde{\varepsilon} = \varepsilon_\emptyset + w(\varepsilon_y - \varepsilon_\emptyset)$）によって課される約2倍のレイテンシ・オーバーヘッドを不可視のものとしている。さらに、汎用的なINT8推論スタック（TensorRTを使用しないONNX Runtimeなど）は、ソフトウェアスタックのフォールバックにより、理論的なスピードアップを実現できないことが多く、予測される効率性と実際の効率性の間に巨大な乖離を生み出している。
2. ブランチ・ドリフトの罠（The Branch-Drift Trap）: 量子化のキャリブレーションを「ガイダンス・ギャップ」（$\Delta = \varepsilon_y - \varepsilon_\emptyset$）のみに基づいて行うと、厳密な数学的ヌル空間（null space）を許容してしまう。量子化されたモデルは、完璧なギャップ忠実度診断（両ブランチ間の差を保持すること）を達成できる一方で、無条件ブランチ（$\varepsilon_\emptyset$）がベクトル $\delta$ だけ任意にドリフトすることを許してしまう。ガイドされた予測 $\tilde{\varepsilon}$ は $\varepsilon_\emptyset$ の絶対値に依存するため、この制御されていないドリフトは、ギャップ指標が理想的に見えても最終的なサンプル品質を損なう。

手法：ガイダンス認識型混合精度（GAMP）
これらの問題を解決するために、著者らは、構成によってヌル空間を閉じるように設計されたPTQフレームワークであるGuidance-Aware Mixed Precision (GAMP) を提案する。

• キャリブレーション目的: ギャップのみの再構成誤差を最小化するのではなく、GAMPはガイドされた予測そのものを直接最小化する：$L_{GAMP} = \|\tilde{\varepsilon}^q - \tilde{\varepsilon}^{fp}\|^2$。これにより、無条件ブランチがフル精度のリファレンスに整合するように強制し、共有ドリフトによるヌル空間を排除する。
• 感度分析: 本手法は、CFGモデルにおいて、活性化関数（activations）が重み（weights）よりもビット削減に対して著しく敏感であることを特定している。重みを4ビットに固定し、各レイヤーの寄与度（$E(l) = \|\tilde{\varepsilon}^q_l - \tilde{\varepsilon}^{fp}_l\|^2$）に基づいて活性化ビットを割り当てる。
• 割り当て戦略: グリーディなナップサック・アルゴリズムを用いて、ビット演算あたりの感度に基づいて活性化ビット（4ビットから8ビットへの昇格）を割り当て、最終的なガイド出力への影響が最も大きい場所に精度を集中させる。
• デュアルブランチ・キャリブレーション: キャリブレーションプロセスでは、条件付きおよび無条件のパスの両方を実行して完全な活性化範囲を捉え、シングルパスのキャリブレーションでよく見られるクリッピング閾値の過小評価を防ぐ。

主な貢献

1. CFGレイテンシの特性評価: NVIDIA T4 GPUを用いた実測により、バッチサイズやフォーマットに関わらず、ガイドされた推論には一貫して1.99倍のレイテンシ・タックスが存在することを明らかにした。これは標準的なBOPs指標では隠蔽されるコストである。
2. ヌル空間定理と実証的確認: 本論文は、ギャップのみのキャリブレーションが制御されていない無条件ブランチのドリフトを許容することを形式的に証明した。これは、「ギャップのみ（Gap-only-W4A8）」のモデルが最高のギャップ診断（$\cos(\Delta)$）を示しながらも、最悪のサンプル品質（FID 334）を生成したという「偽陽性」の結果によって実証されている。一方、ギャップ指標では劣るものの、ガイドされた出力のキャリブレーションが優れたモデル（GAMP）は、大幅に高い品質を達成した。
3. GAMPアルゴリズム: ガイドされた予測に対して直接キャリブレーションを行い、ブランチ・ドリフトの罠を閉じ、ガイドされた出力の感度に基づいてビット割り当てを最適化するPTQ手法。
4. デプロイメント・ガイドライン: 実務家向けに、ガイドされたステップのBOPsの報告、ギャップ指標だけでなくガイドされた予測によるキャリブレーションの検証、および活性化精度の割り当てにおけるGAMPの使用を含む、具体的な推奨事項を提示する。

実験結果
実験は、CIFAR-10（32×32）で学習された6.1MパラメータのADM UNetを用いて行われた。

• ソフトウェアスタックの診断: INT8推論が理論的なスピードアップを実現できない理由（一部のケースでFP16に対し147倍の低速化）は、算術的な制限ではなく、ソフトウェアスタックの制限（TensorRTライブラリの欠如によるGPU↔CPUのmemcpyフォールバック）によるものであることを特定した。
• 精度の感度: 活性化の精度を8ビットから4ビットに下げると、重みの精度を下げた場合と比較して、FIDの低下が4.6倍急激になった。これは、活性化ビット割り当てに焦点を当てることの妥当性を裏付けている。
• GAMPの性能:
  • ギャップのみの失敗: 「Gap-only」構成は、ほぼ理想的なギャップ整合性（$\cos(\Delta) = 0.882$）を達成したが、壊滅的なサンプル品質（FID 334）となった。これはブランチ・ドリフトの罠を裏付けるものである。
  • GAMPの成功: 平均6ビットの活性化ビットを用いたGAMPは、FID 39.4 を達成し、同等の平均精度を持つ線形一様配分ベースラインに対して49%の改善を示した。
  • 効率性: GAMPは、一様W4A8（W4A8の重み4bit/活性化8bit）と比較して13%少ないBOPsで、W4A8に近い品質（FID ~40）を達成した。特筆すべきは、GAMPはGap-onlyモデルよりも弱いギャップ忠実度スコア（$\rho=1.509$）を持ちながら、より低いFIDを達成したことであり、これはガイドされた出力の誤差がサンプル品質を支配することを再確認している。

意義と主張
本論文は、CFGモデルのギャップのみのPTQに内在する「ブランチ・ドリフトの罠」を特定し、解析的に証明した最初の研究であると主張している。標準的な診断指標（$\rho$ や $\cos(\Delta)$ など）は不十分であり、むしろ誤解を招く可能性があると論じている。キャリブレーションの目的をガイドされた予測へとシフトすることで、GAMPは無条件ブランチのドリフトを確実に防ぐことができる。本研究は、CFG拡散モデルのデプロイメント・パイプラインに必要な修正を提供し、ガイドされた推論の真のレイテンシと効率性のコストを正確に特性化しながら、より低い計算予算で高品質な生成を実現する手法を提示している。著者らは、現在の実験はCIFAR-10に限定されているものの、この罠の構造的な性質から、より大規模な潜在モデル（Stable Diffusionなど）やTransformerベースのアーキテクチャにも同様に適用されると述べている。