技術概要：ビットがリコースを破損する時：反事実的忠実な量子化

1. 問題定義

現代の機械学習システムは、メモリフットプリントと推論遅延を削減するため、特にモバイルおよびエッジ展開において量子化に依存する傾向が強まっている。量子化対応トレーニング（QAT）およびトレーニング後量子化（PTQ）は、予測精度を維持する能力について厳密に評価されているが、本論文は重要な展開上のミスマッチを特定している：量子化は平均的なケースにおける精度を維持しつつ、アルゴリズム的リコースを静かに破損しうる。

アルゴリズム的リコースとは、モデルの決定を望ましい結果に反転させるための実行可能な推奨事項（入力への最小限の変更）を提供するものである。本論文は、精度制約はデータ分布に適用されるのに対し、リコースは個々の点周辺の特定の近傍における決定境界の局所幾何学に依存すると論じている。量子化は構造的ではあるが非一様な方法で重みと活性化を摂動させ、リコースにとって重要な近傍において決定マージンをシフトさせ、境界を回転させる可能性がある。その結果、フル精度モデルに対して有効なリコース行動は、モデルのテスト精度が変化しなくても、量子化後に無効化されるか、あるいは著しくコスト増大を伴うものとなりうる。

2. 手法：反事実的忠実な量子化（CFQ）

著者らは、予測精度に加えて第一級の目的として反事実的振る舞いを維持するように設計された量子化対応トレーニング手法である**反事実的忠実な量子化（CFQ）**を提案する。

中核メカニズム

CFQ は量子化を構造化されたモデルシフトとして扱う。これは、「教師」フル精度モデル（$f$）を用いて入力インスタンスに対するリコース行動（$\delta_{fp}$）を生成する。これらの行動は、微分可能な反事実的損失に対して少量（$K$）の射影勾配ステップを計算することで導出され、量子化モデル（$f_q$）の最適化中は定数として扱われる（stop-gradient 経由）。

CFQ のトレーニング目的関数は、以下の 3 つの構成要素を組み合わせる：

1. タスク損失（$L_{task}$）: 事実的入力における予測精度を維持するための標準的な教師あり損失（例：交差エントロピー）。
2. 有効性維持損失（$L_{valid}$）: 教師モデルのリコース点（$x + \delta_{fp}$）において、量子化モデルが目標出力を予測することを強制する正則化項。これにより、フル精度モデルに対して有効な行動は、量子化モデルに対しても有効であることを保証する。
3. ビットコストペナルティ（$\lambda \cdot \text{BitCost}$）: 混合精度割り当てを可能にする、グローバルなビット予算を強制する制約。

混合精度ビット割り当て

CFQ は、量子化パラメータ（例：ステップサイズ、クリッピング閾値）と層ごとのビット幅を共同で最適化する。各層の候補ビット幅（例：$\{2, 3, 4, 8\}$）からビット幅を選択するために、Gumbel-Softmax を用いた微分可能な緩和法を採用する。最適化は反事実的目的関数によって導かれ、平均精度の最適化のみを行うのではなく、リコース点の有効性に最も影響を与える層に高い精度を割り当てる。

オプションの拡張

• 方向/コスト一致（$L_{match}$）: 量子化モデルによって計算されたリコース行動（$\delta_q$）と、教師行動（$\delta_{fp}$）を方向とコストの面で整合させるオプション項。
• マージン安定化（$L_{hinge}$）: 教師リコース点において正のマージンを強制するヒンジ損失。量子化に起因する摂動に対する安全マージンを提供する。

理論的基盤

本論文は、マージンの頑健性に基づいたリコース転移のための十分条件を提供する。リコース点におけるフル精度の目標マージンが、量子化によって誘発される最大ロジット摂動（$\epsilon$）の 2 倍を超えていれば、量子化モデルは目標ラベルを維持するという仮説を提示する。CFQ の目的関数は、リコース点におけるマージンを増大させ、ターゲット化されたビット割り当てを通じて実効的な摂動を低減することにより、これを直接的に解決する。

3. 主要な貢献

1. 展開ギャップの特定: 著者らは、精度維持型の量子化ベースライン（均一 QAT、混合精度 QAT）が、反事実的転移性を著しく劣化させ、標準的な精度指標には見えないリコース失敗を引き起こしうることを実証する。
2. 新規指標の導入: この失敗モードを定量化するための 2 つの指標を導入する：
   • 有効性低下（VD）: フル精度モデルに対して有効なリコース行動が、量子化モデルに対して失敗する確率。
   • 反事実リコースギャップ（CRG）: 量子化後に目標結果を達成するために必要な最小コストの相対的増加。
3. CFQ アルゴリズム: ビット予算下でリコース有効性を維持するために、混合精度ビット割り当てと反事実的一貫性正則化項を結合した新規トレーニング手順。
4. 実証的検証: 表形式ベンチマーク（ADULT, GERMAN CREDIT, COMPAS）および非表形式画像データセット（MNIST, Fashion-MNIST, CelebA）における広範な実験により、CFQ が精度を維持しつつ VD と CRG を大幅に改善することを示す。

4. 実験結果

実験は標準的な表形式リコースベンチマーク（ADULT, GERMAN CREDIT, COMPAS）で行われ、構造化された潜在空間または意味的行動空間を用いて画像データセットにも拡張された。

• 精度対リコース: ベースライン手法（LSQ-QAT, PACT-QAT, 精度駆動型混合精度）は、フル精度モデルと同等の予測精度（例：ADULT で約 85.7%）を達成したが、高い有効性低下（VD $\approx$ 0.12–0.18）および高い反事実リコースギャップ（CRG $\approx$ 0.16–0.23）を被った。
• CFQ の性能: CFQ は同等の精度（例：ADULT で 85.7%）を達成しつつ、VD（約 0.06 まで）および CRG（約 0.07 まで）を劇的に低減した。これは、最良の非 CFQ ベースラインと比較して、リコース失敗率を約 50% 削減することを意味する。
• 頑健性: CFQ の恩恵は異なるビット予算全体で一貫しており、量子化ノイズが最も強い低ビット領域（例：3-4 ビット）で最大の改善が観察された。
• トレーニングフリー変種（CF-PTQ）: 事実的および教師反事実的ポイントの両方で量子化器を較正し、バックボーン重みの更新を行わないトレーニング後変種が導入された。この変種は、標準的な PTQ に比べて VD と CRG を大幅に低減し、標準 PTQ と完全な QAT の間の実用的な中間地点を提供する。
• サブグループ分析: CFQ は異なるサブグループ（例：性別、人種）間でのリコース不安定性を低減したが、安定性におけるサブグループ間の格差は依然として存在しうるため、将来の公平性意識型の拡張が必要であることを示唆している。

5. 意義と主張

本論文は、予測精度だけでは圧縮モデルにおけるアルゴリズム的リコースの信頼性を保証するには不十分であると主張する。量子化を局所的な決定幾何学を変化させるモデル変更として扱うことで、著者らは展開パイプラインが明示的にリコースの安定性を最適化する必要があると論じる。

CFQ の意義は、以下の点にある：

• 破られた約束の防止: 開発中（フル精度モデル上）に生成された実行可能な推奨事項が、展開後（量子化モデル上）においても有効かつ費用対効果の高いものであることを保証する。
• 測定可能な安定性の提供: 圧縮下でのリコースの頑健性を評価するための標準指標として VD と CRG を導入し、精度指標が隠蔽する失敗を明らかにする。
• 実用的な解決策の提供: この安定性を実現するためのトレーニングベース（CFQ）およびトレーニングフリー（CF-PTQ）の両方のアプローチを提供し、さまざまな展開制約への適用を可能にする。

著者らは謙虚な立場を維持しており、CFQ は指定された予測モデルと行動セットに対してリコースを維持するが、現実世界における因果的有効性を証明するものではないと指摘している。また、CFQ は計算オーバーヘッド（主に教師リコース計算に起因）を導入し、その安定性はトレーニング分布に較正されているため、深刻な展開シフト下では再較正が必要となる可能性を認めている。しかし、結果は、高リスクの意思決定支援システムにとって、反事実的振る舞いのための量子化最適化が、明確かつ不可欠な目的であることを示している。