技術サマリー：ORPQUANT – マルチプライヤ不要の 2 のべき乗トランスフォーマー量子化のための幾何学的直交残差射影

1. 問題定義

エッジデバイスへの大規模言語モデル（LLM）およびビジョントランスフォーマー（ViT）の展開は、「乗算器課税」— ハードウェアの乗算・累積（MAC）ユニットに関連する莫大なエネルギー消費、ルーティングの複雑さ、およびタイミングのボトルネック — によって制約されています。2 のべき乗（PoT）量子化は、乗算をビットシフトに置き換えることでハードウェア効率の高い代替手段を提供しますが、根本的な幾何学的限界、すなわち「低角度分解能領域」に悩まされています。

PoT 量子化において、離散格子は $arctan(2^k)$ 分布によって支配される非一様なものです。これにより、「角度ギャップ」が生じ、特に高次元空間において量子化されたベクトルの向きが元の連続ベクトルから大きく逸脱します。スカラーの大きさ誤差は予測可能で修正可能であるのに対し、これらの角度の逸脱は特徴多様体の意味的完全性を損ない、超低ビット領域（4 ビット未満）において深刻な精度低下を引き起こします。既存の手法は、計算集約的な勾配ベースの最適化や、MAC ユニットへの実行時デ量子化に依存することが多く、タイミングのボトルネックを完全に排除したり、PoT 格子に内在する幾何学的な不一致に対処したりできていません。

2. 手法：直交残差射影（ORP）

著者は、量子化を二重基底の幾何学的射影として再定義するアルゴリズム・ハードウェア協調設計フレームワークであるORPを提案します。ベクトルを単一の 1 次元 PoT 格子にマッピングする代わりに、ORP は 2 次元の直交部分空間を構築し、厳密にシフト・アンド・加算演算を用いて方向誤差を捕捉・修正します。

コアフレームワーク

ORP パイプラインは、3 つの分離された段階で構成されます。

1. 多様体整合前処理（Manifold-Aligned Preconditioning）:
   活性化の異常値を軽減するため、重みは較正統計（CV の場合は RMS、LLM の場合は最大絶対値など）から導出された平滑化スケーリングベクトルを用いて前処理されます。これにより、反復的な再重付けなしに、出力の安定性を支配するチャネルを優先しつつ、ユークリッド重み空間を実証的な特徴多様体と整合させます。

2. 幾何学的離散基底探索:

   • 一次射影（$b_1$）: 重みを非対称な PoT 格子（3 ビットの場合は $\{-1, -0.5, \dots, 0, \dots, 1\}$ など）に射影し、ハードウェアのゼロスキッピングのための絶対ゼロ状態を確保します。
   • 直交残差抽出: 残差ベクトル $r_\perp$ をグラム・シュミットの直交化を通じて計算します：$r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$。
   • 二次基底構築（$b_2$）: 失われた方向情報を捕捉するため、ORP は $b_1$ に直交する二次離散基底 $b_2$ を構築します。これはストライド付き二重交換定理を通じて達成され、マイクロブロック内で局所インデックスの置換と符号反転を適用することで直交ベクトルを生成します。このプロセスは決定論的であり、網羅的探索を回避して $O(N)$ の時間で動作します。

3. データ駆動型結合スケーリング最適化:
   離散基底（$b_1, b_2$）が固定された後、連続的なスケーリング係数（$c_1, c_2$）が解かれます。フレームワークは 2 つのモードを提供します。

   • GEO モード（幾何学的最適化）: 較正データなしでユークリッド距離を最小化する閉形式解であり、ゼロショット展開に適しています。
   • REF モード（活性化認識型微調整）: 較正入力に対するリッジ回帰を用いてスケールを最適化し、特徴相関と空間ノイズを補正するとともに、離散活性化ノイズをソルバーに埋め込むことによる数値的不安定性を回避します。

ハードウェアデータフロー

最終的な推論データフローは、線形層 $Y = XW$ を乗算器不要の操作に変換します。
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
コア行列乗算は、スケーリング係数が最終的な累積ステップでのみ適用される並列ビットシフトと加算によって実行されます。

3. 主な貢献

• 幾何学的形式化: 本論文は、極端な PoT 量子化の「低角度分解能領域」を形式化し、勾配ベースの最適化なしに直交離散基底を抽出するための決定論的かつ $O(N)$ の閉形式解として ORP を提案します。
• 較正効率: 確率的な反復探索を解析的ソルバーに置き換えることで、ORP は LLaMA-2-7B のフルモデル較正時間を、1 台のワークステーション上で数時間（AWQ、SpinQuant など）から約15.1 分に短縮します。
• ゼロ MAC 制約下での競争力ある忠実度: ORP は、非対称スケーリングや実行時デ量子化に依存することなく、マルチモーダル全体で信頼性の高い精度を達成します。LLaMA-2-13B（W4/A16）で5.09のパープレキシティ、ViT-Base（W4/A4）で**79.54%**の Top-1 精度を達成しています。
• ハードウェア検証: 28nm RTL 合成を通じて、著者は高密度乗算木を並列シフト・アンド・加算データパスに置き換えることで、クリティカルパス遅延を0.35 nsに削減し、理論上のクロック周波数2.85 GHzおよび 1.8 GHz におけるエネルギー効率3.33 TOPS/Wを実現することを示しました。

4. 実験結果

• ビジョントランスフォーマー（ImageNet-1K）: W3/A4 制約下で、ORP は ViT-B において 78.49% の Top-1 精度を達成し、APQ-ViT（41.41%）などの 4/4 ビットベースラインを上回り、W3/A6 ではフル精度性能（80.32%）に近づきます。
• LLM パフォーマンス（LLaMA-2）:
  • W3/A16: ORP は LLaMA-2-7B で 6.10 のパープレキシティを達成し、非対称スケーリングを必要とせずに AWQ（6.49）を上回り、4 ビットベースライン（5.66）に近づきます。
  • W4/A16: LLaMA-2-13B で 5.09 のパープレキシティを達成します。
  • ゼロショット推論: GEO モードは多様な推論タスク（3 ビットでの WinoGrande で 67.72% など）に対する堅牢なベースラインを提供し、REF モードはさらに精度を向上させます。
• ハードウェア指標: ORP アクセラレータは、AWQ ベースラインの 0.90 ns に対して 0.35 ns のクリティカルパス遅延を示し、28nm シリコン上で理論的に 2.85 GHz で動作することを可能にします。

5. 意義と主張

本論文は、幾何学的原理をシリコンレベルのタイミング効率と整合させることで、リソース制約のあるエッジデバイスにおける大規模基盤モデルの俊敏な展開に向けた実現可能な道筋を ORP が提供すると主張しています。

• アルゴリズム効率: 主な意義は、計算集約的な反復較正から決定論的解析ソルバーへの転換にあり、これにより迅速なオンサイトエッジ適応が可能になります。
• ハードウェア相乗効果: この研究は、厳格なハードウェア制約（乗算器不要、シフト・アンド・加算）が表現忠実度のトレードオフを必要としないことを示しています。直交残差を通じて幾何学的な「角度ギャップ」に対処することで、ORP は乗算集約的なベースラインと競争力のある性能を達成します。
• 展開の柔軟性: 二重軌道パラダイム（GEO 対 REF）は、即座のデータフリーゼロショット推論とデータ駆動型精度の間で実務家に柔軟な選択を提供し、較正バイアスのリスクを軽減します。

究極的に、ORP は、非対称スケーリング、実行時デ量子化、または深い乗算木に依存することなく、極端な量子化を効果的に実現できることを示唆しており、高スループットのエッジインテリジェンスのための新たな実行パラダイムを提供します。