🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP は、量子化基底を特定の層と較正データに適応させる学習可能な構造化された両側直交プロセッサを導入し、固定ハダマール法に比べて極低ビット（2〜4 ビット）LLM 量子化の精度を大幅に向上させつつ、展開効率を維持する。

原著者： Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

原著者： Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。ポケットに入れて持ち運べる巨大で極めて詳細な図書館（大規模言語モデル）があるとします。問題は、本が重すぎて棚が広すぎて、小さなバッグには収まらないことです。これを携帯可能にするために、本を小さく圧縮されたメモに縮小することにしました。これを量子化と呼びます。

しかし、これらの本を小さすぎる（2 ビットまたは 3 ビットの情報だけ）まで縮小すると、いくつかのページがしわくちゃになったり失われたりします。これらの「しわくちゃになったページ」はアウトレイヤー（外れ値）と呼ばれます。これらは他の数値よりもはるかに大きい、極めて重要な数値です。標準的な方法で本全体を圧縮しようとすると、これらのアウトレイヤーが圧縮を台無しにして、メモが読みづらくなります。

旧来の方法：「ランダムシャッフル」

以前、科学者たちはRHT（Randomized Hadamard Transform：ランダム化アダマール変換）と呼ばれるトリックを用いていました。これは、本すべてのページをランダムにシャッフルしてから圧縮するようなものです。

良い点：高速であり、しわくちゃになったページが一点に集中して潰れるのを防ぐために、それらを分散させます。
悪い点：それは固定されたシャッフルです。料理本であれ、小説であれ、辞書であれ、すべての本に対して同じランダムなシャッフルパターンを使用するようなものです。それは本の中にある特定の物語に適応しません。

新しい方法：HARP（「スマートな仕立て屋」）

この論文の著者は、HARP（Hadamard-preconditioned Adaptive Rotation Processor：アダマール前処理適応回転プロセッサ）を導入しました。HARP は、単なる一般的なシャッフルを使用するのではなく、スマートな仕立て屋のようなものです。

フィットを学習する：ランダムなシャッフルの代わりに、HARP はモデルの各層におけるデータの特定の「形状」（シャツの特定の生地を見るようなもの）を調べます。重要な詳細を失わずに、小さな圧縮された空間に収まるように、数値を並べ替える完璧な方法を学習します。
差し替え可能なアップグレード：最も素晴らしい点は、HARP は最初は従来の「ランダムシャッフル」（RHT）と全く同じように見えることです。それは、標準的な既製服のサイズから始まるが、隠されたジッパーと調整可能な継ぎ目を持つスーツのようなものです。一度着ると、仕立て屋（較正プロセス）がすぐにあなたに完璧にフィットするように調整します。つまり、システム全体を再構築することなく、古い方法を HARP に差し替えることができます。
構造化されており高速：HARP は、散漫で複雑な並べ替えを行うだけではありません。「バタフライ」パターン（ものを混合する特定の効率的な方法）を使用しており、数学的に可逆的で高速であることが保証されています。それは本をランダムにあちこちに投げつけて図書館を整理するのではなく、数秒で完了する高度に効率的で事前に計画された分類システムを使用して整理するようなものです。

使用すると何が起こるのか？

この論文は、小規模（10 億パラメータ）から巨大（700 億パラメータ）までのモデルでこれをテストしました。

品質の向上：モデルを極端なサイズ（2 ビットから 4 ビット）に圧縮したとき、HARP は従来のランダムシャッフル法よりもモデルを「賢く」（低いパープレキシティ、高い精度）しました。それは通常失われがちな「しわくちゃになったページ」（アウトレイヤー）を保存することに特に優れていました。
依然として高速：HARP はカスタムフィットを学習しますが、モデルの速度を低下させることはありません。実際、HARP を使用した圧縮モデルは、元の非圧縮モデル（61 トークン/秒）よりもはるかに高速（128 トークン/秒）でした。
多用途：彼らは、HARP が特定の圧縮ツールだけでなく、異なる圧縮システム（QTIP など）に差し替えてもそれらを改善できることを示しました。

結論

HARP は、AI 圧縮で使用される「すべてに共通する」ランダムなシャッフルを、カスタム仕立てのフィットに変えるツールです。それは、圧縮する前に数値を並べ替える完璧な方法を見つけるために、少量のデータから学習します。その結果、モデル全体を最初から再トレーニングする必要なく、より小さく、より高速で、読みやすく、誤りが少ない AI モデルが得られます。

技術サマリー：HARP（Hadamard-Preconditioned Adaptive Rotation Processor）

1. 問題定義

ポストトレーニング量子化（PTQ）は、メモリおよび帯域幅の制約下での大規模言語モデル（LLM）の展開において不可欠である。しかし、極端な低ビット量子化（2〜4 ビット）は、2 つの主要な課題に直面している：

アクティベーションの異常値と重尾分布統計：少数の座標が不釣り合いな重み質量と曲率感度を持ち、量子化時に深刻な再構成誤差を引き起こす。
異方的な重み曲率：標準的な量子化器（スカラーまたはブロック単位ベクトル）は、重み質量または曲率感度の方向が特定の座標軸と一致する場合、性能が低下する。

既存の解決策は、量子化前に構造化された直交基底変換を適用して重み質量を座標間に分散させる「非干渉処理（Incoherence Processing）」に依存している。現在の標準は**ランダム化ハダマード変換（RHT）**である。RHT は高速（ $O(d \log d)$ ）かつ完全に直交であるが、固定されている。これは以下の点に適応しない：

特定の層の統計特性。
較正データの分布。
下流の量子化器のブロック構造。

最近の研究では、回転をエンドツーエンドで学習することで品質が向上することが示唆されているが、これらの手法はしばしば PTQ パイプラインの「ドロップイン」性を緩和し、フル精度モデルを変更するか、推論には高すぎる計算コストを導入する。較正データから学習可能であり、完全な直交基底変換（フル精度モデルを保存）として機能し、かつハダマードに匹敵する効率性を維持するプロセッサの需要がある。

2. 手法：HARP

著者は、PTQ パイプラインにおける固定 RHT を置き換えるために設計された、学習可能な両側直交プロセッサであるHARP（Hadamard-Preconditioned Adaptive Rotation Processor）を提案する。

2.1 コアアーキテクチャ

HARP は、高速ハダマード変換およびバタフライ変換の構造を模倣するスパースなストライドベースのステージの積として直交回転をパラメータ化する。

構造：次元 $d$ に対して、HARP は $\prod b_t = d$ となる混合基数スケジュール $\mathbf{b} = (b_0, \dots, b_{m-1})$ を使用する。
ステージ：各ステージ $t$ は、ストライド置換によって分離された座標のグループに対して、ブロック対角直交行列 $\mathbf{B}_t$ を適用する。
混合基数サポート：2 のべき乗に限定される標準的なハダマード変換とは異なり、HARP は混合基数スケジュール（例：$8, 8, 8, 5, 2$）を使用して任意の次元（例：5120）をサポートする。2 のべき乗以外の基数には、固定ガウス行列の QR 分解による決定論的直交フォールバックを利用する。

2.2 ハダマード前処理と初期化

重要な革新は、ハダマード前処理されたブロックカーネルである。各学習可能なブロック $B_{t,c}$ は以下のように定義される：
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ は固定のベースミキサー（2 のべき乗の場合は正規化シルベスターハダマード、それ以外の場合は QR フォールバック）である。
$Q_{t,c}(\theta)$ は学習可能な直交行列（ $b_t=2$ の場合ギブンス回転、 $b_t > 2$ の場合ケイリー写像）である。

初期化：すべての学習パラメータ $\Theta$ はゼロで初期化される。 $\Theta=0$ において、 $Q_{t,c}(0) = I$ となり、したがって $B_{t,c}(0) = G_{b_t}$ となる。その結果、HARP 変換は初期化時に（固定された置換規約まで）固定 RHT プロセッサを正確に復元する。その後、較正により、この強力なベースラインを中心とした構造化された直交微細化が学習される。

2.3 最適化目的

HARP は、較正データのみを使用して層ごとに適合される。最適化は、展開されたブロック単位量子化器と整合する代理損失を最小化する：

対角ヘッシアン重み付け再構成：ヘッシアン代理の対角部で重み付けされた、回転された重みとそのブロック単位コードブックターゲットとの間の誤差を最小化する。安定性を確保するため、離散的なコードブック割り当てを通じた勾配は停止される。
オフブロックヘッシアンエネルギーペナルティ：正則化項（ $R_{bd}$ ）は、ヘッシアン代理の対角外ブロックにおけるエネルギーにペナルティを課し、回転が量子化器のブロック構造と曲率を整合させるように促す。

総損失は以下の通りである：
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 展開効率

ストレージ：HARP パラメータは、パープレキシティへの影響を最小限に抑えながらint8形式で保存可能である。
計算：適用コストは RHT と同様の $O(d \log d)$ である。著者は、材料化された置換を回避し、レイテンシオーバーヘッドを低く抑えるために、ストライドステージ用の融合 Triton GPU カーネルを実装している。
互換性：HARP は QuIP# および QTIP パイプラインにおける前処理ステップのドロップイン代替品であり、量子化器バックエンドまたはソルバーの変更を必要としない。

3. 主要な貢献

学習可能な非干渉プロセッサ：層の統計特性とバックエンド量子化器構造に適応する、較正データを通じて適合される両側直交プロセッサ HARP の導入。
ドロップイン互換性：HARP は固定 RHT プロセッサに正確に初期化されるため、フルモデルの再学習やグラフの再配線を必要とせず、既存のハダマードベースの PTQ パイプラインに対するシームレスなアップグレードとなることを保証する。
構造化された効率性：混合基数バタフライ型ステージの活用により、2 のべき乗以外の次元においても完全な直交性と $O(d \log d)$ の複雑さを可能にし、量子化推論のスループット利点を維持する。
実証的検証：1B から 70B パラメータのモデルにおいて、2〜4 ビット設定で固定 RHT に対する一貫した品質向上（パープレキシティおよびゼロショット精度）の実証。

4. 実験結果

著者は、QuIP# バックエンドを使用して Llama 3.2（1B、3B）および Llama 2（7B、13B、70B）上で HARP を評価した。

パープレキシティ（PPL）：HARP は固定 RHT を一貫して上回る。
- 2 ビット：量子化が最も敏感なここで、利益が最も顕著である。Llama 2 7B の場合、HARP は WikiText2 の PPL を 8.22（RHT）から 7.23 に低下させる。Llama 2 70B の場合、4.16 から 4.01 に低下する。
- 3-4 ビット：改善は持続するが、ベースラインがフル精度に近づくにつれて絶対的な大きさは小さくなる。
ゼロショット精度：HARP は ARC-Challenge、ARC-Easy、WinoGrande タスクの精度を向上させ、パープレキシティの向上が下流の性能に転換されることを確認する。
レイテンシとスループット：
- NVIDIA RTX 5080 上で、2 ビット HARP は Llama 2 7B に対して128 トークン/秒を達成し、FP16 の 61 トークン/秒と比較される。
- 固定 RHT に対する HARP のレイテンシオーバーヘッドは modest である（例：2 ビット 7B においてトークンあたり 0.0078 秒対 0.0070 秒）、量子化の速度向上の大部分を維持する。
移植性：トレリス符号化量子化を使用する異なるバックエンドであるQTIPに統合された場合、HARP は再び固定 RHT に対してパープレキシティを改善し、バックエンド非依存の有用性を示した。
ストレージオーバーヘッド：int8 パラメータストレージを使用すると、実効ビットパーパラメータ（BPP）の増加は最小限（例：2 ビット 7B で 2.00 $\to$ 2.05）であり、モデル品質への影響は無視できる。

5. 意義と主張

本論文は、HARP が PTQ 分野における特定のギャップ、すなわち効率性または完全性を犠牲にしない適応的な前処理の必要性に対処すると主張している。

適応性対固定：固定 RHT とは異なり、HARP は回転基底を特定の層と量子化器ブロック構造に適応させ、極端な低ビット領域における再構成誤差を削減する。
完全性対近似：フル精度モデルを変更するか、エンドツーエンド学習を必要とする一部の学習済み回転手法とは異なり、HARP は完全な基底変換である。フル精度モデルは数学的に保存され、量子化器に露出される座標系のみが変化する。
効率性対コスト：密な学習済み回転や複雑なグラフ変更（例：SpinQuant）とは異なり、HARP はハダマード変換の $O(d \log d)$ 計算コストを維持し、大規模 LLM 展開において実用的である。

著者は、HARP を新しいスタンドアロンパイプラインではなく、強力な固定ベースラインの周りで構造化された微細化を学習することによって既存のハダマードベースバックエンド（QuIP# や QTIP など）を強化する再利用可能なモジュールとして位置づけている。結果は、極端な低ビット量子化（2〜3 ビット）において、これらの回転を学習するためのワンタイム較正のコストは、モデル品質の大幅な回復に見合う価値があることを示唆している。