技術的サマリー：QWHA - 大規模言語モデルにおけるパラメータ効率型微調整のための量子化認識ワルシュ・アダマール適応

1. 問題提起

大規模言語モデル（LLM）の展開には、量子化による推論コストの削減と、パラメータ効率型微調整（PEFT）によるトレーニングオーバーヘッドの低減という二重の課題が存在します。量子化認識型 PEFT（QA-PEFT）はこれらの利点を組み合わせることを目指していますが、既存のアプローチには重大な限界があります。

現在の QA-PEFT 手法は、主に低ランク適応（LoRA）に依存しています。効果的である一方で、LoRA は厳密なランク制約により表現能力が制限されるという欠点があります。フーリエ関連変換（FT）を利用する最近の代替手法は、変換ドメインにおける疎な係数を学習することで、優れた表現能力を提供します。しかし、FT ベースのアダプタを量子化モデルに直接適用すると、LoRA ベースの QA-PEFT に比べて性能が劣ることが多いです。その理由は以下の通りです：

1. 初期化の失敗: 既存の FT ベースのアダプタは、微調整前に量子化誤差を補償するための効果的な初期化戦略を欠いています。行列を近似するための最適な疎なパラメータ集合を特定することは NP 困難問題であり、ランダム選択や絶対値に基づく選択は、しばしば重要な外れ値誘発誤差を捉え損ないます。
2. 計算オーバーヘッド: 従来の FT ベースのアダプタ（DFT、DCT、または DHT を使用）は、入力次元と出力次元の両方で二重の変換と複雑なカーネル演算を必要とし、量子化による効率化の利点を相殺するほどの大きな計算コストをもたらします。
3. 外れ値への感度: LLM の量子化誤差は、外れ値（極めて大きな絶対値を持つ重み）に大きく影響されます。DCT/DHT で使用される標準的な正弦波基底は滑らかであり、これらの外れ値の急激な遷移を効率的に表現することに苦慮します。

2. 手法：QWHA

著者は、ワルシュ・アダマール変換（WHT）ベースのアダプタと、新規の量子化認識初期化スキームを統合したフレームワークであるQWHA（Quantization-Aware Walsh-Hadamard Adaptation）を提案します。

2.1 アダプタ設計：ワルシュ・アダマール適応（WHA）

入力と出力の両方の次元に変換を適用する従来の FT ベースのアダプタ（$\Delta W = H'^{-1} F H^{-1}$）とは異なり、QWHA は単一変換の定式化を採用します：
$$\Delta W = F H^{-1}$$
ここで：

• $H$ は事前に定義されたワルシュ・アダマール変換（WHT）行列です。
• $F$ は値ベクトル $c$ とインデックスリスト $E$ から構成される学習可能な疎な係数行列です。
• $H^{-1}$ は逆 WHT です。

WHT の主な利点:

• エネルギー集中: WHT カーネルは $\pm 1$ の要素のみで構成され、鋭い遷移を持つ方形波基底関数を形成します。この構造的性質は、DCT や DHT の滑らかな正弦波基底と比較して、量子化誤差（外れ値）の重尾分布によりよく適合します。実証分析により、WHT は誤差エネルギーの大部分を少数の係数に集中させ、限られたパラメータで正確な再構成を可能にすることが示されています。
• 計算効率: WHT カーネルは、加算と減算のみを用いた高速な再帰的計算を可能にし、行列乗算を排除します。これは、複雑な演算や虚数成分の処理を必要とすることが多い DCT/DHT に比べて、計算オーバーヘッドを大幅に削減します。

2.2 量子化認識初期化

FT ベースのアダプタにおける初期化のギャップに対処するため、QWHA はAdaAlloc（Adaptive Allocation：適応的割り当て）とRefinement（精緻化）という 2 段階の初期化戦略を導入します。

1. AdaAlloc（パラメータ選択）:

   • ランダム選択や単純な絶対値に基づく選択（少数のチャネルにパラメータが集中することで低ランク行列を招く可能性がある）に代わり、AdaAlloc は活性化誤差の絶対値に比例して、出力チャネル全体にパラメータ予算 $p$ を割り当てます。
   • これにより、より大きな量子化誤差を持つチャネルにはより多くのパラメータが割り当てられる一方で、完全ランクのアダプタ構造を保証するためにチャネルあたりのパラメータ数の下限も維持されます。
   • 各チャネル内では、誤差を効果的にターゲットとするために、絶対値が最大の係数が選択されます。

2. Refinement（値の割り当て）:

   • パラメータの位置を選択した後、値は単に密な解から取得されるわけではありません。代わりに、選択された基底ベクトルに基づいて値（$c$）を精緻化するために、最小二乗法が解かれます。
   • このステップは、選択された基底ベクトル間の相互作用を考慮し、直接値を割り当てるよりも効果的にレイヤー出力誤差（$\|\Delta W_Q X - F H^{-1} X\|_F^2$）を最小化します。

3. 主な貢献

• WHA アダプタ: LoRA より高い表現能力を持ち、DCT/DHT ベースのアダプタに比べて優れた外れ値処理能力を提供する、単一変換・WHT ベースのアダプタの導入。
• AdaAlloc と Refinement: 誤りやすいチャネルにパラメータを適応的に割り当て、初期化誤差を最小化するために値を精緻化することで、NP 困難な疎近似問題を解決する実行可能な初期化スキーム。
• 計算効率: WHT カーネルと単一変換設計により、既存の FT ベースのアダプタと比較してトレーニングおよび初期化の遅延を大幅に削減し、LoRA と同等の速度を達成することを示証。

4. 実験結果

著者は、LLaMA-3.1-8B、LLaMA-3.2-3B、および Mistral-7B-v0.3 モデルを対象に、2 ビット、3 ビット、4 ビットの量子化条件下で、CSQA（常識推論 QA）および GSM8k（数学的推論）ベンチマークを用いて QWHA を評価しました。

• 精度: QWHA は、LoRA ベースの QA-PEFT（CLoQ）や疎/FT ベースのアダプタ（SHiRA、LoCA、SSH）を含む最先端のベースラインを一貫して上回ります。性能差は、低ビット設定（2 ビットおよび 3 ビット）で最も顕著であり、QWHA はベースラインよりも 2〜3% 高い精度を達成します。
• 初期化の有効性: 消融実験により、WHT カーネルと AdaAlloc 初期化の両方が重要であることが確認されました。量子化認識初期化なしでは、FT ベースのアダプタは LoRA よりも劣る性能を示します。QWHA の初期化を用いると、LoRA を大幅に上回ります。
• 効率性:
  • トレーニング速度: 高速な WHT カーネルと単一変換設計により、QWHA は既存の FT ベースのアダプタ（SSH、LoCA など）に対して大幅なトレーニング速度向上を達成します。一部の構成では LoRA と同等です。
  • 推論: 効率的な WHT 実装により、QWHA は最小限の推論オーバーヘッド（LoRA に対するスループット低下は 1.9%）しか発生させません。一方、他の FT ベースのアダプタは大幅なオーバーヘッド（約 50% の低下）に悩まされます。
  • メモリ: QWHA は、アダプタの疎性と効率的なスキャタ操作により、推論中に CLoQ と比較して総メモリ消費量を約 13% 削減します。

5. 意義と主張

本論文は、QWHA が高い表現能力と量子化ロバスト性の間のギャップを成功裏に埋めることで、効率的な LLM 適応の分野において重要な進歩を成したと主張しています。

• 表現限界の克服: 適切に初期化され、WHT で設計された FT ベースのアダプタは、効率性を犠牲にすることなく、低ランクアダプタの表現限界を上回ることを示しています。
• 量子化誤差への対応: 本研究は、初期化段階において量子化の影響（特に外れ値）を明示的に考慮することが QA-PEFT にとって重要であることを強調しています。提案された初期化スキームは、過激な量子化に伴う典型的な精度低下を効果的に緩和します。
• 実用性: FT ベースのアダプタの計算オーバーヘッドを LoRA と同等のレベルまで削減することで、QWHA はリソース制約のある展開シナリオにおいて、高容量かつ量子化認識の微調整を実用的な選択肢にします。

著者は、QWHA が量子化された LLM の微調整のための堅牢で効率的かつ正確なフレームワークを提供し、支配的な LoRA パラダイムに対する実行可能な代替案を提供すると結論付けています。