BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression

技術要約: BiSCo-LLM

問題提起
大規模言語モデル（LLM）は、テラバイト規模のチェックポイントストレージ、メモリ帯域幅の制限、および自己回帰的デコーディング中の重みロードに伴うレイテンシコストによる、重大なデプロイメント上の制約に直面している。事後学習量子化（PTQ）は4ビットや3ビットの領域まで進歩しているが、2ビット以下への圧縮の拡張は依然として困難である。既存のスカラーまたはグループ単位の量子化手法は、極めて低いビット予算において表現能力が限られており、重みベクトルの支配的な構造を保持できない。対照的に、ベクトル量子化（VQ）手法はより豊かな表現を提供するが、通常、明示的なコードブック、インデックスルックアップ、および追加のストレージオーバーヘッドに依存しており、これがストレージ計算とデプロイメント効率を複雑にしている。明示的なコードブックを使用せずに極低ビット圧縮（約2ビットをターゲットとする）を実現し、かつ、すべての補助ストレージコンポーネント（デコーダー、メタデータ、補償モジュール）を明示的に考慮して、圧縮されたモデルサイズを現実的に測定できる圧縮フレームワークが必要とされている。

手法
本論文では、極低ビットの重み圧縮のために設計されたストレージ認識型パイプラインであるBiSCo-LLM（Lookup-Free Binary Spherical Coding for Large Language Model Compression）を提案する。このフレームワークは、主に3つのコンポーネントで構成される：

1. コードブックフリー・バイナリ球面符号化（BSQ）:
   重みのチャンクを明示的なコードブック内の重心にマッピングする代わりに、BiSCo-LLMは局所的な重みチャンクを単位超球面上にマッピングし、それらをコンパクトな球面符号へと二値化する。エンコーダは潜在ベクトル $z$ を正規化し、符号関数を適用することで、バイナリコード $q \in \{-1/\sqrt{b}, +1/\sqrt{b}\}^b$ を生成する。これにより、明示的なコードブックのエントリを保存する必要がなくなる。再構成は、コンパクトなニューラルデコーダ $D_\theta$ によって行われる。学習目的関数は、再構成損失、潜在的なコミットメント、およびエントロフィ正則化を組み合わせ、バイナリコード空間の効率的な使用を確保する。

2. 第2段階の残差BSQ:
   単一段階のバイナリコード空間を単純に拡大することの非効率性（有限の重みチャンクによって、理論的な符号パターンはほとんど占有されない）に対処するため、BiSCo-LLMは二段階のアプローチを採用している。第1段階では、重みチャンクの支配的な成分を再構成する。第2段階は、ベースとなるコーデックによって残された残差誤差に対して特化して訓練される。これにより、プライマリのコード空間を拡張するのではなく、再構成誤差に対して追加のビット容量を割り当てることができ、コードブックのストレージを増やすことなく、実用的なレート・ディストーションの経路を提供する。

3. カテゴリ単位のリカバリ蒸留および感度保護:

   • 感度保護: 少数のチャネルが量子化に対して非常に敏感であることを認識し、本手法は活性化統計量と重みの大きさを用いてこれらのチャネルを特定する。これらの敏感なチャネルの小さなサブセット（例：1%）は、補助的な8ビット量子化器を使用して保存される。このパスは、メインのBSQペイロードとは別にカウントされる。
   • カテゴリ単位の蒸留: 圧縮された重みを最終的なモデルの挙動に適合させるため、パイプラインはTransformerモジュールをカテゴリ単位（例：すべての q_proj レイヤー）で置き換える。カテゴリの置換後、リカバリ蒸留ステップが行われ、部分的に圧縮されたモデル（生徒）が元のモデル（教師）に一致するように訓練される。これにより、リカバリの目的関数が、単なる局所的なレイヤー単位の再構成誤差の最小化ではなく、圧縮されたカテゴリと残りのフルモデルとの間の相互作用を反映するようにする。
   • LoRA補償: エラーをさらに軽減するために、リカバリフェーズ中にオプションのLow-Rank Adaptation（LoRA）アダプタを適用することができ、そのストレージコストも明示的に報告される。

主な貢献

• BiSCo-LLM パイプライン: コードブックフリーのバイナリ球面符号化、残差コード割り当て、およびカテゴリ単位のリカバリ蒸留を統合した、新しい2ビット指向の圧縮パイプライン。これは、明示的な実サイズ・ストレージ予算の下でモデルを最適化および評価する。
• 残差BSQ設計: ベースとなるステージの再構成誤差に余剰ビットを割り当てる、第2段階の残差コーデックの導入。このアプローチは、単一ステージのコードの粒度を上げるよりも効果的であることが示されており、利用可能なビット予算を回収可能な情報により良く活用できる。
• カテゴリ単位の最適化: Transformerモジュールのカテゴリレベルで動作する訓練およびリカバリ戦略。このアプローチは、局所的な重み再構成とグローバルなモデル挙ースとの間のミスマッチを軽減し、純粋なレイヤー単位のリカバリ目的関数を上回る性能を示す。
• 包括的なストレージ計上: ビットパックされたBSQストリーム、ニューラルデコーダのパラメータ、オプションの8ビット保護ペイロード、LoRAアダプタ、およびメタデータを含むすべてのストレージコンポーネントを明示的に考慮しており、明示的なVQおよび投影ベースの手法に対して公正な比較基準を提供する。

実験結果
本手法は、実ストレージ予算の下で Qwen3-8B モデルに対して評価された：

• パープレキシティ: WikiText-2データセットにおいて、BiSCo-LLMは 10.18 のパープレキシティを達成した（フル精度（FP16/BF16）モデルの 9.73 に対して）。これは、研究内で報告されているスカラー・ベースライン（例：GPTQ, SpinQuant）およびベクトルベースのベースライン（例：AQLM, QuIP#, UniSVQ）を凌駕している。
• ダウンストリーム精度: 7つのタスク評価セット（BoolQ, RTE, WinoGrande, ARC, OpenBookQA, PIQAを含む）において、圧縮モデルは平均 68.05 の精度を達成した（フル精度ベースラインの 69.92 に対して）。これは、約1.87パーセントポイントの差である。
• アブレーション研究:
  • 残差コーディング: 第2段階の残差コーデックを追加することで、単一ステージの構成と比較して、すべてのモジュールカテゴリにおいてパープレキシティが一貫して改善された。
  • 保護チャネル: 8ビットで保存される1%の保護チャネルパスを使用することで、特に down_proj のような敏感なカテゴリにおいてパープレキシティが大幅に減少した。
  • デコーダアーキテクチャ: コンパクトな対称非線形デコーダが、このタスクにおいて線形デコーダよりも優れていることが判明した。
  • 粒度: 残差ステージなしに単にバイナリコード空間を拡大しても、単調な性能向上は保証されないことが診断によって示された。

意義および主張
本論文は、残差コーディング、感度を考慮した保護、およびリカバリ蒸留が共同で考慮される場合、コードブックフリーの球面符号化が極低ビット（2ビット）のLLM圧縮のための実行可能な表現であることを主張している。その意義は、明示的なベクトルコードブックから共有ニューラルデコーダへとストレージの負担を移すことで、インデックスルックアップと大規模なコードブックのストレージオーバーヘッドを取り除くことにある。著者らは、デコーダ、残差ステージ、および補償モジュールのコストを含めたパイプライン全体がストレージ予算として明示的に考慮されている場合にのみ、本手法が極低ビット予算下でモデルの挙動を維持できることを強調している。結果は、このアプローチが、メモリおよび帯域幅の制約が厳しいデプロイメントシナリオにおいて、フル精度モデルの性能を狭い範囲内に保ちつつ、ストレージのフットプリントを劇的に削減できることを示唆している。