技術要約：Transformerのファインチューニングにおける低ランク・ターナリ（三値）適応

問題提起

Transformerモデル、特に大規模言語モデル（LLM）やVision Transformer（ViT）は、高いメモリおよび計算要件による重大なデプロイメントの課題に直面しています。量子化は重みを圧縮することで解決策を提供しますが、ターナリ量子化（重みを $\{-1, 0, 1\}$ に制限する）は、低スペックのハードウェアに適した極端な圧縮レベル（重みあたり約1.58ビット）を象徴しています。しかし、これらのターナリモデルのファインチューニングには特有の課題があります。既存のパラメータ効率の高いファインチューニング（PEFT）手法、例えばLow-Rank Adaptation（LoRA）やその量子化バリアント（QLoRA, QA-LoRA）は、連続的な浮動小数点空間における加算的な更新に依存しています。

ターナリ重みに対して加算的な更新を適用すると、モデルがターナリ領域から外れてしまいます。そのため、更新のためにフル精度へのデクオンタイズ（脱量子化）を行い、推論のためにその後の再量子化を行う必要があります。このプロセスは量子化誤差を導入し、特にサブ2ビットの精度において性能を低下させます。さらに、現在の手法は、マージされたモデルが厳密にターナリであることを維持できないか、あるいはターナリ量子化のメモリおよび計算上の利点を打ち消してしまうデクオンタイズ工程を必要とします。ターナリ領域内でネイティブにPEFTを実行でき、かつマージされたモデルが厳密にターナリであり続ける手法が不足しています。

メソドロジー

著者らは、ターナリ領域を離れることなくターナリTransformerをファインチューニングするために設計された手法である、**Ternary Multiplicative Adaptation（ターナリ乗法的適応）**を提案しています。核心となる革新は、連続的な加算更新を離散的な乗法的更新に置き換えることにあります。

1. ターナリ乗法的更新

低ランク行列を重みに加算する代わりに、この手法は事前学習済みのターナリ重み ($W_{tern}$) とターナリ適応マスク ($\Delta_{tern}$) との要素ごとのアダマール積 ($\odot$) を適用します：
$$W'_{tern} = W_{tern} \odot \Delta_{tern}$$
マスク $\Delta_{tern}$ は $\{-1, 0, 1\}$ の値で構成されており、ベースとなる重みに対して3つの離散的な操作を行います：

• $+1$: 重みを保持する（恒等写像）。
• $0$: 重みをゼロにする（プルーニング）。
• $-1$: 重みの符号を反転させる。

この定式化はターナリ領域内での閉鎖性を保証します。マージされた重み $W'_{tern}$ は厳密に $\{-1, 0, 1\}$ の中に留まり、デクオンタイズや再量子化の必要性を排除します。

2. 低ランク・クロネッカー分解

高次元の適応マスク $\Delta_{tern}$ を効率的に表現するために、著者らは2つの小さな学習可能なターナリ行列 $A$ と $B$ のクロネッカー積を用いてこれを分解します：
$$\Delta_{tern} = A \otimes B$$
ここで、$A \in \{-1, 0, 1\}^{p \times q}$ および $B \in \{-1, 0, 1\}^{r \times s}$ であり、次元は $p \cdot r = d_{out}$ および $q \cdot s = d_{in}$ となるように選択され、元の重み行列の形状と一致させます。この構造により、モデルは高いランクの表現力（ランクは最大 $\min(d_{out}, d_{in})$）を維持しながら、正方レイヤーにおける $O(d^2)$ のパラメータ数ではなく $O(d)$ のパラメータ数で、効率的なパラメータ数で実現できます。

3. 実数値プロキシとSTEによる学習

行列 $A$ と $B$ は離散的である必要があるため、直接的な勾配ベースの最適化は不可能です。著者らは実数値のプロキシ $\bar{A}$ と $\bar{B}$ を最適化し、フォワードパス中に閾値関数（行列の絶対平均に基づく）を用いてそれらをターナリ領域へと投影します。勾配は、Straight-Through Estimator (STE) を用いて、この非微分可能な投影を通り抜けて伝播されます。

4. 推論とマージ

学習後、適応は要素ごとの乗算を通じてベースの重みに直接マージされます。結果として得られるモデルは完全にターナリであり、推論時に追加のパラメータやレイテンシのオーバーヘッドを必要としません。

主な貢献

1. ターナリ乗法的アダプター: ターナリ重みに対して離散的な更新（符号反転およびゼロ化）を直接モデリングし、学習および推論を通じてターナリ領域を維持する、新しいPEFT手法。
2. クロネッカー分解: パラメータ効率と高い表現力のバランスを取りつつ、レイヤー内のすべての重みをカバーすることを可能にする、コンパクトで低ランクなターナリ更新マスクの表現。
3. オーバーヘッドゼロのデプロイメント: アダプターをベースモデルに完全にマージできるため、推論時のデクオンタイズや再量子化のステップを必要としない、厳密にターナリなモデルを実現する。
4. 実証的検証: 6つのモデル（LLaMA-3.2 1B/3B, Falcon-E 1B/3b, BitNet b1.58, および ViT-B/16）にわたる包括的な評価により、量子化によって失われた性能の回復を実証。

実験結果

著者らは言語およびビジョンタスクにおいて、フル精度ベースライン、ポストトレーニング量子化（PTQ）ベースライン、およびQLoRAバリアントと比較して、彼らの手法を評価しました。

• LLMの性能 (Llama-3.2 1B/3B): Llama-3.2 1Bモデルにおいて、本手法は平均ベンチマークスコアを、ターナリSpinQuantベースラインの33.2から35.3へと向上させ、9つのタスクのうち7つで2ビットのベースラインを上回りました。Llama-3.2 3Bでは、本手法は平均精度38.3を達成し、すべての9つのベンチマークにおいて2ビットのSpinQuantベースライン（32.6）および1.58ビットのベースライン（31.9）を上回りました。
• パープレキシティ (PPL): 本手法は、ターナリSpinQuantベースラインと比較して大幅にパープレキシティを減少させました（例：Llama-1Bでは86.5から44.6へ）。また、マージ後に1.58ビットへ再量子化されたQLoRAをも上回りました。
• ダウンストリーム適応: 事前学習済みのターナリモデル（Falcon-E, BitNet）をGSM8Kでファインチューニングした際、本手法は凍結されたターナリバックボーンに対して、Exact-Match精度を+1.0から+3.1ポイント向上させました。
• ビジョン (ViT-B/16): ImageNet-100において、マージされたターナリViTは83.0%のTop-1精度を達成し、再量子化されたQLoRAベースライン（78.9%）を上回り、フル・ターナリ・ファインチューニング（85.7%）との差を縮めました。
• 重み分析: 遷移分析により、精度向上の主な要因は、既存の非ゼロ重みの間での符号の再分配であることが明らかになりました。本手法は、マルチプライティブな更新がゼロから非ゼロの値に変更できないため、ゼロに量子化された重気を再活性化することはできません。

意義と主張

本論文は、効率的なモデル適応における重要なギャップ、すなわち、ターナリ形式のメモリおよび計算上の利点を損なうことなく、極端な低ビット（ターナリ）モデルのファインチューニングを可能にすることに対処していると主張しています。デクオンタイズおよび再量子化を回避することで、本手法はサブ2ビットの精度におけるこれらのステップに伴う精度低下を防ぎます。

著者らは、自身のアプローチが、パラメータ効率の高い適応戦略を用いながら、厳密にターナリであり続けるマージされたモデルを生成する初めての手法であることを強調しています。これにより、個別のアダプタモジュールによる推論オーバーヘッドや、再量子化による精度損失なしに、高度に圧縮されたファインチューニング済みモデルをリソース制約のあるハードウェアにデプロイすることが可能になります。本研究は、ターナリモデルがダウンストリームタスクに効果的に適応でき、初期の量子化プロセスで失われた性能の多くを回復できることを示しています。