技術要約: CORA: SVDベースの低ランク適応のための、スライスごとのコヒーレントな直交回転

1. 問題提起

パラメータ効率的な微調整（PEFT）は、大規模言語モデル（LLM）を膨大なコストを伴うフルファインチューニングなしにダウンストリームタスクに適応させるために不可欠である。現在、低ランク適応（LoRA）が支配的な手法であるが、これは幾何学的な自由度（基底の回転とスペクトルシフト）を単一の低ランク行列 $\Delta W = BA$ に集約して学習してしまう。最近のSVDベースの手法（PiSSAやMiLoRAなど）は、事前学習済み重みの特異値分解（$W_0 = U_0 \Sigma_0 V_0^\top$）を利用して初期化や部分空間の選択を行うが、左側（$U_0$）と右側（$V_0$）の特異基底間の結合された幾何学的関係を明示的に保持するものではない。

近年の理論的研究 [8] は、安定したファインチューニングは「コヒーレントなSVD回転」の形式に従うことを示唆している。これは、単一の直交行列 $Q$ が、左側と右側の両方の特一基底に対して同時に作用し、それに伴って特異値の対角シフト（$\Delta \Sigma$）が生じるものである。既存の手法はこの概念を部分的にしか実現できていない。具体的には、加法的なLoRAスタイルの手法は回転とスペクトルを絡み合わせてしまい、一方で直交ファインチューニング手法は回転を強制するものの、スペクトルの柔軟性に欠けることが多い。さらに、グローバルなコヒーレント回転定理は、実用的なアダプターの構造化された低ランク制約の中で、どのようにこれを効率的に実装すべきかを明示していない。

2. 手法: CORA

著者らは、グローバルなコヒーレント回転定理をスライスごと（per-slice）の粒度に拡張した手法であるCORA（Coherent Orthogonal Rotation Adaptation）を提案する。

2.1 理論的基礎

本論文では、コヒーレント回転定理のスライスごとの類似性（定理2）を証明している。重み行列 $W_0$ を行スライス $W_i \in \mathbb{R}^{r \times k}$ に分割することで、著者らは、緩やかな正則性仮定の下で、各スライスの最適なファインチューニング形態が以下となることを示している：
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
ここで、$Q_i$ はスライスの左基底 $U_i$ と右基底 $V_i$ の両方に作用する単一の直交行列である。これにより、フロベニウス摂動を最小化するためには、左右の基底内回転が同一（$Q_{U,i} = Q_{V,i} = Q_i$）でなければならないことが確立される。

2.2 パラメータ化と実装

高価な多様体制約を課すことなくこの形式を効率的に実現するために、CORAは特定の再パラメータ化を採用している。

1. ソース行列: 本手法は、事前学習済み重みのランク-$r$のSVD截断 $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$ に対して動作し、残差 $W_0 - W_{lr}$ を凍結する。
2. スライス分割: $W_{lr}$ を $s = m/r$ 個の行スライスに分割する。
3. 回転の学習: スライスごとに直接 $Q_i$ を直交多様体上で学習する代わりに、CORAは単一の制約のない直交行列 $R_i$ を学習し、回転を $Q_i = U_i^\top R_i U_i$ と定義する。この相似変換により、明示的な制約やペナルティを学習中に課すことなく、コヒーレント回転条件（$Q_{U,i} = Q_{V,i}$）が恒等的に満たされる。
4. スペクトルスケーリング: オプションとして、層ごとの対角スケールベクトル $\delta$ が特異値に適用される（$\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$）。
5. ケイリー写像（Cayley Map）: $R_i$ が直交性を維持することを保証するため、学習可能な歪対称行列の閉形式のケイリー写像を用いてパラメータ化を行い、収束半径の制約を回避する。

2.3 パラメータ効率

CORAは、線形層あたり $\frac{1}{2}m(r-1)$ 個の学習可能パラメータ（およびオプションの $r$ 個のスカラー $\delta$）を使用する。これは、同じランク $r$ においてLoRA（$r(m+k)$ を使用）よりも約4倍少なく、性能が同等となる構成で比較した場合、LoRAよりも約8倍少ない。

3. 主な貢献

1. 理論的拡張: コヒーレント回転定理が重み行列の個々の行スライスに適用できることを証明し、グローバルな理論を実用的なアダプターの粒度へと拡張した。
2. 新規なパラメータ化: $Q_i = U_i^\top R_i U_i$ という再パラメータ化を導入することで、コヒーレント回転条件（$Q_{U,i} = Q_{V,i}$）を代数的な恒等式として強制し、最適化中の直交制約を排除した。
3. 効率的なアダプター設計: スライスごとの直交回転と層ごとの対角スケーリングを用いたコンパクトなアダプターとしてCORAを実装し、既存のSVDベースおよび一般的なPEFT手法よりも大幅に少ないパラメータで高い性能を達成した。

4. 実験結果

CORAは、常識推論、コード生成、数学的推論の3つのタスクファミリーにおいて、LLaMA-2-7B、LLaMA-3-8B、Mistral-7Bを用いて評価された。

• 常識推論: LLaMA-2-7Bにおいて、ランク $r=16$（6.6Mパラメータ）のCORAは、平均精度 82.16% を達成した。これは、PiSSAおよびMiLoRA（ともに $r=32$, 約56Mパラメータ）をそれぞれ8.4ポイントおよび3.0ポイント上回り、DoRA（$r=32$）を2.5ポイント上回った。
• コード生成: LLaMA-3-8Bにおいて、CORA（$r=16$, 10.3Mパラメータ）は 48.2 HumanEval Pass@1を達成し、DiaBlo（$N=64$, 121Mパラメータ）やLoRI（$r=32$, 45Mパラメータ）を大幅に上回った。Mistral-7Bにおいても、CORAはわずか10.3Mパラメータで強力な性能（40.2 Pass@1）を維持した。
• 数学的推論: CORAはGSM8Kでは競争力のある性能を示したが、MATHにおいてはMiLoRAに遅れをとった。著者らは、これを数学的知識のスペクトル局在性に起因すると考えている。主要成分がタスクに関連する構造をあまり含んでいないタスクにおいては、マイナー成分（残差方向）に焦点を当てるMiLoRAの方が適していると考えられる。
• アブレーション研究:
  • 共有スケール ($\delta$): 共有スペクトルスケールを有効にすることは極めて重要であり、性能を0.8〜2.4ポイント向上させ、低ランク（$r=8$）での崩壊を防いだ。
  • 両側回転: $V$ 側の回転を除去（$U$ 側のみ）すると、性能が大幅に低下（最大9.8ポイント）し、コヒーレント回転形式の必要性が確認された。
  • ソース行列: $W_{lr}$ の代わりに完全な $W_0$ を使用するとMATHの性能が向上した。これは、テールの特異方向が数学固有の信号を含んでいるという仮説を裏付けている。

5. 意義と主張

本論文は、CORAが加法的なSVD初期化手法と直交回転ファミリーを、単一の理論に基づいた形式の下で統合することに成功したと主張している。最小摂動理論から導出されたコヒーレント回転条件を明示的に強制することにより、CORAは優れたパラメータ・精度トレードオフを実現している。

著者らは、CORAが常識推論およびコード生成において、LoRA、DoRA、PiSSA、MiLoRAといった競合手法よりも約8倍少ないパラメータで、最先端の結果に到達すると述べている。この研究は、明示的な幾何学的制約（コヒーレント回転）が代数的な再パラメータ化を通じて効率的に実装できることを示しており、事前学習済み重みの潜在的な幾何学を尊重する、パラメータ効率的な適応への新しい方向性を提示している。

著者らが指摘する制限事項:

• 学習前にオフラインでのSVD計算および各スライスの因子のキャッシュが必要である。
• 標準的なLoRAと比較して、フォワードパス中に追加の行列乗算が発生する。
• 最大8Bパラメータのモデルまで評価されており、30B以上のモデルへのスケーラビリティは未検証である。
• 数学タスクにおける性能は、ソーススペクトルの選択（主成分か残差成分か）に対して敏感である。