技術的概要：LoCO - 低ランク合成回転微調整

問題定義

パラメータ効率型微調整（PEFT）は、フル微調整に伴う莫大な計算コストと破滅的忘却のリスクなしに、大規模基盤モデル（LLM、ビジョン・トランスフォーマー、拡散トランスフォーマーなど）を下游タスクに適応させるために不可欠となっている。既存の手法である低ランク適応（LoRA）などは、加法的な低ランク更新を通じて効率性を達成するが、事前学習された表現の幾何学的構造を本質的に保持するものではない。

直交微調整手法は、特殊直交群（$SO(d)$）に制約された乗法的変換を適用することでこの課題に対処し、特徴量の対角間関係と超球面エネルギー構造を保持する。しかし、これらの手法は根本的な計算ボトルネックに直面している：一般的な直交行列の構築と適用には、行列の逆行列計算や指数関数計算に起因し、通常$O(d^3)$ の複雑さを要する。ブロック対角行列（OFT）やバタフライ分解（BOFT）などの先行解決策は、表現力を制限する構造的制約を課すか、現代のハードウェアにおける非効率的なメモリアクセスパターンに悩まされる。さらに、ハウスホルダー反射などの逐次合成に基づく手法は並列化を阻害し、トレーニングのスループットを制限する。

手法

著者らは、低ランク歪対称行列と合成回転チェーンを用いて直交変換を構築し、並列計算に最適化された**LoCO（Low-rank Compositional Orthogonal Fine-tuning：低ランク合成直交微調整）**を提案する。

1. 低ランク歪対称パラメータ化

LoCO は、特殊直交群 $SO(d)$の接空間が歪対称行列（$A^T = -A$）から構成されるという数学的性質を利用する。LoCO は、完全な $d \times d$ の歪対称行列を学習するのではなく、低ランクの外積形式を用いてこれをパラメータ化する：
$$A = UV^T - VU^T$$
ここで、$U, V \in \mathbb{R}^{d \times r}$ かつ $r \ll d$ である。これは、補助行列 $X = [U | -V]$ および $Y = [V | U]$ を用いて $A = XY^T$ となるように書き換えられる。

2. ケイリー変換とウッドベリー恒等式による効率的計算

歪対称行列 $A$ から回転行列 $R \in SO(d)$ を生成するために、LoCO はケイリー変換を採用する：
$$R = (I - A)^{-1}(I + A)$$
$d \times d$ 行列 $(I-A)$ の直接逆行列計算は計算コストが高い。LoCO はシャーマン・モーリソン・ウッドベリー恒等式を活用して逆行列計算の複雑さを低減する。$A = XY^T$ を代入することで、$d \times d$ 行列の逆行列計算を、小さな $2r \times 2r$ 行列の逆行列計算に変換する：
$$R = I + 2X(I - Y^T X)^{-1}Y^T$$
これにより、計算複雑性は $O(d^3)$ から $O(dr^2 + r^3)$ に削減され、$r \ll d$ であるため $O(dr^2)$ に簡略化される。

3. 合成回転チェーンと並列近似

表現力を高めるため、LoCO は複数の回転成分を合成する：$R = R_1 R_2 \dots R_n$。正確な合成には逐次的な行列乗算が必要であるが、LoCO は完全な並列計算を可能にする一次近似を導入する：
$$R \approx I + \sum_{i=1}^n 2X_i(I - Y_i^T X_i)^{-1}Y_i^T$$
理論的解析により、パラメータ更新が小さい（ゼロ初期化に近い）微調整シナリオでは、高次誤差項は無視できる（$O(\epsilon^4)$ 以上）ことが確認されている。この近似により、すべての回転成分を並列に計算・合計することが可能となり、GPU の並列性を完全に活用して、BOFT や HRA などの手法に見られる逐次ボトルネックを回避する。

4. テスト時温度スケーリング

LoCO は、推論時に歪対称行列 $A$ に適用されるスカラー温度パラメータ $t$ を導入する（$R = (I - At)^{-1}(I + At)$）。これにより、事前学習された挙動（$t=0$）と完全に適応された挙動（$t=1$）の間を滑らかに補間でき、再トレーニングなしに制御可能な適応強度を実現する。

主要な貢献

1. 新規 PEFT アーキテクチャ：低ランク歪対称行列を介して直交変換を構築する LoCO の提案。これにより、高次元空間における効率的な適応が可能となる。
2. 並列化可能な近似：合成回転チェーンに対する一次近似スキームの導入。これにより、近似誤差を有界に保ちつつ直交性を維持したまま、複数の回転成分の並列計算が可能となり、先行する逐次直交手法には欠けていた機能を実現する。
3. 制御可能な推論：適応強度を柔軟に制御できるテスト時温度スケーリング機構の開発。これは、従来の直交手法で用いられていた高コストな正則化スキームの代替となる。
4. 実証的検証：GLUE、GSM8K、MATH、VTAB-1k、および制御可能な拡散生成など多様なベンチマークにおいて、SOTA または競争力のある性能を実証。OFT、BOFT、HRA と比較して、より低いメモリフットプリントと高いトレーニング効率を維持している。

実験結果

著者らは LoCO を 3 つのドメインで評価した：

• 大規模言語モデル（NLU および推論）：GLUE ベンチマークにおいて、LoCO は平均スコア 87.75 を達成し、パラメータ数を少なくしながら HRA（85.64）および OFT（87.63）を上回った。数学的推論（GSM8K/MATH における LLaMA-2-7B）では、LoCO は最高の GSM8K スコア（50.19%）を達成し、MATH 結果でも競争力があり、ブロック対角およびハウスホルダーに基づくベースラインを上回った。
• 拡散トランスフォーマー：FLUX.1 を用いた条件付き生成タスク（エッジから画像、深度から画像など）において、LoCO は LoRA や BOFT と比較して、優れた整合忠実度（CLIP イメージスコア）と競争力のある画像品質指標（FID、SSIM）を示した。特に、温度スケーリング機構により、LoRA に見られる脆いスケーリングとは異なり、変化する適応強度全体にわたって堅牢な生成品質を可能にした。
• ビジョントランスフォーマー（VTAB-1k）：LoCO は、自然、専門、構造化タスクグループ全体で競争力のある精度を達成した。特に構造化タスクにおいて他の直交手法を上回る性能（平均精度 63.4%）を示し、医療画像（Patch Camelyon：88.1%）への強力な転移を示した。

効率性：LoCO はスパース OFT と同等のトレーニング効率を達成しつつ、ステップ時間とメモリ使用量の両面で密な手法（HRA、BOFT）を大幅に上回った。HRA と BOFT は、密な行列の具体化または逐次依存関係により多大なメモリオーバーヘッドを被ったのに対し、LoCO の並列かつ入力中心の設計は安定したスループットを維持した。

意義と主張

本論文は、LoCO が直交微調整の幾何学的利点と、現代の高次元モデルに必要な計算効率性の間のギャップを成功裏に埋めたと主張する。接空間の低ランク構造を利用し、並列化可能な一次近似を活用することで、LoCO は既存の直交手法の立方複雑性と逐次ボトルネックを回避する。

著者らは、この手法が事前学習された表現の角構造を保持すること（角度ではなく大きさで意味情報が符号化されるタスクにおいて重要な性質）を強調しつつ、制御可能な推論強度や優れたスケーラビリティといった実用的な利点を提供すると述べている。結果は、ブロック対角またはハウスホルダー反射構造よりも、低ランク歪対称パラメータ化が推論パターンや意味的整合性を捉えるためのより効果的な戦略であることを示唆している。

論文は控えめに結論付け、LoCO は典型的なシナリオのスケーラビリティに対処しているものの、将来的な研究では最適な回転分解の理論的最適化やマルチモーダルモデルへの拡張を探求できる可能性があると指摘している。