技術要約: CSULoRA

問題提起

低ランク適応（LoRA）は、大規模言語モデル（LLM）のパラメータ効率の良い微調整のための標準的な手法である。しかし、近年の研究によれば、たとえ少量であっても不安全または敵対的な微調整データが含まれると、アライメントされたモデルの安全性挙動が大幅に弱まり、有害なプロンプトへの遵守率が高まることが示されている (Yang et al., 2023; Qi et al., 2024; Bianchi et al., 2024)。

LoRA微調整中の安全性を維持、あるいは事後的に安全性を回復させる既存の手法は、「ハード」な介入に依存することが多い。これらには、安全性部分空間への投影、特定の層のプルーニング、閾値処理、あるいは追加の学習目的関数や安全性モジュールの導入などが含まれる (Hsu et al., 2024; Ao et al., 2025; Li et al., 2025)。これらのアプローチは特定の文脈では効果的であるが、タスクに関連する情報を破棄するリスクがあるほか、追加のチューニングやハイパーパラメータの選択、あるいは外部の安全性ベクトルの構築を必要とする。したがって、モデル全体を再学習したり、アダプターの構造的ランクを破棄したり、ユーティリティを損なったりすることなく、学習済みLoRAアダプターを修正して安全性を回復できる手法が求められている。

手法: CSULoRA

著者らは、最も近い安全な更新の推定を通じて学習済みLoRAアダプターを修正する事後的な手法として、CSULoRA (Closest Safe Update Low-Rank Adaptation) を提案する。この手法は、追加の学習や検証に基づく閾値選択を必要とせず、学習済みアダプターに対して決定論的に動作する。

1. 安全にアライメントされた部分空間の推定

CSULoRAは、安全性にアライメントされたモデルのチェックポイント ($W_{aligned}$) と、それに対応する事前アライメントのベースチェックポイント ($W_{base}$) の間の重み変位を分析することで、安全にアライメントされた部分空間を推定する：
$$V = W_{aligned} - W_{base}$$
この変位 $V$ は、アライメントに関連する方向のプロキシ（代理指標）として機能する。本手法は、それぞれ $V$ の支配的な列空間および行空間に基づく、左 ($P_L$) および右 ($P_R$) 直交射影行列を構築する。計算効率を確保するため、これらの部分空間はパワーイテレーションを用いたランダム化低ランク範囲探索器を用いて近似され、アライメント変位エネルギーの95%を説明できる程度の特異値エネルギーを保持する。

2. LoRA更新の分解

学習済みのLoRA更新 $\Delta W_0 = BA$ に対し、CSULoRAは射影行列 $P_L$ および $P_R$ に基づいて更新を以下の4つのブロックに分解する：

• 完全アライメント ($\Delta W_{LR}$): アライメントされた入力および出力の両方の部分空間に存在する。
• 部分的アライメント ($\Delta W_{L\bar{R}}$ および $\Delta W_{\bar{L}R}$): 2つのアライメントされた部分空間のうち、一方のみに存在する。
• オフ部分空間 ($\Delta W_{\bar{L}\bar{R}}$): 両方のアライメントされた部分空間の外側に存在する。

3. ペナルティ付き最小変化最適化

オフ部分空間の成分を破棄するハードな投影法とは異まり、CSULoRAはペナルティ付き最小変化最適化問題を解く。目標は、部分的にアライメントされたブロックおよびオフ部分空間のブロックにおけるエネルギーを罰しながら、元の更新に近い更新行列 $\Delta W^*$ を見つけることである：
$$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$$
ここで、$\Pi_b$ はブロック $b$ への投影を表す。完全アライメントのブロックはペナルティを受けない。

この解は閉形式（closed form）を持つ：
$$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$$
ここで、$\gamma_b = (1 + \lambda_b)^{-1}$ である。

4. 適応的ペナルティと再構成

調整可能なハイパーパラメータを避けるため、ペナルティ項 $\lambda_b$ は、各ブロックの相対的なフロベニウス・エネルギーに基づいて適応的に計算される。ブロック $b$ のペナルティは、そのエネルギーと参照エネルギー ($E_{ref}$) との比として定義される。$E_{ref}$ には、完全アライメント・ブロックのエネルギーと、アライメント成分が小さい場合に過度な収縮を防ぐための平滑化項が含まれる。これにより、減衰はスケール不変となり、レイヤー内の成分間の相対的なエネルギーに依存するようになる。

最後に、修正された更新 $\Delta W^*$ は、切断特異値分解 (SVD) を用いて元のランク-$r$ のLoRA構造 ($B^*A^*$) へと近似的に戻され、アダプターのランクと推論時の構造が維持される。

主な貢献

• CSULoRA アルゴリズム: 学習済みLoRAアダプターを、アライメントに一貫した成分と一貫しない成分に分解して修正する、事後的かつ決定論的な手法。
• ソフト減衰メカニズム: ハードな投影やプルーニングの代わりに、相対的なエネルギーに基づいて一貫性の低い方向の大きさを滑らかに減少させる閉形式のソフト減衰ルールを適用する。
• パラメータフリーの修正: 再学習、追加の学習可能パラメータ、および外部の安全性ベクトル構築や検証に基づく閾値選択を必要としない。
• 構造の保存: 修正された更新は元のLoRA行列へと再構成され、推論時のアダプターのランクと構造を維持する。

実験結果

著者らは、BeaverTailsデータセットから抽出された不安全な例が5%混入された（良質な指示追従データと混合された）敵対的微調整設定を用いて、Llama-3.2-3B-Instruct および Gemma-3-4B-it でCSULoRAを評価した。

パフォーマンス指標:

• Utility (有用性): IFEval（制約付き指示追従）により測定。
• Safety (安全性): AdvBenchにおける攻撃成功率 (ASR) により測定。
• General Capability (一般的能力): ARC-Challengeにより測定。
• Safety-Utility Trade-off (SUT): 複合指標 $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$。

知見:

• Llama-3.2-3B-Instruct: 標準的なLoRAは、有用性 (IFEval) を73.57%から82.96%に向上させたが、ASRを2.69%から60.58%に増加させた。CSULoRAはASRを1.73%（ベースモデルよりも低い）に減少させつつ、平均有用性79.20%（標準的なLoRAからわずか3.76ポイントの低下）を維持した。これは最も高いSUTスコア（77.83）を達成した。
• Gemma-3-4B-it: 標準的なLoRAはASRを48.85%に上昇させた。CSULoRAはASRを**1.35%に減少させ、平均有用性を85.78%**に向上させ、安全性と有用性の両面で全てのベースラインを上回った。これは最高のSUTスコア（84.62）および最高の一般的能力スコア（ARC-Challengeで77.30%）を記録した。
• 比較: CSULoRAは、安全性または有用性の維持において失敗したSafeLoRA（ハード投影）、SPLoRA（プルーニング）、RESTA（タスク・アーキテクチャ）などのベースラインを一貫して上回った。

意義と主張

本論文は、アライメントの一貫性が低いLoRA更新成分のソフト減衰が、安全性と有用性のトレードオフを維持するための、ハードな投影、プルーニング、または強力なアダプター置換よりも信頼できる戦略であることを示している。

著者らはCSULoRAを、以下の特徴を持つ実用的なパラメータ空間修正手法として位置づけている：

1. 敵対的微調整シナリオにおいて攻撃成功率を大幅に減少させる。
2. 標準的なLoRA微調整によって得られた有用性の大部分を保持する。
3. 再学習やアダプター構造の変更なしに、モデルの一般的能力を維持する。

論文では、安全性にアライメントされた部分空間は重みの変位から導出されたプロキシであり、ノイズが多い、あるいは不完全である可能性があるといった限界についても認めている。さらに、評価は特定のモデルとベンチマークに限定されており、正規表現ベースのASR指標は回答の有害性のあらゆるニュアンスを捉えるものではない。著者らは、CSULoRAは安全な挙動を形式的に保証するものではないものの、LoRA更新の事後的な幾何学的修正に関する有望な方向性を示していると結論付けている。