CSULoRA: Closest Safe Update Low-Rank Adaptation

기술 요약: CSULoRA

문제 정의

저차원 적응(LoRA)은 대규모 언어 모델(LLM)의 매개변수 효율적인 미세 조정을 위한 표준 기술이다. 그러나 최근 연구에 따르면, 아주 적은 양의 안전하지 않거나 적대적인 미세 조정 데이터만으로도 정렬된 모델의 안전 행동을 상당히 약화시켜 유해한 프롬프트에 대한 순응도를 높일 수 있음이 밝혀졌다 (Yang et al., 2023; Qi et al., 2024; Bianchi et al., 2024).

LoRA 미세 조정 중 안전성을 보존하거나 사후에 이를 복구하기 위한 기존 방법들은 주로 "하드(hard)" 개입에 의존한다. 여기에는 안전 서브스페이스로의 투영, 특정 레이어의 가지치기(pruning), 임계값 설정, 또는 추가적인 학습 목적 함수 및 안전 모듈의 도입 등이 포함된다 (Hsu et al., 2024; Ao et al., 2025; Li et al., 2025). 이러한 접근 방식은 특정 맥락에서는 효과적이지만, 작업 관련 정보를 버릴 위험이 있고, 추가적인 튜닝이나 하이퍼파라미터 선택이 필요하며, 외부의 안전 벡터 구축을 요구한다는 단점이 있다. 따라서 전체 모델을 재학습하거나, 유용성(utility)을 버리거나, 어댑터의 구조적 랭크를 변경하지 않고도 학습된 LoRA 어댑터를 교정할 수 있는 방법이 필요하다.

방법론: CSULoRA

저자들은 가장 가까운 안전 업데이트 추정을 통해 학습된 LoRA 어댑터를 교정하는 사후(post-hoc) 방법인 CSULoRA(Closest Safe Update Low-Rank Adaptation)를 제안한다. 이 방법은 추가적인 학습이나 검증 기반의 임계값 선택 없이 결정론적으로 학습된 어댑터에 작동한다.

1. 안전 정렬 서브스페이스 추정

CSULoRA는 안전하게 정렬된 모델 체크포인트($W_{aligned}$)와 그에 대응하는 사전 정렬 베이스 체크포인트($W_{base}$) 사이의 가중치 변위(weight displacement)를 분석하여 안전 정렬 서브스페이스를 추정한다:
$$V = W_{aligned} - W_{base}$$
이 변위 $V$는 정렬 관련 방향에 대한 대리 지표(proxy) 역할을 한다. 이 방법은 $V$의 지배적인 열 공간(column space)과 행 공간(row space)에 기초하여 각각 왼쪽($P_L$) 및 오른쪽($P_R$) 직교 투영체를 구축한다. 계산 효율성을 보장하기 위해, 이 서브스페이스들은 파워 반복법(power iterations)을 사용하는 무작위 저차원 범위 탐색기(randomized low-rank range finder)를 사용하여 근사되며, 정렬 변위 에너지의 95%를 설명할 수 있는 충분한 특이값 에너지를 유지한다.

2. LoRA 업데이트의 분해

학습된 LoRA 업데이트 $\Delta W_0 = BA$에 대해, CSULoRA는 투영체 $P_L$과 $P_R$을 기준으로 업데이트를 네 가지 블록으로 분해한다:

• 완전 정렬됨 ($\Delta W_{LR}$): 정렬된 입력 및 출력 서브스페이스 모두에 속함.
• 부분 정렬됨 ($\Delta W_{L\bar{R}}$ 및 $\Delta W_{\bar{L}R}$): 두 정렬 서브스페이스 중 하나에만 속함.
• 서브스페이스 외 ($\Delta W_{\bar{L}\bar{R}}$): 두 정렬 서브스페이스 모두의 외부에 있음.

3. 페널티가 부여된 최소 변화 최적화

오프-서브스페이스 성분을 버리는 하드 투영 방식과 달리, CSULoRA는 페널티가 부여된 최소 변화 최적화 문제를 해결한다. 목표는 원래의 업데이트와 가까우면서도 부분 정렬 및 오프-서브스페이스 블록의 에너지를 억제하는 업데이트 행렬 $\Delta W^*$를 찾는 것이다:
$$\Delta W^* = \arg \min_{\Delta W} \frac{1}{2} \|\Delta W - \Delta W_0\|_F^2 + \frac{1}{2} \sum_{b \in \mathcal{B} \setminus \{LR\}} \lambda_b \|\Pi_b(\Delta W)\|_F^2$$
여기서 $\Pi_b$는 블록 $b$로의 투영을 의미한다. 완전 정렬된 블록은 페널티를 받지 않는다.

해당 솔루션은 폐쇄형(closed form)을 갖는다:
$$\Delta W^* = \Delta W_{LR} + \sum_{b \in \mathcal{B} \setminus \{LR\}} \gamma_b \Delta W_b$$
여기서 $\gamma_b = (1 + \lambda_b)^{-1}$이다.

4. 적응형 페널티 및 재구성

튜닝 가능한 하이퍼파라미터를 피하기 위해, 페널티 항 $\lambda_b$는 블록의 상대적 프로베니우스 에너지(Frobenius energy)를 기반으로 적응적으로 계산된다. 블록 $b$에 대한 페널티는 참조 에너지($E_{ref}$)에 대한 해당 블록의 에너지 비율로 정의되며, $E_{ref}$는 완전 정렬된 블록의 에너지와 정렬된 성분이 작을 때 과도한 축소를 방지하기 위한 스무딩 항을 포함한다. 이는 감쇠(attenuation)가 스케일 불변(scale-invariant)하며 레이어 내 구성 요소들의 상대적 에너지에 따라 결정되도록 보장한다.

마지막으로, 교정된 업데이트 $\Delta W^*$는 절단된 특이값 분해(truncated SVD)를 사용하여 원래의 랭크-$r$ LoRA 구조($B^*A^*$)로 다시 근사되어, 어댑터의 랭크와 추론 시의 구조를 유지한다.

주요 기여

• CSULoRA 알고리즘: 업데이트를 정렬 일관적 성분과 일관되지 않은 성분으로 분해하는, 학습된 LoRA 어댑터를 교정하기 위한 사후적이고 결정론적인 방법.
• 소프트 감쇠 메커니즘: 하드 투영이나 가지치기 대신, 상대적 에너지에 따라 정렬 일관성이 낮은 방향의 크기를 부드럽게 줄이면서 완전 정렬된 성분은 정확하게 보존하는 폐쇄형 소프트 감쇠 규칙을 적용한다.
• 매개변수 프리 교정: 재학습, 추가 학습 가능 매개변수, 또는 외부 안전 벡터 구축이나 검증 기반의 임계값 선택을 필요로 하지 않는다.
• 구조적 보존: 교정된 업데이트를 원래의 LoRA 행렬로 재구성하여, 추론 시 어댑터의 랭크와 구조를 유지한다.

실험 결과

저자들은 적대적 미세 조정 설정(BeaverTails 데이터셋에서 추출한 유해한 예시 5%를 양질의 지시 이행 데이터와 혼합)을 사용하여 Llama-3.2-3B-Instruct 및 Gemma-3-4B-it에 대해 CSULoRA를 평가하였다.

성능 지표:

• 유용성(Utility): IFEval(제약 조건이 있는 지시 이행)을 통해 측정.
• 안전성(Safety): AdvBench에 대한 공격 성공률(ASR)을 통해 측정.
• 일반 능력(General Capability): ARC-Challenge를 통해 측정.
• 안전-유용성 트레이드오프(SUT): 합성 지표 $SUT = \text{AvgUtil} \times (1 - \text{ASR}/100)$.

결과:

• Llama-3.2-3B-Instruct: 표준 LoRA는 유용성(IFEval)을 73.57%에서 82.96%로 향상시켰으나, ASR을 2.69%에서 60.58%로 증가시켰다. CSULoRA는 ASR을 1.73%(베이스 모델보다 낮음)로 낮추는 동시에 평균 유용성을 79.20%(표준 LoRA 대비 단 3.76 포인트 하락)로 유지했다. 또한 가장 높은 SUT 점수(77.83)를 기록했다.
• Gemma-3-4B-it: 표준 LoRA는 ASR을 48.85%까지 높였다. CSULoRA는 ASR을 **1.35%**로 낮추고 평균 유용성을 **85.78%**로 개선하여, 모든 베이스라인보다 안전성과 유용성 보존 측면에서 우수한 성능을 보였다. 또한 가장 높은 SUT 점수(84.62)와 가장 높은 일반 능력 점수(ARC-Challenge 77.30%)를 달성했다.
• 비교: CSULoRA는 하드 투영(SafeLoRA), 가지치기(SPLoRA), 또는 태스크 산술(RESTA)과 같은 베이스라인보다 일관되게 우수한 성능을 보였으며, 베이스라인들은 ASR을 충분히 낮추지 못하거나 상당한 유용성 손실을 초래했다.

의의 및 주장

본 논문은 정렬 일관성이 낮은 LoRA 업데이트 성분의 **소프트 감쇠(soft attenuation)**가 안전-유용성 트레이드오프를 보존하는 데 있어 하드 투영, 가지치기, 또는 강력한 어댑터 교체보다 더 신뢰할 수 있는 전략임을 입증한다고 주장한다.

저자들은 CSULoRA를 다음과 같은 실용적인 매개변수 공간 교정 방법으로 제시한다:

1. 적대적 미세 조정 시나리오에서 공격 성공률을 실질적으로 감소시킨다.
2. 표준 LoRA 미세 조정에서 얻은 유용성의 대부분을 보존한다.
3. 재학습이나 어댑터 구조의 변경 없이 일반적인 모델 능력을 유지한다.

논문은 한계점도 인정하는데, 안전 정렬 서브스페이스가 가중치 변위로부터 유도된 대리 지표로서 노이즈가 있거나 불완전할 수 있다는 점을 언급했다. 또한, 평가가 특정 모델과 벤치마크에 국한되어 있으며, 정규 표현식 기반의 ASR 지표가 응답의 유해성에 대한 모든 뉘앙스를 포착하지 못할 수 있다고 밝혔다. 저자들은 CSULoлоRA가 안전한 행동에 대한 공식적인 보장은 아니지만, LoRA 업데이트의 사후 기하학적 교정을 위한 유망한 방향임을 결론지었다.