기술 요약: CORA: SVD 기반 저차원 적응을 위한 슬라이스별 일관된 직교 회전 (Per-Slice Coherent Orthogonal Rotation)

1. 문제 정의

매개변수 효율적 미세 조정(PEFT)은 전파적인 전체 미세 조정 비용 없이 대규모 언어 모델(LLM)을 다운스트림 태스크에 적응시키는 데 필수적이다. 현재 저차원 적응(LoRA)이 지배적인 방법이지만, 이는 기하학적 자유도(기저 회전 및 스펙트럼 이동)를 하나의 저차원 행렬 $\Delta W = BA$로 묶어서 학습한다. 최근의 SVD 기반 방법들(예: PiSSA, MiLoRA)은 사전 학습된 가중치($W_0 = U_0 \Sigma_0 V_0^\top$)의 특이값 분해(SVD)를 활용하여 초기화 또는 부분 공간 선택을 수행하지만, 좌측($U_0$) 및 우측($V_0$) 특이 기저 사이의 결합된 기하학적 구조를 명시적으로 보존하지는 않는다.

최근의 이론적 연구[8]는 안정적인 미세 조정이 단일 직교 행렬 $Q$가 좌측 및 우측 특이 기저 모두에 동시에 작용하고 대각 성분의 변화($\Delta \Sigma$)가 동반되는 "일관된 SVD 회전(coherent SVD rotation)" 형태를 따른다는 것을 시사한다. 기존 방법들은 이를 부분적으로만 실현한다: 가산적(additive) LoRA 스타일 방식은 회전과 스펙트럼을 뒤섞고, 직교 미세 조정 방식은 회전은 강제하지만 스펙트럼의 유연성이 부족한 경우가 많다. 또한, 전역적 일관된 회전 정리(global coherent rotation theorem)는 실제 어댑터의 구조화되고 저차원적인 제약 조건 내에서 이를 어떻게 효율적으로 구현할지 명시하지 않는다.

2. 방법론: CORA

저자들은 CORA(Coherent Orthogonal Rotation Adaptation)를 제안하며, 이는 전역적 일관된 회전 정리를 슬라이스별(per-slice) 입도(granularity)로 확장한 것이다.

2.1 이론적 토대

본 논문은 일관된 회전 정리의 슬라이스별 유사성을 증명한다(정리 2). 가중치 행렬 $W_0$를 행 슬라이스 $W_i \in \mathbb{R}^{r \times k}$로 분할함으로써, 저자들은 완만한 정규성 가정 하에 각 슬라이스의 최적 미세 조정 형태가 다음과 같음을 보여준다:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
여기서 $Q_i$는 슬라이스의 좌측 기저 $U_i$와 우측 기저 $V_i$ 모두에 작용하는 단일 직교 행렬이다. 이는 프로베니우스 섭동(Frobenius perturbation)을 최소화하기 위해 좌측과 우측의 인-기저(in-basis) 회전이 동일해야 함($Q_{U,i} = Q_{V,i} = Q_i$)을 확립한다.

2.2 매개변수화 및 구현

비싼 매니폴드 제약 조건 없이 이 형태를 효율적으로 구현하기 위해, CORA는 특정 재매개변수화(reparameterization)를 사용한다:

1. 소스 행렬(Source Matrix): 이 방법은 사전 학습된 가중치의 rank-$r$ SVD 절단(truncation)인 $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$를 대상으로 하며, 잔차 $W_0 - W_{lr}$은 고정한다.
2. 슬라이스 분할: $W_{lr}$을 $s = m/r$개의 행 슬라이스로 분할한다.
3. 회전 학습: $Q_i$를 직교 매니폴드 상에서 직접 학습하는 대신, CORA는 슬라이스당 하나의 비제약 직교 행렬 $R_i$를 학습하고, 회전을 $Q_i = U_i^\top R_i U_i$로 정의한다. 이러한 유사 변환(similarity transform)은 명시적인 제약이나 훈련 중 페널티 없이도 일관된 회전 조건($Q_{U,i} = Q_{V,i}$)을 동일하게 만족하도록 보장한다.
4. 스펙트럼 스케일링: 선택적으로 레이어당 대각 스케일 벡터 $\delta$가 특이값에 적용된다 ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. 케이리 맵(Cayley Map): $R_i$가 직교성을 유지하도록 하기 위해, 수렴 반경 제약이 없는 학습 가능한 왜곡 대칭(skew-symmetric) 행렬의 폐쇄형 케이리 맵을 통해 매개변수화한다.

2.3 매개변수 효율성

CORA는 선형 레이어당 $\frac{1}{2}m(r-1)$개의 학습 가능한 매개변수(선택적 $\delta$를 위한 $r$개의 스칼라 포함)를 사용한다. 이는 동일한 rank $r$에 대해 LoRA(사용량 $r(m+k)$)보다 약 4배 적으며, 성능이 동등한 구성으로 비교했을 때 LoRA보다 약 8배 적은 매개변수를 사용한다.

3. 주요 기여

1. 이론적 확장: 일관된 회전 정리가 가중치 행렬의 개별 행 슬라이스에도 적용됨을 증명하여, 전역 이론을 실제 어댑터의 입도로 확장하였다.
2. 새로운 매개변수화: $Q_i = U_i^\top R_i U_i$라는 재매개변수화를 도입하여 일관된 회전 조건($Q_{U,i} = Q_{V,i}$)을 대수적 항등식으로 강제함으로써, 최적화 과정에서의 명시적인 직교성 제약을 제거하였다.
3. 효율적인 어댑터 설계: 슬라이스별 직교 회전과 레이어당 대각 스케일링을 사용하는 컴팩트한 어댑터로서 CORA를 구현하여, 기존의 SVD 기반 및 일반적인 PEFT 방법들보다 훨씬 적은 매개변수로 높은 성능을 달로 달성하였다.

4. 실험 결과

CORA는 LLaMA-2-7B, LLaMA-3-8B, Mistral-7B를 대상으로 세 가지 태스크 패밀리(상식 추론, 코드 생성, 수학적 추론)에서 평가되었다.

• 상식 추론(Commonsense Reasoning): LLaMA-2-7B에서 rank $r=16$ (6.6M 매개변수)인 CORA는 **82.16%**의 평균 정확도를 달성했다. 이는 $r=32$ (~56M 매개변수)인 PiSSA와 MiLoRA보다 각각 8.4 및 3.0 포인트 높았으며, $r=32$인 DoRA보다 2.5 포인트 앞섰다.
• 코드 생성(Code Generation): LLaMA-3-8B에서 CORA ($r=16$, 10.3M 매개변수)는 48.2의 HumanEval Pass@1을 기록하여, DiaBlo ($N=64$, 121M 매개변수) 및 LoRI ($r=32$, 45M 매개변수)를 상당한 차이로 능가했다. Mistral-7B에서도 CORA는 10.3M 매개변수만으로 강력한 성능(40.2 Pass@1)을 유지했다.
• 수학적 추론(Mathematical Reasoning): CORA는 GSM8K에서는 경쟁력 있는 성능을 보였으나, MATH에서는 MiLoRA에 비해 뒤처졌다. 저자들은 이를 수학적 지식의 스펙트럼 국소성(spectral locality) 때문으로 설명한다. 즉, 주성분(principal components)이 태스크 관련 구조를 적게 인코딩하는 작업에서는 미세 성분(residual directions)에 집중하는 MiLoRA가 더 적합해 보인다는 것이다.
• 절제 연구(Ablations):
  • 공유 스케일 ($\delta$): 공유 스펙트럼 스케일을 활성화하는 것이 중요했으며, 이는 성능을 0.8~2.4 포인트 향상시키고 낮은 rank($r=8$)에서의 붕괴를 방지했다.
  • 양방향 회전(Two-Sided Rotation): $V$-측 회전을 제거했을 때(U-측만 남김) 성능이 크게 하락(최대 9.8 포인트)하여, 일관된 회전 형태의 필요성을 확인했다.
  • 소스 행렬: $W_{lr}$ 대신 전체 $W_0$를 사용했을 때 MATH 성능이 향상되었으며, 이는 꼬리 부분의 특이 방향(tail singular directions)에 수학 특화 신호가 포함되어 있다는 가설을 입증한다.

5. 의의 및 주장

본 논문은 CORA가 가산적 SVD 초기화 방법과 직교 회전 계열을 하나의 이론적 근거를 가진 형태로 성공적으로 통합했다고 주장한다. 최소 섭동 이론에서 유도된 일관된 회전 조건을 명시적으로 강제함으로써, CORA는 우수한 매개변수-정확도 트레이드오프를 달성한다.

저자들은 CORA가 LoRA, DoRA, PiSTA, MiLoRA와 같은 경쟁 방법들보다 약 8배 적은 매개변수로 상식 추론 및 코드 생성 분야에서 최첨단(SOTA) 결과를 달성한다고 밝힌다. 이 연구는 명시적인 기하학적 제약(일관된 회전)이 대수적 재매개변수화를 통해 효율적으로 구현될 수 있음을 보여주며, 사전 학습된 가중치의 기저 구조를 존중하는 새로운 방향의 매개변수 효율적 적응 방식을 제시한다.

저자가 언급한 한계점:

• 훈련 전 오프라인 SVD 계산 및 슬라이스별 인자(factor) 캐싱이 필요하다.
• 표준 LoRA에 비해 순전파(forward pass) 시 추가적인 행렬 곱셈이 발생한다.
• 8B 파라미터 모델까지 검증되었으며, 30B 이상의 모델에 대한 확장성은 검증되지 않았다.
• 수학 태스크에서의 성능은 소스 스펙트럼(주성분 vs 잔차 성분)의 선택에 민감하다.