Learning Adapter Rank via Symmetry Breaking

기술 요약: 대칭성 깨기를 통한 어댑터 랭크 학습

1. 문제 제기

저랭크 적응 (LoRA) 은 대규모 언어 모델의 효율적인 파인튜닝을 위한 표준으로 자리 잡았으며, 작업 관련 업데이트가 저차원 부분 공간에 존재한다는 경험적 관찰에 의존합니다. 그러나 두 가지 중요한 과제가 여전히 해결되지 않았습니다:

1. 랭크 선택: 최적의 랭크를 선택하는 것은 간단하지 않습니다. 고정 랭크 방법은 낭비적이거나 불충분할 위험이 있으며, 휴리스틱 랭크 할당 전략 (예: AdaLoRA) 은 추가적인 튜닝 부담을 도입합니다.
2. 비식별성과 게이지 대칭성: 표준 LoRA 에서 랭크 방향은 식별 가능하지 않습니다. 임의의 가역 행렬 $R \in \mathbb{R}^{r \times r}$에 대해, 분해 $BA = (BR)(R^{-1}A)$는 동일한 가중치 업데이트를 생성합니다. 결과적으로 개별 랭크 인덱스는 고유한 정체성을 갖지 못하므로, 이 회전 게이지 대칭성을 먼저 깨뜨리지 않고는 특정 방향에 불확실성이나 관련성 점수를 부여할 수 없습니다.
3. 보정 (Calibration): 파인튜닝된 대규모 언어 모델 (LLM) 은 종종 과도한 확신을 보입니다. 파라미터 효율적 파인튜닝 (PEFT) 모듈에 대한 기존 불확실성 정량화 방법은 일반적으로 랭크 선택과 불확실성을 별도의 문제로 취급하며, 주변 가중치 공간에서 작동하거나 사후 근사를 사용하여 아키텍처 복잡성과 파라미터 수를 증가시킵니다.

2. 방법론: 저랭크 변분 드롭아웃 (LRVD)

저자들은 **저랭크 변분 드롭아웃 (LRVD)**을 제안합니다. 이는 주변 가중치 공간이 아닌 잠재 랭크 공간에서 직접 추론을 수행하는 베이지안 프레임워크입니다. 이 프레임워크의 핵심 구현체는 BayesLoRA입니다.

주요 메커니즘:

• 랭크 결합 사후분포 (Rank-Tied Posterior): 개별 가중치에 독립적인 사후분포를 배치하는 대신, LRVD 는 어댑터 인자 ($A$와 $B$) 위에 분해된 가우시안 사후분포를 배치합니다. 여기서 특정 랭크 $i$에 속하는 모든 파라미터는 단일 신호 대 잡음비 $\alpha_i$를 공유합니다.
  $$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$$
• 대칭성 깨기: 이 사후분포의 대각선 구조 (랭크당 분산이 결합됨) 는 LoRA 의 $GL(r)$ 회전 게이지 대칭성을 깨뜨립니다. 변분 목적 함수는 랭크 공간에서 선호되는 기저를 선택하여 랭크 방향에 대한 **자동 관련성 결정 (ARD)**을 가능하게 합니다.
• 이론적 보장 (정리 1): 저자들은 전체 게이지 대칭성이 깨지지만 잔여 대칭성이 남는다는 것을 증명합니다. 구체적으로, 변환 행렬 $R$은 직교 행렬이어야 하며, 랭크 공분산의 대각 성분이 서로 다른 경우 $R$은 부호付き 순열 행렬로 제한됩니다. 이는 학습된 랭크 순서가 의미 있으며 부호와 순열을 제외하고 식별 가능함을 보장합니다.
• 변분 목적 함수: 훈련은 증거 하한 (ELBO) 을 최대화합니다. 희소 변분 드롭아웃에서 유도된 KL 발산 항은 $\log \alpha_i$에 대해 단조 증가합니다. 이는 높은 신호 대 잡음비를 가진 방향을 패널티하여 점진적으로 억제함으로써 연속적인 자동 랭크 선택을 달성합니다.
• 추론: 테스트 시, 모델은 몬테카를로 샘플링 (일반적으로 $T \in [4, 16]$개의 샘플) 을 사용하여 어댑터 부분 공간에 대해 주변화를 수행하는 반면, 사전 훈련된 백본은 결정론적으로 유지됩니다.

3. 주요 기여

• LRVD 의 형식화: 학습된 신호 대 잡음비를 통해 구조화된 희소성을 유도하는 랭크 공간에서의 베이지안 추론을 위한 일반 프레임워크.
• BayesLoRA: 추가 스칼라 파라미터 $O(r)$만으로 효과적인 어댑터 랭크와 예측 불확실성을 동시에 학습하는 구체적인 구현체. 보조 옵티마이저, 사후 곡률 추정, 또는 KL 어닐링 일정이 필요하지 않음.
• 비식별성 해결: 이 논문은 LoRA 의 비식별성이 유용한 귀납적 편향으로 전환될 수 있음을 보여줍니다. 대각선 사후분포를 통해 게이지 대칭성을 깨뜨림으로써, 학습된 업데이트의 고유 구조와 정렬된 안정적이고 식별 가능한 랭크 순서를 도출합니다.

4. 실험 결과

저자들은 GLUE 벤치마크 (DeBERTa-V3-base 사용) 와 추론 벤치마크 (LLaMA-2-7B 사용) 에서 BayesLoRA 를 평가했습니다.

• 랭크 선택 및 정확도:

  • BayesLoRA 는 비교 가능한 훈련 비용으로 모든 GLUE 작업에서 AdaLoRA 의 성능과 일치하거나 초과합니다.
  • 학습된 업데이트의 지배적인 특이 방향과 정렬된 안정적인 랭크 구조를 유도합니다.
  • 압축 비율은 초기 기저 크기의 산물이 아니라 고유 작업 구조에 비례합니다 (예: CoLA 는 초기 랭크와 관계없이 약 63% 로 압축됨).
  • 많은 경우, BayesLoRA 는 전체 어댑터 모듈을 0 의 유효 랭크로 축소시켜, 부드러운 예산 할당보다는 모듈 수준의 희소성과 더 유사하게 작동합니다.

• 불확실성 및 보정:

  • 전통적 베이스라인 대비: 파라미터 수가 BBB 보다 적음에도 불구하고, MC Dropout, Deep Ensembles, Bayes by Backprop (BBB) 에 비해 기대 보정 오차 (ECE) 와 음의 로그 가능도 (NLL) 를 크게 개선합니다.
  • 보정 중심 방법 대비: 보조 옵티마이저를 사용하는 전체 변분 사후분포를 사용하는 BloB와 예산이 일치하는 비교에서, BayesLoRA 는 거의 모든 작업에서 더 높은 정확도를 달성합니다. BloB 가 보정 지표 (ECE/NLL) 에서 약간의 우위를 유지하지만, BayesLoRA 는 별도의 옵티마이저나 복잡한 곡률 추정의 계산 오버헤드 없이 이 격차를 크게 좁힙니다.

5. 중요성 및 주장

이 논문은 BayesLoRA 가 기존 PEFT 불확실성 방법에 대한 간단하면서도 강력한 대안을 제공한다고 주장합니다. 랭크 공간에서 직접 작동함으로써, 가중치 공간 변분 추론의 prohibitive 한 비용을 피하면서도 랭크 비식별성의 근본적인 문제를 해결합니다.

• 효율성: 최소한의 파라미터 오버헤드 ($O(r)$ 스칼라) 로 자동 랭크 선택과 불확실성 정량화를 달성합니다.
• 안정성: 학습된 랭크 순서는 단순한 가지치기 휴리스틱이 아니라, 작업 업데이트의 고유 특이 구조를 반영합니다.
• 절충: 저자들은 BayesLoRA 가 표준 베이스라인보다 보정을 개선하지만, 랭크 공간과 가중치 공간 사후분포 간의 격차가 가장 두드러지는 작업에서는 BloB 와 같은 더 풍부한 변분 장비를 가진 방법보다 뒤처진다고 인정합니다. 이는 부적절한 로그 균일 사전을 사용하는 변분 드롭아웃 대리 모델을 사용하기 때문이라고 귀결합니다.

요약하자면, 이 연구는 대각선 변분 사후분포를 통해 LoRA 의 게이지 대칭성을 깨뜨리는 것이 유효 랭크와 불확실성의 공동 학습을 가능하게 하여, 저랭크 적응을 위한 확장 가능한 베이지안 접근법을 제공함을 입증합니다.