기술 요약: 투영된 부분공간에서의 베이지안 파인튜닝

문제 제기

대규모 언어 모델 (LLM) 및 기타 심층 신경망은 제한된 데이터로 파인튜닝될 때 종종 과도한 자신감 (overconfidence) 과 불량한 보정 (calibration) 문제를 겪습니다. 저랭크 적응 (LoRA) 은 가중치 업데이트를 저랭크 행렬로 분해하여 매개변수 효율적인 파인튜닝 솔루션을 제공하지만, 표준 LoRA 는 불확실성 정량화를 위한 메커니즘이 부족합니다.

이를 해결하기 위해 매개변수에 대한 사후 분포를 학습하는 베이지안 LoRA 변형들이 제안되었습니다. 그러나 이러한 방법들은 중요한 트레이드오프에 직면합니다: 인식적 불확실성 (epistemic uncertainty) 에 필수적인 사후 공분산 행렬을 모델링하려면 일반적으로 학습 가능한 가중치 수에 비례하여 제곱으로 증가하는 수의 매개변수가 필요합니다. 이는 저장 및 계산 비용을 크게 증가시켜 LoRA 의 효율성 향상을 부분적으로 무효화합니다. 또한, 이러한 고차원 베이지안 모델을 학습하는 것은 불안정하며 수렴하기 어렵습니다.

방법론

저자들은 투영된 저차원 부분공간 내에서 매개변수 효율적인 파인튜닝과 베이지안 추론을 결합한 새로운 프레임워크를 제안합니다. 핵심 아이디어는 베이지안 사후분포의 학습을 전체 매개변수 공간이 아닌 압축된 매니폴드로 제한하는 것입니다.

1. 투영된 부분공간 매개변수화

표준 LoRA 와 같이 $A$와 $B$가 모두 학습 가능한 완전한 저랭크 업데이트 $\Delta W = AB$를 학습하는 대신, 제안된 방법은 기저 행렬 $A$와 $B$를 고정하고 작은 정사각형 "코어" 행렬 $R$만 학습합니다. 가중치 업데이트는 다음과 같이 정의됩니다:
$$\Delta W = ARB$$
여기서 $A \in \mathbb{R}^{n \times r}$와 $B \in \mathbb{R}^{r \times m}$은 사전 학습된 가중치 $W_0$에서 유도된 미리 계산된 투영 행렬이며, $R \in \mathbb{R}^{r \times r}$은 학습 가능한 매개변수입니다. 이로써 학습 가능한 매개변수의 수가 $r(n+m)$에서 $r^2$로 감소하여 매우 압축된 매개변수 공간이 생성됩니다.

2. 투영 전략

이 논문은 고정된 투영 행렬 $A$와 $B$를 계산하기 위한 네 가지 서로 다른 방법을 평가합니다:

• Truncated SVD: 투영을 원래 가중치 행렬 $W_0$의 주성분 방향과 정렬합니다.
• Truncated Whitened SVD (W-SVD): 가중치 재구성 오차가 아닌 활성화 오차를 최소화하기 위해 입력 데이터 통계 (공분산 $\Sigma_{xx}$) 를 고려합니다.
• 2D Discrete Cosine Transform (DCT): 가중치에 결정론적 순열을 적용하여 공간적 상관관계를 유도한 후, 코사인 파동의 고정된 보편적 기저를 사용합니다.
• Random Projections: Haar 분포를 따르는 가우스 직교 행렬을 사용하여 가중치에 대한 구조적 가정을 하지 않습니다.

3. 부분공간 내 베이지안 추론

이 프레임워크는 전체 가중치 업데이트가 아닌 코어 행렬 $R$에 대해 베이지안 추론을 수행합니다. 두 가지 근사 베이지안 방법이 사용됩니다:

• SWAG (Stochastic Weight Averaging-Gaussian): 확률적 경사 하강법 (SGD) 의 궤적을 활용하여 저랭크 더하기 대각 공분산을 가진 가우스 사후분포를 구성합니다.
• Laplace Approximation: 최대 사후확률 (MAP) 해 주변에서 사후분포를 근사합니다. 저자들은 표현력과 메모리 효율성 사이의 균형을 맞추기 위해 헤시안/피셔 정보 행렬에 대해 대각 (DIAG) 및 크로네커 인수분해 (KRON) 근사를 모두 구현했습니다.

중요하게도, 가중치 업데이트 $\Delta W$의 전체 공분산은 결코 구체화되지 않습니다. 대신 공분산은 투영된 부분공간의 크로네커 구조를 통해 암시적으로 정의되어 효율적인 샘플링과 불확실성 추정을 가능하게 합니다.

주요 기여

1. 매개변수 효율적 베이지안 프레임워크: 이 논문은 LoRA 의 효율성 이점을 희생하지 않으면서 매우 저차원 매개변수 공간 (층당 $r^2$개의 매개변수) 에서 효과적인 불확실성 정량화를 달성하는 방법을 소개합니다.
2. 일반화된 투영 전략: 이전 연구가 주로 SVD 에 의존했던 것과 달리, 이 연구는 데이터 인식형 (Whitened SVD) 과 구조 무관형 (DCT, Random) 투영을 포함하는 일반화된 프레임워크를 도입하고 평가합니다.
3. 저랭크 공분산의 경험적 검증: 저자들은 투영된 부분공간 내의 가중치 공분산이 저랭크 특성을 보임을 입증하여, 매우 낮은 랭크의 공분산 근사 (예: 랭크 $k=2$) 도 불확실성을 효과적으로 모델링하기에 종종 충분함을 보여줍니다.
4. 확장성: 이 접근법은 RoBERTa-large 와 LLaMA2-7B 모두에서 검증되어, 계산적 실현 가능성을 유지하면서 더 큰 모델로 확장 가능함을 입증했습니다.

실험 결과

실험은 RoBERTa-large 를 사용한 GLUE 작업 (RTE, MRPC, CoLA, SST-2) 과 LLaMA2-7B 를 사용한 상식 추론 작업 (OBQA, ARC-E, ARC-C) 에서 수행되었습니다.

• 보정 및 불확실성: 제안된 방법들 (B-LoRA-XS 및 L-LoRA-XS) 은 기대 보정 오차 (ECE) 와 음의 로그 가능도 (NLL) 에서 표준 LoRA 및 LoRA-XS 보다 일관되게 우수한 성능을 발휘했습니다. 이들은 5 배에서 15 배 적은 매개변수를 사용하면서도 LoRA-SWAG 와 같은 완전한 베이지안 LoRA 베이스라인과 비교할 수 있거나 더 나은 보정 성능을 달성했습니다.
• 투영 성능: Whitened SVD (W-SVD) 와 표준 SVD 투영이 일관되게 가장 좋은 성능을 보였습니다. Random Projections 및 DCT 와 같은 데이터 무관형 방법은 특히 낮은 랭크에서 성능이 현저히 떨어졌으며, 이는 부분공간을 가중치 구조와 정렬하는 것의 중요성을 강조합니다.
• 공분산 랭크: 모델은 매우 낮은 랭크의 공분산 근사에서도 견고하게 유지되었습니다. 예를 들어, B-LoRA-XS 는 공분산 랭크가 $k=2$ 또는 $k=5$로 낮아도 최적의 보정을 달성한 반면, 표준 베이지안 LoRA 방법은 랭크가 감소함에 따라 성능이 현저히 저하되었습니다.
• OOD 탐지: 베이지안 변형들은 결정론적 베이스라인에 비해 In-Distribution (ID) 과 Out-of-Distribution (OOD) 데이터를 구별하는 데 더 뛰어난 능력을 보였으며, 제안된 부분공간 방법은 예측 엔트로피에서 강력한 분리를 보여주었습니다.
• LLaMA2-7B 결과: 더 큰 모델에서 압축된 변형들 (예: $r=64$인 L-LoRA-XS) 은 Laplace-LoRA 베이스라인이 필요로 하는 매개변수 예산의 3 분의 1 미만을 사용하면서도 상당한 보정 개선을 달성하고 경쟁력 있는 정확도를 유지했습니다.

의의 및 주장

이 논문은 효과적인 불확실성 정량화에 고차원 매개변수 공간이 필요하지 않다고 주장합니다. 가중치 업데이트를 신중하게 선택된 저차원 매니폴드로 투영함으로써 저자들은 다음을 입증합니다:

• 불확실성의 효율적 모델링: 가중치 간의 상관관계는 저차원 부분공간에서 효과적으로 포착될 수 있으며, 이는 메모리 및 계산 비용을 획기적으로 줄이는 저랭크 공분산 행렬의 사용을 가능하게 합니다.
• 안정성 향상: 축소된 매개변수 공간에서 작동하면 최적화가 안정화되어 제한된 계산 예산 하에서 더 나은 수렴과 보정을 이끕니다.
• 상호 보완적 트레이드오프: 이 방법은 예측 성능을 유지하거나 향상시키면서 보정을 크게 개선하는 상호 보완적 트레이드오프를 제공하며, 기존 베이지안 LoRA 방법이 필요로 하는 매개변수의 일부만 사용합니다.

저자들은 그들의 프레임워크가 압축된 부분공간에 베이지안 추론을 적용하는 개념적 혁신을 나타내며, 자원 제약 환경에서 대규모 모델의 불확실성 인식 파인튜닝을 위한 실용적인 솔루션을 제공한다고 결론지었습니다.