🤖 machine learning

Between Gradient and Natural Gradient: A Continuum of LoRA Initializations

이 논문은 기존의 LoRA 방법들을 특정 끝점으로 드러내는 두 개의 매개변수로 구성된 프리컨디셔닝된 그래디언트 초기화의 연속체인 Unified LoRA(ULoRA)를 소개하며, 이 계열 내에서의 작업 의존적 튜닝이나 탐색이 필요 없는 변형인 ULoRA-Auto의 사용이 표준 벤치마크에서 전체 미세 조정 성능에 필적하거나 이를 능가할 수 있음을 입증한다.

원저자: Dianze Liu, Farshid Ghezelbash

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Dianze Liu, Farshid Ghezelbash

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이미 세상의 거의 모든 것을 알고 있는 거대하고 똑똑한 로봇에게 수학 퍼즐을 풀거나 재미있는 이야기를 쓰는 것과 같은 특정한 새로운 기술을 가르치려 한다고 상상해 보세요. 로봇 전체를 처음부터 다시 학습시키는 것은 시간이 너무 오래 걸리고 비용이 엄청나게 들기 때문에 그렇게 하고 싶지 않을 것입니다. 대신, 당신은 로봇의 행동을 아주 미세하게 조정하여 새로운 작업을 배울 수 있게 해주는 작고 가벼운 '어댑터(adapter)'—즉, 새로운 지침 세트—를 로봇에 부착합니다. 이것이 바로 거대한 AI 모델을 큰 비용을 들이지 않고도 맞춤화할 수 있는 인기 있는 방법인 **LoRA(Low-Rank Adaptation)**의 세계입니다.

하지만 까다로운 문제가 있습니다. 어떻게 시작해야 할까요? 만약 어댑터에 무작위적인 지침을 준다면, 로봇은 혼란스러워하며 느리게 배울 수 있습니다. 만약 작업에 기반하여 완벽한 시작 지침을 추측하려고 시도한다면, 운 좋게 맞출 수도 있겠지만, 오히려 상황을 악화시킬 수도 있습니다. 한동안 과학자들은 이 시작 지침을 설정하는 최선의 방법에 대해 논쟁해 왔습니다. 어떤 이들은 "로봇이 가야 할 방향을 보고 그 방향을 가리켜라!"라고 말했습니다. 다른 이들은 "아니, 로봇이 발을 헛디디지 않도록 먼저 길 위의 요철을 매끄럽게 다듬어야 한다!"라고 주장했습니다. 이 논문은 어느 쪽이 옳은지, 아니면 진실이 그 중간 어디쯤에 있는지 확인하기 위해 이 논쟁 속으로 뛰어듭니다.

연구자들은 이 두 진영이 실제로 서로 다른 것을 두고 싸우고 있는 것이 아님을 발견했습니다. 그들은 단지 하나의 긴 슬라이딩 스케일(sliding scale)의 양 끝에 서 있을 뿐입니다. 그들은 이 새로운 방법을 **ULoRA(Unified LoRA)**라고 부릅니다. 이것은 전구의 밝기를 조절하는 디머 스위치(dimmer switch)와 같습니다. 스위치의 한쪽 끝은 "가공되지 않은 방향"(그저 가야 할 곳을 가리키는 것)이고, 다른 쪽 끝은 "완전히 매끄러워진 방향"(모든 요철을 신중하게 다듬은 후 가야 할 곳을 가리키는 것)입니다. 논문은 우리가 이 스위치를 그 사이 어디로든 움직일 수 있으며, 많은 작업에서 완벽한 설정은 양 끝단 중 하나가 아니라 바로 그 중간에 있다는 것을 보여줍니다.

핵심 발견: 선택이 아니라 다이얼이다

이 논문의 주요 발견은 이 어댑터를 초기화하는 '최선의' 방법이 "항상 X를 하라"거나 "절대 Y를 하지 마라"와 같은 고정된 규칙이 아니라는 점입니다. 대신, 최적의 설정은 로봇이 수행하는 구체적인 작업에 따라 달라집니다.

당신이 라디오 주파수를 맞추고 있다고 상상해 보세요. 때로는 선명한 채널을 잡기 위해 다이얼을 왼쪽 끝까지 돌려야 합니다. 또 다른 때는 다이얼을 오른쪽 끝까지 돌려야 할 때도 있습니다. 하지만 종종 가장 선명한 신호는 다이얼을 중간보다 아주 조금만 더 돌렸을 때 발견됩니다. 저자들은 이 "다이얼"(그들이 '이매개변수 패밀리'라고 부르는 것)을 언어 이해부터 수학 문제 해결에 이르기까지 다양한 작업에 걸쳐 움직여 보며 이를 테스트했습니다.

그들은 다음을 발견했습니다:

"전부 아니면 전무(All-or-Nothing)" 방식은 대개 틀렸습니다. "그저 가공되지 않은 방향을 사용하라"고 말했던 기존 방식(LoRA-GA 등)이나 "항상 완전히 매끄럽게 다듬으라"고 했던 방식(CG-LoRA 등)은 종종 최선의 선택이 아니었습니다.
스윗 스팟(Sweet spot)은 대개 중간에 있습니다. 많은 작업에서 최고의 성능은 두 전략의 혼합으로부터 나왔습니다. 이는 로봇이 경로를 명확하게 볼 수 있도록 충분한 도움을 받으면서도, 노이즈 때문에 혼란을 겪지 않을 정도의 "골디락스(Goldilocks)" 존이었습니다.
작업에 따라 변합니다. 언어 작업에 적합한 것이 수학 작업에는 적합하지 않을 수 있습니다. 논문은 이 "매끄럽게 만드는 강도"가 소프트웨어에 박제된 영구적인 설정이 아니라, 각 특정 작업에 맞춰 조정할 수 있는 튜너블 노브(tunable knob)가 되어야 한다고 제안합니다.

"오토파일럿" 솔루션

모든 작업마다 수동으로 다이얼을 돌리는 것은 많은 시간과 컴퓨터 자원을 소모하기 때문에, 저자들은 ULoRA-Auto라는 스마트한 도우미를 구축했습니다. 이것은 초기화 과정을 위한 자율 주행 자동차와 같습니다. 당신이 다이얼을 어디에 설정할지 직접 추측할 필요 없이, ULoRA-Auto는 "도로 상황"(데이터 통계)을 살펴보고 해당 로봇의 특정 레이어에 딱 맞는 위치로 다이얼을 자동으로 설정합니다.

결과는 인상적이었습니다. 이 자동 설정 방식을 사용했을 때:

언어 작업(GLUE 벤치마크 등)에서 수동으로 튜닝된 "완벽한" 설정만큼 잘 수행했으며, 다른 거의 모든 방법보다 뛰어난 성능을 보였습니다.
대규모 모델(LLaMA 2-7B)을 사용한 수학 작업(GSM8K 등)에서, 추가적인 탐색이나 튜닝 없이도 복잡한 경쟁 모델들을 제치고 최상위권 또는 그 근처에 올랐습니다.

이것이 중요한 이유

이 논문은 오랫동안 과학자들이 AI 어댑터의 시작 방식을 빨간 차를 선택할지 파란 차를 선택할지와 같은 고정된 설계 결정으로 취급해 왔다고 주장합니다. 이 연구는 그것이 오히려 자전거의 적절한 기어를 선택하는 것과 더 비슷하다고 제안합니다. 당신은 단순히 기어 하나를 골라 고수하는 것이 아니라, 오르막길을 가는지 내리막길을 가는지에 따라 기어를 변속합니다.

초기화 강도를 고정된 점이 아닌 유연하고 연속적인 범위로 다룸으로써, 저자들은 AI를 훈련하는 더 강력하고 새로운 방법을 제시했습니다. 그들은 초기화 강도를 튜닝 가능한 차원으로 다룸으로써, AI 모델이 더 빠르게 학습하고 더 높은 성능을 낼 수 있으며, 전체 모델을 처음부터 훈련하는 것과 대등하거나 심지어 능가하면서도 비용은 아주 적게 들 수 있다는 것을 증명했습니다.

요약하자면, 이 논문은 효율적인 AI 훈련의 미래가 단 하나의 마법 같은 비책을 찾는 것이 아니라, 각 작업이 직면할 때 정확히 얼마만큼의 도움을 주고 언제 줄 것인지를 아는 스마트한 시스템을 구축하는 데 있다는 것을 시사합니다.

기술 요약: 그래디언트와 내추럴 그래디언트 사이: LoRA 초기화의 연속체

문제 정의

저차원 적응(LoRA)은 가중치 업데이트를 저차원 형태( $\Delta W = \frac{1}{\sqrt{r}}BA$ )로 제한함으로써 대규모 사전 학습된 모델에 대한 효율적인 대안을 제공합니다. 그러나 LoRA의 성능은 어댑터 행렬 $A$ 와 $B$ 의 초기화에 매우 민สู sensitive합니다. 표준 LoRA는 $B=0$ 및 $A$ 를 무작위로 초기화하며, 이는 태스크 특화된 정보를 제공하지 않습니다.

최근의 발전은 다운스트림 손실 그래디언트를 사용하여 어댑터를 초기화하는 방법을 시도해 왔습니다. 이러한 방법들은 그래디언트를 처리하는 방식에서 다음과 같이 갈라집니다:

그래디언트 전용 방법 (예: LoRA-GA, LoRA-One)은 2차 곡률(second-order curvature) 정보를 무시하고 원시 그래디언트를 상위 방향으로 투영합니다.
곡률 화이트닝 방법 (예: CG-LoRA)은 투영하기 전에 K-FAC 추정치를 사용하여 고정된 역제곱근 화이트닝( $\alpha = -1/2$ )을 적용합니다.

저자들은 중요한 간극을 식별했습니다: 기존 방법들은 곡률을 완전히 무시하거나, 이론적으로 뒷받려진 고정된 화이트닝 강도를 적용하는 것 사이에서 경직된 이분법적 선택을 합니다. 이러한 접근 방식은 최적의 곡률 프리컨디셔닝(preconditioning) 수준이 중간 단계일 수 있고, 태스크에 따라 달라지며, 곡률 추정치에 내재된 노이즈(특히 작은 배치 크기와 비선형 모델의 경우)에 민감할 수 있다는 가능성을 간과합니다.

방법론: Unified LoRA (ULoRA)

본 논문은 기존의 그래디언트 기반 초기화 방법들을 하나의 연속적인 두 파라미터 가족(two-parameter family)으로 통합하는 프레임워크인 **Unified LoRA (ULoRA)**를 제안합니다.

두 파라미터 가족

ULoRA는 저차원 부분 공간을 추출하기 전에 손실 그래디언트 $\nabla_W L$ 에 적용되는 프리컨디셔닝 연산자 $P_{\alpha, \beta}$ 를 정의합니다. 이 연산자는 다음 요소들에 의해 제어됩니다:

스펙트럼 화이트닝 지수 ( $\alpha$ ): K-FAC 고윳값 리스케일링의 강도를 제어합니다.
- $\alpha = 0$ : 스펙트럼 화이트닝 없음 (LoRA-GA/LoRA-One 복구).
- $\alpha = 1$ : 역제곱근 화이트닝 (CG-LoRA 복구).
- $\alpha = 2$ : 전체 역곡률 스케일링 (Natural Gradient).
대각 프리컨디셔닝 지수 ( $\beta$ ): Adam의 2차 모멘트 스케일링과 유사하게, 레이어 입력과 출력 그래디언트의 경험적 분산에 의한 정규화를 적용합니다.
- $\beta = 0$ : 대각 보정 없음.
- $\beta > 0$ : Adam 스타일의 대각 스케일링.

프리컨디셔닝된 그래디언트는 다음과 같이 계산됩니다:
$P_{\alpha, \beta} = T^{-\alpha/2} \left[ d_T^{-\beta/2} \odot \nabla_W L \odot d_S^{-\beta/2} \right] S^{-\alpha/2}$
여기서 $S$ 와 $T$ 는 헤시안 근사의 Kronecker 인자이며, $d_S, d_T$ 는 그들의 대각 성분입니다.

구현 세부 사항

효율적 계산: 전체 행렬 연산 비용을 피하기 위해, ULoRA는 $S$ 와 $T$ 의 rank- $s$ (여기서 $s = r + \text{oversample}$ ) Rayleigh–Ritz 근사치를 계산합니다. 그래디언트는 이 저차원 부분 공간으로 투영되어 $\alpha$ 와 $\beta$ 를 통해 프리컨디셔닝된 후, 다시 원래의 파라미터 공간으로 역투영됩니다.
교차 엔트로피 보정: 분류 태스크의 경우, 소프트맥스 출력에 의한 곡률을 고려하여 출력 공간에서의 거리가 올바르게 측정되도록 Fisher 보정을 포함합니다.
균형 잡힌 초기화: 결과적인 특이 벡터(singular vectors)는 $A_0$ 와 $B_0$ 사이에 특이값이 균등하게 분포되도록 QR 및 SVD를 통해 인수분해되어, 한쪽 어댑터가 지배하는 것을 방지합니다.

ULoRA-Auto (탐색 없는 변형)

하이퍼파라미터 그리드 탐색의 필요성을 제거하기 위해, 저자들은 초기화 중에 계산된 스펙트럼 통계량을 기반으로 레이어별 지수 $(\alpha^*, \beta^*)$ 를 자동으로 선택하는 ULoRA-Auto를 제안합니다.

$\alpha^*$ : K-FAC 고윳값의 유효 랭크( $r_{eff}$ )와 조건수( $\kappa$ )에 의해 결정됩니다. 상태가 양호하고 랭크가 높은 스펙트럼은 강한 화이트닝을 받고, 상태가 불량한(노이즈가 많은) 스펙트럼은 추정 노이즈를 증폭시키지 않도록 보수적인 화이트닝을 받습니다.
$\beta^*$ : 투영된 공분산의 비대각 에너지 비율에 의해 결정됩니다. 대각 프리컨디셔닝은 공분산이 경험적으로 대각 행렬에 가까울 때만 적용됩니다.

주요 기여

통합: 본 논문은 그래디언트 기반 LoRA 초기화 방법들이 단일한 두 파라미터 연속체의 특수한 사례임을 입증하여, 초기화를 위한 원칙적인 설계 공간을 제공합니다.
최적의 프리컨디셔닝 특성화: 체계적인 그리드 서치를 통해, 저자들은 최적의 프리컨디셔닝 강도가 0(순수 그래디언트)도 아니고 전체(순수 내추럴 그래디언트)도 아님을 보여줍니다. 대신, 최적의 작동 지점은 빈번하게 이 연속체 내부의 중간 지점에 위치하며, 태스크 및 모델에 따라 매우 의존적입니다.
배포 가능한 탐색 없는 방법: ULoRA-Auto는 그리드 탐색 없이도 초기화 시 사용 가능한 스펙트럼 통계량을 활용하여, 오라클 튜닝된 ULoRA의 성능 이득을 대부분 회복합니다.

실험 결과

저자들은 NLU (RoBERTa-base, T5-base on GLUE) 및 NLG (LLaMA 2-7B on GSM8K, HumanEval, MMLU) 태스크에서 LoRA-GA, LoRA-One, CG-LoRA, PiSSA, 그리고 full fine-tuning을 포함한 베이스라인들과 ULoRA를 비교 평가했습니다.

GLUE에서의 RoBERTa: 튜닝된 ULoRA 구성(오라클 상한)은 다섯 가지 GLUE 태스크 모두에서 full fine-tuning과 일치하거나 이를 능가했습니다. 최적의 $(\alpha, \beta)$ 쌍은 일관되게 중간 단계(예: $\alpha \in \{1.0, 1.5\}$ )였으며, 기존 방법들의 끝단과 일치하는 경우는 드물었습니다.
GLUE에서의 T5: 바닐라 LoRA가 이미 full fine-tuning에 근접한 성능을 보이는 포화 상태의 레지임에서, 최적의 구성은 약한 프리컨디셔닝( $\alpha=0, \beta=0$ )으로 수렴했습니다. 이는 곡률 추정치가 노이즈가 심하거나 헤드룸이 제한적인 경우, 공격적인 화이트닝이 이득을 주지 못함을 시사합니다.
LLaMA 2-7B: 최적의 구성은 태스크별로 크게 달랐습니다 (예: GSM8K의 경우 $(0.0, 0.0)$ , HumanEval의 경우 $(2.0, 0.5)$ ). 주목할 점은, ULoRA가 $(0.0, 0.0)$ 일 때도 여전히 LoRA-GA와 LoRA-One보다 우수했다는 것이며, 이는 ULoRA 파이프라인(Rayleigh–Ritz 투영, Fisher 보정, 균형 잡힌 실현) 자체가 지수와 무관하게 이점을 제공함을 나타냅니다.
ULoRA-Auto 성능: 탐색 없는 변형 방식은 모든 벤치마크에서 배포 가능한 방법들 중 최상위 또는 그 근처의 순위를 기록했습니다. MMLU에서는 그리드 서치를 통한 글로벌 최적값보다도 더 높은 성능을 보여, 레이어별 적응의 가치를 입증했습니다.

의의 및 주장

본 논문은 LoRA 초기화에서 곡률 프리컨디셔닝의 선택이 고정된 설계 결정이 아니라 **조절 가능한 차원(tunable dimension)**으로 취급되어야 한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

고정된 선택(화이트닝을 아예 안 하거나, 전체를 다 하는 것)은 대부분의 설정에서 성능을 남겨둡니다.
"최적"의 작동 지점은 보편적이지 않으며, 곡률 추정치의 신뢰도와 특정 태스크에 따라 달라집니다.
원칙적인 설계 공간은 기존의 끝단들보다 더 견고한 중간 전략을 가능하게 합니다.
최적의 프리컨디셔닝 강도는 초기화 시의 스펙트럼 통계량으로부터 예측될 수 있으며(ULoRA-Auto를 통해), 이를 통해 값비싼 하이퍼파라미터 탐색 없이도 높은 성능을 유지할 수 있습니다.

저자들은 자신들의 특정 가족 모델이 이 설계 공간의 "첫 번째 인스턴스"임을 강조하며, 프리컨디셔닝 결정을 명시적이고 연속적으로 만드는 것이 핵심 통찰임을 밝히며 결론을 맺습니다.