🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

이 논문은 검증 가능한 보상이 있는 강화 학습(RLVR)에서 저차원 적응(LoRA)을 위한 기하학적 구조 보존 직교 초기화 방식을 제안하며, 이 방식이 풀 파인튜닝(full fine-tuning)과의 격차를 최소화하고 훈련을 안정화하며 수학적 추론 벤치마크에서 PiSSA 및 MiLoRA와 같은 기존 변형 모델보다 우수한 성능을 보임을 이론적으로 입증한다.

원저자: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 이미 세상의 거의 모든 것을 읽은 거대하고 매우 똑똑한 도서관(거대 언어 모델)을 가지고 있다고 상상해 보세요. 당신은 이 도서관에 복잡한 수학 문제를 푸는 것과 같은 새로운 특정 기술을 가르치고 싶습니다.

여기 두 가지 방법이 있습니다:

전체 미세 조정 (Full Fine-Tuning): 도서관의 전체 카탈로그를 다시 쓰고 모든 책을 재정리합니다. 이는 강력하지만 엄청난 양의 에너지와 저장 공간이 필요합니다(마치 새로운 창고 전체가 필요한 것과 같습니다).
LoRA (Low-Rank Adaptation): 전체를 다시 쓰는 대신, 도서관 앞면에 작은 포스트잇 인덱스 카드를 붙입니다. 이 카드에는 새로운 지침이 담겨 있습니다. 이것은 저렴하고 빠르며, 새로운 창고를 요구하지 않습니다.

문제점: "RLVR" 운동법

최근, 모델에게 가르치는 새로운 방법인 RLVR(검증 가능한 보상을 통한 강화 학습)이 인기를 끌었습니다. 이것을 강의실 수업이 아니라, 고강도 체육관 운동이라고 생각하세요.

강의실(지도 미세 조정)에서는 선생님이 단순히 당신의 숙제를 교정해 줍니다.
체육관(RLVR)에서는 모델이 여러 가지 답을 시도하고, 그 답이 맞았는지 틀렸는지에 따라 점수(보상)를 받으며 경험을 통해 배웁니다.

문제는, 강의실에서 완벽하게 작동했던 이 "작은 포스트잇 인덱스 카드"(LoRA)가 체육관에서는 실패하기 시작했다는 점입니다. PiSSA나 MiLoRA라고 불리는 일부 고급 버전의 카드들은 모델을 붕괴시키기도 했는데, 이는 마치 역도 선수가 시작부터 너무 무거운 바벨을 들려고 하는 것과 같았습니다. 훈련은 불안정해졌고, 모델은 학습을 멈추었습니다.

조사: 왜 카드가 망가졌는가?

연구원들은 왜 이 고급 카드들이 실패했는지 조사했습니다. 그들은 두 가지 주요 원인을 찾아냈습니다.

"무거운" 시작: 고급 카드들은 도서관의 기존 지식 중 "가장 중요한" 부분(무겁고 인기 있는 책들)을 즉시 잡아내어 증폭하려고 했습니다. 체육관 환경에서 이것은 스트레칭도 하기 전에 전력 질주를 하려는 것과 같았습니다. 이로 인해 모델이 너무 빠르고 멀리 움직이게 되어, 운동의 규칙을 깨뜨렸습니다.
잘못된 방향: 체육 체육관(RLVR)은 모델이 이미 알고 있는 것을 강화하는 것이 아니라, 새로운 방향을 탐색하기를 요구합니다. 기존의 카드들은 너무 "주요한" 경로에만 집중하여, 모델이 갇히거나 통제력을 잃고 휘청거리게 만들었습니다.

해결책: "기하학적 구조를 보존하는" 인덱스 카드

연구원들은 RLVR을 견뎌내기 위해 인덱스 카드가 직교 정규(orthonormal) 상태여야 한다는 것을 깨달았습니다.

비유:
도서관의 지식이 3차원 공간이라고 상상해 보세요.

표준 LoRA는 종이 위에 무작위로 선을 긋는 것과 같습니다. 작동은 하지만, 다소 무질서합니다.
PiSSA/MiLoRA는 선반 위의 가장 무거운 책들을 따라가려고 애쓰며 선을 긋는 것과 같습니다. 체육관에서 이 선은 너무 "딱딱해서" 툭 끊어져 버립니다.
새로운 방법 (LoRA-RLPO/RLMO): 연구원들은 새로운 인덱스 카드를 설계했습니다. 이 카드는 완벽하게 단단하고 구조적입니다(직교 정규). 이 카드는 무거운 책들을 증폭하려 하지 않는 대신, 추가적인 무게를 더하지 않고 기존 도서관의 기하학적 구조와 완벽하게 일치합니다.

이것은 마치 댄스 파트너와 같습니다.

기존의 고급 카드들은 너무 강한 힘으로 춤을 이끌려고 하여 파트너(모델)를 비틀거리게 했습니다.
새로운 방법은 음악(도서 библиоте의 기존 구조)과 완벽하게 동기화되어 움직이되, 너무 세게 밀지 않는 파트너입니다. 이는 모델이 넘어지지 않고 자유롭게 움직일 수 있도록 댄스 플로어의 형태를 보존합니다.

그들이 한 일

그들은 두 가지 유형의 새로운 인덱스 카드를 만들었습니다:

LoRA-RLPO: "주요한" 경로와 일치하면서도 구조를 가볍고 균형 있게 유지합니다.
LoRA-RLMO: "부차적인" 경로(덜 명확한 경로)와 일치하면서도 구조를 가볍고 균형 있게 유지합니다.

결과

그들이 이 새로운 카드들을 "체육관"(수학적 추론 벤치마크)에서 테스트했을 때:

안정성: 훈련이 중단되지 않았습니다. 모델은 차분하고 안정적인 상태를 유지했습니다.
성능: 모델은 더 빠르게 학습했고, 표준 방식보다 더 높은 점수를 얻었습니다.
"이유": 그들은 인덱스 카드를 "직교 정규"(완벽하게 구조화된) 상태로 유지하고 기존 지식의 무게를 증폭하지 않음으로써, 막대한 에너지 비용 없이도 "전체 재작성" 성능에 근접할 수 있음을 수학적으로 증명했습니다.

요약

이 논문은 다음과 같이 말합니다: "만약 새로운 '체육관' 방식(RLVR)을 사용하여 AI를 훈련시키고 싶다면, 강의실에서 작동했던 화려하고 무거운 인덱스 카드를 사용하지 마세요. 대신, 우리가 만든 완벽하게 구조화된 가벼운 카드를 사용하세요. 이 카드들은 모델을 안정적으로 유지하고, 붕괴를 방지하며, 수학 문제를 훨씬 더 잘 학습하도록 도와줍니다."

또한 그들은 이 방법이 다양한 크기의 모델과 코딩 작업에도 적용된다는 점을 언급했지만, 핵심 발견은 훈련이 폭발하지 않도록 시작하는 방법에 관한 것입니다.

기술 요약: RLVR을 위한 기하학 보존 직교 초기화 (Geometry-Preserving Orthonormal Initialization)

문제 정의

저계수 적응(Low-Rank Adaptation, LoRA) 및 그 변형 모델들이 지도 학습 미세 조정(SFT) 패러다임 하에서는 매개변수 효율적 미세 조정의 표준이 되었으나, 검증 가능한 보상이 있는 강화 학습(RLVR) 환경에서의 동작은 여전히 제대로 이해되지 않고 있습니다. 최근 관찰에 따르면, SFT에서 뛰어난 성능을 보이는 SVD 기반 초기화 전략, 특히 PiSSA(Principal Singular values and Singular vectors Adaptation)와 MiLoRA(Minor LoRA)는 RLVR 설정에서 일반적인 LoRA보다 성능이 떨어지거나 훈련 불안정성을 보이는 경우가 많습니다. 이러한 방법들은 사전 학습된 가중치의 상위- $r$ (PiSSA) 또는 하위- $r$ (MiLoRA) 특이 성분을 사용하여 어댑터를 초기화하며, 종종 특이값 스케일링(singular value scaling)을 포함합니다. 본 논문은 정책 드리프트(policy drift)를 제한하는 암시적 KL-발산 제약이 특징인 RLVR의 독특한 최적화 역학이 SFT에 최적화된 초기화 원칙을 효과적이지 않게 만들거나 오히려 해롭게 만든다고 주장합니다. 핵심 과제는 RLVR 훈련을 안정화하면서도 저계수 적응의 효율성을 유지할 수 있는 초기화 전략을 식별하는 것입니다.

방법론

저자들은 원리적인 초기화 전략을 도출하기 위해 RLVR에서의 LoRA 최적화 역학에 대한 이론적 분석을 제안합니다.

이론적 분석

본 논문은 저계수 행렬 $A$ 가 직교 행(orthonormal rows)으로 초기화되고 $B$ 가 0으로 초기화될 때 LoRA와 전체 미세 조정(full fine-tuning) 사이의 근사 오차(approximation gap)가 최소화됨을 확립합니다.

최적화 역학: $L$ -매끄러운 손실(L-smooth loss)과 유계된 그래디언트(bounded gradients) 가정 하에, 본 논문은 (정리 5.2) LoRA 궤적과 전체 미세 조정 궤적 사이의 오차가 $\|I_n - A_0^\top A_0\|_2$ 항에 의해 제어됨을 증명합니다. 이 항은 $A_0$ 가 직교 행( $A_0 A_0^\top = I_r$ )을 가질 때에만 최소값인 1을 달성합니다.
안정성 경계: 또한, 명제 5.3은 $B_0=0$ 인 직교 초기화가 첫 단계 가중치 업데이트 크기가 전체 미세 조정의 크기를 초과하지 않음을 보장합니다. 이 유계된 업데이트는 RLVR에서 훈련 붕괴를 초래하는 공격적인 정책 변화를 방지하고, 암시적 KL-발산 제약을 충족하는 데 매우 중요합니다.

제안된 초기화 전략

이러한 이론적 통찰을 바탕으로, 저자들은 PiSSA 및 MiLoRA에서 발견되는 파괴적인 특이값 스케일링을 배제하면서 사전 학습된 가중치의 스펙트럼 정보를 유지하는 두 가지 "기하학 보존 직교(Geometry-Preserving Orthonormal)" 초기화 방법을 제안합니다.

LoRA-RLPO (Principal): $A_0$ 를 사전 학습된 가중치 행렬 $W_0$ 의 상위- $r$ 우 특이 벡터( $V_r^\top$ )를 사용하여 초기화하고, $B_0 = 0$ 으로 설정합니다. 이는 어댑터를 사전 학습된 모델의 주성분 방향에 정렬시키면서도 직교성을 유지합니다.
LoRA-RLMO (Minor): $A_0$ 를 $W_0$ 의 하위- $r$ 우 특이 벡터( $V_{-r}^\top$ )를 사용하여 초기화하고, $B_0 = 0$ 으로 설정합니다. 이는 하위 부분 공간(minor subspace)을 타겟팅하지만, MiLoRA와 달리 특이값 스케일링과 비제로(non-zero) $B_0$ 를 피합니다.

두 방법 모두 $B_0=0$ 을 설정하고 특이값( $\Sigma^{1/2}$ )에 의한 스케일링 없이 직교하는 $A_0$ 를 사용한다는 점에서 PiSSA 및 MiLoRA와 다릅니다.

주요 결과

DeepSeek-R1-Distill-Qwen-1.5B 및 Qwen2.5-7B 모델을 사용하여 수학적 추론 벤치마크(GSM8K, MATH500, AIME 2022/2023/2024)에서 DAPO 알고리즘을 통해 실험을 수행했습니다.

성능: LoRA-RLPO는 벤치마크 전반에서 가장 높은 평균 정확도(65.03%)를 기록하며, 일반 LoRA(62.40%)와 LoRA-RLMO(63.76%)를 능가하였고, PiSSA(4.57%)를 크게 앞질렀습니다.
훈련 안정성: KL-발산 및 그래디언트 노름(gradient norms) 모니터링 결과, PiSSA와 MiLoRA는 급격한 KL 증가와 그래디언트 폭발을 겪으며 보상 붕괴(reward collapse)로 이어지는 반면, LoRA-RLPO와 LoRA-RLMO는 일반 LoRA와 비슷하거나 더 낮은 수준의 낮은 KL-발산 궤적을 유지하여 안정적인 최적화를 보여주었습니다.
절제 연구 (Ablation Studies):
- 직교성 vs. 기하학: 모델 불가지론적(model-agnostic) 직교 베이스라인(DCT-LoRA, Wavelet-LoRA)이 일반 LoRA보다 우수한 성능을 보여 직교성 자체의 이점을 확인했습니다. 그러나 LoRA-RLPO는 이러한 모델 불가지론적 방법들을 유의미하게 능가하였는데, 이는 사전 학습된 가중치의 기하학적 구조를 (SVD를 통해) 보존하는 것이 추가적인 이득을 제공함을 입증합니다.
- 실패 분석: 본 논문은 MiLoRA가 거의 0에 가까운 초기화 크기 때문에 실패한다는 가설을 반박하며, 초기 어댑터 노름이 무시할 수 없는 수준임을 보여줍니다. 대신, 불안정성은 부분 공간 기하학과 특이값 스케일링의 결합으로 인해 업데이트가 KL 예산을 초과하여 증폭되는 것에 기인합니다.
- 일반화: 제안된 방법들은 SFT 작업(GLUE, GSM8K)에서도 개선된 수렴 및 성능을 보여주었으며, 이는 그 이점이 RLVR 너머로 확장됨을 시사합니다.

의의 및 주장

본 논문은 왜 SVD 기반 LoRA 변형들(PiSSA, MiLoRA)이 SFT에서는 성공하면서 RLVR에서는 실패하는지에 대한 최초의 이론적 설명을 제공한다고 주장합니다. 저자들은 이러한 실패를 유도하는 두 가지 결합된 요인을 식별했습니다:

부분 공간 기하학 (Subspace Geometry): 선택된 특이 부분 공간이 최적화 궤적을 결정합니다.
특이값 스케일링 (Singular Value Scaling): PiSSA/MiLoRA의 스케일링 인자는 업데이트 크기를 증폭시켜, 안정적인 RLVR 훈련에 필요한 암시적 KL-발산 제약을 빠르게 위반하게 만듭니다.

본 연구의 의의는 **직교 초기화(orthonormal initialization)**를 표준적인 $B_0=0$ 선택과 결합하는 것이 RLVR을 위한 저계수 적응의 원리적인 해결책임을 확립했다는 점에 있습니다. 전체 미세 조정과의 근사 오차를 최소화하고 업데이트 크기를 제한함으로써, 기하학 보존 직교 초기화(LoRA-RLPO/RLMO)는 기존 SVD 기반 방법들에서 관찰된 불안정성을 해결하고 매개변수 효율적인 강화 학습을 위한 견고한 토대를 제공합니다. 저자들은 자신들의 분석이 기존 변형들의 실패와 제안된 접근 방식의 성공을 모두 설명하는 통합된 프레임워크를 제공한다고 강조합니다.