🤖 machine learning

Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning

본 논문은 스티펠 다양체(Stiefel manifold)에 대해 전역 수렴성을 보장하는 역투영(retraction) 및 패널티 매개변수가 없는 최적화 알고리즘을 제안하고, 이를 적용하여 효율적인 학습과 강력한 다운스트림 성능을 달성하는 대규모 언어 모델용 기하학 가속 미세 조정 방법인 Manifold-LoRA를 개발한다.

원저자: Yuan Zhang, Jiang Hu, Zhijian Lai, Lin Lin, Zaiwen Wen

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuan Zhang, Jiang Hu, Zhijian Lai, Lin Lin, Zaiwen Wen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 똑똑한 로봇에게 새로운 언어를 말하거나 특정 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 로봇은 이미 많은 것을 알고 있지만, 너무 거대해서 처음부터 모든 것을 가르치려면 평생이 걸리고 엄청난 비용이 들 것입니다. 그래서 로봇의 뇌 전체를 다시 쓰는 대신, 아주 작고 특별한 부분만을 미세하게 조정하기로 합니다. 이것이 바로 거대 언어 모델의 "파인튜닝(fine-tuning)"의 세계입니다.

하지만 여기 까다로운 문제가 있습니다. 이 작은 부분들을 미세 조정할 때는 매우 엄격한 규칙을 따라야 합니다. 이것은 마치 춤을 추는 것과 같습니다. 발을 너무 멀리 벌리면 균형을 잃고 넘어지게 됩니다. 수학에서 이 "균형"은 "매니폴드(manifold)"라고 불리는 특정한 형태 위에 머무는 것을 의미합니다. 오랫동안 컴퓨터가 이 균형을 유지하는 방식은, 거울을 계속 확인하며 자신이 정확히 어디로 발을 내디뎌야 하는지 계산하고, 다시 완벽한 위치로 발을 강제로 되돌려 놓는 서투른 무용수와 같았습니다. 이 "거울 확인"(retraction이라고 불림)은 매우 느리고 계산 비용이 많이 드는 작업으로, 마치 신발 끈을 묶기 위해 끊임없이 멈춰 서야 하는 마라톤 선수와 같습니다.

다른 무용수 그룹은 다른 접근 방식을 시도했습니다. 그들은 그냥 자유롭게 춤을 추되, 선을 넘지 않기를 바라며 "패널티(penalty)" 시스템을 사용했습니다. 즉, 선을 넘으면 손목을 때리는 벌칙을 주는 방식이었죠. 하지만 이 방식은 심판이 벌칙의 강도를 조절하기 위해 끊임없이 개입해야 했기에 번거롭고 구현하기 어려웠습니다. 컴퓨터 과학의 이 구석진 곳에 던져진 큰 질문은 이것이었습니다. "느린 거울 확인 없이도, 그리고 패널티를 조절하는 심판 없이도 로봇이 완벽하게 춤을 추도록 가르칠 수 있을까?"

이 논문은 "그렇다, 할 수 있다"라고 말합니다. 저자인 위안 장(Yuan Zhang)과 그의 팀은 느린 거울 확인 과정을 건너뛰고 심판의 조정 없이도 패널티를 조절할 필요이 없는 새로운 AI 모델 훈련 방식을 개발했습니다. 그들은 이 새로운 방법을 Manifold-LoRA라고 부릅니다.

그들이 어떻게 해냈는지 설명해 보겠습니다. 로봇이 매 단계마다 완벽하게 균형을 유지하도록 강요하는 대신(이는 속도가 느립니다), 약간의 흔들림이 있더라도 몇 걸음을 내딛도록 허용합니다. 그런 다음, 정교한 수학적 "자석"을 사용하여 로봇을 완벽한 댄스 플로어로 부드럽게 끌어당깁니다. 이 발견의 마법은 이 자석이 얼마나 강해야 하는지를 알아냈다는 점에 있습니다. 그들은 만약 자석의 세기를 특정 값(그들은 1/3이라는 값이 효과적임을 발견했습니다)으로 고정한다면, 로봇이 누군가의 조정 없이도 스스로 자연스럽게 완벽한 위치로 미끄러지듯 돌아올 것임을 증명했습니다.

또한 그들은 우리가 보통 로봇을 가르치는 방식(LoRA라고 불리는 방법)에 숨겨진 중복성이 있다는 것을 깨달았습니다. 이는 마치 한 사람이 충분히 할 수 있는 일을 두 사람이 무거운 상자를 들고 가는 것과 같습니다. 로봇의 조정을 특정 기하학적 형태(Stiefel 매니폴드) 위의 춤으로 취급함으로써, 그들은 이 불필요한 무게를 제거했습니다. 이는 로와가 동일한 과업을 절반의 조정 가능한 부분만으로 학습하거나, 동일한 양의 부분을 두 배 빠르게 학습할 수 있음을 의미합니다.

실험에서 그들은 이 새로운 춤 동작을 독해력 질문 답변부터 창의적인 이야기 생성에 이르기까지 다양한 과업에 테스트했습니다. 결과는 인상적이었습니다. 그들의 방식은 다양한 데이터셋에서 표준 방식보다 두 배 빠르게 수렴(학습 완료)했습니다. 예를 들어, SQuAD 2.0이라는 데이터셋에서 그들의 모델은 절반의 시간 만에 동일한 성능 수준에 도달했습니다. 더욱 놀라운 점은, 표준 방식에 비해 학습 가능한 파라미터 수를 절반만 사용하고도 더 나은 결과를 얻어냈다는 것입니다.

저자들은 단순히 이 방법이 작동할 것이라고 추측한 것이 아니라, 고정된 작은 보폭을 사용하든 줄어드는 보폭을 사용하든, 그들의 방법이 올바른 "댄스 플로어"에 도착하여 최적의 솔루션을 찾는다는 것을 보여주는 엄격한 수학적 증명을 제공했습니다. 그들은 이 접근 방식이 더 빠를 뿐만 아니라 더 안정적이며, 즉 로봇이 학습하는 동안 혼란을 겪거나 비틀거리지 않는다는 것을 보여주었습니다.

요약하자면, 이 논문은 거대 AI 모델을 가르치는 더 매끄러운 새로운 방법을 제시합니다. 느리고 무거운 계산과 불필요한 조정을 제거함으로써, 이 모델들이 더 빠르고 효율적으로 학습할 수 있게 해줍니다. 이것은 마치 무용수에게 거울을 계속 확인하는 대신 바닥의 감각을 느껴서 균형을 잡도록 가르치는 것과 같으며, 그 결과 더 빠르고 우아한 퍼포먼스를 만들어냅니다.

기술 요약: LoRA 미세 조정을 위한 스티펠 다양체(Stiefel Manifold) 상의 무회귀(Retraction-Free) 최적화

문제 정의
스티펠 다양체( $St(d, r) = \{X \in \mathbb{R}^{d \times r} : X^\top X = I\}$ ) 상의 최적화는 머신러너닝에서 매우 중요하지만, 기존 방법론들은 두 가지 주요 과제에 직면해 있습니다. 첫째, 회귀 기반 알고리즘(예: 리만 경사 하강법)은 매 반복마다 비용이 많이 드는 직교 정규화 단계(QR 분해 또는 행렬 역행렬 계산 등)를 요구하며, 이는 대규모 행렬에 대한 확장성을 저해합니다. 둘째, 페널티 함수를 사용하여 직교 정규화를 피하는 무회귀 "랜딩(landing)" 방식은 일반적으로 세심하게 조정된 스텝 사이즈와 페널티 파라미터에 의존하며, 수렴을 보장하기 위해 알 수 없는 페널티 파라미터를 필요로 하는 경우가 많습니다.

또한, 대규모 언어 모델(LLM) 미세 조정의 맥락에서, 저차원 적응(LoRA)은 표현 중복성(representation redundancy) 문제를 겪습니다. 표준 분해인 $\Delta W = BA$ 는 비고유적입니다(즉, 임의의 가역 행렬 $C$ 에 대해 $BA = (BC)(C^{-1}A)$ 가 성립함). 이는 전통적인 방법들이 활용하지 못하는 중복된 자유도가 최적화 지형(optimization landscape) 내에 존재함을 의미하며, 잠재적으로 모델 성능을 제한할 수 있습니다.

방법론
저자들은 최적화 알고리즘과 LoRA 정식화 모두를 다루는 통합 프레임워크를 제안합니다:

무회귀 및 페널티 파라미터 프리 최적화:
본 논문은 회귀 연산자 없이 다양체로 직접 "착륙(land)"하는 알고리즘을 도입합니다. 업데이트 규칙은 다음과 같습니다:
$X_{k+1} = X_k - \alpha_k P_{T_{X_k}St(d,r)}(g_k) - \mu X_k(X_k^\top X_k - I)$
여기서 $P_{T_{X_k}St(d,r)}$ 는 접공간(tangent space)으로의 투영이며, $g_k$ 는 확률적 경사(stochastic gradient)이고, 두 번째 항은 이차 페널티 함수 $\phi(X) = \frac{1}{4}\|X^\top X - I\|^2$ 의 경사입니다.

핵심 이론적 통찰: 스티펠 다양체의 "근사적 매끄러움(proximal smoothness)"을 활용하고 페널티 함수에 대한 "제한적 보안 부등식(restricted secant inequality, RSI)"을 확립함으로써, 저자들은 특정 명시적 페널티 파라미터( $\mu = 1/3$ )가 수렴을 보장하기에 충분하다는 것을 증명했습니다. 이를 통해 $\mu$ 를 튜닝해야 하는 번거로움을 제거했습니다.
스텝 사이즈 전략: 이 방법은 손실 경사에 대해서는 감쇠하는 스텝 사이즈를, 페널티 경사에 대해서는 상수 스텝 사이즈를 사용하는 두 가지 척도(two-scale) 스텝 사이즈 전략을 채택합니다. 이는 분산 최적화 문헌에서 착안되었습니다.

Manifold-LoRA 정식화:
LoRA의 중복성을 해결하기 위해, 저자들은 미세 조정 문제를 스티펠(또는 Oblique) 다양체와 유클리드 공간의 곱으로 구성된 최적화 문제로 재정의합니다. 여기서 $B$ 는 다양체 상에 제약되어 기저(basis) 역할을 수행하고, $A$ 는 유클리드 공간에 남아 좌표(coordinates) 역할을 수행합니다.

Manifold-LoRA 알고리즘은 투영 경사(projected gradients)를 사용하여 $B$ 에 대해 무회귀 업데이트를 적용하고, $A$ 에 대해서는 표준 업데이트를 적용합니다.
또한 $A$ 와 $B$ 의 서로 다른 립시츠 상수(Lipschitz constants)를 고려하여, $A$ 와 $B$ 의 $\ell_2$ 노름에 기반한 적응형 스텝 사이즈 전략을 포함합니다.

주요 기여

명시적 페널티 파라미터: 본 논문은 수렴을 보장하는 명시적 페널티 파라미터( $\mu = 1/3$ )의 존재를 증명하여, 기존 랜딩 방식에서 요구되던 휴리스틱한 튜닝을 제거했습니다.
수렴 보장: 저자들은 다음과 같은 최적의 반복 복잡도(iteration complexities)를 갖는 전역 수렴성을 확립했습니다:
- 결정론적 설정: 상수 스텝 사이즈를 사용하여 정확히 정지점(stationary point)으로 수렴합니다(기존 결과가 근방으로의 수렴만을 보장했던 것보다 개선됨). 복잡도는 $O(1/K)$ 입니다.
- 확률적 설정: 손실 경사에 대해 $O(\log K / \sqrt{K})$ , 제약 위반에 대해 $O(\log K / K)$ 의 복잡도를 달성하여, 기존의 단일 척도 스텝 사이즈 접근 방식보다 우수한 성능을 보입니다.
Manifold-LoRA 알고리즘: 다양체 기하학을 활용하여 LoRA의 중복성을 제거하는 새로운 미세 조정 프레임워크를 제안합니다. 이 알고리즘은 제안된 랜딩 기술을 사용하며, 표준 방법들과 비교했을 때 계산 오버헤드가 거의 없습니다.
계산 효율성: 직교 정규화를 위해 $O(dr^2 + r^3)$ 의 연산을 요구하는 회귀 기반 방법과 달리, 제안된 방법은 $O(dr^2)$ 복잡도를 갖는 확장 가능한 BLAS3 연산에 의존합니다.

실험 결과
저자들은 자연어 이해(GLUE), 질의응답(SQuAD v1.1/v2.0), 자연어 생성(E2E) 태스크와 LLaMA 모델에 대한 스케일링 실험을 통해 Manifold-LoRA를 평가했습니다.

수렴 속도: SQuADv2.0 및 CoLA와 같은 데이터셋에서 Manifold-LoRA는 바닐라 LoRA에 비해 훈련 에포크 기준 약 2배 빠른 수렴 속도를 달s성했습니다.
성능: Manifold-LoRA는 바닐라 LoRA 및 기타 매개변수 효율적 미세 조정(PEFT) 베이스라인(Adapter, BitFit)보다 일관되게 우수한 성능을 보였습니다. 특히, 절반의 학습 가능 파라미터(rank $r=8$ )를 가진 Manifold-LoRA가 rank $r=16$ 인 바닐라 LoRA와 대등하거나 더 높은 성능을 보이는 경우가 많았습니다.
스케일링: 1B에서 8B 파라미터 모델(LLaMA3)로 이어지는 스케일링 실험에서, Manifold-LoRA는 독해(SQuAD, QuAC) 및 수학적 추론(GSM8K, MATH) 태스크에서 베이스라인 대비 성능 우위를 유지했습니다.
다양체 일관성: $B^\top B$ 시각화를 통해 학습된 행렬이 목표 다양체 기하 구조에 밀접하게 부합함을 확인했습니다.

의의 및 주장
본 논문의 주요 의의는 이론적 다양체 최적화와 실질적인 LLM 미세 조정 사이의 간극을 메우는 데 있습니다. 무회귀, 페널티 파라미터 프리 알고리즘과 엄격한 수렴 보장을 제공함으로써, 직교 정규화라는 계산적 병목 현상과 페널티 파라미터 튜닝의 부담을 제거했습니다.

저자들은 LoRA를 다양체 최적화 문제로 재정의하는 것이 저차원 분해에 내재된 중복성을 효과적으로 해결한다고 주장합니다. 이러한 기하학적 접근 방식은 훈련을 가속화할 뿐만 아니라 다운스트림 성능을 향상시키며, 이는 다양체 제약을 활용하는 것이 더 효율적이고 효과적인 매개변수 효율적 미세 조정을 위한 유망한 경로임을 시사합니다. 본 연구는 대규모 머신러닝을 위한 확장 가능한 기하학 인식 최적화의 한 단계로서 스스로를 위치시키며, 향후 일반적인 다양체로 이러한 이론을 확장하고 이러한 제약된 적응의 일반화 동작을 체계적으로 연구할 필요가 있음을 인정하고 있습니다.

기술 요약: LoRA 미세 조정을 위한 스티펠 다양체(Stiefel Manifold) 상의 무회귀(Retraction-Free) 최적화

유사한 논문