💬 NLP

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

PoLoRA는 제품 인식 스펙트럼 업데이트(product-aware spectral updates), 곡률 프리컨디셔닝(curvature preconditioning), 그리고 크기 제어 규칙(magnitude control rule)을 결합하여 표준 Adam에 비해 더 빠른 수렴, 학습률 안정성, 그리고 랭크 선택에 대한 낮은 민감도를 달면서도 계산 오버헤드를 최소화하도록 설계된 저계수 적응(LoRA)을 위한 새로운 옵티마이저입니다.

원저자: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이미 인터넷의 거의 모든 내용을 읽은 거대하고 매우 똑똑한 로봇에게 파이썬 코드를 작성하거나 심화 수학 문제를 푸는 것과 같은 특정한 새로운 직업을 가르치려 한다고 상상해 보세요. 로봇은 거대하며, 매번 새로운 직업을 위해 로봇의 뇌 전체를 처음부터 다시 훈련시키는 것은 시간이 너무 오래 걸리고 엄청난 비용이 듭니다. 그래서 과학자들은 "저차원 적응(Low-Rank Adaptation, LoRA)"이라는 영리한 기술을 발명했습니다. 로봇의 뇌를 거대한, 얼어붙은 도서관이라고 생각해 보세요. 책들을 새로 쓰는 대신, LoRA는 선반에 작은 포스트잇 시스템을 추가합니다. 이 포스트잇은 작고 조절 가능한 층(layer)으로, 원래의 도서관은 건드리지 않은 채 로봇에게 새로운 기술을 빠르게 가르칠 수 있습니다.

보통 과학자들이 이 포스트잇을 훈련시킬 때, "Adam"이라는 표준적이고 신뢰할 수 있는 방법을 사용합니다. 이는 마치 모든 방향으로 작고 꾸준한 발걸음을 내디디며 움직이기 전에 지면을 확인하는 신중한 등산가와 같습니다. 이 방법은 효과적이지만, 때로는 느릴 수 있고 포스트잇의 복잡한 형태 때문에 혼란을 겪기도 합니다. 최근 연구자들은 이 포스트잇이 단순한 숫자 목록이 아니라 격자(grid)라는 점을 이해하는 더 "행렬 인식적인(matrix-aware)" 등산가를 사용하여 속도를 높이려 시도했지만, 이것이 신중한 등산가보다 일관되게 더 나은 성능을 보여주지는 못했습니다. 이 논문은 다음과 같은 질문을 던집니다. 우리가 이 포스트잇에 특화되어 더 빠르고, 더 똑똑하며, 사용하기 쉬운 더 나은 등산가를 만들 수 있을까요?

저자들은 PoLoRA(Preconditioned Orthogonalized LoRA)라는 새로운 옵티마이저(optimizer)를 소개합니다. 그들은 단순히 포스트잇을 평평한 숫자 목록으로 취급하는 것(Adam이 하는 방식)이나, 단순히 표준적인 행렬 인식형 등산가를 사용하는 것만으로는 충분하지 않다는 것을 발견했습니다. 대신, PoLoRA는 학습 지형을 더 효율적으로 탐색하기 위해 세 가지 전략을 사용합니다. 첫째, 포스트잇의 두 부분이 하나의 곱(product)으로서 함께 작동한다는 것을 이해하고, 개별적으로가 아닌 하나의 팀으로서 조정합니다. 둘째, 각 데이터에 대해 경사가 얼마나 가파른지 파악하는 "곡률 지도(curvature map)"를 사용하여 더 똑똑한 발걸음을 내디딥니다. 셋째, 각 발걸음의 크기에 대한 엄격한 규칙을 가져, 로봇이 비틀거리거나 목표치를 지나치지 않도록 보장합니다.

연구진이 10억 개에서 80억 개의 파라미터를 가진 모델들을 대상으로 PoLoRA를 테스트했을 때, 결과는 유망했습니다. 수학 및 코딩 작업에서 PoLoRA는 가장 잘 튜닝된 Adam 옵티마이저와 동일한 수준의 성능에 도달하는 데 **1.2~1.7배 적은 단계(steps)**만을 필요로 했습니다. 즉, 훨씬 더 빨리 경주를 마쳤습니다. 예를 들어, 특정 수학 과제에서 목표 지점에 도달하는 데 1.63배 적은 단계가 걸렸습니다. 이러한 속도 향상에도 불구하고, 각 단계에 필요한 추가 계산 능력은 미미하여 단계당 시간을 최대 **3%**까지만 늘렸습니다.

또한 저자들은 PoLoRA가 기존 방식보다 훨씬 더 관대하다는 것을 발견했습니다. Adam은 "학습률(learning rate, 발걸음의 크기)"을 매우 정밀하게 조정해야 하며, 이 비율은 포스트잇의 크기에 따라 변하지만, PoLoRA의 최적 학습률은 다양한 크기에서도 안정적으로 유지됩니다. 이는 연구자들이 적절한 설정을 찾기 위해 몇 주 동안 추측하며 시간을 허비하지 않고도 쉽게 사용할 수 있게 해줍니다.

하지만 저자들은 이것이 모든 것을 해결하는 마법의 탄환은 아니라고 주의를 기울입니다. 그들은 기존의 "행렬 인식형" 옵티마이저(예: Muon)를 포스트잇에 직접 적용하는 것만으로는 Adam보다 성능을 일관되게 개선할 수 없다는 것을 명시적으로 발견했습니다. 곱의 구조를 이해하고, 샘플당 손실(loss)을 제어하며, 단계 크기를 관리하는 이 구체적인 조합이 PoLoRA를 작동하게 만든 핵심이었습니다. 이 방법은 속도를 유지하기 위해 곡률 지도를 대각선(diagonal) 형태로 단순화하는 것과 같은 근사치(approximations)에 의존하며, 결과는 언어 모델을 별도의 테스트 데이터로 미세 조정(finetuning)한 것에 기반합니다. 속도 향상은 실험에서 명확히 나타나지만, 저자들은 이러한 이점이 모든 곳에서 유지되는지 확인하기 위해 더 긴 학습 과정이나 다른 유형의 어댑터에 대한 추가 테스트가 필요하다고 제안합니다.

요약하자면, PoLoRA는 거대 AI 모델에게 새로운 기술을 가르치는 더 효율적인 방법을 제공합니다. 이는 작은 조절 가능 부분들에 대해 약간의 기하학적 주의를 기울임으로써, 때로는 앞으로 나아가는 가장 좋은 방법이 자신이 걷고 있는 길의 모양을 이해하는 것임을 증명합니다.

기술 요약: PoLoRA

문제 정의

저차원 적응(LoRA)은 기본 가중치 $W_0$ 를 고정하고 저차원 업데이트 $\Delta W = \frac{\alpha}{r} BA$ 를 학습함으로써 대규모 언어 모델(LLM)을 효율적으로 미세 조정하는 표준 기법입니다. 여기서 $B \in \mathbb{R}^{d_{out} \times r}$ 이고 $A \in \mathbb{R}^{r \times d_{in}}$ 입니다. 표준적인 최적화 방식은 Adam을 $A$ 와 $B$ 라는 인자(factors)에 독립적으로 적용하며, 파라미터를 평탄한 벡터로 취급하고 기저에 깔린 행렬 및 곱셈 구조를 무시합니다.

Muon과 같은 행렬 인식(matrix-aware) 옵티마이저는 전체 가중치 행렬의 사전 학습(pretraining)에서 Adam보다 우수한 성능을 입증했지만, 이를 LoRA 인자에 단순히 적용하는 것은 일관된 이득을 가져다주지 못합니다. 또한, 제품 구조($BA$)를 고려하려고 시도한 동시적인 "제품 인식(product-aware)" 변형들(예: iMuon) 역시 Adam보다 지속적으로 우수한 성능을 보이지 못했습니다. 핵심적인 과제는 모델이 병합된 곱 $BA $를 관찰하는 반면, 옵티마이저는 개별 인자인$ A $와$ B$에 작용한다는 점입니다. 기존 방법들은 제품 구조를 무시하거나, 결과적으로 생성되는 병합된 업데이트의 크기를 효과적으로 제어하지 못합니다.

방법론

저자들은 제약 조건이 있는 최속 하강법(constrained steepest descent)에서 유도된 옵티마이저인 PoLoRA(Preconditioned Orthogonalized LoRA)를 소개합니다. 이 방법은 세 가지 핵심 요소로 구성됩니다.

1. 제품 인식 스펙트럼 업데이트 방향 (Product-Aware Spectral Update Direction)

$A$ 와 $B$ 를 독립적인 행렬으로 취급하는 대신, PoLoRA는 병합된 가중치의 선형화된 변화 $\Delta W \approx B\Delta A + \Delta B A$ 를 기반으로 업데이트 방향을 공식화합니다.

유도: 저자들은 단순한 가중치 행렬의 스펙트럼 노름(spectral norm) 제한이 아니라, 샘플당 손실(per-sample loss)의 변화에 대한 제약을 최소화하는 선형 최소화 오라클(Linear Minimization Oracle, LMO)을 정의합니다.
외부 그래디언트 집합: per-sample 그래디언트를 저장하지 않고도 이를 실행 가능하게 만들기 위해, 저자들은 그래디언트 공분산의 크로네커 인수 분해(Kronecker-factored) 근사를 기반으로 중심 대칭적인 외부 그래디언트 집합 $\mathcal{G}$ 를 구축합니다.
결과: 이는 업데이트가 곡률 추정치( $P$ 와 $Q$ )에 의해 프리컨디셔닝(preconditioned)되고, 프리컨디셔닝된 그래디언트에 행렬 부호 함수(matrix sign function, polar decomposition)가 적용된 방향을 산출합니다. 이는 $BA$ 구조를 존중하는 "Product Muon" 방향을 생성합니다.

2. 곡률 프리컨디셔닝 (Curvature Preconditioning)

PoLoRA는 업데이트 방향의 크기를 조절하기 위해 곡률 정보를 포함합니다.

근사: 프리컨디셔너 $P$ 와 $Q$ 는 인자 그래디언트의 2차 모멘트로부터 유도된 대각 행렬로 근사되며, 이는 Adafactor 및 KL-Shampoo와 유사합니다.
메커니즘: 이러한 프리컨디셔너는 서로 다른 방향이 손실을 어떻게 변화시키는지 고려하여 그래디언트 방향을 적응적으로 스케일링하며, 이는 제품 인식 메트릭 내에서 그래디언트 공간을 효과적으로 백색화(whitening)합니다.

3. 크기 제어 (Magnitude Control)

PoLoRA의 결정적인 구성 요소는 업데이트의 크기를 제어하는 명시적인 규칙입니다.

문제: 제품 인식 방향(예: Product Muon)은 병합된 선형화된 업데이트의 스펙트럼 노름은 제어하지만, 개별 인자의 단계인 $\|\Delta A\|$ 와 $\|\Delta B\|$ 는 제어하지 못합니다. 이는 하나의 인자가 작은 특이값(singular values)을 가질 경우 불안정성을 초ด할 수 있습니다.
해결책: PoLoRA는 인자 업데이트의 스펙트럼 노름 $\|\Delta A\|_2 = \|\Delta B\|_2 = \rho$ 를 설정하는 크기 규칙을 도입하며, 여기서 $\rho = \frac{\eta}{\|A\|_2 + \|B\|_2}$ 입니다. 이는 병합된 업데이트 $\|\Delta W\|_2$ 가 학습률 $\eta$ 에 의해 유계(bounded)되도록 보장하여, 병합된 곱에 대한 스펙트럼 경계를 유지하면서도 불안정화를 방지합니다.

주요 기여

PoLoRA 옵티마이저: 제품 인식 스펙트럼 방향, 곡률 프리컨디셔닝, 그리고 명시적 크기 제어를 결합한 새로운 옵티마이저입니다.
이론적 유도: 샘플당 손실 제어 관점으로부터 업데이트 방향을 유도하여, LoRA 인자를 위한 프리컨디셔닝된 직교화 업데이트를 도출했습니다.
크기 규칙 (Magnitude Rule): 안정성과 일관된 성능을 보장하는 특정 스케일링 규칙을 식별하고 구현함으로써, 기존의 제품 인식 방법들과 차별화했습니다.
경험적 검증: 다양한 모델 크기(1B~8B), 데이터셋(코드, 수학, 저자원 언어), 그리고 랭크(rank)에 걸쳐 PoLoлоRA가 Adam 및 기타 행렬 인식 베이스라인들을 일관되게 능가함을 보여주는 포괄적인 평가를 수행했습니다.

실험 결과

저자들은 1B에서 8B 파라미터 규모의 모델(OLMo-2-1B, Llama-3.2-1B, Qwen2.5-1.5B, Llama-3-8B)을 사용하여 코드 및 수학용 지시어 튜닝(instruction-tuning) 데이터셋에 대해 PoLoRA를 평가했습니다.

단계 효율성 (Step Efficiency): PoLoRA는 Adam이 도달하는 최종 홀드아웃 손실(held-out loss)에 1.2~1.7배 적은 단계로 도달합니다. 예를 들어, 수학 데이터로 튜닝된 Llama-3.2-1B의 경우, 목표 손실에 1.63배 빠르게 도달합니다.
벽시계 시간 효율성 (Wall-Clock Efficiency): 경량화된 대각 프리컨디셔너와 효율적인 수치 서브루틴(power iteration, Gram Newton–Schulz) 덕분에, Adam 대비 per-step 오버헤드는 최대 **3%**에 불과합니다. 결과적으로, 벽시계 시간의 가속도는 단계(step) 가속과 거의 유사하게 나타납니다.
절제 연구 (Ablation Studies): 곡률 프리컨디셔닝이나 크기 제어 중 하나라도 제거하면 PoLoRA는 Adam보다 속도 향상이 없는 Product Muon으로 퇴보합니다. 저자들은 각 구성 요소(곡률 및 크기)가 전체 속도 향상 격분의 약 절반씩을 차지한다고 주장합니다.
하이퍼파라미터 안정성: PoLoRA는 Adam보다 학습률(learning rate)에 덜 민감합니다. 특히, Adam의 최적 학습률은 랭크 변화에 따라 크게 변하는 반면, PoLoRA의 최적 학습률은 다양한 LoRA 랭크( $r \in \{32, 64, 128, 256\}$ )에 대해 안정적으로 유지됩니다.
분포 변화 (Distribution Shift): Adam 대비 속도 향상은 사전 학습 분포와 크게 다른 데이터(예: 벵골어와 같은 저자원 언어)에서 미세 조정할 때, 코드와 같이 잘 알려진 도메인에서보다 더 두드러지게 나타납니다.

의의 및 주장

본 논문은 PoLoRA가 LoRA 미세 조정에서 Adam에 대해 일관된 가속을 제공한다고 주장하며, 이는 이전의 행렬 인식 및 제품 인식 옵티마이저들이 신뢰성 있게 달성하지 못했던 성과입니다. 그 의의는 LoRA 인자를 독립적인 벡터로 취对待하는 것에서 벗어나, 제어된 크기를 가진 결합된 곱으로 최적화했다는 점에 있습니다.

저자들은 자신들의 접근 방식이 복잡한 하이퍼파라미터 재스케일링(LoRA+ 또는 Rank-stabilized LoRA와 같은)에 의존하지 않고, 오히려 업데이트 규칙 자체를 변경한다는 점을 강조합니다. 또한, 선형화 근사에 의존하며(고차 항인 $\Delta B \Delta A$ 를 무시함) 효율성을 위해 대각 프리컨디셔너를 사용한다는 한계를 인정합니다. 그러나 저자들은 샘플당 손실 제어 관점과 크기 규칙이 저차원 곱을 최적화하기 위한 강력한 프레임워크를 제공하며, 이는 LoRA를 넘어 다른 맵 합성(map compositions)이나 사전 학습 시나리오에도 적용될 수 있다고 봅니다.