📊 statistics

An Overview of Low-Rank Structures in the Training and Adaptation of Large Models

이 튜토리얼 논문은 대규모 딥러닝에서 저계수 구조(low-rank structures)의 출현과 활용을 검토하며, 최적화 역학 및 암묵적 정규화로부터 얻은 이론적 통찰과 효율적인 학습, 미세 조정(예: LoRA), 그리고 마스크 학습 전략에서의 실질적인 응용 사례를 연결한다.

원저자: Laura Balzano, Tianjiao Ding, Benjamin D. Haeffele, Soo Min Kwon, Qing Qu, Peng Wang, Zhangyang Wang, Can Yaras

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Laura Balzano, Tianjiao Ding, Benjamin D. Haeffele, Soo Min Kwon, Qing Qu, Peng Wang, Zhangyang Wang, Can Yaras

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거대하고 의욕이 넘치는 로봇에게 새로운 언어를 가르치거나 특정 종류의 꽃을 인식하도록 가르치려 한다고 상상해 보세요. 이 로봇은 뇌 속에 수십억 개의 아주 작은 톱니바퀴(파라미터)를 가진 거대한 존재입니다. 보통 이 로봇에게 새로운 것을 가르치려면 거의 모든 톱니바퀴를 미세하게 조정해야 합니다. 그러려면 슈퍼컴퓨터와 엄청난 양의 전기, 그리고 긴 시간이 필요합니다. 이는 마치 창문 하나 색깔을 바꾸기 위해 마천루 전체를 다시 칠하는 것과 같습니다.

하지만 이 논문이 발견한 놀라운 사실은 다음과 같습니다: 사실 대부분의 톱니바퀴는 건드릴 필요가 없다는 것입니다.

비밀: 로봇은 뇌의 아주 작은 구석만을 사용한다

저자들은 이 거대한 로봇들이 학습할 때 자연스럽게 어떤 패턴에 빠진다는 것을 발견했습니다. 로봇에게 수십억 개의 톱니바퀴가 있음에도 불구하고, 실제로는 매우 작고 특정한 세트의 톱니바퀴들만 주로 움직입니다. 나머지 톱니바퀴들은 거의 꿈쩍도 하지 않습니다.

이것은 1,000명의 음악가가 있는 거대한 오케스트라를 생각하면 쉽습니다. 새로운 곡을 연주할 때, 당신은 모든 사람이 새로운 파트를 연주할 것이라고 예상할 수도 있습니다. 하지만 실제로 약 10명의 음악가만이 새로운 멜로디를 연주하고 있고, 나머지 990명은 악기를 든 채 가만히 있는 상태입니다. 이 논문은 이러한 "저차원(low-rank)" 행동(몇몇 부분만이 움직이는 현상)이 단순한 수학 기계든 복잡한 현대적 AI든 관계없이, 학습 과정 중에 자연스럽게 발생한다는 것을 보여줍니다.

어떻게 증명했나: 춤을 관찰하기

연구진은 단순히 추측한 것이 아니라, 로봇이 학습하는 과정을 실시간으로 관찰했습니다. 그들은 로봇의 뇌 속에서 숫자들이 추는 "춤"을 살펴보았습니다.

관찰: 그들은 "특이값(singular values)"(얼마나 많은 톱니바퀴가 움직이는지를 측정하는 멋진 수학적 방법)을 추적했습니다. 그들은 로봇이 학습함에 따라 오직 아주 적은 수의 값들만이 유의미하게 변한다는 것을 발견했습니다. 나머지는 평평하고 조용하게 유지되었습니다.
증거: 그들은 이것이 단순한 수학 모델(엄격한 수학으로 증명 가능한 모델)에서 일어나는 것을 보여주었고, 그 후 이미지와 언어에 사용되는 실제 복잡한 AI 모델에서도 이 현상이 일어남을 확인했습니다.
주의사항: 엄격한 수학적 증명은 현재 단순한 선형 모델에 대해서만 가능합니다. 복잡한 실제 모델의 경우, 논문은 증거가 "널리 퍼져 있으며(prevalent)" "경험적(empirical)"이라고 말합니다. 즉, 실험을 통해 반복적으로 확인했지만, 가장 복잡한 버전들에 대한 완전한 수학적 이론은 여전히 구축 중이라는 뜻입니다.

마법의 기술: LoRA (Low-Rank Adaptation)

로봇이 자연스럽게 몇 개의 톱니바퀴만을 움직이기 때문에, 이 논문은 왜 LoRA라는 기술이 잘 작동하는지 설명합니다.

과거의 방식: 로봇에게 새로운 과업을 가르치기 위해 예전에는 모든 톱니바퀴를 조정하려고 노력했습니다. 이는 무겁고 느립니다.
LoRA 방식: 거대한 기계를 직접 건드리는 대신, 거대 기계에 작고 가벼운 "어댑터(작은 추가 톱니바퀴 세트)"를 부착합니다. 당신은 이 작은 어댑터만을 학습시킵니다.
결과: 논문은 이 작은 어댑터가 거의 모든 핵심적인 역할을 수행한다는 것을 보여줍니다. 이는 마치 로봇의 얼굴 전체를 재건축하는 대신, 새로운 과업을 볼 수 있도록 작은 안경을 씌워주는 것과 같습니다. 이는 엄청난 양의 메모리와 컴퓨팅 파워를 절약해 줍니다.

튜닝 기술: 만능은 없다

논문은 또한 모든 어댑터가 다 똑같지는 않다는 점을 지적합니다.

학습률 문제: 만약 어댑터의 두 부분을 정확히 같은 속도로 학습시키려 한다면, 한 부분은 게을러지고 다른 부분은 너무 과하게 흥분할 수 있습니다. 논문은 균형을 맞추기 위해 서로 다른 속도를 사용하는 기술("LoRA+"라고 불림)을 제안하며, 이를 통해 로봇이 더 빠르게 학습할 수 있다고 말합니다.
Rank 문제: 당신의 작은 어댑터에 얼마나 많은 톱니바퀴를 넣어야 할까요? 너무 적으면 충분히 배울 수 없고, 너무 많으면 에너지를 낭비하게 됩니다. 논문은 로봇의 깊은 층(복잡한 개념을 이해하는 부분)이 얕은 층보다 더 적은 톱마바퀴를 필요로 할 수 있다고 제안합니다. 그들은 각 뇌 부위에 딱 맞는 톱니바퀴 수를 자동으로 찾아내는 "Deep LoRA"와 같은 방법들을 제안합니다.

그래디언트(Gradient): "업데이트" 또한 매우 작다

로봇이 학습하는 방식에 관한 또 다른 멋진 발견이 있습니다. 로봇이 실수를 하면, 스스로를 고치기 위한 신호인 "그래디언트(gradient)"를 계산합니다. 논문은 이 수정 신호조차도 대부분 비어 있다는 것을 보여줍니다!

비유: 로보가 직선으로 걸으려고 노력하고 있다고 상상해 보세요. 다리에 전달되는 수정 신호는 대부분 "지금 하는 대로 계속해"라는 내용이며, 특정 방향으로 아주 살짝 밀어주는 정도의 신호만 포함되어 있습니다.
이점: 이 수정 신호들이 매우 단순하기(low-rank) 때문에, 연구자들은 이를 압축하는 방법을 찾아냈습니다. 거대한 신호 전체를 저장하는 대신, 그 안의 작고 중요한 부분만을 저장할 수 있습니다. Gaore라고 불리는 한 방법은 이 거대한 로봇들을 학습시키는 데 필요한 메모리를 최대 **65.5%**까지 줄일 수 있다고 언급합니다. 이는 도서관 전체를 배낭 안에 담는 것과 같습니다.

이 논문이 말하지 않는 것

이 논문이 주장하지 않는 바를 아는 것도 중요합니다:

이 논문은 로봇의 최종적인 뇌가 단순하다고 말하는 것이 아닙니다. 최종적인 뇌는 여전히 거대하고 복잡합니다. 단지 그곳에 도달하기 위해 행해진 변화들이 단순했다는 뜻입니다.
이 논문은 우리가 거대 모델의 학습을 완전히 중단할 수 있다고 말하는 것이 아닙니다. 우리는 여전히 학습을 해야 하지만, 훨씬 더 효율적으로 할 수 있다는 것입니다.
이 논문은 이것이 조정 없이 모든 상황에서 완벽하게 작동한다고 주장하는 것이 아닙니다. 논문은 복잡한 비선형 모델의 경우 수학적 작업이 여전히 진행 중이며, 때로는 작은 어댑터를 사용하기 전에 "full-rank(거대한)" 학습 단계가 먼저 필요할 수 있다고 언급합니다.

결론

핵-결론은 거대 AI 모델이 놀라울 정도로 효율적인 학습자라는 점입니다. 이들은 자연스럽게 뇌의 작고 저차원적인 구석에 에너지를 집중합니다. 이를 이해함으로써, 우리는 더 스마트하고, 빠르고, 저렴한 방식으로 이들을 학습시키는 방법을 구축할 수 있습니다. 우리는 산 전체를 옮길 필요가 없습니다. 그저 어떤 자갈을 굴려야 할지만 알면 됩니다. 이 논문은 비록 가장 복잡한 모델에 대한 완전한 수학적 이론은 아직 완성 중일지라도, 이것이 이러한 기계들이 학습하는 방식의 근본적인 규칙임을 강력한 증거와 시뮬레이션을 통해 시사하고 있습니다.

기술 요약: 대규모 모델의 학습 및 적응 과정에서의 저계수 구조(Low-Rank Structures) 개요

문제 정의

현대의 대규모 딥러닝 모델은 학습 및 배포 과정에서 상당한 계산 및 메모리 문제를 직면하고 있으며, 이는 막대한 비용, GPU 부족, 에너지 소비에 대한 우려로 이어지고 있습니다. 고전적인 신호 처리와 통계적 추론은 데이터의 저계수성(low-rankness)과 희소성(sparsity)을 활용하여 샘플 복잡도를 줄여왔으나, 최첨단 딥러닝 모델은 파라미터 수가 학습 샘플 수보다 훨씬 많은 과매개변수화(overparameterized) 영역에서 작동하는 경우가 많습니다. 이러한 환경에서는 높은 성능을 달升하기 위해 명시적인 규제(regularization)가 반드시 필요한 것은 아니지만, 왜 이러한 모델들이 잘 일반화되는지에 대한 이론적 이해는 고전적인 방법론에 비해 여전히 제한적입니다.

모델이 학습 중에 가중치, 그래디언트(gradient), 활성화 함수(activation) 내에서 어떻게 저계수 구조를 본질적으로 학습하는지에 대한 이론적 이해에는 중요한 격차가 존재합니다. 경험적 증거는 이러한 구조가 널리 퍼져 있음을 시사하지만, 효율적인 학습과 적응을 위한 수학적 기초와 실질적인 응용을 연결하는 포괄적인 프레임워크가 필요합니다.

방법론 및 이론적 프레임워크

본 논문은 저계수 구조를 식별하고 활용하는 진보된 기술들을 두 가지 상호 보완적인 이론적 관점에 따라 정리한 튜토리얼 스타일의 리뷰를 제공합니다.

최적화 역학에서의 구조(Structure in Optimization Dynamics): 이 관점은 모든 반복 단계(iteration)에서의 반복적 최적화 알고리즘(특히 경사 하강법)의 궤적을 분석합니다. 이는 딥 네트워크의 학습 역학이 가중치 업데이트를 본질적으로 저차원 부분 공간(low-dimensional subspaces)으로 국한시킨다고 가정합니다.
수렴 시의 구조(Structure at Convergence - 암묵적 규제): 이 관점은 최적화 목적 함수가 명시적인 계수 제약 없이도 최종 해(solution)에 어떻게 저계수 구조를 암묵적으로 유도하는지 조사합니다. 이는 마진 최대화(margin maximization) 또는 최소 노름 보간(minimum-norm interpolation)과 같은 암묵적 편향 효과와 연관되어 있습니다.

본 논문은 주로 **심층 선형 네트워크(Deep Linear Networks, DLNs)**를 다루기 쉬운 프로토타입으로 사용하여 수학적 이론을 전개하며, 비선형 네트워크(MLP, VGG, ViT, BERT)로부터 얻은 경험적 증거로 이를 뒷받침합니다.

주요 이론적 메커니즘

경사 하강법 역학: 본 논문은 학습 중 가중치 행렬의 특이값 분해(SVD)를 분석합니다. 특정 가정(예: 저계수 타겟 행렬 및 작은 직교 초기화) 하에서, 가중치 업데이트가 $2r$ -차원 부분 공간(여기서 $r$ 은 타겟 랭크)에 국한됨을 입증합니다. 정리 2(Theorem 2)는 전체 가중치 행렬이 진화하더라도, 극히 일부의 특이값과 특이 벡터만이 유의미하게 변화하며 나머지는 정체되거나 감쇠한다는 것을 보여줍니다.
암묵적 편향(Implicit Bias): 본 논문은 과매개변수화된 모델에 대한 경사 하강법이 자연스럽게 간결한 솔루션을 선호한다고 주장합니다. 예를 들어, $n < d$ 인 선형 회귀에서 경사 하강법은 최소 $l_2$ 노름 솔루션으로 수렴하며, 이는 결과적으로 해를 데이터의 행 공간(row space)으로 제한합니다.
마스킹 학습(Masked Training): 본 논문은 Dropout이나 Masked Autoencoders가 수렴 시 저계수 활성화를 유도하여 효과적인 암묵적 규제 역할을 수행하는 방식을 탐구합니다.

주요 기여 및 실질적 응용

본 논문은 이론적 통찰을 다음과 같은 효율적인 학습 및 적응을 위한 실질적인 방법론들로 합성합니다.

1. 저계수 적응(LoRA) 및 미세 조정(Fine-Tuning)

본 논문은 사전 학습된 가중치에 저계수 인수 분해 업데이트( $\Delta W = BA$ )를 더하는 LoRA의 성공을 맥락화합니다.

하이퍼파라미터 최적화: LoRA의 학습률(learning rate) 및 랭크 할당을 최적화하는 최근 연구들을 검토합니다.
- LoRA+: 표준 LoRA의 비대칭 초기화가 갖는 비효율성을 해결하기 위해, 두 인자( $A$ 와 $B$ )에 서로 다른 학습률을 사용하여 특징 학습을 균형 있게 하고 수렴 속도를 개선합니다.
- AdaLoRA: 전체 랭크 예산을 최적화하기 위해 스코어링 함수를 기반으로 어댑터의 랭크를 레이어 전반에 걸쳐 동적으로 가지치기(pruning)하는 휴리스틱 접근 방식입니다.
- Deep LoRA: 심층 선형 인수 분해의 암묵적 저계수 편향을 활용하는 이론 기반 접근 방식입니다. 압축된 depth-3 어댑터 구조와 서로 다른 학습률을 사용하여 레이어당 최적의 랭크를 암묵적으로 선택함으로써, 데이터가 제한적인 환경에서 우수한 성능을 보여줍니다.

2. 효율적 학습을 위한 저계수 그래디언트(Low-Rank Gradients)

미세 조정을 넘어, 본 논문은 전체 학습 중 메모리와 계산량을 줄이기 위해 그래디언트 자체의 저계수 구조를 활용하는 방법들을 논의합니다.

GaLore (Gradient Low-Rank Projection): 이 방법은 가중치를 업데이트하기 전에 그래디언트를 저계수 부분 공간( $\tilde{G} = P \rho(P^T G Q) Q^T$ )으로 투영합니다. SVD를 통해 투영 행렬을 주기적으로 업데이트함으로써, GaLore는 대규모 언어 모델(LLM) 학습 시 옵티마이저 상태(optimizer state) 메모리 사용량을 최대 65.5%까지 줄입니다.
ReLoRA: 무작위로 초기화된 LoRA 쌍을 사용하여 그래디언트 업데이트를 근사하고 이를 주기적으로 병합하는 대안적 방법입니다.
적응형 랭크 할당(Adaptive Rank Allocation): WeLore 및 AdaRankGrad와 같은 최근 연구들은 그래디언트 랭크가 레이어와 학습 에포크에 따라 변한다는 점(깊은 레이어일수록 더 강한 저계수 구조를 보임)을 관찰했습니다. 이 방법들은 메모리 효율성과 수렴성을 더욱 향상시키기 위해 투영 차원을 적응적으로 조정합니다.

3. 경험적 검증

본 논문은 다양한 아키텍처(DLN, MLP, VGG, ViT, BERT)에서 다음을 보여주는 광범위한 경험적 증거(예: 그림 1, 3, 7)를 제시합니다.

다양한 구조에서의 가중치 업데이트는 소수의 특이값에 의해 지배됩니다.
드롭아웃이나 마스킹으로 학습된 딥 네트워크의 활성화는 학습이 진행됨에 따라 점점 더 저계수가 됩니다.
Deep LoRA와 GaLore는 계산 자원을 크게 절감하면서도 풀 랭크(full-rank) 베이스라인과 대등하거나 더 우수한 성능을 달성합니다.

결과 및 의의

본 논문은 저계수 구조의 보편성이 선형 및 비선형 딥 네트워크 모두에서 나타나는 근본적인 현상이라고 주장합니다. 그 의의는 다음과 같습니다:

이론과 실제의 연결: 심층 선형 네트워크의 암묵적 편향에 대한 수학적 이론을 LoRA 및 GaLo와 같은 매개변수 효율적 방법론의 실질적인 성공과 연결합니다.
효율성의 설명: LoTA와 같은 기술이 왜 작동하는지(업데이트가 저차원의 내재적 부분 공간에 존재함), 그리고 왜 마스킹 학습 방법이 효과적인지(저계수 활성화를 유도함)에 대한 이론적 근거를 제공합니다.
미래 설계의 가이드: 현재 이론이 선형 네트워크에서 가장 강력하지만, 경험적 증거는 이러한 원칙이 비선형 네트워크에도 적용될 것임을 강력히 시사함을 강조합니다. 또한, 이러한 수학적 이론을 심층 비선형 네트워크로 확장하는 것을 핵심적인 미결 과제이자 향후 연구 방향으로 식별합니다.

저자들은 이러한 저계수 구조가 단순히 특정 알고리즘의 부산물이 아니라, 과매개변수화된 모델의 최적화 역학에서 발생하는 창발적 특성(emergent properties)이며, 이는 대규모 AI 시스템의 보다 효율적인 학습 및 배포를 위한 경로를 제공한다고 강조합니다.