🤖 machine learning

$μ$ pscaling small models: Principled warm starts and hyperparameter transfer

이 논문은 기능적 동등성을 보장하고 소규모 모델에서 대규모 모델로의 효율적인 하이퍼파라미터 전이를 가능하게 하여 다양한 추론 예산에 따른 튜닝 비용을 절감하기 위해, 가중치 섭동(weight perturbation)과 이론적으로 근거한 스케일링 법칙을 결합한 원칙적인 너비 기반 업스케일링 방법을 소개한다.

원저자: Yuxin Ma, Nan Chen, Mateo Díaz, Soufiane Hayou, Dmitriy Kunisky, Soledad Villar

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxin Ma, Nan Chen, Mateo Díaz, Soufiane Hayou, Dmitriy Kunisky, Soledad Villar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 재능 있는 작은 견습 요리사가 있다고 상상해 보세요. 이 요리사는 몇 달 동안 특정 레시피를 완벽하게 익혔습니다. 이제 당신은 이 요리사가 만든 그 요리를 수천 명의 사람에게 제공하기 위해, 거대한 주방과 100명의 요리사 팀을 갖춘 대형 레스토랑을 열려고 합니다.

예전 방식은 100명의 새로운 요리사를 고용하여 처음부터 레시피를 가르치는 것이었습니다. 이는 시간이 오래 걸리고 막대한 비용이 듭니다.

더 새롭고 똑똑한 방식(이를 "업스케일링"이라 부릅니다)은 당신의 재능 있는 견습 요리사를 100번 복제하여 큰 주방에 배치하는 것입니다. 그들은 모두 레시피를 완벽하게 알고 있기 때문에, 큰 주방은 처음부터 작은 주방과 동일한 품질로 시작됩니다. 하지만 문제가 하나 있습니다. 만약 그들을 똑같이 복제하기만 한다면, 그들은 모두 동시에 똑같은 행동을 할 것입니다. 그들은 더 넓은 공간이나 새로운 도구를 사용하는 법을 배우지 못할 것입니다. 그저 똑같은 사람 100명의 복사본일 뿐이며, 이는 비효율적입니다.

이 논문은 이 "복제 및 확장" 과정이 완벽하게 작동하도록 만드는 수학적으로 증명된 새로운 방법을 소개합니다. 이들이 어떻게 하는지 쉽게 설명하면 다음과 같습니다.

1. 완벽한 복제 (동적 등가성, Dynamic Equivalence)

먼저, 저자들은 작은 요리사를 큰 팀으로 복제할 때, 초기 상태에서 큰 팀이 작은 요리사와 정확히 똑같이 작동하기 위한 정확한 수학적 규칙을 찾아냈습니다.

비유: 이것은 한 명의 음악가가 연주하는 곡의 악보를 100번 복사하는 것과 같습니다. 만약 모든 사람이 정확히 같은 음표를 같은 속도로 연주한다면, 그 소리는 독주 공연과 동일합니다.
혁신: 기존 방식들은 시작 단계에서는 이를 수행할 수 있었지만, 팀이 학습하고 변화하기 시작할 때 어떻게 동기화를 유지해야 하는지는 알지 못했습니다. 이 논문은 큰 팀의 "볼륨"(학습률)과 "템포"를 올바르게 조절한다면, 그들이 전체 학습 과정 내내 원래의 작은 요리사와 완벽하게 동기화된 상태를 유지할 수 있음을 증명합니다.

2. "넛지" (대칭성 깨뜨리기, Breaking the Symmetry)

큰 팀이 완벽하게 동기화되면, 그들은 정체기에 빠집니다. 그들은 모두 똑같은 일을 하고 있기 때문에, 더 나아지기 위해 새로운 넓은 주방을 탐색할 수 없습니다.

비유: 100명의 복제 인간이 원형으로 서 있다고 상상해 보세요. 만약 그들이 동시에 앞으로 발을 내디디면, 그들은 하나의 덩어리로 움직이게 됩니다. 그들을 유용하게 만들려면, 그들이 약간씩 다른 방향으로 발을 내디딜 수 있도록 미세하고 무작위적인 "넛지(가벼운 자극)"를 주어야 합니다.
혁신: 이 논문은 이 "노이즈" 또는 넛지를 추가하는 정밀한 방법을 제시합니다. 이것은 무작위적인 추측이 아니라, 계산된 양의 혼돈입니다. 이 넛지는 완벽한 대칭성을 깨뜨려, 큰 팀이 원래 요리사의 핵심 지식을 유지하면서도 새로운 것을 배울 수 있도록 추가적인 역량을 활용하게 해줍니다.

3. "마법 지도" (하이퍼파라미터 전이, Hyperparameter Transfer)

큰 팀을 훈련할 때 가장 어려운 부분은 얼마나 많은 "넛지"를 줄 것인지, 그리고 얼마나 빨리 학습할 것인지(학습률)를 결정하는 것입니다. 보통은 이 설정을 찾기 위해 거대하고 비싼 큰 주방에서 테스트를 거쳐야 하는데, 이는 돈 낭비입니다.

비유: 거대한 냄비에 소금을 얼마나 넣어야 할지 알고 싶다고 상상해 보세요. 대신 거대한 냄비를 사서 테스트하는 대신, 아주 작은 소스 팬을 사용합니다. 작은 냄비에 들어갈 완벽한 소금의 양을 알아낸 다음, 그 "마법 지도"를 사용하여 거대한 냄비에서 직접 테스트해보지 않고도 정확히 얼마만큼의 소금을 넣어야 할지 알 수 있습니다.
혁신: 저자들은 이 "마법 지도"가 존재한다는 것을 증명했습니다. 업스케일링된 모델의 작은 버전(복제된 작은 팀)을 훈련시켜 적절한 설정을 찾은 다음, 그 설정을 거대한 모델로 직접 전이할 수 있습니다. 이는 엄청난 시간과 컴퓨팅 자원을 절약해 줍니다.

이것이 왜 중요한가

속도: 이미 훈련된 작은 모델을 훨씬 더 빠르고 강력한 거대 모델로 바꿀 수 있게 해줍니다.
비용: 거대 모델에서 적절한 설정을 찾기 위해 비싼 실험을 할 필요가 없으므로 비용을 절감합니다. 저렴한 작은 모델에서 먼저 수행하기 때문입니다.
신뢰성: 이 논문은 이 과정이 단순히 시행착오에 의한 추측이 아니라, 수학적으로 보장된 방식임을 입증합니다.

무엇을 테스트했는가

저자들은 이 방법(세 가지 유형의 "요리사", 즉 신경망)에 대해 테스트했습니다:

MLP: 표 형식의 데이터(예: 숲의 종류 예측)에 사용되는 단순한 네트워크.
ResNet: 이미지 인식(예: 고양이와 강아지 식별)에 사용되는 네트워크.
GPT-2: 텍스트 생성을 위해 사용되는 대규모 언어 모델.

모든 경우에서, "복제되고 넛지를 받은" 모델들은 처음부터 훈련된 모델보다 더 빠르게 학습하고 더 나은 최종 결과에 도달했으며, "마법 지도"를 사용하여 값비싼 튜닝 단계를 건너뛰었습니다.

요약하자면: 이 논문은 작고 똑똑한 AI를 거대하고 똑똑한 AI로 키울 때, 시간이나 돈을 낭비하지 않으면서도, 거대 버전이 단순히 혼란스러운 복제 인간들의 무리가 되지 않도록 만드는 규칙을 제공합니다.

기술 요약: µpscaling 소형 모델: 원칙적인 웜 스타트(Warm Starts) 및 하이퍼파라미터 전이

문제 정의

현대의 딥러닝 워크플로우는 일반적으로 다양한 스케일의 모델 패밀리를 학습시키는 과정을 포함합니다. 소형 모델은 신속한 프로토타이핑과 스케일링 법칙(scaling law) 분석을 위해 사용되며, 대형 모델은 다양한 하드웨어 및 지연 시간 제약을 충족하기 위해 처음부터(from scratch) 학습되어 최종 배포됩니다. 이러한 워크플로우는 소형 모델 학습 과정에서 습득된 지식을 폐기한다는 점에서 계산적으로 낭비적입니다.

"모델 업스케일링"(학습된 소형 모델으로부터 대형 모델을 초기화하는 것)이 이러한 낭비를 완화하기 위해 제안되어 왔으나, 기존 방식(예: Net2Net)은 두 가지 결정적인 한계에 직면해 있습니다:

하이퍼파라미터 민감도: 업스케일된 모델은 베이스 모델이나 처음부터 학습된 모델과 크게 다른 하이퍼파라미터(특히 학습률 및 노이즈 수준)를 필요로 하는 경우가 많습니다. 이를 타겟이 되는 대규모 스케일에서 튜닝하는 것은 비용이 매우 많이 듭니다.
이론적 근거 부족: 이전의 접근 방식들은 경험적인 휴리스틱에 의존해 왔습니다. 소형 모델에서 하이퍼파라미터를 튜닝하고 이를 스케일링 법칙을 통해 외삽(extrapolation)하는 것이 업스케일링 맥락에서도 유효한지는 불분명합니다. 왜냐하면 업스케일된 모델의 학습 역학은 베이스 모델 및 처음부터 학습된 대형 모델 모두와 다르기 때문입니다.

방법론

저자들은 효율적인 하이퍼파라미터 전이를 가능하게 하는 ** $\mu$ P(Maximal Update Parametrization)**와 함수 보존 가중치 변환(function-preserving weight transformations)을 결합한, 이론적으로 근거가 확실한 $\mu$ pscaling 프레임워크를 제안합니다.

1. 동적 동등성 (Dynamic Equivalence)

핵심적인 이론적 기여는 "정적 동등성"(넓어진 모델이 초기화 시점에 베이스 모델과 동일한 출력을 생성하는 것)을 동적 동등성으로 확장한 것입니다.

메커니즘: 가중치를 복제하고 특정 너비 의존적 리스케일링(ones 행렬과의 $\otimes$ 크로네커 곱 기반)을 적용함으로써, 베이스 모델과 정확히 동일한 함수를 매개변수화하는 더 넓은 모델을 구축할 수 있습니다.
옵티마이저 조정: 결정적으로, 저자들은 옵티마이저 하이퍼파라미터(학습률, 가중치 감쇠 및 $\epsilon$ 과 같은 보조 파라미터)가 업데이트 함수의 동차성(homogeneity)에서 유도된 특정 규칙에 따라 리스케일링된다면, 더 넓은 모델이 함수 공간에서 베이스 모델과 동일한 학습 궤적을 따른다는 것을 증명합니다.
일반성: 이 동적 동등성은 일반적인 아키텍처(MLP, ResNet, Transformer를 포함한 Ne $\otimes$ or $\top$ 프로그램 프레임워크로 표현 가능한 구조) 및 일반적인 엔트리와이즈(entrywise) 옵티마이저(SGD, Adam, AdamW)에 대해 성립합니다.

2. 업스케일링 알고리즘

더 넓은 모델의 추가적인 용량을 활용하기 위해, 저자들은 "복사 및 섭동(copy-and-perturb)" 절차를 도입합니다.

확장(Widening): 가중치와 옵티마이저 상태를 복제하고 리스케일링하여 동적으로 동등한 더 넓은 모델을 구축합니다.
대칭성 깨기(Symmetry Breaking): 파라미터에 작은 양의 노이즈( $\Delta$ )를 주입합니다. 노이즈가 없다면 모델은 베이스 모델의 저차원 부분 공간(subspace)에 갇히게 됩니다. 노이즈는 모델이 이 부분 공간을 벗어나 증가된 용량을 활용할 수 있게 합니다.
$\mu$ P 스케일링: 노이즈 크기와 업스케일된 모델의 옵티마이저 하이퍼파라미터는 $\mu$ P 규칙에 따라 스케일링됩니다. 이는 무한 너비 극한(infinite-width limit)에서 학습 역학이 "최적"이 되도록 보장하며, 베이스 모델의 신호를 보존하는 동시에 주입된 노이즈가 사라지거나 폭발하지 않고 의미 있게 기여하도록 합니다.

3. 하이퍼파라미터 전이

이 프레임워크는 제로샷 하이퍼파라미터 전이를 가능하게 합니다. 수정된 텐서 프로그램(Tensor Programs)을 사용하여 업스케일된 학습 역학의 무한 너비 극한을 엄격하게 규명했기 때문에, 소규모 "프록시" 업스케일 시스템( $n_0 \to kn_0$ )에서 튜닝된 최적의 하이퍼파라미터(학습률 및 노이즈 수준)는 타겟 대규모 시스템( $n \to kn$ )으로 직접 전이될 수 있습니다.

주요 기여

동적 동등성 이론: 본 논문은 업스케일된 모델이 초기화 시점뿐만 아니라 전체 학습 과정 동안 베이스 모델과 동적으로 동등함을 입증하는 특정 가중치 및 하이퍼파라미터 리스케일링을 확립했습니다. 이는 기존의 이론적 토대를 전체 학습 궤적으로 확장한 것입니다.
원칙적인 업스케일링 알고리즘: 가중치 복제, 대칭성 깨기 노이즈 주입, $\mu$ P 기반 하이퍼파라미터 스케일링을 통합한 통일된 업스케일링 절차를 제공합니다. 이는 Net2Net과 같은 휴리스틱 방식에 대한 엄격한 대안을 제공합니다.
하이퍼파라미터 전이 보장: 업스케일링 설정에서의 하이퍼파라미터 전이를 위한 최초의 엄격한 프레임워크를 제공합니다. 텐서 프로그램 메커니데이션을 확장하여 중간 학습 단계의 업스케일링을 수용함으로써, 최적의 하이퍼파라미터를 작고 저렴한 프록시 시스템에서 튜닝하고 이를 대규모 타겟으로 전이할 수 있음을 증명하여 튜닝 비용을 획기적으로 줄였습니다.
무한 너비 분석: 수정된 텐서 프로그램 프레임워크를 도입하여 업스케일된 학습의 무한 너비 극한을 규명하였으며, 이를 통해 프리-액티베이션(pre-activations)이 표준적인 비업스케일 학습과는 다른, 비자명한 공분산 구조를 가진 i.i.d. 블록으로 수렴함을 보여줍니다.

실험 결과

본 방법론은 세 가지 아키텍처(MLP, ResNet, GPT-2), 다양한 데이터셋(Forest Cover Type, CIFAR-100, FineWeb), 그리고 다양한 옵티마이저(SGD, AdamW)에 대해 평가되었습니다.

성능: 모든 설정에서 업스케일된 모델은 동일한 너비에서 처음부터 학습된 모델보다 더 빠르게 수렴하고 더 낮은 최종 학습 손실에 도달했습니다.
하이퍼파라미터 전이: 최적의 학습률과 노이즈 수준이 소규모 시스템(예: 너비 $n_0=100$ )에서 튜닝되었을 때 훨씬 더 큰 시스템(예: 너비 $n=500$ 또는 $n=1024$ )으로 견고하게 전이됨을 실험을 통해 확인했습니다.
효율성: 타겟 스케일이 아닌 작은 규모에서 하이퍼파라미터를 튜닝함으로써, 다음과 같은 상당한 계산 속도 향상을 달아냈습니다:
- MLP ( $n/n_0 = 5$ )의 경우 23.6배 속도 향상.
- ResNet ( $n/n_0 = 4$ )의 경우 16.0배 속도 향상.
- GPT-2 ( $n/n_0 = 10$ )의 경우 48.2배 속도 향상.
일반화 주의사항: 학습 손실은 개선되었으나, CIFAR-100에 대한 업스케일된 ResNet은 처음부터 학습된 모델보다 낮은 일반화 성능(검증 정확도)을 보였습니다. 저자들은 이것이 학습 역학을 다루는 자신들의 이론과 일치하며, 제한된 데이터셋 상의 과잉 매개변수화된 CNN에서 나타나는 알려진 특성임을 언급했습니다.

의의 및 주장

본 논문은 모델 업스케일링에서의 하이퍼파라미터 전이를 위한 최초의 엄격한 이론적 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

이론과 실제의 연결: 업스케일링을 경험적 휴리스틱에서 무한 너비 극한 이론 및 텐서 프로그램을 기반으로 한 원칙적인 접근 방식으로 전환했습니다.
비용 절감: 거대 모델의 하이퍼파라미터를 작은 프록시 시스템에서 튜닝할 수 있게 함으로써, 대규모 아키텍처 탐색을 계산적으로 더 실현 가능하게 만듭니다.
보편성: 기존 방식들이 특정 아키텍처에 국한되었던 것과 달리, 이 프레임워크는 표준적인 아키텍처와 옵티마이저에 적용 가능합니다.

저자들은 자신들의 이론이 학습 역학에 초점을 맞추고 있으며, 업스케일링 하에서의 일반화는 여전히 미해결 과제임을 인정하며 겸허한 태도를 유지합니다. 또한, 현재 이 방법이 너비 방향(width-wise) 업스케일링에 적용되며, 깊이 방향(depth-wise) 업스케일링은 향후 과제로 남겨두었음을 명시했습니다.