💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

이 논문은 점진적 학습 과정에서 신호 보존과 대칭성 깨짐 사이의 균형을 맞추어 훈련 불안정성을 극복함으로써 계산 비용을 최대 35%까지 절감하는 동시에 처음부터 학습하는 것보다 뛰어난 성능을 보이는 중간 단계 너비 확장(mid-stage width expansion)을 위한 새로운 프레임워크인 SPARKLING을 소개한다.

원저자: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 인간의 지식을 저장하고 이해하는 거대하고 믿을 수 없을 정도로 복잡한 도서관(거대 언어 모델)을 짓고 있다고 상상해 보세요. 보통 가장 크고 똑똑한 도서관을 만들기 위해서는, 한 번에 벽돌을 하나하나 쌓아 올려 전체 건물을 처음부터 끝까지 완공해야 합니다. 이는 엄청난 비용과 시간, 그리고 에너지를 소모합니다.

**점진적 학습(Progressive Learning)**은 더 똑똑한 방법입니다. 도서 la 전체를 먼저 짓는 대신, 작은 아늑한 독서실로 시작하여 점차 더 많은 방을 추가해 나가는 방식이죠. 이 방식은 궁전 전체를 다 짓기 전에 독서를 시작할 수 있으므로 돈을 절약해 줍니다.

하지만 문제가 하나 있습니다. 연구자들은 도서관의 층수(깊이)를 늘리는 법은 쉽게 알아냈지만, 건설 중간에 같은 층의 방 개수(너비)를 늘리는 것은 악몽과 같다는 것을 발견했습니다. 만약 주의를 기울이지 않고 기존 건물에 그냥 새 방들을 갖다 붙인다면, 전체 구조가 흔들리고 무너져 내리기 시작할 것입니다.

이 논문은 SPARKLING(신호 보존 및 대칭성 파괴를 통한 너비 점진적 학습의 약자)이라 불리는 새로운 방법을 소개합니다. SPARKLING은 건설 중간에 도서관을 안전하게 확장하기 위한 마스터 건축가의 도구 상지라고 생각하면 됩니다.

작동 원리는 다음과 같습니다. 쉬운 비유를 들어 설명하겠습니다.

두 가지 큰 문제

건설 중간에 도서관의 규모를 두 배로 키우려고 할 때, 두 가지 문제가 발생합니다.

"볼륨 쇼크" (신호 보존 - Signal Preservation):
도서관에는 모든 복도의 소음 수준이 정확히 같아야 한다는 엄격한 규칙이 있다고 가정해 봅시다. 만약 갑자기 빈 방들을 잔뜩 추가하면, 음향 구조가 변하게 됩니다. 데이터(소리)가 새로운 구역에서 너무 작게 들리거나 너무 크게 들려, 사서들(모델의 뉴런)을 혼란에 빠뜨립니다.
- SPARKLING의 해결책: 그들은 **RMS-scale 일관성(RMS-scale consistency)**이라는 기술을 사용합니다. 이는 마치 모든 새 방에 "볼륨 조절 노브"를 설치하는 것과 같습니다. 새 방들이 실제로 사용되기 전에, 기존 방들의 소음 수준과 완벽하게 일치하도록 튜닝됩니다. 이를 통해 데이터가 시스템에 충격을 주지 않고 매끄럽게 흐르도록 보장합니다.
"복제 함정" (대칭성 파괴 - Symmetry Breaking):
기존 방의 설계도를 그대로 복사하여 새 방을 만드는 것이 가장 쉬운 방법입니다. 하지만 문제는 여기에서 발생합니다. 만약 두 개의 방이 똑같은 가구, 똑같은 사서들을 가지고 있다면, 그들은 완전히 똑같이 행동할 것입니다. 그들은 똑같은 지시를 받을 것이고, 똑같은 방식으로 움직일 것입니다. 결국 그들은 새로운 것을 배우지 못하고 기존의 방이 하는 일을 그대로 반복하는 "복제본"이 됩니다. 도서관은 커지지만, 더 똑똑해지지는 않는 것이죠.
- SPARKLING의 해결책: 그들은 두 가지 기술로 이 "복제 함정"을 깨뜨립니다.
  - "새로운 시작" (옵티마이저 상태 초기화 - Optimizer State Reset): 새 방이 기존 방과 비슷해 보이더라도, 그들은 새 사서들의 백지 상태를 만듭니다. 새 사서들에게 기존 사서들의 기억이나 습관을 주지 않습니다. 이는 새 사서들이 스스로 길을 찾도록 강제합니다.
  - "특별한 부스트" (비대칭 학습률 - Asymmetric Learning Rate): 그들은 새 사서들에게 일시적으로 약간 더 큰 확성기(높은 학습률)를 쥐여줍니다. 이는 기존 사서들이 정상적인 속도로 계속 일하는 동안, 새 사서들이 새로운 것을 시도하고 탐색하도록 독려합니다. 이를 통해 새 방들이 기존의 방을 단순히 복제하는 대신, 자신만의 고유한 개성을 갖도록 보장합니다.

결과

연구진은 두 가지 유형의 도서관을 대상으로 테스트를 진행했습니다.

밀집 모델 (Dense Models): 모든 책이 모든 선반에 놓여 있는 표준적인 도서관입니다.
MoE (Mixture-of-Experts): 필요할 때만 열리는 전문화된 "전문가" 방이 있는 하이테크 도서관입니다.

그 결과, SPARKLING은 마법처럼 작동했습니다.

비용을 절감합니다: 건설 중간에 도서관을 확장함으로써, 처음부터 큰 도서관을 짓는 방식에 비해 총 건설 비용(연산 능력)을 최대 **35%**까지 아꼈습니다.
더 뛰어납니다: 더 적은 에너지를 사용했음에도 불구하고, 최종 완성된 도서관은 전통적이고 비싼 방식으로 만들어진 도서관보다 실제로 더 똑똑했으며 테스트에서 더 나은 성능을 보였습니다.

핵심 요약

SPARKLING은 AI 모델을 성장시키는 새로운 방식을 제시합니다. "단순히 부품을 복사해서 붙여넣지 마세요. 기존의 소리에 맞게 튜닝한 다음, 그들이 독특해질 수 있도록 약간의 추진력을 주세요." 이 방식은 우리가 거대하고 강력한 AI 시스템을 기존 방식보다 훨씬 빠르고 저렴하게, 그러면서도 시스템이 무너지지 않게 구축할 수 있게 해줍니다.

기술 요약: SPARKLING

문제 정의

점진적 학습(Progressive Learning, PL)은 전체 규모의 모델을 처음부터 학습시키는 대신, 학습 과정에서 모델의 규모를 점진적으로 확장함으로써 대규모 언어 모델(LLM)의 계산 오버헤드를 줄이는 것을 목표로 한다. 기존의 PL 연구는 깊이 확장(예: 레이어 스태킹)을 광범위하게 탐구해 왔으나, **너비 확장(width expansion)**은 여전히 상당히 미진한 상태로 남아 있다. 기존의 너비 확장 방식은 주로 학습 초기 단계(예: 토큰의 10~30% 미만)에 국한되어 있어, 타겟 너비의 모델을 처음부터 학습시키는 것에 비해 계산적 이점이 미미하다.

중기(mid-stage) 프리트레이닝 과정에서의 너비 확장은 계산 절감을 극대화하는 데 필수적이지만, 상당한 도전 과제를 안겨준다. 본 논문은 이 단계에서 학습 불안정성과 성능 저하를 유발하는 두 가지 핵심 문제를 식별한다:

신호 보존 실패(Signal Preservation Failure): 확장 지점에서의 나이브한 초기화는 중간 활성화 값의 통계적 분포(특히 root-mean-square 또는 RMS 스케일)를 무너뜨린다. 이러한 불일치는 레이어별 신호 크기를 변화시켜, 즉각적인 손실(loss) 급증이 발생하지 않더라도 최적화를 불안정하게 만든다.
대칭 고착(Symmetry Locking): 복사 기반 초기화(Copy-based initialization)는 순방향 함수(forward function)는 보존하지만, **역방향 대칭(backward symmetry)**을 유발한다. 복제된 채널들은 동일한 그래디언트를 받게 되며, 만약 옵티마이저 상태(optimizer states) 또한 대칭적이라면 동일하게 진화한다. 이는 새로운 용량이 서로 다른 특징으로 다양화되는 것을 방해하여, 확장된 파라미터들을 기능적으로 중복되게 만든다. 이 문제는 AdamW와 같은 요소별(element-wise) 옵티마이저와 Muon과 같은 스펙트럴 스타일(spectral-style) 옵티마이저를 포함한 다양한 옵티마이저 계열 전반에 걸쳐 지속된다.

방법론: SPARKLING

저자들은 너비 점진적 학습(width-progressive learning) 시 신호 보존과 대칭성 파괴의 균형을 맞추기 위해 설계된 프레임워크인 SPARKLING(balancing Signal Preservation And symmetRy Keeping for width-progressive LearnING)을 제안한다. 이 프레임워크는 네 가지 구체적인 메커니즘으로 구성된다:

1. RMS-스케일 일관성을 통한 신호 보존

저자들은 진정한 신호 보존을 위해서는 단순히 함수 보존(손실 연속성)뿐만 아니라, 은닉 표현(hidden representations)의 통계적 분포, 특히 RMS 스케일을 유지해야 한다고 주장한다.

메커니즘: 이들은 확장이 일어날 때 출력 RMS 스케일이 불변하도록 유지하기 위해 가중치(weights)에 대한 재스케일링 인자를 도출한다.
- Fan-out 확장: 새로운 출력 채널은 기존 가중치와 동일한 분포에서 복사하거나 랜덤 샘플링하여 초기화된다.
- Fan-in 확장: 새로운 입력 채널은 특정 가중치 재스케일링이 필요하다. 새로운 좌표가 랜덤하거나 단방향 복사(one-sided copied)인 경우 가중치는 $\sqrt{d_{in}/d'_{in}}$ 로 스케일링된다. 양측 모두 복사(기존 차원을 중복 생성)하는 경우, 공분산(covariance)의 이차적 기여를 고려하여 가중치를 $1/\sqrt{1+3c}$ ( $c$ 는 복사 비율)로 스케일링한다.
- RMSNorm 확장: RMSNorm 파라미터는 선형 레이어에 비해 파라미터 수가 미미하므로, 추가적인 재스케일링 없이 복사하거나 랜덤 샘플링하여 초기화한다.

2. 비대칭 개입을 통한 대칭성 파괴

복사된 구성 요소들이 다양화되지 못하는 "대칭 고착" 문제를 해결하기 위해, SPARKLING은 순방향 함수를 보존하면서 역방향 역학(backward dynamics)에만 작용하는 표적 개입을 도입한다.

비대칭 옵티마이저 상태 리셋(Asymmetric Optimizer State Reset): 옵티마이저 상태(모멘텀)를 복사하거나 전역적으로 리셋하는 대신, 프레임워크는 원래 파라미터( $W$ )에 대한 옵티마이저 상태는 유지하되, 새로 도입된 파라미터( $\tilde{W}$ )에 대한 상태는 0으로 리셋한다. 이는 그래디언트 결합을 즉시 끊어내어 새로운 파라미터가 분리될 수 있도록 한다.
비대칭 학습률 재-웜업(Asymmetric Learning Rate Re-warmup): 확장 지점에서 원래 파라미터는 기존의 학습률 스케줄을 따르는 반면, 새로운 파라미터는 현재 학습률( $\eta_e$ )에서 시작하여 짧은 윈도우( $\tau_w$ ) 동안 더 높은 피크( $\hat{\eta}_{max} = \rho \cdot \eta_e$ )까지 도달하는 재-웜업 과정을 거친 후 공유된 최소값으로 감쇠한다. 이는 잘 적응된 사전 학습 모델을 전역적으로 교란하지 않으면서, 특징 다양화를 자극하기 위해 제어된 최적화 비대칭성을 주입한다.

주요 기여

중기 단계의 과제 식별: 본 논문은 성공적인 중기 너비 확장이 신호 보존(RMS 일관성을 통한 활성화 통계 안정화)과 대칭성 파괴(복사 기반 초기화에서의 그래디언트 결합 해소)라는 두 가지 상보적인 원칙에 달려 있음을 입증한다.
SPARKLING 프레임워크: RMS 보존 스케일링, 복사 기반 초기화, 비대칭 옵티마이저 상태 리셋, 그리고 비대칭 학습률 재-웜업을 결합한 실용적인 구현을 제공한다.
실증적 검증: 밀집(dense) 및 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처, 다양한 너비 축(숨겨진 차원 및 MoE 전문가 중간 차원), 그리고 다양한 옵티마이저 계열(AdamW 및 Muon)에 걸친 광범위한 실험을 수행하였다.

결과

성능: 고정된 토큰 예산 하에서, SPARKLING은 다운스트림 평가(예: ARC, MMLU, HellaSwag)에서 타겟 너비 모델을 처음부터 학습시키는 것보다 일관되게 우수한 성능을 보이며, 나이브한 함수 보존 베이스라인과 대등하거나 이를 능가한다.
효율성: SPARKLING은 학습 비용을 크게 줄인다. 2배 너비 확장 시, 확장된 모델을 처음부터 학습시키는 것과 비교하여 최대 35%의 학습 FLOPs 감소와 최대 1.49배의 실제 시간(wall-clock) 속도 향상을 달지한다.
수렴: RMS 보존 스케일링은 나이브한 무스케일(unscaled) 초기화에 비해 후기 단계 수렴을 개선한다. 비대칭 개입(상태 리셋 및 재-웜업)은 대칭 고착을 깨는 데 결정적이며, 복사-복사(copy-copy) 초기화와 이러한 개입을 결합했을 때 모든 변형 중 가장 좋은 최종 손실을 달성하였다.
일반성: 이 방법은 밀집 모델, 다양한 옵티마이저(Muon 포함), 그리고 반복적인 다단계 확장(예: 256→512→1024)에 일반화된다.

의의 및 주장

본 논문은 SPARKLING이 중기 너비 확장을 실질적으로 가능하게 하여, 점진적 학습의 주요 동기인 '타겟 너비 모델의 성능을 유지하거나 능가하면서 학습 비용을 줄이는 것'을 해결한다고 주장한다.

저자들은 자신들의 접근 방식이 순방향 연속성(사전 학습된 함수 유지)과 역방향 다양성(새로운 파라미터가 고유한 특징을 학습하도록 허용) 사이의 긴장을 해결한다고 강조한다. 이 두 측면을 분리함으로써—즉, 신호 통계는 보존하면서 최적화 역학에서의 대칭성은 깨뜨림으로써—SPARKLING은 효율적인 LLM 스케일링을 가능하게 한다. 이 연구는 해당 프레임워크가 매칭된 계산 예산 대비 더 낮은 손실을 달성하는, 더 유리한 compute-loss 스케일링 동작을 제공함을 시사한다.

결론적으로, 본 논문은 결과가 유망하지만, 너비와 깊이를 동시에 확장하는 통합 원칙을 확립하고, RMS 보존 전략이 하이퍼파라미터 전이 가능성을 위한 $\mu$ P(maximal update parameterization) 조건을 만족하는지 조사하는 후속 연구가 필요하다고 밝히고 있다.