🤖 AI

Small Initialization Matters for Large Language Models

이 논문은 파라미터 초기화 규모를 줄이는 것이 저복잡도 응축에서 풍부한 표현으로 이어지는 뚜렷한 발전 궤적을 유도함으로써 대규모 언어 모델의 용량과 추론 능력을 향상시키는 결정적이고 비용이 들지 않는 개입임을 입증하며, 기존의 경험적 제약을 극복하기 위한 단순한 $\gamma$ -초기화 규칙을 제안한다.

원저자: Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 똑똑한 로봇의 뇌(거대 언어 모델 또는 LLM)를 만들고 있다고 상상해 보세요. 이 뇌는 말하는 법, 추론하는 법, 그리고 문제를 해결하는 법을 배우게 될 것입니다. 보통 과학자들은 로봇을 더 크게 만들거나, 더 많은 책을 먹이거나, 회로도를 미세하게 조정함으로써 로봇이 더 똑똑해진다고 생각합니다.

하지만 이 논문은 로봇의 뇌를 어떻게 시작하느냐에 따라 그만큼 중요한 숨겨진 "비법 소스"가 있다고 주장합니다. 그것은 바로 학습을 시작하기 전, 로봇의 뇌 세포 안에 만드는 초기 "떨림(wiggles)"을 얼마나 작게 만드느냐에 관한 것입니다.

이들이 발견한 내용을 아주 쉽게 설명해 드리겠습니다.

1. "작은 시작"의 비밀

로봇의 뇌를 빈 캔버스라고 생각해 보세요. 그림을 그리기 시작할 때, 처음부터 크고 대담하며 지저받은 획을 그을 수도 있고(Large Initialization), 아주 작고 섬세하며 거의 보이지 않는 점들로 시작할 수도 있습니다(Small Initialization).

기존 방식 (큰 획): 로봇이 큰 무작위 추측을 하며 시작합니다. 이는 마치 실제로 '생각'하기보다는 패턴을 단순히 암기하는 경직된 기계처럼 행동하게 만듭니다.
새로운 방식 (작은 점): 저자들은 작은 초기 설정을 통해 시작하면 로봇이 다르게 학습하도록 강제한다는 것을 발견했습니다. 무턱대고 날뛰는 대신, 로봇은 기본적인 패턴(예: 소설을 쓰기 전에 알파벳을 배우는 것)을 찾는 것부터 시작합니다. 시간이 흐르면서 이 단순한 패턴들을 자연스럽게 복잡하고 똑똑한 추론으로 키워나갑니다.

비유: 자전거 타기를 배우는 상황을 상상해 보세요.

큰 시작: 곧바로 시속 20마일로 달리는 자전거에 올라탑니다. 당신은 아마 사고가 나거나 바퀴만 헛돌게 될 것입니다.
작은 시작: 고정된 자전거 위에서 균형을 잡는 것부터 시작해서, 걷고, 그다음 천천히 페달을 밟습니다. 기초를 탄탄히 쌓는 것이죠. 논문은 이 "작은 시작"이 결국 훨씬 더 똑똑한 라이더를 만들어낸다고 말합니다.

2. 왜 이전에는 작동하지 않았나 ("노이즈" 문제)

저자들은 이상한 점을 발견했습니다. 매우 큰 로봇에 이 "작은 시작"을 적용했을 때, 그 이점이 사라졌던 것입니다. 마치 로봇이 작은 시작을 사용하는 법을 잊어버린 것 같았습니다.

그들은 로봇의 설계 속에 "작은 시작"을 잡아먹는 두 가지 "노이즈 생성기"를 찾아냈습니다.

"안전망" (레이어 정규화/Layer Normalization): 로봇에게는 숫자가 너무 커지지 않도록 막아주는 안전망이 있습니다. 그런데 이 망이 너무 "헐겁게" 설정되어 있었습니다. 로봇이 아주 작은 숫자로 시작했을 때, 이 안전망은 그 숫자들을 무시하고 마치 평범한 숫자처럼 취급해 버렸습니다.
- 해결책: 그들은 이 안전망을 조여서 작은 숫자들을 실제로 인지할 수 있게 만들었습니다.
"첫 번째 토큰"에 대한 집착 (어텐션 싱크/Attention Sink): 로봇이 문장의 첫 단어만 너무 뚫어지게 쳐다보고 나머지 부분은 무시하는 나쁜 습관을 가지고 있었습니다. "작은 시작"은 이 습관을 더 악화시켰습니다.
- 해결책: 그들은 로봇이 문장의 시작뿐만 아니라 전체에 집중하도록 강제하는 "문지기"(게이트 어텐션/Gated Attention)를 추가했습니다.

이 두 가지 문제를 해결하자, "작은 시작"은 가장 큰 로봇에서도 마법처럼 작동했습니다.

3. "골디락스" 존 (적절한 지점)

당신은 이렇게 생각할지도 모릅니다. "작은 것이 좋다면, 왜 극단적으로 작게 만들지 않나요?"
저자들은 **"안 된다"**고 말합니다. 여기에는 최적의 지점이 있습니다.

시작이 너무 작으면, 로봇은 너무 게을러집니다. 입력된 것을 그대로 복사할 뿐 변화를 주지 못합니다(마치 복사기처럼).
시작이 너무 크면, 혼란스럽고 엉망이 됩니다.
최적의 지점: 그들은 특정 설정( $\gamma = 1$ )에서 로봇이 단순한 패턴을 먼저 배울 만큼 충분히 작으면서도, 동시에 실제로 무언가를 수행할 수 있을 만큼 충분히 크다는 것을 발견했습니다. 이는 "기초를 배우는 것"과 "실제로 일을 하는 것" 사이의 완벽한 균형입니다.

4. 로봇이 실제로 학습하는 방법 ("압축" 기술)

이 방법으로 로봇이 어떻게 학습하는지가 가장 흥미로운 부분입니다.

일반적인 로봇: 엉망인 상태로 시작해서 계속 엉망인 상태를 유지합니다.
작은 시작 로봇: 특별한 경로를 따릅니다.
1. 1단계 (압축): 처음에는 로봇의 뇌 세포들이 일렬로 늘어서며 매우 단순하고 유사해집니다. 이는 로봇이 세상을 단순한 규칙으로 "압축"하는 과정과 같습니다.
2. 2단계 (확장): 이러한 단순한 규칙들을 익히고 나면, 로봇은 이를 점차 복잡하고 풍부한 아이디어로 확장해 나갑니다.

핵심 아이디어: 논문은 지능이란 사실 압축이라고 제안합니다. 로봇에게 가장 단순한 설명을 먼저 찾도록 강제함으로써, 로봇은 더 나은 추론을 할 수 있게 됩니다. 이는 정답을 바로 맞히려고 애쓰는 대신, 가장 간단한 공식을 먼저 찾아내어 수학 문제를 푸는 것과 같습니다.

5. 마법이 일어나는 곳

로봇이 모든 것에 대해 똑같이 좋아지는 것은 아닙니다.

"the"나 "and" 같은 쉽고 뻔한 단어를 예측하는 능력은 크게 좋아지지 않습니다.
하지만 맥락, 논리, 추론이 필요한 어려운 작업에서는 훨씬 더 똑똑해집니다.
비유: 만약 로봇에게 "2+2는?"이라고 묻는다면, 로봇은 이미 잘 대답했을 것입니다. 하지만 "내가 빨간 공 하나와 파란 공 하나를 가지고 있는데, 빨간 공을 잃어버렸다면 남은 공의 색깔은 무엇인가?"라고 묻는다면, "작은 시작"을 적용한 로봇이 훨씬 더 잘 알아낼 것입니다. 왜냐하면 이 로봇은 맥락을 사용하는 법을 배웠기 때문입니다.

요약

이 논문은 미래의 AI를 만들기 위한 간단한 규칙을 제안합니다.
작게 시작하라.
단순히 AI를 더 크게 만드는 데 그치지 말고, 초기화 방식을 바꾸십시오. "작은 시작"( $\gamma = 1$ 설정)을 사용하고, 설계상의 두 가지 "노이즈" 문제를 해결하십시오. 그러면 추가 비용이나 시간 없이도 더 똑똑하고 추론 능력이 뛰어난 AI를 얻을 수 있습니다. 이것은 로봇의 학습 여정을 단순한 "추측"에서 "이해"로 바꿔주는, 무료 업그레이드와 같습니다.

기술 요약: 대규모 언어 모델에서 작은 초기화의 중요성

문제 정의

대규모 언어 모델(LLM)의 발전이 일반적으로 규모(scale), 데이터, 그리고 아키텍처 덕분이라고 여겨지지만, 파라미터 초기화는 대규모 모델 시대에 다시 부상한 복잡한 설계적 선택 사항이다. 표준 휴리스틱(예: Xavier, Kaiming)은 종종 비용이 많이 드는 시행착오식 튜닝을 요구한다. 지배적인 이론적 관점은 작은 초기화가 네트워크를 "응축(condensed)"된 영역으로 유도하여, 가중치가 다양해지기 전에 공유된 방향을 따라 정렬되도록 하며, 이것이 추론 및 일반화 능력을 향상시킨다고 제안한다. 그러나 이러한 이점이 실제 LLM 사전 학습 규모에서도 지속되는지, 아니면 아키텍처 구성 요소들이 작은 초기화의 이점을 의도치 않게 억제하는지는 여전히 불분명하다.

방법론

저자들은 초기화 규모가 LLM의 학습 역학 및 성능에 미치는 영향을 체계적으로 조사한다.

초기화 파라미터화: 가중치 행렬 $W$ 는 $W_{ij} \sim \mathcal{N}(0, \sigma^2)$ 로 초기화되며, 여기서 $\sigma = d_{in}^{-\gamma}$ 이다. 파라미터 $\gamma$ 는 규모를 제어한다: $\gamma = 0.5$ 는 표준 Xavier 스타일의 스케일링을 복구하며, $\gamma > 0.5$ (특히 $\gamma = 1$ )는 더 작은 초기화를 제공한다.
모델 아키텍처: 밀집형 디코더 전용 트랜스포머(dense decoder-only Transformers)와 전문가 혼합(Mixture-of-Experts, MoE) 모델 모두에 대해 실험을 수행했다. 아키텍처 변형에는 표준 LayerNorm/RMSNorm 및 멀티 헤드 어텐션(Multi-Head Attention)이 포함되었다.
아키텍처 개입: 관찰된 한계를 해결하기 위해 두 가지 특정 조정을 테스트했다:
1. RMSNorm 상수( $\epsilon$ ) 감소: 은닉 상태의 분산이 작을 때 정규화 인자가 상수에 의해 지배되는 것을 방지하기 위해 $\epsilon$ 을 표준 $10^{-5}$ 에서 $10^{-12}$ 로 낮추었다.
2. 게이트형 어텐션(Gated Attention): 작은 초기화에 의해 악화되는 "어텐션 싱크(attention sink)"(첫 번째 토큰에 대한 불균형적인 어텐션)를 완화하기 위해 쿼리 의존적 게이트를 어텐션 헤드 출력에 도입했다.
학습 설정: 고품질 이중 언어(중국어-영어) 코퍼스(1조 토큰)를 사용하여 AdamW와 함께 다음 토큰 예측 방식으로 모델을 학습시켰다. 실험은 0.1B에서 1.5B 파라미터 크기에 걸쳐 진행되었다.
분석 지표:
- 토큰 수준: 대칭 확률 차이( $\Delta_{sym}$ ) 및 토큰 난이도(평균 손실)를 통해 성능 이득이 발생하는 위치를 파악한다.
- 메커니즘적 측면: 행 단위 코사인 유사도(row-wise cosine similarity)와 안정적 랭크(Stable Rank, $\|W\|_F^2 / \|W\|_2^2$ )를 사용하여 파라미터 구조의 진화(응축 대 확장)를 추적한다.

주요 결과

1. 스케일링의 한계와 해결책

표준 설정( $\gamma=0.5$ 대 $\gamma=1$ ) 하에서, 작은 초기화는 일관되게 검증 손실(validation loss)을 낮추지만, 그 이점은 모델 크기가 커짐에 따라 감소한다. 저자들은 이 두 가지 아키텍처 장벽을 식별했다:

RMSNorm 포화: 표준 $\epsilon=10^{-5}$ 를 사용할 경우, $\sigma^2(h) \lesssim \epsilon$ 일 때 정규화 인자가 줄어든 분산에 둔감해진다. $\epsilon$ 을 $10^{-12}$ 로 낮추면 민감도가 회복된다.
어텐션 싱크: 작은 초기화는 첫 번째 토큰에 집중하는 경향을 강화한다. 게이트형 어텐션은 이를 효과적으로 완화하며, 작은 초기화와 결합되었을 때 손실을 크게 낮춘다.
결과: 두 장벽이 모두 제거되면 성능 격차가 벌어진다. 이러한 조정을 거친 작은 초기화( $\gamma=1$ )는 유효 모델 크기를 약 44% 향상시키며, 모든 모델 규모에서 일관된 이득을 제공한다.

2. 최적의 초기화 규모 ( $\gamma=1$ )

본 연구는 초기화가 임의로 작아서는 안 된다는 점을 밝혀냈다.

잔차 흐름 균형(Residual Flow Balance): 트랜스포머에서 잔차 업데이트는 항등 경로(identity pathway)와 대등하게 유지되어야 한다. 이론적 분석에 따르면 잔차 흐름은 $d^{1-\gamma}$ $d^{1 - γ}$ 로 스케일링된다.
- 만약 $\gamma < 1$ 이면, 잔차가 지배한다.
- 만약 $\gamma > 1$ 이면, 잔차가 사라져 네트워크가 항등 매핑(identity mapping) 근처에 머물게 된다.
- $\gamma = 1$ 은 잔차 업데이트가 임베딩 스케일과 일치하는 임계 균형 지점을 나타낸다. 경험적으로 성능은 $\gamma=1$ 에서 정점에 도달하며, $\gamma > 1$ 인 경우 저하된다.

3. 토큰 수준 및 태스크별 이득

비균등한 이득: 이득은 모든 토큰에 균등하게 나타나지 않는다. 이득은 매우 쉬운 토큰이나 극도로 노이즈가 많거나 희귀한 토큰보다는, 문맥적 통합과 추론이 필요한 "중간 내지 높은 난이도"의 토큰에 집중된다.
벤치마크 성능: 1.5B 모델에서 최적화된 작은 초기화( $\gamma=1$ + 조정)는 추론 중심 벤치마크(예: GSM8K, MATH500, HellaSwag)에서 표준 초기화( $\gamma=0.5$ )를 크게 능가하며, 여러 태스크에서 절대적 이득이 4%를 초과한다.

4. 메커니즘적 궤적: 응축(Condensation)

작은 초기화는 뚜렷한 발전 궤적을 유도한다:

1단계 (응축): 학습 초기, 가중치 행렬은 빠르게 저차원, 저복잡도 구조로 응축된다(행들이 일관된 블록으로 정렬됨).
2단계 (확장): 학습이 진행됨에 따라, 이러한 구조는 더 풍부하고 고차원적인 복잡성을 가진 표현으로 확장된다.
대조: 표준 초기화( $\gamma=0.5$ )는 확산된 고차원 구조에서 시작하여 느리게 진화하며, 초기 저복잡도 단계를 결여하고 있다. 이 "저복잡도에서 고복잡도로" 이어지는 궤적은 모델이 표면적 암기보다는 간결한 추론 규칙을 갖도록 편향시킨다는 가설을 뒷받침한다.

의의 및 주장

본 논문은 파라미터 초기화가 단순한 저수준 구현 세부 사항이 아니라, 모델의 용량과 학습 역학을 결정하는 "유전적(gene-like)" 결정 요인이라고 주장한다.

설계 축: 저자들은 초기화 규모 $\gamma$ 를 LLM 설계의 명시적인 하이퍼파라미터로 취급할 것을 제안한다.
실질적 권고: 저자들은 초기화 규모를 조절 가능한 노브(knob)로 노출하고, $\gamma=1$ 을 기본값으로 채택하는 $\gamma$ -초기화 규칙을 권장한다. 이 개입은 "거의 비용이 들지 않으면서도" 사전 학습을 개선하고 다양한 규모에서 추론 능력을 강화할 수 있다고 설명된다.
이론적 통찰: 본 연구는 "압축이 곧 지능이다(compression is intelligence)"라는 아이디어를 뒷받침하는 구체적인 증거를 제공하며, 특정 초기화 체계가 모델을 응축 단계를 거치게 함으로써 개선된 추론 능력과 상관관계가 있음을 입증한다.
아키텍처 상호 의존성: 연구 결과는 초기화의 이점이 아키텍처 구성 요소(특히 정규화 상수 및 어텐션 메커니즘)에 따라 달라진다는 점을 강조하며, 이는 이들이 독립적으로가 아닌 공동으로 튜닝되어야 함을 시사한다.