💬 NLP

Efficient Construction of Model Family through Progressive Training Using Model Expansion

이 논문은 작은 모델을 점진적으로 확장하여 모델 가족을 구축하는 점진적 훈련 방식을 제안함으로써, 독립적으로 훈련하는 기존 방법 대비 약 25% 의 연산 비용을 절감하면서도 동등하거나 더 우수한 성능과 일관성을 달성함을 보여줍니다.

원저자: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

게시일 2026-03-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kazuki Yano, Sho Takase, Sosuke Kobayashi, Shun Kiyono, Jun Suzuki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (LLM) 가족을 만드는 더 똑똑하고 저렴한 방법"**에 대한 이야기입니다.

지금까지 인공지능 모델을 만들 때, 작은 모델 (예: 10 억 파라미터) 과 큰 모델 (예: 80 억 파라미터) 을 각각 처음부터 새로 만들어야 했습니다. 마치 가족 구성원인 동생, 형, 아빠를 각각 따로따로 학교에 보내고, 따로따로 공부시켜야 하는 것과 비슷합니다. 이 방법은 비용이 너무 많이 듭니다.

이 논문은 **"작은 모델을 키워서 큰 모델로 확장하는 방식"**을 제안하며, 이렇게 하면 비용을 25% 이상 아끼면서도 성능은 더 좋아진다고 말합니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

🏗️ 1. 기존 방식 vs 새로운 방식: "별도 공사" vs "점진적 확장"

기존 방식 (Independent Training): "새로 지을 때마다 기초부터"

상황: 1 층짜리 작은 집 (작은 모델), 4 층짜리 중형 빌라 (중간 모델), 8 층짜리 고층 아파트 (큰 모델) 를 각각 따로 지어야 한다고 상상해 보세요.
문제: 1 층 집을 짓고, 그걸 다 부수고 4 층을 새로 짓고, 또 그걸 다 부수고 8 층을 새로 짓는 꼴입니다. 기초를 다 까먹고 다시 시작하니까 자재비와 시간 (컴퓨팅 비용) 이 어마어마하게 듭니다.

새로운 방식 (Progressive Training): "작은 집을 키우는 방식"

해결책: 먼저 튼튼한 1 층 집을 짓습니다. 그다음, 그 1 층 집을 바탕으로 2 층을 더 올리고, 다시 4 층을 더 올리고, 마지막으로 8 층까지 확장합니다.
장점: 처음부터 8 층을 다 지을 때 필요한 자재만 쓰면 됩니다. 1 층, 4 층, 8 층을 따로따로 지을 때의 비용 합계보다 훨씬 적은 비용으로 가족 전체 (모델 패밀리) 를 완성할 수 있습니다.

🎓 2. 학습 방법: "유치원생부터 대학생까지"

이 방법의 핵심은 **"작은 모델이 배운 지식을 큰 모델이 그대로 이어받는다"**는 점입니다.

기존 방식: 1 층 모델은 1 년 동안 공부하고, 4 층 모델은 0 번부터 다시 1 년 공부하고, 8 층 모델은 또 0 번부터 다시 공부합니다.
새로운 방식:
1. 1 층 (10 억 모델): 유치원생처럼 기초를 다집니다.
2. 확장: 그 유치원생이 성장해서 2 층 (20 억 모델) 이 됩니다. 이때 머릿속에 있던 지식을 그대로 가져갑니다.
3. 계속 확장: 다시 4 층, 8 층으로 커가면서 새로운 지식만 조금 더 추가합니다.
4. 결과: 8 층 아파트가 완성되었을 때, 1 층부터 8 층까지의 모든 모델이 동일한 가족처럼 행동합니다.

🎯 3. 왜 더 좋은가요? (성능과 비용)

논문의 실험 결과, 이 방식은 두 가지 큰 이점이 있었습니다.

비용 절감 (약 25% 절약):
- 위에서 말한 대로, 기초 공사 (작은 모델 훈련) 를 반복해서 다시 할 필요가 없기 때문에, 전체적으로 약 25% 의 비용을 아낄 수 있습니다. 이는 거대한 데이터 센터에서 수천 개의 GPU 를 켜는 비용을 아끼는 것과 같습니다.
성능 향상 (스마트한 학습):
- 단순히 비용만 아끼는 게 아니라, 성능도 더 좋아졌습니다.
- 비유: 큰 모델로 갈수록 공부하는 양을 조절하고, 학습 속도 (학습률) 를 상황에 맞게 조절해 주었습니다. 마치 10 살 아이에게는 빠른 걸음으로, 20 살 청년에게는 차분한 걸음으로 걷게 해주는 것처럼요. 이렇게 하면 큰 모델이 더 안정적으로, 더 똑똑하게 성장합니다.

🤝 4. 가족 간의 유대감 (일관성)

이 방법의 가장 놀라운 점은 **"가족 간의 다툼이 없다"**는 것입니다.

기존 방식: 각자 따로 공부했기 때문에, 작은 모델이 "사과"라고 말했을 때, 큰 모델은 "배"라고 할 수도 있습니다. (행동이 일관되지 않음)
새로운 방식: 작은 모델에서 시작해서 커왔기 때문에, 작은 모델과 큰 모델이 생각하는 방식이 매우 비슷합니다.
실제 효과: 이 일관성은 **'스펙큘레이티브 디코딩 (Speculative Decoding)'**이라는 기술에서 빛을 발합니다.
- 비유: 작은 모델이 "다음 단어는 뭐지?"라고 빠르게 추측 (드래프트) 하고, 큰 모델이 "아, 맞아!"라고 승인하는 방식입니다.
- 작은 모델과 큰 모델이 생각이 비슷할수록 (일치할수록), 큰 모델이 추측을 더 자주 승인하게 되어 답변 속도가 훨씬 빨라집니다.

💡 요약

이 논문은 **"인공지능 모델을 만들 때, 하나하나 새로 만들지 말고, 작은 것부터 키워서 큰 것으로 확장하라"**고 말합니다.

비용: 25% 절약 (돈 아낌).
성능: 기존 방식보다 더 똑똑해짐 (스마트함).
일관성: 작은 모델과 큰 모델이 같은 생각을 함 (가족 같은 유대감).
속도: 추측 기술을 통해 더 빠르게 답변함 (빠른 속도).

결론적으로, 이 방법은 인공지능을 더 저렴하고, 더 빠르며, 더 똑똑하게 만들 수 있는 현실적인 해결책을 제시합니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 보편화되면서, 다양한 컴퓨팅 자원 요구사항을 충족시키기 위해 **모델 패밀리 (Model Family)**를 제공하는 것이 표준이 되었습니다 (예: Llama 3.1, Gemma, Qwen 등). 이는 작은 파라미터 수의 모델 (저비용, 저지연) 과 큰 파라미터 수의 모델 (고성능, 복잡한 추론) 을 모두 포함합니다.

기존 방식의 한계: 현재 모델 패밀리는 각 모델 (예: 1B, 2B, 4B, 8B) 을 독립적으로 처음부터 (from scratch) 학습시키는 방식으로 구축됩니다.
비효율성: 이 방식은 모델 개수만큼 학습 비용이 가산적으로 증가하여 막대한 컴퓨팅 자원 (GPU 시간) 을 소모합니다. 예를 들어, 1B 부터 8B 까지 독립적으로 학습할 경우, 전체 비용은 가장 큰 모델 1 개를 학습하는 비용의 합보다 훨씬 큽니다.
목표: 전체 모델 패밀리의 성능을 유지하거나 향상시키면서, 총 학습 비용 (FLOPs) 을 획기적으로 절감할 수 있는 효율적인 구축 방법론이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 **점진적 학습 (Progressive Training)**을 통해 모델 패밀리를 구축하는 방법을 제안합니다. 이는 작은 모델의 파라미터를 활용하여 더 큰 모델을 초기화하는 모델 확장 (Model Expansion) 기법을 반복적으로 적용하는 방식입니다.

핵심 프로세스:
1. 초기 학습: 가장 작은 모델 (예: 1B) 을 무작위 초기화 (Random Initialization) 로 학습합니다.
2. 모델 확장 (Model Expansion): 학습된 작은 모델의 파라미터를 활용하여 다음 단계의 큰 모델 (예: 2B) 을 초기화합니다. 이때 bert2BERT 기법을 사용하여 Transformer 의 폭 (Width) 과 깊이 (Depth) 를 모두 확장합니다.
3. 반복 학습: 확장된 파라미터를 초기값으로 사용하여 다음 모델을 학습하고, 이 과정을 최대 크기 모델 (예: 8B) 에 도달할 때까지 반복합니다.
토큰 할당 전략:
- 독립 학습 시 필요한 총 FLOPs 와 점진적 학습의 총 FLOPs 가 동일하도록 각 단계의 학습 토큰 수 ( $T^{prog}_i$ ) 를 조정합니다.
- 구체적으로, $i+1$ 번째 모델의 학습 토큰 수는 "최대 모델 1 개를 처음부터 학습하는 비용"에서 "이전 단계들에서 이미 사용된 비용"을 뺀 값으로 설정하여, 전체 비용이 최대 모델 1 개 학습 비용과 같아지도록 설계합니다.
최대 학습률 (Learning Rate) 조정:
- 모델 크기가 커질수록 학습 안정성을 위해 학습률을 낮추는 전략을 적용합니다 (1B 모델: $1.5 \times 10^{-3}$ $\rightarrow$ 8B 모델: $3.0 \times 10^{-4}$ ). 이는 작은 모델에서는 빠른 수렴을, 큰 모델에서는 안정성을 확보하기 위함입니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

저자들은 1B 에서 8B 까지의 모델 패밀리 (1B, 2B, 4B, 8B) 에 대해 실험을 수행하여 다음과 같은 결과를 도출했습니다.

A. 계산 비용 절감 (Computational Efficiency)

비용 절감: 독립 학습 방식 대비 약 25% 의 총 계산 비용 (FLOPs) 을 절감했습니다.
- 예: 2x Chinchilla 법칙 설정에서 독립 학습은 약 20.4 ZFLOPs 가 소요되지만, 제안 방법은 15.4 ZFLOPs 로 동일 성능을 달성합니다.
성능 유지: 비용이 절감되었음에도 불구하고, 독립 학습된 모델과 동등하거나 더 우수한 성능을 보였습니다.

B. 성능 향상 (Performance)

벤치마크 결과: Chinchilla 법칙 및 2x Chinchilla 법칙 설정 모두에서, 제안된 점진적 학습 모델은 독립 학습 모델보다 Perplexity(불확실성) 가 낮고, LAMBADA, WinoGrande, ARC 등 다양한 다운스트림 태스크에서 정확도가 높거나 동등한 수준을 기록했습니다.
학습률 조정 효과: 모델 크기에 따라 학습률을 조정 (Learning Rate Adjustment) 한 경우, 비용 절감 효과가 31% 까지 증가했으며, 독립 학습 대비 성능이 더욱 향상되었습니다.

C. 모델 간 일관성 (Consistency)

KL 발산 감소: 점진적 학습으로 생성된 모델 패밀리 간 인접 모델 (예: 1B 와 2B) 의 출력 확률 분포 간 KL 발산 (Kullback-Leibler Divergence) 이 독립 학습 모델보다 현저히 낮았습니다. 이는 모델 크기가 변해도 행동과 내부 메커니즘이 일관되게 유지됨을 의미합니다.
Speculative Decoding 효과: 일관성이 높은 모델 패밀리는 Speculative Decoding(작은 모델이 토큰을 제안하고 큰 모델이 검증하는 기법) 에 매우 유리합니다.
- 실험 결과, 점진적 학습된 4B 모델 (Draft) 과 8B 모델 (Generator) 의 조합은 독립 학습 모델 조합보다 수용률 (Acceptance Rate) 이 93.2% 로 높았으며, 추론 속도가 약 14.8% 빨라졌습니다.

D. 데이터 양의 오해 해소

점진적 학습이 단순히 더 많은 데이터를 학습해서 성능이 좋아진 것은 아님을 확인했습니다. 총 고유 토큰 수를 독립 학습과 동일하게 제한 (320B 토큰) 한 실험에서도 점진적 학습 모델이 우수한 성능을 유지했습니다.

4. 의의 및 중요성 (Significance)

자원 효율성: 대규모 모델 패밀리를 구축하는 데 드는 막대한 비용을 줄여, 연구 및 산업 현장에서 다양한 크기의 모델을 더 저렴하게 개발할 수 있는 길을 열었습니다.
배포 유연성: 모델 패밀리 간 행동 일관성이 높아져, 애플리케이션 환경에 따라 모델 크기를 유연하게 변경 (스케일 업/다운) 하더라도 사용자 경험의 급격한 변화를 방지할 수 있습니다.
실용적 적용: 추론 가속화 기술 (Speculative Decoding) 의 효율성을 높여, 실제 서비스 환경에서의 지연 시간 (Latency) 을 줄이는 데 기여합니다.
확장성: 제안된 방법은 bert2BERT 와 같은 기존 확장 기법을 기반으로 하므로, 향후 더 발전된 모델 확장 기술과도 쉽게 결합하여 적용 가능합니다.

결론

이 논문은 모델 패밀리를 구축할 때 각 모델을 독립적으로 학습하는 비효율적인 관행을 개선하고, **점진적 학습 (Progressive Training)**을 통해 비용은 25% 절감하면서도 성능은 유지 또는 향상시키고, 모델 간 일관성까지 확보하는 효과적인 방법론을 제시했습니다. 이는 제한된 컴퓨팅 자원을 가진 환경에서 고품질 모델 패밀리를 구축하는 데 있어 중요한 이정표가 될 것입니다.