🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

본 논문은 기존 수렴된 전문가 혼합 (Mixture-of-Experts) 체크포인트를 깊이와 폭을 확장하여 재사용하는 "직교 성장" 전략을 제시하며, 이 접근법이 이전의 "매몰 비용"을 활용하여 더 높은 정확도를 달성함으로써 동일한 컴퓨팅 예산 하에서 처음부터 학습하는 방식보다 훨씬 우수한 성능을 보임을 입증합니다.

원저자: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

게시일 2026-05-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts"라는 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어냅니다.

큰 문제: "손실 비용"의 함정

수년과 수백만 달러를 투자해 방대하고 고도로 숙련된 책 도서관 (사전 훈련된 AI 모델) 을 구축했다고 상상해 보세요. 엄청난 양의 데이터로 훈련시켰고, 그 역할에 매우 능숙합니다. 하지만 더 복잡한 질문을 처리하려면 더 큰 도서관이 필요하다는 사실을 깨닫게 됩니다.

이를 해결하는 기존 방식은 기존 도서관을 허물고 처음부터 더 큰 도서관을 새로 짓는 것입니다. 이는 이미 투입된 모든 노력을 폐기하는 것이므로 엄청나게 비싸고 낭비적입니다. 비즈니스 용어로 이는 '손실 비용 (sunk cost)'입니다. 즉, 이미 지출되어 회수할 수 없는 돈과 노력입니다.

이 논문은 질문합니다: 그 기존 도서관을 버리는 대신 재활용할 수는 없을까요? 기존에 잘 훈련된 모델을 가져와서 처음부터 다시 시작하지 않고 더 크고 더 나은 모델로 '성장'시킬 수 있을까요?

해결책: "직교 성장 (Orthogonal Growth)"

저자들은 직교 성장이라는 방법을 제안합니다. 여기서 '직교 (orthogonal)'는 '직각으로' 또는 '독립적으로'라는 의미를 갖습니다. 그들은 서로 간섭하지 않는 두 가지 뚜렷한 모델을 키우는 방법을 발견했습니다. 양말을 신은 다음 신발을 신거나, 신발을 신은 다음 양말을 신는 것처럼 순서에 상관없이 수행할 수 있으며 결과는 동일합니다.

1. 깊이 성장: 더 많은 층 추가하기 (중재 '트릭')

모델을 20 층짜리 마천루라고 상상해 보세요. 이를 더 높게 만들려면 첫 번째 건물 위에 다른 20 층 건물을 그대로 쌓을 수 있습니다.

기존 방식 (쌓기): 단순히 새로운 건물을 위에 쌓으면, 엘리베이터 (데이터 흐름) 가 기존 건물의 최상층에서 새로운 건물의 최하층으로 직접 점프해야 합니다. 이는 급격한 단절을 초래합니다. 건물의 '분위기'가 갑자기 변하는 것입니다.
새로운 방식 (중재): 쌓는 대신, 저자들은 기존 층의 복사본을 원래 층들 사이에 삽입할 것을 제안합니다.
- 비유: 음계를 상상해 보세요. C, D, E, F, G...라는 음이 있고 노래를 더 길게 만들고 싶다면, 노래 끝부분에 전체 노래를 반복하는 것이 아니라, 첫 번째 'C' 바로 뒤에 두 번째 'C'를, 첫 번째 'D' 바로 뒤에 두 번째 'D'를 삽입하는 식입니다. 이렇게 하면 멜로디가 매끄럽고 연속적으로 유지됩니다.
- 작동 원리: 논문은 잘 훈련된 모델은 층이 작동하는 방식에 특정 '리듬'이 있음을 발견했습니다. 복사본을 삽입하면 이 리듬이 보존되지만, 쌓는 방식은 이를 깨뜨립니다. 이 방법은 모델이 이미 완전히 훈련 (수렴) 된 상태에서 가장 잘 작동합니다.

2. 너비 성장: 더 많은 전문가 추가하기 (전문가 '트릭')

이제 모델을 병원이라고 상상해 보세요. 각 방 (층) 안에는 서로 다른 것을 전문으로 하는 몇 명의 의사 (전문가) 가 있습니다. 모델은 특정 환자를 위해 어떤 의사를 호출할지 결정하는 '라우터'를 가지고 있습니다.

기존 방식: 의사를 정확히 복사하기만 하면, 방 안에 두 명의 동일한 의사가 있게 됩니다. 그들은 정확히 같은 일을 하므로 중복되고 혼란스럽습니다.
새로운 방식: 저자들은 의사를 복사하되, 새로운 의사들에게 아주 작은 '정적'이나 '노이즈'를 추가할 것을 제안합니다.
- 비유: 마스터 셰프가 있다고 가정해 보세요. 그 셰프의 복제인을 고용하지만, 복제인에게는 약간 다른 향신료 선반을 주거나 앞치마에 아주 작은 스크래치를 냅니다. 이 작은 차이로 복제인은 마스터를 완벽하게 모방하는 대신 자신만의 독특한 스타일을 개발하고 약간 다른 요리에 전문화하도록 강제됩니다.
- 작동 원리: 이 작은 노이즈는 새로운 전문가들이 기존 전문가들이 이미 가진 지식을 파괴하지 않고도 서로 다른 업무 (전문화) 를 배우도록 도와줍니다.

결과: 비용 대비 효율 극대화

연구자들은 30 억에서 700 억 개의 파라미터를 가진 모델들로 이 방법을 테스트했습니다. 그 결과는 다음과 같습니다.

재활용 가능: 작고 완전히 훈련된 모델을 가져와서 거대한 모델로 성장시킬 수 있습니다.
처음부터 시작하는 것보다 우수함: 동일한 추가 컴퓨팅 자원을 사용하여 모델을 성장시키는 것과 처음부터 새로운 큰 모델을 훈련시키는 것을 비교했을 때, '성장'된 모델의 정확도는 10.6% 더 높았습니다.
투자 많을수록 결과 좋음: 성장시키기 전에 원래 작은 모델에 투입한 '손실 비용' (훈련 시간과 데이터) 이 많을수록, 최종 큰 모델의 성능이 더 좋아집니다. 튼튼한 기초에 투자하는 것과 같습니다. 그 기초 위에 더 높이 건물을 지을수록 건물이 더 잘 서는 것입니다.
순서 무관: 층을 먼저 추가한 다음 전문가를 추가하거나, 전문가를 먼저 추가한 다음 층을 추가할 수 있습니다. 최종 결과는 동일합니다.

결론

이 논문은 '지속 가능한' AI 개발을 위한 청사진을 제공합니다. 끊임없이 돈을 태워 새로운 모델을 처음부터 구축하는 대신, 이미 가진 모델을 가져와 이 두 가지 트릭 (층 삽입과 노이즈가 있는 전문가 추가) 을 사용하여 신중하게 확장함으로써, 더 적은 비용으로 훨씬 더 똑똑하고 큰 모델을 얻을 수 있습니다. 이는 '손실 비용'이라는 폐기를 가치 있는 자산으로 전환하는 것입니다.

기술 요약: 매몰 비용 너머: 혼합 전문가 (MoE) 의 직교적 성장을 통한 LLM 사전 학습 효율성 증대

문제 제기

대형 언어 모델 (LLM) 의 사전 학습에 필요한 컴퓨팅 요구량은 급증하고 있지만, 기존 사전 학습 체크포인트는 아키텍처적 한계로 인해 종종 충분히 활용되지 못하고 있습니다. 현재 모델 확장 전략들은 주로 학습 초기 단계에서 모델을 확장하는 데 초점을 맞추어, 잘 수렴된 체크포인트의 상당한 '매몰 비용 (기존 컴퓨팅 투자)'을 활용하지 못하고 있습니다. furthermore, 대규모 LLM 에서 점점 더 지배적인 역할을 하는 혼합 전문가 (MoE) 아키텍처에 모델 확장을 적용하는 것은 체계적으로 연구되지 않았습니다. 핵심적인 과제는 베이스 모델이 학습한 지식과 최적화된 매개변수를 폐기하지 않고, 수렴된 MoE 모델을 효과적으로 '재활용'하여 더 크고 능력 있는 모델을 만드는 방법을 규명하는 것입니다.

방법론

저자들은 수렴된 MoE 모델을 깊이 (Depth)(레이어 증가) 와 너비 (Width)(전문가 수 증가) 라는 두 가지 독립적인 차원을 따라 확장하도록 설계된 '직교적 성장 (orthogonal growth)' 프레임워크를 제안합니다.

1. 깊이 성장: 인터포지셔널 vs. 스택킹

이 논문은 모델 깊이를 확장하는 두 가지 방법을 대조합니다:

스택킹 (Stacking): 원래 레이어 시퀀스를 $k$ 번 연결합니다 ( $l_1, \dots, l_n, l_1, \dots, l_n$ ).
인터포지셔널 성장 (Interpositional Growth): 각 레이어를 제자리에 복제합니다 ( $l_1, l_1, \dots, l_2, l_2, \dots$ ).

핵심 통찰: 사전 학습된 LLM 에 대한 분석은 레이어별 가중치 노름 분포의 특징적인 패턴을 드러냈습니다: 초기 레이어에서는 노름이 작고, 중간을 거쳐 단조롭게 증가하며, 끝부분에서 약간 감소합니다. 이 패턴은 건강한 수렴의 구조적 특징입니다.

스택킹은 후기 레이어 노름 뒤에 초기 레이어 노름을 배치함으로써 이 단조적인 추세를 방해하고, 모델이 계속된 학습 중에 이를 '수리'해야 하는 급격한 불연속성을 생성합니다.
인터포지셔널 성장은 레이어를 제자리에 복제함으로써 학습된 가중치 노름 궤적을 보존하고, 매끄러운 구조적 진행을 유지합니다.
임계값: 인터포지셔널 성장의 우월성은 베이스 모델이 Chinchilla 확장 법칙에 의해 정의된 컴퓨팅 최적 FLOPs(약 $1\times F_c$ ) 를 넘어 학습된 후에는 결정적으로 중요해집니다.

2. 너비 성장: 노이즈가 있는 전문가 복제

모델 너비를 확장하기 위해 저자들은 전체 전문가 수 ( $E \to 2E$ ) 와 활성화된 전문가 수 ( $k \to 2k$ ) 를 모두 두 배로 늘립니다.

초기화 전략: 새로운 전문가들은 기존 전문가의 가중치를 복사하고 소량의 가우시안 노이즈 ( $\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ , 여기서 $\alpha \approx 0.01$ ) 를 추가하여 초기화됩니다.
근거: 정확한 복제는 완벽한 대칭을 만들어 기능적 분화를 방해합니다. 작은 교란은 이 대칭을 충분히 깨뜨려 계속된 학습 중 라우터가 전문가들을 구분할 수 있게 하면서도 학습된 표현을 보존합니다. 이는 밀집 모델로부터의 '업사이클링 (upcycling)'과 대조되는데, 업사이클링은 종종 높은 수준의 노이즈 ( $\ge 50\%$ ) 와 무작위 라우터 초기화를 필요로 합니다.

3. 직교성

이 논문은 깊이 성장과 너비 성장이 직교적임을 입증합니다.

구조적 분리: 깊이 성장은 새로운 레이어를 추가하고, 너비 성장은 기존 레이어 내에서 새로운 전문가를 추가합니다. 이들은 겹치지 않는 매개변수 세트에서 작동합니다.
최적화 역학: 기울기 분석은 깊이 성장 모델과 너비 성장 모델의 최적화 방향이 성장 전 방향과 서로 거의 직교함을 보여줍니다.
순서 독립성: 최종 성능은 확장 순서 (깊이 후 너비 vs 너비 후 깊이) 에 따라 변하지 않아, 이러한 전략들이 유연하게 통합될 수 있음을 확인시켜 줍니다.

주요 결과

이 프레임워크는 1 조 토큰 데이터셋을 사용하여 3B 에서 70B 파라미터에 이르는 모델들을 통해 광범위한 실험을 통해 검증되었습니다.

깊이 성장의 효과성: 3B MoE 모델을 6B 로 성장시켰을 때, 인터포지셔널 방식은 학습 손실과 하류 작업 정확도 모두에서 스택킹보다 일관되게 우월한 성능을 보였습니다. 베이스 모델이 더 수렴될수록 성능 격차는 확대되었습니다.
매몰 비용 상관관계: '매몰 FLOPs'(성장 전 학습 단계) 의 양과 성장된 모델의 최종 정확도 사이에는 강한 양의 상관관계가 있습니다. 동일한 추가 컴퓨팅 예산을 사용하더라도, 더 늦은 시점의 더 수렴된 체크포인트에서 성장한 모델이 더 일찍 성장한 모델보다 더 높은 최종 성능을 달성했습니다.
scratch 학습과의 비교:
- 고정된 추가 컴퓨팅 예산 하에서, 모델 성장은 처음부터 큰 모델을 학습하는 것보다 현저히 우월한 성능을 보였습니다 (예: 70B 실험에서 10.6% 의 정확도 향상).
- 고정된 총 컴퓨팅 예산 (매몰 비용 + 추가 비용) 하에서, 성장이 충분한 매몰 비용을 가진 체크포인트에서 시작되었다면, 모델 성장은 처음부터 학습하는 것과 유사하거나 약간 더 우월한 결과를 낳았습니다.
확장성: 이 방법은 약 600B 토큰으로 학습된 17B MoE 모델을 성공적으로 70B 파라미터 (총 1T 토큰 학습) 로 확장했습니다. 최종 70B 모델은 평균 정확도 64.17 을 기록하여 17B 베이스라인보다 5.62 포인트, 동일한 추가 FLOPs 예산 하에서 처음부터 학습한 70B 베이스라인보다 10.6% 의 상대적 향상을 기록했습니다.

의의 및 주장

이 논문은 지속 가능한 대규모 LLM 개발을 위한 비용 효율적인 청사진을 제공한다고 주장합니다. 그 주요 의의는 다음과 같습니다:

매몰 비용 재활용: 종종 폐기 가능한 중간 자산으로 간주되는 사전 학습 체크포인트를 체계적으로 활용하여 더 큰 모델을 만들 수 있음을 입증함으로써, 기존 컴퓨팅 투자의 가치를 보존합니다.
최적 성장 전략: 잘 수렴된 모델의 경우, 인터포지셔널 레이어 복제와 최소 노이즈 전문가 복제가 전통적인 스택킹과 무작위 초기화보다 우월함을 확립합니다.
직교적 확장: 깊이와 너비가 간섭 없이 독립적으로 그리고 어떤 순서로든 확장될 수 있음을 증명하여, 자원 제약이 있는 확장 시나리오에서 유연성을 제공합니다.
효율성: 성장은 동일한 추가 컴퓨팅 예산 하에서 처음부터 학습하는 것보다 더 큰 성능 향상을 달성할 수 있음을 보여주어, 프론티어 규모 모델 사전 학습의 장벽을 효과적으로 낮춥니다.

저자들은 이 작업이 LLM 에 내재된 것 이상의 새로운 사회적 위험을 도입하지는 않지만, 학습 효율성을 향상시켜 모델 개발의 환경적 발자국을 줄이는 것을 목표로 한다고 강조합니다.