💻 computer science

Mixture of Training: Recombining Small-Scale Scaffolded Pretraining Runs into a Larger Language Model

이 논문은 트랜스포머를 독립적으로 훈련 가능한 레이어 블록으로 분할하고 이를 하나의 일관된 모델로 재구성할 수 있는 스캐폴딩된 모듈형 사전 훈련 프레임워크인 Mixture of Training (MoT)을 소개하며, 이러한 분해된 실행이 재사용 가능한 스캐폴드를 통해 잠재적인 컴퓨팅 이점을 제공하는 동시에 단일 구조(monolithic) 훈련과 대등한 품질을 달성할 수 있음을 입증한다.

원저자: Mohammed Sabry, Sean Augenstein, Keith Rush, Lucio Dery

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammed Sabry, Sean Augenstein, Keith Rush, Lucio Dery

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 레고 브릭으로 거대하고 정교한 성을 쌓으려고 한다고 상상해 보세요. 보통은 하나의 거대한 건설 팀이 성 전체를 동시에 작업하는 유일한 방법이 있습니다. 만약 한 사람이 브릭을 떨어뜨리면 팀 전체가 멈춰야 하고, 팀 규모가 너무 커지면 방이 너무 붐비게 되어 프로젝트를 수정하는 데 엄청난 비용과 시간이 들게 됩니다. 이것이 과학자들이 보통 '거대 언어 모델(LLM)'—이야기를 쓰고, 질문에 답하고, 우리와 대화할 수 있는 초지능형 컴퓨터 두뇌—을 만드는 방식입니다. 이들은 하나의 거대하고 깨지지 않는 블록으로서 훈련됩니다. 하지만 만약 성을 별도의 작은 방들로 나누어 짓고, 각 방에 대해 서로 다른 팀들이 독립적으로 작업하게 한 뒤, 나중에 그것들을 모두 결합할 수 있다면 어떨까요? 이것이 바로 이 논문이 던지는 핵심 질문입니다: 우리는 똑똑한 AI의 훈련을 더 작고 관리 가능한 조각들로 나눈 뒤, 그 마법 같은 능력을 잃지 않고도 나중에 다시 조립할 수 있을까요?

'혼합 훈련(Mixture of Training, 이하 MoT)'이라는 프로젝트를 진행 중인 이 연구진은 이 아이디어를 테스트해 보기로 했습니다. 그들은 단순히 추측만 한 것이 아니라, 13억 개의 파라미터를 가진 AI 모델('젬마 스타일' 모델)을 직접 구축하여 이를 조각내어 훈련시키는 실험을 했습니다. 모델 전체를 한 번에 훈련시키는 대신, 모델을 두 개의 큰 덩어리로 나누었습니다. 이 덩어리들이 나중에 잘 맞물리도록 하기 위해, 그들은 영리한 기술인 '스캐폴드(scaffold, 비계)'를 사용했습니다. 마치 조각들이 만들어지는 동안 위치를 잡아주는 보조 바퀴나 단단한 프레임 같은 것을 상상해 보세요. 그들은 이 프레임(이를 '얼라이너(aligner)'라고 부릅니다)을 고정하여 변하지 않게 했고, 그 후 이 프레임 안에서 AI의 각 덩어리를 훈련시켰습니다. 이렇게 함으로써, 각 덩어리는 비록 따로 훈련되었음에도 불구하고 데이터라는 동일한 '언어'를 말하는 법을 배울 수 있었습니다.

결과는 "성공이다!"와 "상황에 따라 다르다"가 섞여 있었습니다. 연구팀은 독립적으로 훈련된 이 덩어리들을 실제로 가져와서 서로 딱 맞게 끼워 넣었을 때 작동하는 AI를 얻을 수 있다는 것을 발견했습니다. 하지만 이들을 결합하는 순간, AI는 약간 혼란을 느껴 실수를 더 많이 했습니다(표준 방식의 퍼플렉시티(perplexity) 점수가 15.0인 것에 비해 19.3으로 높았습니다). 하지만 흥미로운 점은, 모델 전체가 스스로 대화하도록 잠시 시간을 주는 아주 짧은 '튜닝(tuning)' 세션을 거친 후에는, 이 AI가 전통적인 거대 블록 방식만큼이나 훌고 똑똑해졌다는 것입니다. 실제로 그들은 동일한 양의 컴퓨팅 자원을 사용하면서도 표준 방식과 정확히 같은 품질에 도달하는 방법을 찾아냈습니다.

하지만 주의할 점이 있습니다. 이 논문은 이 방법이 모든 사람에게 즉각적으로 돈을 아껴주는 마법 지팡이는 아니라고 시사합니다. '스캐폴드' 자체를 먼저 구축하는 데 많은 에너지가 들기 때문입니다. 만약 당신이 단 하나의 AI만 만든다면, 스캐폴드 때문에 전체 과정이 기존 방식보다 더 비싸집니다. 하지만 동일한 스캐폴드를 사용하여 여러 개의 서로 다른 AI를 만든다면(예를 들어, 동일한 보조 바퀴를 사용하여 세 개 이상의 성을 짓는 것처럼), 성 하나당 드는 비용은 낮아지며 이 방법은 승자가 됩니다. 연구진은 또한 AI를 너무 작은 조각들로 나누려고 하면 조립하기가 더 어려워지고 품질이 떨어진다는 사실도 발견했습니다. 따라서 이 방법이 아직 거대한 일체형 훈련 방식을 완전히 대체할 수는 없지만, AI 훈련을 더 작고 재사용 가능하며 병렬적인 작업으로 나누는 것이 가능하다는 것을 증명합니다. 이는 AI 실험을 위한 새로운 길을 열어주며, 오류를 수정하고, 작업의 일부를 재시작하며, 미래에 도시 크기의 슈퍼컴퓨터 없이도 더 똑똑한 모델을 훈련할 수 있게 해줍니다.

기술 요약: Mixture of Training (MoT)

문제 정의
현재 대규모 언어 모델(LLM)의 사전 학습(pre-training)은 단일한 모놀리식 엔드 투 엔드(end-to-end) 최적화 실행 과정으로 구성되어 있습니다. 이러한 아키텍처는 모든 레이어를 동시에 학습시켜야 하는 스케일링 병목 현상을 초발하며, 이로 인해 프로세스가 매우 취약해집니다(단 하나의 오류가 전체 실행을 중단시킴). 또한 반복적인 연구를 수행하기에도 유연하지 못합니다(개선 사항이 발생할 때마다 거대하고 결합된 시스템을 다시 시작하거나 계속 이어가야 함). 본 논문은 사전 학습을 더 작은 단위로 분해하여 독립적으로 학습 가능한 작업들로 나눈 뒤, 품질 저하 없이 나중에 하나의 일관된 더 큰 모델로 재구성할 수 있는지에 대해 질문을 던집습니다.

방법론: Mixture of Training (MoT)
저자들은 타겟 트랜스포머(Transformer)를 연속적인 레이어 블록으로 분할하도록 설계된 스캐폴드 기반의 모듈형 사전 학습 절차인 **Mixture of Training (MoT)**을 소개합니다. 이 방법은 세 단계로 작동합니다:

단계 0 (준비): 사전 학습된 얼라이너(aligner, 정렬기) ( $A$ )를 선택하거나 준비합니다. 타겟 트랜스포머 ( $F$ )와 얼라이너는 모두 $K$ 개의 연속적인 레이어 블록으로 분할됩니다. 얼라이너는 글로벌 너비, 어텐션 헤드 차원, 피드 포워드(feed-forward) 너비, 토큰 임베딩, 출력 헤드를 공유하며 타겟과 형태적 호환성을 가집니다.
단계 1 (스캐폴드 학습): 타겟 모델을 $K$ 개의 서브모델 ( $f_1, \dots, f_K$ )로 분해합니다. 각 서브모델 $f_i$ 에 대해, 고정된 얼라이너 구조 안에 $f_i$ 를 삽입하여 스캐폴드 네트워크 $S_i$ 를 구축합니다:
$S_i = a_K \circ \dots \circ a_{i+1} \circ f_i \circ a_{i-1} \circ \dots \circ a_1$
이 설정에서 오직 타겟 블록 $f_i$ 만이 학습 가능하며, 모든 얼라이너 슬라이스는 고정(frozen)됩니다. 각 스캐폴드는 표준 차기 토큰 예측 손실(next-token prediction loss)을 사용하여 독립적으로 최적화됩니다. 결정적으로, 이 단계 동안 타겟 블록 간에 그래디언트(gradient)가 교환되지 않지만, 모든 블록은 공유된 얼라이너가 제공하는 안정적인 표현 맥락 내에서 학습됩니다.
단계 2 (재구성 및 적응): 얼라이너를 폐기합니다. 학습된 타겟 블록들을 전체 모델 $\hat{F} = f_K \circ \dots \circ f_1$ 로 재구성합니다. 이 "콜드 컴포지션(cold-composed)" 모델은 직접 평가되거나, 남아있는 표현 불일치를 해결하기 위해 짧은 엔드 투 엔드 적응(adaptation) 과정을 거칠 수 있습니다.

주요 기여

스캐폴드 기반 모듈형 학습: 레이어를 사후적으로 스티칭(stitching)할 필요 없이 재구성이 가능하도록, 고정된 얼라이너를 통해 공유된 표현 인터페이스를 유지하면서 타겟 깊이 슬라이스를 독립적으로 학습시키는 절차를 제안합니다.
메커니즘의 증명: 독립적으로 학습된 깊이 슬라이스가 1.3B 파라미터 규모의 사용 가능한 언어 모델로 성공적으로 재구성될 수 있음을 보여주는 소규모 연구를 제시합니다.
컴퓨팅 및 스케줄링 회계: 컴퓨팅(FLOPs), 토큰 노출, 그리고 이상적인 레이어 등가 임계 경로(idealized layer-equivalent critical path) 사이의 트레이드오프에 대한 상세한 분석을 포함합니다. 여기에는 얼라이너 비용에 대한 명시적인 처리, 즉 "직접" 학습 비용과 단일 실행에 전체 비용을 할당하는 "완전 충전(fully charged)" 비용, 그리고 여러 실행에 걸쳐 분할 계산(amortized)되는 비용을 구분하는 내용이 포함됩니다.
절제 연구(Ablation Studies): 얼라이너의 필요성, 이질적인 데이터 스트림의 영향, 그리고 분할 수( $K$ ) 증가에 따른 품질-효율성 트레이드오프를 보여주는 실증적 근거를 제시합니다.

실험 결과
저자들은 C4 데이터셋을 사용하여 12개 레이어로 구성된 1.3B 파라미터 규모의 Gemma 스타일 모델에 대해 MoT를 평가했습니다.

품질 동등성(Quality Parity): 서브모델 학습을 연장하고 30k-step 적응 과정을 포함한 "품질 동등성" 스케줄은 모놀리식 베이스라인과 동일한 퍼플렉시티(perplexity, 15.0)를 달ように 했습니다.
컴퓨팅 트레이드오프:
- "품질 동등성" 스케줄은 더 많은 총 집합 토큰(47.1B vs 33.6B)을 처리했고 더 짧은 이상적 임계 경로(1.7배 빠른 속도 잠재력)를 가졌으나, 얼라이너 비용을 단일 실행에 완전히 할당했을 때 더 많은 총 FLOPs(285.0 EFLOPs vs 268.4 EFLOPs)가 필요했습니다.
- 그러나 얼라이너를 $R$ 개의 독립적인 실행에 재사용할 경우, 실행당 유효 비용은 감소합니다. 논문은 $R \ge 3$ 일 때 유효 비용이 모놀리식 베이스라인보다 낮아진다고 언급합니다.
- 더 낮은 컴퓨팅을 사용하는 스케줄(MoT + 15k 적응)은 189.4 EFLOPs(완전 충전 시)에서 15.9의 퍼플렉시티에 도달했으며, 이는 베이스라인 예산보다 낮습니다(다만, 이 특정 예산에 대해 직접 비교할 수 있는 동일 컴퓨팅 모놀리식 베이스라인은 제공되지 않았습니다).
절제 연구:
- 얼라이너의 필요성: 얼라이너가 없으면 콜드 컴포지션 품질이 붕괴되었습니다(PPL 38.9). 이는 얼라이너가 인터페이스 불일치를 방지함을 확인해 줍니다.
- 데이터 스트림: 얼라이너가 존재할 때, 서브모델을 위한 이질적인 데이터 스트림이 공유된 데이터(PPL 20.3)보다 콜드 컴포지션 품질을 향상시켰습니다(PPL 19.3).
- 분할 수: 분할 수를 $K=2$ 에서 $K=4$ 로 늘리면 컴퓨팅은 줄어들지만 콜드 컴포지션 품질은 저하되었습니다(PPL 24.8). 이는 병렬성과 인터페이스 복잡성 사이의 트레이드오프를 강조합니다.

의의 및 주장
본 논문은 MoT를 모놀리식 사전 학습의 일반적인 대체제가 아니라, 스캐폴드된 서브 런(sub-runs)이 재사용 가능한 학습 단위로서 기능할 수 있는지 연구하기 위한 소규모 프레임워크로 포지셔닝합니다.

저자들은 세 가지 주요 결론을 주장합니다:

독립적으로 학습된 서브모델은 공유된 얼라이너 스캐폴드 내에서 학습될 경우 일관된 언어 모델로 재구성될 수 있으며, 얼라이너가 없으면 콜드 컴포지션은 실패합니다.
독립적으로 학습된 블록 간의 불일치는 대부분 회복 가능합니다. 짧은 적응 과정을 통해 대부분의 격차를 좁힐 수 있으며, 더 긴 스케줄을 통해 모놀리식 학습과 동등한 수준에 도달할 수 있습니다.
MoT는 사전 학습의 엔지니어링 형태를 변화시켜, 더 작고 독립적으로 스케줄링 가능하며, 재시작 및 절제 연구가 가능한 작업을 만들어냅니다. 이는 특히 소규모 학습 연구에 적합하며, 잠재적으로 더 저렴하고 재현 가능하며 반복하기 쉽게 만듭니다.

저자들은 현재의 증거가 균일한 컴퓨팅 또는 동일 하드웨어 속도 우위를 확립하기보다는 **모듈형 결합 가능성(modular composability)**과 **분할 재사용 스케줄링 체계(amortized-reuse scheduling regime)**를 입증하는 것임을 명시적으로 밝히고 있습니다. 이 연구는 구체적인 설계 공간(재사용 가능한 스캐폴드 서브 런)에 대한 메커니즘의 증거 역할을 하기 위해 의도적으로 하나의 모델 제품군, 하나의 데이터셋, 퍼플렉시티 중심의 지표로 범위를 제한하였습니다.

기술 요약: Mixture of Training (MoT)

유사한 논문