🤖 machine learning

SCAPE: Accurate and Efficient LLM Training with Extreme Sparse Communication

SCAPE는 Adam 방식의 1차 모멘트 통계량을 활용하여 공격적인 그래디언트 희소화(최대 99%)를 가능하게 함으로써, 대규모 언어 모델의 모델 품질과 학습 안정성을 유지하면서도 사전 학습의 실제 벽시계 시간(wall-clock time)과 통신 오버헤드를 크게 줄이는 통신 효율적인 분산 옵티마이저입니다.

원저자: Mingkai Zheng, Junlin Chen, Haotian Xie, Zhao Zhang

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingkai Zheng, Junlin Chen, Haotian Xie, Zhao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 똑똑한 로봇(거대 언어 모델)에게 글쓰기, 추론, 그리고 대화하는 법을 가르치려 한다고 상상해 보세요. 이를 위해 당신은 거대한 컴퓨터 팀(GPU)이 함께 협력하게 해야 합니다. 이들은 거대한 책의 서로 다른 부분들을 살펴보며 학습하고, 그 교훈들을 결합하여 로봇의 두뇌를 업데이트하려고 시도합니다.

문제는 무엇일까요? 이 팀은 실제로 배우는 시간보다 서로 대화하는 데 더 많은 시간을 보낸다는 점입니다.

컴퓨터가 교훈 하나를 마칠 때마다, 전체 팀에게 자신의 발견을 외쳐서 모두가 다음 단계를 결정할 수 있도록 해야 합니다. 로봇이 똑똑해지고 팀의 규모가 커질수록, 이 "외치는 것"(통신)이 병목 현상이 됩니다. 이는 마치 음악가들이 악기를 연주하기보다는 지휘자의 단상으로 달려가서 메모를 속삭이는 데 90%의 시간을 쓰는 교향악단을 조율하는 것과 같습니다.

기존의 해결책들은 다음 중 하나로 이를 해결하려 했습니다:

너무 많이 요약하기: "내 노트의 상위 10%만 알려줄게." 하지만 이는 종종 로봇을 혼란스럽게 만들어, 로봇이 잘못된 것을 배우게 만듭니다.
암호로 말하기: "내 노트를 아주 작은 조각들로 압축할게." 이는 공간을 절약하지만, 이를 다시 해독하는 데 추가적인 시간이 걸리며, 무한히 압축할 수는 없습니다.

여기에 SCAPE가 등장합니다.

핵심 아이디어: "포스트잇" 전략

SCAPE는 이 컴퓨터들이 대화하는 새로운 방식입니다. 단순히 교훈의 모든 세부 사항을 외치는 대신, 로봇의 두뇌가 학습하는 방식에 기반한 영리한 트릭을 사용합니다.

여기 이 비유가 있습니다:

1. "노이즈가 많은 신호" vs "안정적인 신호"
로봇의 두뇌에는 두 가지 기억 방식이 있다고 상상해 보세요:

거친 파악 (AdamW): 이것은 학생이 들리는 모든 단어를 미친 듯이 휘갈겨 쓰는 것과 같습니다. 빠르지만 매우 노이즈가 많고 들쑥날쑥합니다. 만약 그들에게 "상위 10%의 단어"만 보여준다면, 그들은 혼란에 빠져 큰 그림을 잊어버릴 것입니다.
매끄러운 흐름 (AdamS): 이것은 학생이 잠시 생각하며 "좋아, 방금 읽은 문단의 핵심 내용이 뭐였지?"라고 판단하는 것과 같습니다. 이 버전은 훨씬 더 안정적이고 노이즈가 적습니다.

SCAPE는 이 "매끄러운 흐름"이 매우 안정적이기 때문에, 세부 사항의 90% 또는 심지어 99%를 버려도 로봇이 혼란을 느끼지 않고 안전하다는 것을 발견했습니다. "핵적인 아이디어"는 작은 세부 사항들을 무시하더라도 그대로 유지되기 때문입니다.

2. "게으른" 마스크 (지연 동기화)
보통, 팀이 무엇을 외칠지 결정할 때, 그들은 먼저 멈춰 서서 "중요한 단어" 목록에 합의해야 합니다. 이는 작업을 중단시킵니다.

SCAPE는 다음과 같이 말하는 팀과 같습니다. "지금 무엇을 외칠지 결정은 하되, 실제로 외치는 것은 다음 라운드까지 미루자."

1단계: 컴퓨터들은 무거운 작업(연산)을 수행하는 동안 "중요한 단어들"(마스크)을 계산합니다.
2단계: 무거운 작업을 마칠 때쯤이면, "중요한 단어들" 목록이 이미 준비되어 있습니다. 따라서 기다릴 필요 없이 즉시 외칠 수 있습니다.
결과: "말하는" 데 걸리는 시간이 "일하는" 시간 속에 숨겨집니다. 이는 마치 요리사가 수프가 끓는 동안 채소를 다듬어서, 채소 다지는 작업이 저녁 식사를 늦추지 않도록 하는 것과 같습니다.

3. "원스톱" 숍
보통, 로봇의 두뇌를 업데이트하려면 팀은 두 번의 모임을 가져야 합니다. 한 번은 "방향"에 대해 합의하기 위해서이고, 또 한 번은 "속도"에 대해 합의하기 위해서입니다. SCAPE는 이 두 번의 모임을 한 번에 처리하는 방법을 찾아냈습니다. 그들은 두뇌를 업데이트하는 데 필요한 모든 것을 포함하는 하나의 압축된 메시지를 보냄으로써 엄청난 시간을 절약합니다.

결과: 더 빠르고, 더 똑똑하며, 더 저렴하게

연구진은 두 가지 서로 다른 로봇 두뇌(5억 개의 파라미터를 가진 모델과 18억 개의 파라미터를 가진 모델)를 사용하여 32개의 강력한 GPU로 테스트를 진행했습니다.

속도: 더 큰 로봇의 경우, SCAPE는 전체 훈련 시간을 43% 단축했습니다. 더 큰 로봇의 경우에는 각 단계를 3배 더 빠르게 만들었습니다.
품질: 데이터를 90%에서 99%까지 버렸음에도 불구하고, 로봇은 모든 것을 다 외쳤을 때와 마찬가지로 잘 학습했습니다. 독해력, 논리력, 일반 상식 테스트에서 동일하거나 더 나은 점수를 기록했습니다.
효율성: 팀은 단순히 빨라진 것뿐만 아니라 더 효율적이 되었습니다. 더 많은 컴퓨터를 팀에 추가했을 때, 기존 방식처럼 통신 "교통 체증" 때문에 시스템이 느려지는 현상이 발생하지 않았습니다.

요약하자면

SCAPE는 매우 효율적인 연구 팀과 같습니다. 그들은 서로에게 논문의 모든 초안을 이메일로 보낼 필요가 없다는 사실을 깨달았습니다. 대신, 그들은 핵심 개요(매우 안정적인 것)에 합의하고, 그것만을 전송하며, 동시에 다음 장을 작성하는 와중에 이 일을 처리합니다. 그 결과, 그들은 책을 절반의 시간 만에 완성하면서도 이야기의 질은 똑같이 유지합니다.

기술 요약: SCAPE – 극단적 희소 통신을 통한 정확하고 효율적인 LLM 학습

1. 문제 정의

대규모 언 언어 모델(LLM)의 규모가 커짐에 따라, 사전 학습(pre-training) 비용은 데이터 병렬 및 샤딩 기반 학습 방식(예: ZeRO, FSDP, Megatron-LM)에서의 통신 오버헤드에 의해 점점 더 크게 좌우되고 있습니다. 그래디언트 동기화 및 집합 연산(all-reduce, all-gather)을 통한 파라미터 재구성은 주요한 스케일링 병목 현상이 됩니다.

통신량을 줄이기 위한 기존 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

그래디언트 희소화 (Top-k): 전통적인 방식(예: DGC, DeMo)은 가공되지 않은(raw) 그래디언트를 희소화합니다. 그러나 이러한 방식은 높은 희소도 수준에서 현대적인 Adam 스타일 옵티마이저에 대해 불안정한 경우가 많습니다. 이는 "오래된(stale)" 에러 피드백 역학이 학습 발산을 초래할 수 있기 때문입니다.
양자화 (Quantization): QSDP 및 ZeRO++와 같은 방법은 비트 너비를 줄이지만, 근본적으로 그래디언트당 필요한 최소 비트에 의해 제한됩니다. 또한, 특정 백엔드 지원(예: NCCL)이 없으면 값비싼 all-to-all 연산으로 인해 높은 메모리 및 통신 오버헤드를 유발할 수 있습니다.
적용 가능성: 기존의 많은 top-k 방식은 SGD 옵티마이저를 위해 설계되었거나 모델 품질을 유지하기 위해 낮은 희소도를 요구하며, 고희소도 LLM 학습의 요구사항을 충족하지 못합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 모델 성능을 해치지 않으면서 통신량을 극단적으로(예: 90–99% 희소도) 줄일 수 있는가?

2. 방법론: SCAPE

저자들은 AdamS 옵티마이저를 기반으로 구축된 통신 효율적인 분산 옵티마이저인 SCAPE(Sparse Communication with Adaptive Partitioned Execution)를 제안합니다. SCAPE는 AdamS의 특정 특성을 활용하여, 가공되지 않은 그래디언트 희소화와 관련된 불안정성 없이 공격적인 희소화를 가능하게 합니다.

주요 설계 통찰

AdamS의 견고성: AdamW와 달리, AdamS는 높은 희소도 하에서도 잔차 성장(residual growth)이 실질적으로 작습니다. AdamS의 1차 모멘트( $m_t$ )는 AdamW에서 사용되는 2차 모멘트( $v_t$ )보다 더 부드러운 프리컨디셔너(preconditioner) 역할을 하여, 희소 설정에서 발생하는 노이즈와 오래된 정보(staleness)에 더 강한 내성을 보입니다.
1차 모멘트 마스크의 시간적 안정성: AdamS의 1차 모멘트 통계로부터 도출된 top-k 구조는 인접한 학습 단계 간에 시간적으로 안정적입니다. 이를 통해 한 단계 지연된(one-step delay) 마스크 재사용이 가능합니다.

시스템 설계 구성 요소

SCAPE는 학습 루프를 최적화하기 위해 세 가지 주요 메커즘을 도입합니다:

분할된 마스크 동기화 (Partitioned Mask Synchronization):
모든 워커가 전역 top-k 마스크를 계산하게 하면 (워커 수가 증가함에 따라 전역 마스크가 조밀해지는 "채움(fill-in)" 효과가 발생함), SCAPE는 마스크 생성을 옵티마이저 샤딩과 일치시킵니다. 각 워커는 오직 자신의 분할된 레이어에 대해서만 top-k 마스크를 계산합니다. 이후 이 마스크들은 all-gather를 통해 집계되어 전역 마스크를 형성합니다. 이 접근 방식은 채움 효과를 방지하고 워커당 계산 부하를 줄입니다.
지연된 마스크 사용 (One-Step Lag):
SCAPE는 단계 $t$ 에서의 1차 모멘트 통계( $\tilde{m}_t$ )를 기반으로 마스크를 구성하지만, 이를 단계 $t+1$ 에 적용합니다. 이러한 지연은 마스크 동기화(all-gather를 통한)를 순방향 및 역방향 패스(forward and backward passes)의 무거운 계산과 비동기적으로 중첩시켜, 효과적으로 통신 지연을 숨길 수 있게 합니다.
단일 버퍼 2차 모멘트 재구성 (Single-Buffer Second-Moment Reconstruction):
표준 희소 학습에서는 2차 모멘트( $v_t$ )를 업데이트하기 위해 일반적으로 그래디언트와 모멘트 모두를 동기화해야 하므로 두 번의 집합 연산이 필요합니다. SCAPE는 단일 동기화된 희소 버퍼( $\bar{b}_t$ )로부터 2차 모멘트 업데이트에 필요한 양들을 재구성합니다. 동기화된 1차 모멘트 버퍼로부터 전역 평균 그래디언트와 잔차를 수학적으로 도출함으로써, SCAPE는 두 번째 all-reduce 연산을 피할 수 있습니다.
메모리 최적화:
오프로딩(offloading)에 필요한 잔차 버퍼 및 전체 모델 복제본의 메모리 오버헤드를 처리하기 위해, SCAPE는 더블 버퍼링을 갖춘 CPU 오프로딩을 사용합니다. 또한 마스크를 위한 패킹된 단일 비트 포맷과 패킹/언패킹을 위한 Triton 커널을 사용하여 계산 오버헤드를 최소화합니다.

3. 주요 기여

새로운 옵티마이저 통합: SCAPE는 가공되지 않은 그래디언트가 아닌 AdamS의 안정적인 1차 모멘트를 활용함으로써, LLM 사전 학습에서 극단적인 희소성(90–99%)을 성공적으로 구현한 최초의 방법입니다.
통신 중첩 (Communication Overlap): 지연된 마스크 사용 설계는 마스크 동기화를 계산 뒤로 숨길 수 있게 하며, 이는 대규모 클러스터에서 중요한 최적화 요소입니다.
효율적인 집합적 축소 (Efficient Collective Reduction): 단일 희소 버퍼로부터 2차 모멘트 업데이트 양을 재구성함으로써, SC side는 두 번째 all-reduce 연산의 필요성을 제거하여 통신량을 크게 줄입니다.
확장 가능한 구현: Megatron-LM 내에 구현된 SCAPE는 샤딩된 데이터 병렬성을 지원하며, 분산 top-k 방식에서 흔히 발생하는 "채움(fill-in)" 효과를 효과적으로 처리합니다.

4. 실험 결과

저자들은 TACC Vista 슈퍼컴퓨터에서 32개의 NVIDIA GH200 GPU를 사용하여 OpenWebText 상의 GPT-345M과 SlimPajama-6B 상의 Llama-500M을 사전 학습하며 SCAPE를 평가했습니다.

학습 효율성 및 품질

Llama-500M: SCAPE는 밀집(dense) 베이스라인과 비교했을 때 엔드 투 엔드 사전 학습 벽 시계 시간(wall-clock time)을 90% 희소도에서 35.6%, 99% 희소도에서 43.3% 단축했습니다. 결정적으로, 밀집형 AdamS 및 AdamW와 유사한 검증 손실(validation loss)을 유지했으며, 일부 경우(90% 희소도의 Llama-500M)에는 오히려 약간 더 낮은 검증 손실을 달랐습니다.
GPT-345M: 90% 희소도 하에서 SCAPE는 밀집형 AdamS보다 낮은 학습 및 검증 손실을 달성했습니다. 99% 희소도에서는 성능 차이가 미미했습니다(<0.04 차이).
다운스트림 태스크: SCAPE는 LAMBADA, SuperGLUE, PIQA, MMLU, ARC를 포함한 벤치마크에서 다운스트림 태스크 정확도를 보존했습니다. Llama-500M의 경우, SCAPE(90% 희소도)는 16개 태스크 중 5개에서 밀집형 AdamW를 능가했고, 9개 태스크에서 밀집형 AdamS를 능가했습니다.

스케일링 및 성능

단계당 속도 향상 (Per-Step Speedup): 통신이 지배적인 Llama-1.8B의 경우, SCAPE는 64개 GPU에서 밀집형 AdamS 대비 단계당 3.26배의 속도 향상을 달見했습니다.
강력한 스케일링 효율 (Strong Scaling Efficiency): 64개 GPU에서 SCAPE는 강력한 스케일링 효율을 크게 개선했습니다. Llama-1.8B의 경우, 효율성이 17.58%(AdamS)에서 **55.04%(분산 옵티마이저 및 CPU 오프로딩을 적용한 SCAPE)**로 상승했습니다.
메모리: SCAPE는 잔차 버퍼를 도입하지만, CPU 오프로딩 기술을 통해 메모리 사용량을 효과적으로 관리하여 구성에 따라 Llama-1.8B의 메모리 소비를 약 6~9GB 줄였습니다.

5. 의의 및 주장

본 논문은 SCAPE가 LLM을 위한 통신 효율적인 분산 학습의 중요한 진전임을 주장합니다. SCape의 주요 의의는 가공되지 않은 그래디언트가 아닌 AdamS 옵티마이저의 안정적인 1차 모멘트에 희소화를 적용한다면, 모델 품질을 희생하지 않고도 극단적인 통신 희소성(최대 99%)이 가능하다는 것을 입증한 데 있습니다.

저자들은 SCAPE를 특히 통신이 병목인 시나리오에서 대규모 사전 학습의 벽 시계 시간을 줄이기 위한 실질적인 솔루션으로 제시합니다. 그들은 특정 하드웨어 구성(예: NVLink-C2C vs. PCIe)에 따라 개선 정도가 달라질 수 있지만, 분할된 마스크 생성, 지연된 마스크 사용, 단일 버퍼 재구성이라는 핵심 알고리즘 기여는 일반화 가능하다는 점을 언급합니다. 이 연구는 분산 환경에서 옵티마이저 상태를 동기화하는 방식을 근본적으로 바꿈으로써, 점점 더 커지는 모델의 학습 비용을 줄이는 길을 제시합니다.