⚡ electrical engineering

SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs

이 논문은 10 만 개 이상의 GPU 를 사용하는 대규모 LLM 사전학습 시스템에서 고장 발생이 일상화되는 환경에 대응하기 위해, 노드 고장을 은폐하고 실행 순서를 적응적으로 재배열하는 'SPARe'라는 새로운 결함 허용 프레임워크를 제안하며, 이를 통해 기존 복제 방식 대비 40~50% 의 학습 시간 단축과 2~3 배의 낮은 계산 오버헤드를 달성함을 보여줍니다.

원저자: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

게시일 2026-03-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Lee, Zhonghao Chen, Xuhang He, Robert Underwood, Bogdan Nicolae, Franck Cappello, Xiaoyi Lu, Sheng Di, Zheng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 SPARe: 거대 AI 를 훈련시키는 '불굴의 군단' 이야기

이 논문은 10 만 개 이상의 GPU(컴퓨터 칩)를 한데 모아 거대한 인공지능 (LLM) 을 가르칠 때 발생하는 치명적인 문제를 해결하는 새로운 방법, SPARe를 소개합니다.

🎬 배경: 거대한 교실과 자주 망하는 학생들

상상해 보세요. 10 만 명 이상의 학생이 한 교실에 모여 거대한 수학 문제를 함께 풀고 있습니다. 이것이 거대 AI 를 훈련시키는 과정입니다.

하지만 문제는 이 학생들 중 매일 몇 명씩은 갑자기 병원에 가거나, 시험지를 잃어버리거나, 아예 교실을 뛰쳐나간다는 것입니다.

기존의 방식: 한 학생이 문제를 못 풀면, 전체 교실의 수업을 멈추고 그 학생이 돌아오기를 기다리거나, 아예 처음부터 다시 시작해야 했습니다.
결과: 10 만 명이 모인 거대한 교실에서는 학생이 빠지는 일이 너무 자주 일어나서, 실제로 문제를 푸는 시간보다 "다시 시작하는 시간"이 더 길어졌습니다. 이는 엄청난 시간과 돈의 낭비입니다.

💡 SPARe 의 아이디어: "중복된 팀"과 "유연한 역할 교체"

SPARe 는 이 문제를 해결하기 위해 두 가지 혁신적인 전략을 사용합니다.

1. 🧱 쌓기 (Stacked Parallelism): "중복된 팀을 만드세요"

기존의 '복제 (Replication)' 방식은 문제를 풀기 위해 동일한 팀을 20 개나 만들어서 한 팀이 망해도 다른 팀이 대신하게 했습니다. 하지만 이는 20 배의 비용이 들기 때문에 비효율적이었습니다.

SPARe 는 조금 더 똑똑합니다.

비유: 100 개의 조각난 퍼즐 조각을 20 개의 팀에 나누어 줍니다.
기존 방식: 각 팀이 모든 퍼즐 조각을 20 번씩 복사해서 가지고 있습니다. (너무 비쌈)
SPARe 방식: 각 팀은 일부 퍼즐 조각만 가지고 있지만, 다른 팀들과 조각이 겹치지 않게 배분합니다. 만약 팀 A 가 망해도, 팀 B 나 C 가 그 팀이 가진 조각을 대신 가져와서 퍼즐을 완성할 수 있습니다.

2. 🔄 적응형 재배치 (Adaptive Reordering): "상황에 따라 자리 바꾸기"

이게 SPARe 의 핵심 마법입니다.

상황: 팀 A 가 망해서 퍼즐 조각을 못 가져왔습니다.
기존 방식: "아, 망했다! 다시 처음부터 시작하자!" (전체 재시작)
SPARe 방식: "팀 A 가 망했구나? 그럼 팀 B 가 팀 A 의 자리를 대신 채우고, 팀 C 는 팀 B 의 자리를 채우자!"
- 시스템은 누가 망했는지 즉시 파악하고, 남은 팀들이 가장 효율적으로 퍼즐 조각을 재배치합니다.
- 마치 축구 경기에서 선수가 다치자마자, 다른 포지션의 선수가 그 자리를 대신 채우며 경기를 계속하는 것과 같습니다.

🏆 왜 SPARe 가 특별한가요?

1. 📉 비용은 그대로, 안전은 대폭 향상

기존 방식: 안전을 위해 20 배의 팀을 만들면, 비용도 20 배 듭니다.
SPARe: 20 배의 안전을 확보하면서도, 비용은 고작 2~3 배만 듭니다. (마치 20 개의 우산을 들고 다니는 대신, 3 개의 우산으로 비를 막아내는 마법 같은 기술입니다.)

2. ⏱️ 훈련 시간 40~50% 단축

시뮬레이션 결과, SPARe 를 사용하면 기존 방식보다 40~50% 더 빠르게 AI 를 훈련시킬 수 있습니다.

비유: 100km 달리기에서, 기존 방식은 100m 달릴 때마다 10 분씩 쉬었다가 다시 시작하는 반면, SPARe 는 넘어져도 바로 옆 친구가 도와주며 계속 달릴 수 있습니다.

🧩 핵심 요약 (한 줄로 정리)

"거대한 AI 훈련 시스템에서 학생 (GPU) 이 자주 빠진다고 해서 전체 수업을 멈추지 말고, 남은 학생들이 서로의 역할을 유연하게 바꿔가며 퍼즐을 계속 맞추게 하세요. 그래야 시간과 돈을 아낄 수 있습니다."

SPARe 는 거대 AI 시대가 도래하는 지금, **시스템이 자주 고장 나더라도 멈추지 않고 계속 성장할 수 있는 '불굴의 기술'**을 제시합니다.

1. 문제 정의 (Problem Statement)

배경: 대규모 AI 기반 모델 (LLM) 의 사전 학습을 위해 10 만 개 이상의 GPU 가 사용되는 시스템이 등장하고 있습니다.
핵심 문제: GPU 수가 증가함에 따라 시스템의 평균 고장 간격 (MTBF) 은 급격히 감소합니다 (예: 60 만 GPU 환경에서는 평균 5 분마다 고장 발생).
재시작 비용의 지배적 영향: 기존 장애 복구 방식 (Checkpointing, 부분 복구 등) 은 고장 발생 시 전 시스템 재시작 (Global Restart) 을 수반합니다. 10 만 개 이상의 GPU 환경에서 전역 통신 초기화 (NCCL init 등) 및 동기화 비용은 선형적으로 증가하여, 재시작에 소요되는 시간이 실제 학습 시간보다 길어지는 '재시작 지배적 (Restart-dominant)' regimes 가 도래했습니다.
기존 방법의 한계:
- Checkpointing: 재시작 시간을 줄이지 못하며, 재시작 빈도가 높을 경우 비효율적입니다.
- 전통적 복제 (Replication): 고장을 숨기기 위해 데이터를 여러 번 복제 (Redundancy $r$ ) 하지만, 계산 오버헤드가 $r$ 배로 선형 증가하여 실제 적용이 어렵습니다.

2. 제안 방법: SPARe (Methodology)

저자들은 SPARe (Stacked Parallelism with Adaptive Reordering) 라는 새로운 장애 내성 프레임워크를 제안합니다. 이는 전통적인 복제와 유사한 가용성을 유지하면서 계산 오버헤드를 거의 일정하게 (약 2~3 배) 유지하는 것이 핵심입니다.

핵심 아이디어

스택된 데이터 샤드 (Stacked Data Shards):
- 동기식 데이터 병렬 (Synchronous Data Parallelism) 환경에서, 각 GPU 그룹이 모든 데이터를 복제하는 대신, $r$ 개의 스택 (Stack) 으로 나뉜 데이터 샤드를 순환적으로 배치합니다.
- 각 스택에는 모든 유형의 데이터 샤드가 포함되어 있도록 설계됩니다.
적응형 재배열 (Adaptive Reordering):
- 학습 단계마다 모든 샤드를 계산할 필요 없이, 필요한 모든 유형의 부분 기울기 (Partial Gradients) 가 수집될 수 있는 최소한의 스택 수만 계산합니다.
- 노드 고장이 발생하면, 생존한 노드들의 스택 순서를 적응적으로 재배열하여 고장 난 샤드를 최소화된 추가 계산 (Patch Compute) 으로 대체합니다.
RECTLR (Reordering Controller):
- 고장 발생 시 시스템이 재시작할지, 아니면 재배열로 복구할지 결정하는 컨트롤러입니다.
- Phase 0 (HK-FIXED): 현재 스택 순서로 모든 샤드를 수집 가능한지 확인 (Hopcroft-Karp 알고리즘).
- Phase 1 (HK-FREE): 재배열이 필요할 경우, 최소 스택 수를 찾기 위해 샤드 순서를 자유롭게 재배치 가능한지 확인.
- Phase 2 (MCMF): 최소 이동 비용으로 스택을 재배열 (Min-Cost Max-Flow 알고리즘).

3. 주요 기여 (Key Contributions)

이론적 분석 및 공식 유도:
- SPARe 가 견딜 수 있는 평균 고장 수 ( $\mu(N, r)$ ) 와 계산 오버헤드 ( $S(N, r)$ ) 에 대한 폐쇄형 수식 (Closed-form expressions) 을 유도했습니다.
- 전통적 복제는 $r$ 배의 오버헤드가 들지만, SPARe 는 $r$ 이 커도 오버헤드가 약 2~2.8 배 수준으로 거의 일정함을 증명했습니다.
체크포인트와의 최적화 (SPARe+CKPT):
- 체크포인트 주기 및 중복도 ( $r$ ) 를 결합하여 학습 완료 시간 (Time-to-train) 을 최소화하는 최적의 중복도 $r^*$ 를 도출했습니다.
- 최적 중복도 공식: $r^* \approx \lfloor \log_2 N + 0.833 \rfloor$ .
대규모 시뮬레이션 검증:
- SimGrid 기반의 이산 이벤트 시뮬레이션을 통해 60 만 개의 H100 GPU 클러스터 환경에서 성능을 검증했습니다.

4. 실험 결과 (Results)

학습 시간 단축: 60 만 GPU 환경에서 SPARe+CKPT 는 기존 전통적 복제 (Rep+CKPT) 대비 40~50% 단축된 학습 시간을 달성했습니다.
가용성 향상: 높은 중복도 ( $r \approx 20$ $r \approx 20$ ) 에서도 계산 오버헤드를 2~3 배 수준으로 유지하며, 시스템 가용성을 90% 이상으로 높였습니다.
- 예: $N=600$ 일 때, Rep+CKPT 는 4.27 일 소요, SPARe+CKPT 는 2.49 일 소요 (약 41.7% 개선).
오버헤드 분석: 이론적으로 예측된 계산 오버헤드 (약 2~3 배) 가 시뮬레이션 결과와 매우 높은 정확도 (평균 절대 오차 0.60%) 로 일치함을 확인했습니다.
재시작 회피: 고장 발생 시 전역 재시작을 피하고, 부분 복구 (Communicator Shrinking) 와 재배열을 통해 학습을 즉시 재개할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

재시작 지배적 시대의 해결책: 10 만 개 이상의 GPU 를 사용하는 차세대 LLM 학습 시스템에서 발생하는 '재시작 비용' 문제를 해결하는 실용적인 솔루션을 제시했습니다.
비용 효율성: 전통적 복제의 선형적 오버헤드 문제를 우회하여, 고가용성 (High Availability) 을 달성하면서도 계산 자원을 효율적으로 사용합니다.
미래 영향: SPARe 를 통해 대규모 모델 학습 시간을 단축함으로써, 선진 기초 모델 (Frontier Foundation Model) 학습 비용을 절감하고, 에너지 효율성을 높이며, 과학 및 공학 분야의 LLM 연구 가속화에 기여할 것으로 기대됩니다.

요약하자면, SPARe 는 대규모 GPU 클러스터의 빈번한 고장을 '계산 오버헤드'가 아닌 '적응형 재배열'로 해결하여, 재시작 시간을 최소화하고 학습 효율을 극대화하는 혁신적인 장애 내성 프레임워크입니다.