기술 요약: DEADPOOL

문제 정의

최첨단 대규모 언어 모델(LLM) 학습은 수만 개의 GPU를 수개월 동안 운용해야 하므로, 노드 장애는 드문 사건이 아니라 예상 가능한 운영 조건입니다. 기존의 결함 허용(fault-tolerance) 메커니즘은 **무결점 실행 오버헤드(error-free execution overhead)**와 복구 비용(recovery cost) 사이에서 근본적인 트레이드오프에 직면해 있습니다:

• 체크포인트-재시작(Checkpoint-Restart): 전통적인 방식은 주기적으로 영구적인 체크포인트를 기록합니다(예: 1,000 스텝마다). 이는 정상 실행 중에는 오버헤드를 분산시키지만, 장애 발생 시 상당한 복구 비용을 초래합니다. 여기에는 체크포인트를 다시 로드하는 데 걸리는 지연 시간과 마지막 체크포인트 이후 수행된 모든 학습 단계를 재실행하는 "재생 비용(replay cost)"이 포함됩니다. 대규모 배포 환경에서는 이 재생 비용이 재시작 자체의 지연 시간보다 커질 수 있습니다.
• 탄력적/제외 및 실행(Elastic/Exclude-and-Run): Bamboo와 같은 방법은 결함이 있는 노드를 제외하고 용량을 줄여 학습을 계속함으로써 장애를 견뎌냅니다. 그러나 이러한 방식은 워크로드 불균형으로 인해 학습 처리량을 저하시키거나 복잡한 파이프라인 버블 관리를 요구할 수 있습니다.
• 인메모리 체크포인팅(In-Memory Checkpointing): 인메모리 체크포인트를 사용하는 기존 시도들은 쓰기 지연 시간을 줄여주지만, 메모리 상태 자체가 손실되는 영구적인 노드 장애 상황에서는 실패하여 결국 전체 재시작을 필요로 합니다.

핵심 과제는 오류가 없는 실행 중에는 제로 오버헤드를 달고, 전체 작업 재시작 없이도 복구 지연 시간과 재계산을 제한된 작은 비율로 최소화하는 시스템을 설계하는 것입니다.

방법론

저자들은 **핫스왑(hot-swapping)**을 통해 LLM 학습을 위한 결함 허용 시스템인 DEADPOOL을 제시합니다. DEADPOOL은 노드 장애 복구를 전체 작업을 재시작하는 대신, 실패한 노드를 예비 노드로 교체하면서 학습 연속성을 유지하는 온라인 토폴로지 수리 문제로 취급합니다. 이 시스템은 두 가지 주요 통찰력을 기반으로 구축되었습니다:

1. 비동기 오프로드 파이프라인 (제로 오버헤드 체크포인팅)

오류가 없는 실행 중에 제로 오버헤드를 달성하기 위해, DEADPOOL은 단일 반복(iteration) 내에서 상태 보호를 학습 임계 경로(순전파, 역전파, 그래디언트 동기화)와 중첩시키는 비동기식 2단계 오프로드 파이프라인을 사용합니다:

• 장치-호스트 간 전송 (D2H): 전체 랭크 상태(옵티마이저 샤드, 로컬 모델 파라ме터 및 메타데이터)를 고정된(pinned) 호스트 메모리로 복사합니다. 이를 통해 일시적인 오류 발생 시 빠른 로컬 복구가 가능합니다.
• 호스트-호스트 간 전송 (H2H): 옵티마이저 상태 샤드와 메타데이터만을 데이터 병렬(DP) 링 토폴로지의 피어 노드로 전송합니다. 모델 파라메터는 네트워크를 통해 복제되지 않습니다. 대신 장애 발생 시 동일한 텐서/파이프라인 병렬 좌표를 공유하는 건강한 피어로부터 재구성됩니다.
• 중첩 전략: 옵티마이저 샤드(전체 상태보다 작음)만을 전송하고 별도의 실행 스트림(D2H를 위한 CUDA 스트림, H2H를 위한 MPI 스레드)을 활용함으로써, 시스템은 통신이 단일 학습 스텝의 컴퓨팅 윈도우 내에 완료되도록 보장합니다. 이는 임계 경로에서의 노출된 스톨(stall)을 제거합니다.

2. 분산 커뮤니케이터 재구성 (핫스왑)

영구적인 노드 장애(하트비트 또는 NCCL 타임아웃을 통해 감지됨)가 발생하면, DEADPOOL은 전체 작업 종료를 피하는 복구 정책을 실행합니다:

• 토폴로지 수리: 시스템은 예비 노드를 식별하고, 관련된 노드 집합을 업데이트하며, 새 노드를 포함하도록 분산 통신 그룹(예: NCCL 커뮤니케이터)을 재구성합니다.
• 상태 재구성:
  • 모델 파라메터: 대상적인 콜렉티브 연산을 통해 동일한 논리적 파티션을 공유하는 건강한 랭크들로부터 재구성됩니다.
  • 옵티마이저 상태: H2H 파이프라인에 의해 유지되는 인메모리 복제본으로부터 직접 복구됩니다.
• 재개: 학습은 최대 한 단계의 재실행(중단된 단계)만으로 마지막 완료된 단계부터 재개되어 단계 원자성(step atomicity)을 보존합니다.

오류 분류

DEADPOOL은 일시적 장애(로컬 리셋/재초기화를 통해 처리)와 영구적 장애(노드 교체를 통해 처리)를 구분하는 레이어를 포함합니다. 이를 통해 토폴로지 변경이 꼭 필요한 경우에만 발생하도록 하여, 샤드 완결성 및 토폴로지 일관성에 대한 시스템 불변성을 유지합니다.

주요 기여

1. DEADPOOL 시스템: 실패한 노드를 교체하면서도 작업을 종료하지 않는 대규모 LLM 학습을 위한 온라인 핫스왑 복구 메커니즘.
2. 비동기 이웃 메모리 복제: DP-링 피어에게 옵티마이저 상태 샤드를 복제하는 새로운 전략으로, 학습 임계 경로에 제로 오버헤드를 가지는 반복당 체크포인팅을 가능하게 함.
3. 확장 가능한 평가: 최대 512개의 NVIDIA A100 GPU 및 64개의 GH200 GPU, 그리고 최대 65B 파라미터 규모의 모델에 대한 포괄적인 평가를 통해, 오류 없는 실행 중 제로 오버헤드와 일관된 복구 시간을 입증함.

실험 결과

저자들은 NERSC Perlmutter 및 TACC Vista의 프로덕션 HPC 시스템에서 DEADPOOL을 평가했습니다:

• 제로 오버헤드: 오류 없는 실행 시, DEADPOOL은 무시할 수 있는 수준의 런타임 오버헤드만을 도입합니다. 약한 스케일링(weak-scaling) 실험(32~256 GPU) 및 다양한 3D 병렬 토폴로지 전반에 걸쳐, DEADPOOL의 반복당 학습 시간은 베이스라인(DEADPOOL 없는 원래의 학습)을 밀접하게 추종하며, 차이는 체크포인팅 비용이 아닌 시스템 노이즈에 기인합니다.
• 복구 지연 시간: DEADPOOL은 노드 교체를 완료하고 학습을 복구하는 데 지속적으로 40초 미만(테스트된 시나리오에서 구체적으로 32.6초~29.8초)을 소요했습니다.
  • 이는 전통적인 체크포인트-재시작(초기화 및 로딩을 포함하여 약 150초 소요)과 비교했을 때 3.7배 이상의 감소입니다.
  • 복구 지연 시간은 모델 크기 및 메모리 압력과 거의 독립적이며, 주로 커뮤니케이터 재구성(토폴로지 수리)에 필요한 시간과 함께 스케일링됩니다.
• 엔드 투 엔드 효율성: 현실적인 장애율을 적용한 100K 스텝 시뮬레이션 학습 작업에서, DEADPOOL은 총 장애 유발 복구 시간을 체크포인트-재시작 방식이 필요로 하는 시간의 **5.3%**로 줄였으며, 이는 학습 진행을 재개하는 데 필요한 시간을 18.8배 단축한 결과입니다.

의의 및 주장

본 논문은 DEADPOOL이 제로 오버헤드 무결점 실행과 극도로 낮은 복구 비용이라는 이전에 상충하던 두 가지 목표를 동시에 달성한다고 주장합니다. 모델 크기로부터 복구 성능을 분리하고 체크포인트 방식의 고유한 재생 및 재시작 비용을 피함으로써, DEADPOOL은 결함 허용 LLM 학습을 위한 실용적이고 확장 가능한 솔루션을 제공합니다.

저자들은 제로 오버헤드 특성이 특정 하드웨어 구성(GPU 클러스터, 모델 크기, 배포 전략)에 따라 달라질 수 있지만, 설계 자체는 일반적인 기능(샤드된 상태, 예비 노드 관리)에 의존하며, 향후 슈퍼컴퓨터의 GPU 컴퓨팅 능력과 인터커넥트 대역폭이 증가함에 따라 효과가 지속될 것으로 기대된다고 언급했습니다. 이 시스템은 장애 복구를 파괴적인 글로벌 이벤트에서 제한된 범위의 로컬 토폴로지 수리 프로세스로 전환합니다.