The Big Send-off: Scalable and Performant Collectives for Deep Learning

이 논문은 분산 딥러닝 워크로드의 성능과 확장성 한계를 극복하기 위해 계층적 설계와 학습 기반 적응 알고리즘을 활용한 'PCCL'을 제안하며, Frontier 및 Perlmutter 같은 대규모 GPU 슈퍼컴퓨터에서 기존 라이브러리 대비 최대 168 배의 통신 속도 향상과 실제 학습 작업의 최대 4.9 배 가속화를 입증했습니다.

핵심

이 논문은 **"수천 개의 GPU(그래픽 카드) 가 함께 일할 때, 서로 정보를 주고받는 속도를 어떻게 극적으로 높일 수 있을까?"**라는 질문에 대한 답을 제시합니다.

비유하자면, 이 논문은 거대한 AI 훈련 프로젝트를 진행하는 상황을 다룹니다. 수천 명의 전문가 (GPU) 가 하나의 거대한 퍼즐 (AI 모델) 을 맞추려고 하는데, 기존 방법으로는 서로 대화하는 데 너무 많은 시간이 걸려서 퍼즐을 맞추는 속도가 매우 느려진다는 문제입니다.

저자들은 이 문제를 해결하기 위해 PCCL이라는 새로운 '소통 시스템'을 개발했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "혼란스러운 회의실"

지금까지 AI 를 훈련시킬 때 주로 쓰던 소통 도구들 (NCCL, RCCL, Cray-MPICH 등) 은 다음과 같은 문제점이 있었습니다.

• 비유: 천 명 이상의 전문가가 한 방에 모여서 회의를 한다고 상상해 보세요.
  • 문제 1 (혼란스러운 길): 기존 도구들은 "한 줄로 서서 한 명씩 정보를 전달하는 방식 (Ring Algorithm)"을 고수했습니다. 1,000 명이 있다면 1 번이 1,000 번까지 전달되려면 시간이 너무 오래 걸립니다.
  • 문제 2 (자원 낭비): 회의실에는 4 개의 문 (네트워크 카드) 이 있는데, 기존 도구들은 오직 1 개의 문만 열어두고 나머지 3 개는 잠가버렸습니다. 나머지 문들은 비어있는데도 말입니다.
  • 문제 3 (비효율적인 계산): 복잡한 계산이 필요할 때, 전문가들 (GPU) 이 직접 계산하지 않고, 회의실 밖의 보조 직원 (CPU) 이 계산해서 다시 전달해 줍니다. 이렇게 하면 GPU 가 놀고 있는 시간이 너무 깁니다.

결국, AI 모델이 커질수록 (데이터가 늘어날수록) 이 소통 지연 때문에 전체 작업 속도가 매우 느려졌습니다.

2. 해결책: PCCL (스마트 소통 시스템)

저자들은 이 문제를 해결하기 위해 PCCL이라는 새로운 시스템을 만들었습니다. 이 시스템은 세 가지 핵심 전략을 사용합니다.

전략 1: "계층적 소통" (Hierarchical Design)

• 비유: 거대한 회의를 소그룹 회의와 전체 회의로 나누었습니다.
  • 먼저, 같은 방에 있는 전문가들끼리 빠르게 정보를 공유합니다 (실내 소통).
  • 그다음, 각 방 대표들이 서로 다른 방 대표들과 정보를 교환합니다 (실외 소통).
  • 이렇게 하면 정보가 한 번에 모든 사람에게 퍼지는 속도가 훨씬 빨라집니다.

전략 2: "최적의 길 찾기" (Adaptive Dispatching)

• 비유: 스마트 내비게이션을 달았습니다.
  • 데이터가 작고 사람이 적을 때는 "한 줄로 서서 전달하는 길"이 빠를 수 있습니다.
  • 데이터가 크고 사람이 많을 때는 "이중으로 나누어 전달하는 길"이 더 빠릅니다.
  • PCCL 은 실시간으로 상황을 분석하여 (머신러닝을 사용), 지금 상황에 가장 빠른 길을 자동으로 선택합니다. "무조건 이 길만 가"가 아니라, "상황에 따라 가장 빠른 길을 골라줘"라는 뜻입니다.

전략 3: "모든 문 활용하기" (Resource Utilization)

• 비유: 회의실의 모든 4 개의 문을 동시에 열었습니다.
  • 기존 시스템은 문 하나만 썼는데, PCCL 은 모든 문을 골고루 사용하여 정보를 동시에 주고받습니다.
  • 또한, 계산이 필요한 일은 보조 직원 (CPU) 이 아니라, 전문가들 (GPU) 이 직접 계산하도록 하여 속도를 높였습니다.

3. 놀라운 결과: "속도 차이"

이 새로운 시스템을 적용한 결과는 정말 놀라웠습니다.

• 프론티어 (Frontier) 슈퍼컴퓨터 (AMD GPU 사용):
  • 기존 시스템보다 최대 168 배까지 빨라졌습니다! (특히 데이터가 작고 사람이 많을 때).
  • 예를 들어, 2,048 명의 전문가가 있을 때, 기존 방식은 100 초 걸리던 일을 PCCL 은 1 초도 안 걸리게 했습니다.
• 퍼멀러터 (Perlmutter) 슈퍼컴퓨터 (NVIDIA GPU 사용):
  • 기존 시스템보다 최대 5.7 배 빨라졌습니다.

이 속도 향상은 단순히 '통신'만 빠른 게 아닙니다. 실제 AI 훈련 시간도 크게 줄었습니다.

• 거대한 AI 모델을 훈련시킬 때, 기존 방식보다 최대 4.9 배 더 빠르게 훈련이 완료되었습니다.

4. 결론: "더 큰 미래를 위한 준비"

이 논문은 **"수천 개의 GPU 가 함께 일할 때, 소통 방식을 똑똑하게 바꾸면 AI 훈련 속도를 비약적으로 높일 수 있다"**는 것을 증명했습니다.

앞으로 AI 모델은 더 거대해지고, 이를 훈련시키기 위한 컴퓨터도 더 커질 것입니다. PCCL 같은 지능적인 소통 시스템이 없다면, 거대한 AI 를 만드는 것은 불가능에 가까울지도 모릅니다. 이 연구는 그 거대한 AI 시대의 교통 체증을 해결하는 핵심 열쇠를 제공한 셈입니다.

한 줄 요약:

"수천 개의 GPU 가 서로 대화할 때, 혼란스러운 한 줄 대기 대신 스마트한 그룹 나누기와 모든 문 활용을 통해 AI 훈련 속도를 최대 168 배까지 높인 새로운 시스템을 개발했습니다."

기술 요약

논문 요약: The Big Send-off: Scalable and Performant Collectives for Deep Learning

1. 문제 정의 (Problem Statement)

대규모 분산 딥러닝 (DL) 워크로드에서 통신 오버헤드는 전체 실행 시간의 상당 부분을 차지하며, 특히 수천 개의 GPU 로 확장될 때 병목 현상이 발생합니다.

• 기존 라이브러리의 한계: NCCL (NVIDIA), RCCL (AMD), Cray-MPICH 와 같은 기존 통신 라이브러리는 현대적인 GPU 슈퍼컴퓨터 (Frontier, Perlmutter 등) 에서 대규모 DL 워크로드 (수십~수백 MB 의 메시지 크기) 를 처리할 때 성능과 확장성 (Scalability) 측면에서 심각한 제한을 보입니다.
• 주요 문제점:
  • Cray-MPICH: 네트워크 인터페이스 카드 (NIC) 를 효율적으로 활용하지 못함 (단일 NIC 만 사용) 및 연산 (Reduce) 을 GPU 가 아닌 CPU 에서 수행하여 성능 저하 발생.
  • NCCL 및 RCCL: 대규모 GPU 개수에서 확장성이 떨어짐. 특히 all-gather 및 reduce-scatter 연산에 대해 링 (Ring) 알고리즘만 지원하여, 프로세스 수가 증가함에 따라 지연 시간 (Latency) 이 선형적으로 증가하는 문제가 있음.
  • 결과: 이상적인 평탄한 스케일링 (Ideal scaling) 을 달성하지 못하여 대규모 모델 학습 시 훈련 속도가 저하됨.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 PCCL (Performant Collective Communication Library) 을 개발했습니다. PCCL 은 다음과 같은 세 가지 핵심 전략을 통해 설계되었습니다.

• 계층적 (Hierarchical) 알고리즘 설계:

  • 노드 간 (Inter-node) 및 노드 내 (Intra-node) 통신을 분리하여 2 단계 계층 구조로 구현.
  • 노드 내: 공유 메모리 및 고속 인터커넥트 (NVLink, Infinity Fabric) 를 활용하기 위해 벤더 라이브러리 (NCCL/RCCL) 의 링 알고리즘 사용.
  • 노드 간: 수천 개의 GPU 로 확장 시 지연 시간을 줄이기 위해 재귀적 반감/이중화 (Recursive Halving/Doubling) 알고리즘을 사용. 이는 링 알고리즘의 선형 지연 시간 문제를 해결하여 로그 (Logarithmic) 스케일링을 달성.
  • NIC 활용 최적화: Frontier 와 같은 시스템에서 각 GCD(GPU Compute Die) 가 별도의 NIC 를 독점적으로 사용하도록 트래픽을 분산시켜 네트워크 병목 현상을 제거.

• 커스텀 인터-노드 구현:

  • MPI 포인트-투-포인트 (Point-to-Point) primitives 와 GPU 커널을 사용하여 reduce-scatter 및 all-reduce 연산의 로컬 축소 (Reduction) 작업을 CPU 가 아닌 GPU 에서 수행하도록 최적화.

• 학습 기반 적응형 디스패처 (Learning-based Adaptive Dispatcher):

  • 단일 알고리즘이 모든 상황 (메시지 크기, GPU 개수) 에서 최적이 아님을 인식.
  • SVM (Support Vector Machine) 기반의 경량 디스패처를 도입하여 런타임 시 메시지 크기와 GPU 개수를 입력으로 받아 가장 성능이 좋은 백엔드 (기존 라이브러리 또는 PCCL 의 새로운 알고리즘) 를 자동 선택.

3. 주요 기여 (Key Contributions)

1. 기존 라이브러리의 한계 분석: Frontier 와 Perlmutter 슈퍼컴퓨터에서 Cray-MPICH, NCCL, RCCL 의 성능 병목 (NIC 미활용, CPU 기반 연산, 알고리즘 부족) 을 체계적으로 분석 및 규명.
2. 최적화된 PCCL 구현: all-gather, reduce-scatter, all-reduce 에 대해 계층적 설계와 GPU 오프로딩을 적용한 고품질 구현체 제공.
3. 대규모 성능 향상 입증:
   • Frontier (2048 GCDs): RCCL 대비 reduce-scatter 는 168 배, all-gather 는 33 배, all-reduce 는 10 배까지 속도 향상.
   • Perlmutter: NCCL 대비 최대 5.7 배의 속도 향상.
4. 실제 DL 워크로드 검증: DeepSpeed ZeRO-3 및 PyTorch DDP 를 이용한 대규모 LLM 학습에서 PCCL 적용 시 훈련 처리량 (Throughput) 이 최대 4.9 배 (ZeRO-3) 및 2.4 배 (DDP) 향상됨을 입증.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • Frontier (AMD MI250X): 2048 GCDs 환경에서 RCCL 대비 reduce-scatter 연산 시 168 배, all-gather 시 33 배의 속도 향상. 특히 작은 메시지 크기와 대규모 GPU 수에서 지연 시간 민감도 (Latency-bound) 영역에서 압도적인 성능 차이를 보임.
  • Perlmutter (NVIDIA A100): 2048 GPU 환경에서 NCCL 대비 all-gather 및 reduce-scatter 에서 3~5 배, all-reduce 에서도 일정한 성능 우위 확보.
  • NIC 활용도: PCCL 은 모든 NIC 를 균등하게 활용하는 반면, 기존 Cray-MPICH 는 단일 NIC 만 사용하여 병목이 발생했음을 하드웨어 카운터 분석을 통해 확인.
• 실제 학습 성능 (DeepSpeed ZeRO-3 & PyTorch DDP):
  • 7B 및 13B 파라미터 GPT 모델 학습 시, 1024~2048 GCDs 규모에서 RCCL/NCCL 대비 최대 4.9 배의 훈련 속도 향상.
  • 기존 라이브러리는 대규모 확장 시 성능이 급격히 저하되거나 역전되는 현상이 발생했으나, PCCL 은 효율적인 확장성을 유지.

5. 의의 및 결론 (Significance)

• 차세대 AI 인프라의 핵심: 모델 크기와 시스템 규모가 기하급수적으로 증가하는 상황에서, 단순한 통신 라이브러리 업데이트를 넘어 지능적이고 아키텍처 인지형 (Architecture-aware) 집단 통신 (Collective Communication) 전략이 필수적임을 강조.
• 실용성: PCCL 은 기존 DL 프레임워크 (PyTorch, DeepSpeed) 와의 통합이 용이하도록 설계되었으며, 실제 생산 환경 (Production) 에서의 훈련 시간 단축을 통해 대규모 AI 모델 개발의 효율성을 극대화.
• 향후 전망: InfiniBand 인터커넥트 등 다른 아키텍처로 확장성을 검증하고, 더 큰 규모 (수만 개 GPU) 의 AI 워크로드를 지원하기 위한 지속적인 연구를 계획 중.

이 논문은 현대 GPU 슈퍼컴퓨터 환경에서 딥러닝 통신의 병목 현상을 해결하기 위한 체계적인 접근법과 그 유효성을 입증한 중요한 연구로 평가됩니다.