기술 요약: HetCCL

문제 정의

대규모 언어 모델(LLM)의 급격한 확장은 거대한 GPU 클러스터의 사용을 필연적으로 요구합니다. 그러나 비용, 공급망 제한, 점진적 업그레이드와 같은 실질적인 제약으로 인해 기업들은 혼합 벤더 이기종 클러스터(예: NVIDIA, AMD, Huawei 및 기타 가속기를 결합)를 채택하는 추세입니다.

기존의 집합 통신 라이브러리(CCL)는 이러한 환경을 효과적으로 지원하지 못합니다:

1. 장치 중심 라이브러리(예: NCCL, RCCL)는 단일 벤더 하드웨어에 고도로 최적화되어 있으나, 벤더별 프로그래밍 모델과 커널 구현의 차이로 인해 벤더 간 상호 운용성이 부족합니다.
2. 호스트 중심 라이브러리(예: Gloo, Open MPI)는 하드웨어 호환성은 제공하지만, 데이터를 장치 메모리에서 호스트 메모리로 복사(CPU 바운스 버퍼 활용)하여 전송해야 합니다. 이는 대규모 LLM 학습에서 통신 비용이 매우 중요한 상황에서 심각한 호스트-장치 메모리 복사 오버버헤드와 PCIe 병목 현상을 유발하여 성능을 크게 저하시킵니다.

핵심 과제는 동종(homogeneous) 클러스터의 성능을 저해하지 않으면서도, 이기종 장치 간에 효율적이고 오버헤드가 적은 데이터 전송 및 리덕션(reduction)을 가능하게 하는 집합 통신 프레임워크를 설계하는 것입니다.

방법론: HetCCL 아키텍처

저자들은 제어 로직을 데이터 경로와 분리하고 계층적 토폴로지 추상화를 도입함으로써 이기종 집합 통신을 가능하게 하는 HetCCL 프레임워크를 제안합니다. 이 설계는 세 가지 핵심 기둥에 기반합니다:

1. 호스트 주도 장치 버퍼 RDMA (제어 및 데이터 경로 분리)

교차 벤더 호환성을 유지하면서 호스트-장치 메모리 복사 오버헤드를 제거하기 위해, HetCCL은 새로운 호스트 주도 장치 버퍼 RDMA 메커니즘을 채택합니다:

• 제어 경로 (호스트 측): 모든 제어 로직(연결 관리, 메모리 영역 등록, 워크 요청 게시 및 이벤트 처리)은 호스트 프록시로 오프로드됩니다. 이를 통해 벤더별 장치 커널 없이도 다양한 벤더의 프로그래밍 모델(예: CUDA, ROCm)에 대한 호환성을 보장합니다.
• 데이터 경로 (장치 측): 실제 데이터 이동은 완전히 장치 내에서 이루어집니다. 송신자는 애플리케이션 버퍼에서 장치의 RDMA 송신 버퍼로 데이터를 복사하고, RNIC는 이 버퍼를 원격 피어(peer)로 직접 전송하며, 수신자는 RDMA 수신 버퍼에서 대상 장치 버퍼로 데이터를 복사합니다.
• 조정(Coordination): 장치 측 제어 로직 없이 실행 의존성(예: 스트림 순서)을 유지하기 위해, HetCCL은 장치 스트림 상에서 실행되는 호스트 함수를 동기화 플레이스홀더로 사용합니다.

2. 경계 통신기(Border Communicators)를 통한 벤더 독립적 리덕션

결합된 집합 연산(예: AllReduce, ReduceScatter)을 위해, HetCCL은 모든 하드웨어 유형에 대해 커스텀 리덕션 커널을 작성하는 것을 피합니다. 대신 경계 통신기 메커니즘을 활용합니다:

• 토폴로지 추상화: 이기종 클러스터는 동종 서브 클러스터(동일한 벤더의 장치 그룹)로 분해됩니다. 각 서브 클러스터 내부에서는 효율적인 동종 연산을 위해 네이티브 벤더 CCL이 사용됩니다.
• 경계 랭크(Border Ranks): 각 서브 클러스터 내의 특정 랭크들이 클러스터 간 통신을 처리하기 위한 "경계 랭크"로 지정됩니다.
• 리덕션 전략: 글로벌 리덕션을 위해 데이터는 목적지 클러스터의 경계 랭크로 전송됩니다. 그 후 리덕션 계산은 목적지 클러스터 벤더 CCL의 네이티브 리덕션 인터페이스를 사용하여 수행됩니다. 이는 새로운 교차 벤더 커널을 구현하는 대신 기존의 동종 라이브러리를 활용함으로써 벤더 독립성을 달实现的합니다.

3. 계층적 알고리즘 및 파이프라인 실행

HetCCL은 유연성과 효율성의 균형을 맞추기 위해 계층적 알고리즘 설계를 도입합니다:

• 클러스터 수준 프리미티브: 집합 연산은 세 단계로 나뉩니다: (1) 클러스터 내부 동종 연산, (2) 클러스터 간(C2C) 데이터 전송 또는 리덕션, (3) 최종 클러스터 내부 연산.
• 파이프라인 실행: 순차적 실행으로 인한 대역폭 미활용을 방지하기 위해, HetCCL은 파이프라인 워크플로우를 구현합니다. 이는 독립적인 클러스터 간 데이터 전송을 클러스터 내부 집합 연산과 중첩(overlap)시켜 클러스터 간 링크의 활용도를 극대화합니다.

주요 기여

1. 최초의 풀 디바이스 버퍼 이기종 CCL: HetCCL은 혼합 벤더 클러스터 전반에서 CPU 포워딩 병목 현상을 제거하고, 풀 디바이스 버퍼 데이터 전송 및 MPI 스타일의 집합 연산을 지원하는 최초의 라이브러리입니다.
2. 새로운 호스트-장치 조정 방식: RDMA 제어(호스트)와 데이터 이동(장치)을 성공적으로 분리하여, 벤더별 장치 커널에 의존하지 않고도 높은 성능을 달성했습니다.
3. 이식 가능한 리덕션 메커니즘: 경계 통신기와 네이티브 벤더 라이브러리를 활용함으로써, 계산을 CPU로 오프로드하지 않고도 결합된 집합 연산의 이식성 문제를 해결했습니다.
4. 계층적 토폴로지 추상화: 이기종 클러스터를 상호 연결된 동종 서브 클러스터로 모델링하는 체계적인 방법을 제공하여, 데이터 전송량과 대역폭 활용도를 최적화합니다.

평가 결과

저자들은 C와 Python으로 HetCCL을 구현(3만 줄 이상의 코드)하였으며, 이를 PyTorch와 통합했습니다. 평가는 네 가지 벤더(NVIDIA A800 및 익명화된 세 가지 벤더 V1, V2, V3)의 하드웨어가 포함된 클러스터에서 수행되었습니다.

• P2P 성능: 이기종 SendRecv 연산에서, HetCCL은 Gloo(표준 호스트 포워딩 베이스라인)보다 17~19배 높은 대역폭을 달성했습니다. 또한 비대칭 설정에서 낮은 대역폭을 가진 벤더의 네이티브 P2P보다 13~45% 높은 대역폭을 기록했습니다.
• 집합 연산 성능:
  • AllGather: 느린 동종 벤더 구현 대역폭의 **85.7%~97.8%**를 달성했습니다.
  • AllReduce: 느린 벤더 구현 대역폭의 최대 **70.8%**를 달성했습니다.
  • C2C 효율성: 4-노드, 32-GPU 클러스터에서, C2C 알고리즘은 AllGather에 대해 네이티브 NCCL의 97.4% 대역폭을 달성했습니다.
• 엔드 투 엔드 학습:
  • Llama3-3B 및 Llama3-8B 모델에 대해, HetCCL은 호스트 포워딩 방식 대비 스텝당 시간을 각각 9.1% 및 16.9% 단축했습니다.
  • 논문은 속도 향상이 더 크고 통신 집약적인 시나리오에서 더 두드라진다고 명시했습니다.
• 서빙 성능: Prefill-Decode 분리(disaggregation) 환경에서 Qwen2-7B를 서빙할 때, HetCCL은 호스트 포워딩 베이스라인 대비 첫 토큰 생성 시간(TTFT)을 65% 이상 단축했습니다.

의의 및 주장

본 논문은 현대 LLM 학습의 인프라에서 발생하는 중요한 공백을 HetCCL이 해결한다고 주장합니다. 단일 벤더의 동종 클러스터에 대한 의존도가 높아지는 상황에서, HetCCL은 성능 저하 없이 효율적인 혼합 벤더 학습을 가능하게 함으로써 기업들이 다음과 같은 이점을 얻도록 합니다:

• 파편화되고 다양한 컴퓨팅 자원(예: 레거시 하드웨어, 서로 다른 클라우드 인스턴스)을 효과적으로 활용할 수 있습니다.
• 벤더 종속(Vendor Lock-in) 및 조달 제약을 피할 수 있습니다.
• 이기종 환경에서도 네이티브에 가까운 성능을 달성하여, 대규모 AI 워크로드에 대해 혼합 벤더 클러스터를 동종 클러스터의 실행 가능한 대안으로 만듭니다.

저자들은 자신들의 솔루션이 고성능 컴퓨팅에 필수적인 "온-디바이스(on-device)" 데이터 경로 원칙을 유지하면서도, 효율성과 호환성 사이의 절충을 강요했던 기존의 이식성 문제를 해결했다고 강조합니다.