기술 요약: CCL-D

1. 문제 정의

딥러닝 모델이 수십억 개의 파라미터로 확장됨에 따라 대규모 분산 학습 시스템은 신뢰성 측면에서 점점 더 큰 도전에 직면하고 있습니다. 복구 지연 시간을 줄이기 위한 체크포인팅과 같은 내결함성 메커니즘이 존재하지만, 이러한 메커니즘은 실패의 근본 원인을 해결하지는 못합니다. 집합 통신 라이브러리 (CCL) 의 느린 (Slow) 및 정지 (Hang) 이상이 치명적이고 지속적인 문제입니다. 하드웨어, 소프트웨어, 환경 요인 간의 복잡한 상호작용으로 인해 발생하는 이러한 이상 현상은 통신 속도 저하나 완전한 정지로 나타납니다.

이 논문은 이러한 이상 현상이 진단에 있어 가장 빈번하고 시간이 많이 소요되는 범주임을 강조합니다. 실제 운영 클러스터 관찰에서 느린/정지 이상은 학습 중단의 35.2% 를 차지했으나, 전체 진단 시간의 58.8% 를 소모했습니다. 기존 진단 솔루션은 다음과 같은 두 가지 주요 한계를 겪고 있습니다:

1. 낮은 정확도: 전통적인 방법 (예: PyTorch watchdog) 은 종종 근본 원인에 대한 통찰력이 부족하거나, "느린" 이상을 간과하거나, 정확한 오류 GPU 랭크를 특정하지 못합니다.
2. 과도한 오버헤드: 이분법 기반 스트레스 테스트나 전문가 주도 스택 분석과 같은 반응형 방법은 문제를 해결하는 데 수 시간에서 수 일이 소요되어 대규모 클러스터에서의 실시간 완화에는 실용적이지 않습니다.

2. 방법론: CCL-D

저자들은 느린/정지 이상을 수 분 내에 탐지하고 위치를 파악하도록 설계된 고정밀 진단 시스템인 CCL-D를 제안합니다. 이 시스템은 랭크 수준의 실시간 프로브와 지능형 의사결정 분석기를 통합합니다.

2.1 이상 현상 분류

저자들은 먼저 통신 워크플로우를 기반으로 느린/정지 이상을 여섯 가지 세분화된 근본 원인으로 분류합니다:

• 정지 이상 (Hang Anomalies):
  • 미진입 정지 (H1): 랭크가 통신 작업을 놓치는 경우.
  • 불일치 정지 (H2): 동일한 커뮤니케이터 내에서 랭크들이 일관되지 않은 작업을 수행하는 경우.
  • 하드웨어 고장 (H3): 통신 중 장치 또는 드라이버 오류 발생.
• 느린 이상 (Slow Anomalies):
  • 연산 지연 (S1): 사전 계산, 데이터 로딩, 또는 열적 스로틀링으로 인한 지연.
  • 통신 지연 (S2): 네트워크 변동 또는 혼잡.
  • 혼합 지연 (S3): 동시 연산 및 통신 지연.

2.2 크로스레이어 프로빙 지표

CCL-D 는 Send/Recv 원시 연산을 중심으로 한 경량 크로스레이어 지표 세트를 도입하여 CCL 기능을 확장합니다. 호스트 수준 모니터링과 달리, 이러한 지표는 커널 수준에서 작동하여 상위 계층에는 보이지 않는 저수준 동작을 포착합니다.

• 정지 지표: SendCount와 RecvCount는 실행된 실제 전송/수신 명령의 수를 추적합니다. 랭크 간 이러한 카운트의 불일치는 정지 원인 (예: 집합 통신에 진입하지 못한 랭크) 을 나타냅니다.
• 지연 지표: SendRate와 RecvRate는 고정된 샘플링 윈도우 내에서 누적 카운트 함수의 미분 ($dC/dt$) 을 근사합니다. 이는 드리프트에 취약한 글로벌 시계 동기화에 의존하지 않고 성능 저하를 포착합니다.
• 정적 메타데이터: 연산 유형 세트는 일관된 비교 대상을 보장하기 위해 정적 매개변수 (알고리즘, 프로토콜, 데이터 크기) 를 기록합니다.

2.3 의사결정 분석기

중앙 집중식이지만 확장 가능한 의사결정 분석기가 모든 랭크의 지표를 처리하여 이상을 탐지하고 위치를 파악합니다:

• 탐지: 링 (Ring) 과 트리 (Tree) 토폴로지를 구분하여 비교 대상을 올바르게 그룹화합니다. 정지 탐지는 통신 지속 시간이 임계값을 초과할 때 트리거되며 (체크포인트와 같은 정상적인 장시간 작업은 필터링), 지연 탐지는 처음 $m$라운드에서 업데이트된 동적 기준선 ($T_{base}$) 을 사용하여 지연 비율 ($R$) 을 계산하여 이상을 플래그합니다.
• 위치 파악: 탐지 시 분석기는 특정 알고리즘을 적용하여 근본 원인을 격리합니다:
  • 정지의 경우, 카운터 증가가 없는 랭크 (미진입) 또는 가장 적은 Send/Recv 카운트를 가진 랭크 (하드웨어/불일치) 를 식별합니다.
  • 지연의 경우, 병목 현상이 연산 ($P \to 1$) 인지 통신 ($P \to 0$) 인지 결정하기 위해 기여도 인자 $P$를 계산하여 책임 있는 특정 랭크를 pinpoint 합니다.

2.4 경량 분산 추적 프레임워크

확장성과 낮은 오버헤드를 보장하기 위해 CCL-D 는 호스트 주도 지표 측정 전략을 사용합니다:

• 추적 ID: 분산 구조 (커뮤니케이터 ID + 카운터) 가 통신 라운드를 고유하게 식별합니다.
• 프로빙 프레임: 각 랭크당 재사용 가능한 고정 크기 버퍼가 커널 지표를 저장합니다.
• 제로-코피 메커니즘: CUDA 통합 가상 주소 지정 (UVA) 을 사용하여 지표는 핀된 호스트 메모리에 저장됩니다. CPU 진단 스레드는 GPU 실행을 차단하지 않고 DMA 를 통해 이러한 지표를 읽으므로, 진단 시스템이 학습을 방해하지 않습니다.

3. 주요 기여

1. 종합적 분석: 저자들은 실제 운영 데이터와 CCL 워크플로우에 대한 이론적 분석을 기반으로 한 여섯 가지 범주의 느린/정지 이상 분류 체계를 도출했습니다.
2. 고정밀 진단 기법: 이식 가능한 크로스레이어 Send/Recv 지표를 사용하여 정밀한 이상 탐지 및 위치 파악을 달성하는 새로운 방법을 설계하여, 기존 호스트 수준 또는 거친 입자도 (coarse-grained) 접근법과 CCL-D 를 구분합니다.
3. 경량 추적 프레임워크: 각 라운드별 통신 트래픽을 거의 오버헤드 없이 (<1%) 포착하는 분산 추적 시스템을 구현하여 운영 클러스터에 배포할 수 있도록 했습니다.
4. 대규모 검증: 이 시스템은 4,000 개 GPU 클러스터에서 검증되었으며, 기존 솔루션을 크게 능가하는 6 분 이내에 이상을 진단할 수 있음을 입증했습니다.

4. 결과

평가 는 다양한 모델 (Llama2, Llama3.1, BaiLing) 과 병렬 전략 (FSDP, 3D) 을 사용하여 이기종 클러스터 (Intel CPU, Nvidia H20 GPU, NVLink, 400G NIC) 에서 수행되었습니다.

• 정확도: CCL-D 는 모든 여섯 가지 이상 범주 (정지 및 지연 유형) 를 거의 완벽하게 포괄했으나, 기준선 방법 (이분법, 스택 분석, NCCL RAS, Greyhound, C4D) 은 특정 유형을 탐지하거나 위치를 파악하지 못했습니다 (예: 스택 분석은 지연 이상을 놓쳤고, Greyhound 는 정지 이상을 놓침).
• 효율성:
  • 탐지 지연: CCL-D 는 정지 이상을 5 분 이내, 지연 이상을 1 분 이내에 탐지합니다.
  • 위치 파악 지연: 오류 랭크를 146 ms(NCCL) 및 108 ms(RCCL) 이내에 pinpoint 합니다.
  • 비교: 전통적인 방법은 수 시간에서 수 일이 소요되었습니다 (예: 운영 로그에서 수동 진단은 정지의 경우 평균 47 시간, 지연의 경우 74 시간 소요).
• 오버헤드:
  • 리소스 사용: CCL-D 는 클러스터 규모와 관계없이 노드당 약 0.3% 의 안정적인 CPU 사용률과 랭크당 1184 바이트의 고정 메모리 풋프린트를 유지합니다.
  • 학습 영향: 이 시스템은 통신 작업에 최소한의 오버헤드 (대부분의 경우 <0.45%, 복잡한 3D 병렬 처리의 경우 최대 0.95%) 를 도입하며, 모델 학습 손실이나 정확도에 영향을 주지 않습니다.

5. 의의

이 논문은 CCL-D 가 대규모 분산 학습의 신뢰성에서 중요한 병목 현상을 해결한다고 주장합니다. 반응형이고 거친 입자도의 디버깅에서 능동적이고 세분화된 커널 수준 진단으로 전환함으로써, CCL-D 는 가장 비용이 많이 드는 학습 중단을 일으키는 근본 원인을 신속하게 식별할 수 있게 합니다. 거의 오버헤드 없이 작동하면서도 오류 랭크를 고정밀로 위치 파악할 수 있는 이 시스템의 능력은 운영 환경에 실용적인 솔루션이 되어 학습 다운타임을 수 일에서 수 분으로 단축할 수 있습니다. 저자들은 CCL-D 를 고정밀 느린/정지 진단을 위해 호스트 수준과 GPU 커널 수준 상태를 모두 활용하는 최초의 진단 시스템으로 위치시키고 있습니다.