Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

기술 요약: 디스패치 작업의 오버헤드 진단: 크로스-아키텍처 관측소 (DODOCO)

문제 제기
AlltoAll 디스패치는 전문가 병렬화 (EP) 를 사용하는 전문가 혼합 (MoE) 모델의 지배적인 병목 현상입니다. 인터커넥트 커뮤니티는 예측적 샘플 배치, 적응형 전문가 재배치, 계층적 콜렉티브, EP 인지 토폴로지라는 네 가지 완화 기법을 제안했습니다. 이러한 해결책은 두 가지 검증되지 않은 가정에 의존합니다:

1. 정정 가능성 (가정 A): 라우팅 불균형은 충분히 영리한 시스템 계층이 줄일 수 있는 워크로드 속성이다.
2. 벤치마크 유효성 (가정 B): 모의 토큰 벤치마크 (균일 무작위 ID 사용) 는 실제 생산 라우팅 행동을 충실히 반영한다.

본 논문은 이러한 가정들이 정면으로 검증되지 않았으며, 이로 인해 가상의 워크로드에 최적화된 시스템 설계로 이어질 수 있다고 주장합니다.

방법론
저자들은 다섯 가지 서로 다른 MoE 아키텍처와 여섯 가지 데이터 조건을 대상으로 한 5×6 요인 설계 (factorial design) 를 사용하여 이러한 가정을 검증하도록 고안된 실증 연구인 DODOCO를 소개합니다.

• 아키텍처: 본 연구는 주요 모델 계열에 걸친 다섯 가지 시퀀스 믹서 설계를 다룹니다:

  • DeepSeek-V2-Lite: 멀티헤드 잠재 어텐션 (MLA).
  • DeepSeek-MoE-16B: 표준 멀티헤드 어텐션 (MHA).
  • Qwen3-30B-A3B: 그룹화 쿼리 어텐션 (GQA).
  • Nemotron-30B-A3B: Mamba-2 (상태 공간 모델).
  • Qwen3.5-35B-A3B: 게이트드 델타 네트워크 (GDN).
  • 참고: MLA 와 MHA 쌍은 전문가 수, top-k, 게이팅, 부하 분산 전략을 공유하고 어텐션 메커니즘만 다르므로 통제된 비교를 형성합니다.

• 데이터 조건: 여섯 가지 조건은 토큰 스트림의 독립적 속성을 분리합니다:

  1. Mock: 균일 무작위 토큰 ID (표준 벤치마크 기본값).
  2. Shuffled: 전역 치환이 적용된 실제 위키텍스트 토큰 (빈도는 유지, 시퀀스는 파괴).
  3. Remapped: 치환된 어휘 ID 를 가진 실제 시퀀스 (시퀀스는 유지, 임베딩은 파괴).
  4. Romansh: 저자원 로망스어군 언어의 실제 텍스트 (미확인 언어 구조).
  5. Opus: 컷오프 이후 영어 추론 흔적 (미확인 콘텐츠).
  6. Wikitext: 영어 위키백과 (익숙한 구조 및 콘텐츠).

• 하드웨어 및 규모: 실험은 H100 GPU(NHR@FAU Helma 슈퍼컴퓨터) 에서 수행되었으며, 노드 내 NVLink 와 노드 간 InfiniBand 를 사용했습니다. 본 연구에는 매칭된 윈도우 EP 스캔 (4, 8, 16, 32 랭크) 과 글로벌 배치 크기 (GBS) 스윕 (64 에서 2048) 이 포함되었습니다.

• 지표: 본 연구는 전송 횟수 행렬 ($S$) 의 세 가지 스칼라 요약을 활용합니다:

  • 전문가별 최대/평균 비율: 전문가 - 랭크 매핑과 무관한 라우팅 결정 편향을 측정하기 위함.
  • 지니 계수: 랭크별 부하 불균형을 측정하기 위함.
  • 적합된 대칭 디리클레 $\alpha$: 지니 계수가 값을 압축하는 거의 균일한 영역에서의 차이를 해결하기 위함.

주요 발견

1. EP 스케일링은 지체자 (Stragglers) 를 줄이지 않음 (Q1)
EP 정도를 증가시키면 부하 분배가 원활해진다는 가정과 달리, 본 연구는 EP 를 스케일링해도 라우팅 불균형이 줄어들지 않는다는 사실을 발견했습니다.

• 각 아키텍처 내에서 전문가별 최대/평균 토큰 비율은 EP 범위 (4 에서 32) 전반에 걸쳐 본질적으로 평탄하게 유지됩니다 (변동 $\le$ 5%).
• 지체자는 전문가가 랭크에 어떻게 매핑되는지가 아니라 모델이 내리는 라우팅 결정에 내재되어 있습니다. EP 를 스케일링하면 특정 전문가를 보유하는 랭크가 바뀌지만, 어떤 전문가가 토큰을 받는지에는 변화가 없습니다.
• 따라서 EP 정도는 라우팅 균형을 개선하기 위한 레버가 아닙니다. 편향은 EP 불변의 집중도 하한선으로 제한됩니다.

2. 모의 토큰은 불균형을 과대평가하고 가짜 추세를 생성함 (Q2)
모의 토큰 벤치마크는 실제 생산 라우팅을 크게 왜곡합니다.

• 오차 규모: 모의 토큰은 실제 텍스트 (Wikitext) 에 비해 라우팅 지니 계수를 최대 2.35 배까지 과대평가합니다. Nemotron 모델의 경우 디리클레 $\alpha$ 지표에서의 격차는 47 배에 달합니다.
• 배치 크기 인공물: 모의 데이터는 배치 크기 (GBS) 가 증가함에 따라 불균형이 증가한다는 잘못된 추세를 보입니다. 반면 실제 데이터는 배치 크기 전반에 걸쳐 지니 계수가 본질적으로 평탄합니다. 모의 데이터에 의존하는 실무자는 더 큰 배치가 불균형을 악화시킨다고 잘못 결론지을 수 있습니다.
• 메커니즘: 라우터는 시퀀스 구조와 학습된 임베딩 모두를 필요로 합니다. 순서가 파괴된 실제 텍스트 (빈도 유지) 나 임베딩이 파괴된 텍스트 (시퀀스 유지) 는 모의 토큰만큼 성능이 저하됩니다.

3. 등장하는 아키텍처 클래스 (Q3)
다섯 가지 아키텍처는 상호 교환적으로 작동하지 않으며, 실제 데이터가 라우팅에 미치는 영향에 따라 두 개의 안정적인 밴드로 나뉩니다:

• 데이터 복원력형 (MHA, Mamba-2): 이러한 모델은 실제 텍스트 하에서 낮은 지니 계수 (각각 0.105 및 0.150) 를 달성하며, 모의 데이터에서 실제 데이터로 전환될 때 상당한 개선을 보입니다. 이들의 라우팅은 균일성에 접근합니다.
• 지속적 집중형 (MLA, GDN): 이러한 모델은 데이터 조건과 관계없이 고도로 집중된 상태를 유지하며, Wikitext 에서도 지니 계수 0.24 이상에 머무르고 모의 데이터에서는 0.29~0.38 에 달합니다.
• 중간형 (GQA): 두 극단 사이에 위치하며 moderate 한 개선을 보이지만 중대 밴드에 머뭅니다.
• 심층 분석: "데이터 복원력형" 쌍은 첫 번째 MoE 레이어에서 거의 균일하게 시작하여 깊이에 따라 집중화되는 U 자형 패턴을 보이는 반면, "지속적 집중형" 쌍은 첫 번째 레이어부터 집중된 상태를 유지합니다.

의의 및 주장
본 논문은 MoE 인지 인터커넥트를 설계하고 평가하는 데 사용되는 워크로드 모델이 적어도는 상수 인자 근사치에 불과하고, worst case 에서는 완전히 가상의 것일 수 있다고 주장합니다.

• 시스템 설계 시사점: "이중 분류 체계"(데이터 복원력형 vs. 지속적 집중형) 는 EP 정도나 모의 데이터 프로필보다 시스템 설계에 더 유용한 입력입니다.
  • 데이터 복원력형 모델의 경우, 트래픽은 주로 대역폭에 묶여 있으므로 균일 부하 모델로 충분합니다.
  • 지속적 집중형 모델의 경우, 특정 노드 간 쌍에서의 집중도를 활용하는 로컬리티 인지 디스패치 및 토폴로지 설계가 필요합니다.
• 벤치마킹: 저자들은 MoE 통신 벤치마크가 배치 크기 스케일링 인공물과 아키텍처 클래스 차이를 드러내기 위해 모의 데이터와 실제 데이터 조건을 모두 보고할 것을 권장합니다.
• 한계: 본 연구는 라우팅 결정과 AlltoAll 통계를 특징화하지만, 시스템 개입으로 인한 엔드 - 투 - 엔드 학습 속도 향상을 측정하지는 않습니다. 불균형이 중요하지 않다고 주장하는 것이 아니라, 그 정정 가능성과 측정에 대한 가정이 결함이 있다는 점을 지적합니다.

본 논문은 라우팅 불균형이 시스템 계층이 국소화하고 부분적으로 활용할 수 있는 모델 및 데이터 속성이지만, EP 스케일링만으로는 균일하게 만들 수 없다고 결론지었습니다. 현재 사용 중인 합성 벤치마크는 불균형을 과대평가하고 존재하지 않는 스케일링 추세를 생성함으로써 이 현실을 놓치고 있습니다.