🤖 AI

Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving

본 논문은 비용이 저렴하고 스위치가 없는 네트워크 토폴로지(특히 3D 풀메시) 가 전문가 혼합형 LLM 서빙을 위한 고비용의 대역폭 확장 네트워크보다 훨씬 비용 효율적임을 보여주는 체계적인 크로스레이어 분석을 제시함과 동시에 현재 링크 대역폭이 종종 과잉 공급되고 있음을 밝혀냅니다.

원저자: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junsun Choi, Sam Son, Sunjin Choi, Hansung Kim, Yakun Sophia Shao, Scott Shenker, Sylvia Ratnasamy, Borivoje Nikolic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 고속 레스토랑 (AI 모델) 을 운영한다고 상상해 보세요. 수천 명의 셰프 (GPU) 가 복잡한 요리 (텍스트 생성) 를 만들기 위해 함께 일합니다. 과거에는 이 셰프들이 작고 고립된 주방에서 일했습니다. 하지만 이제 레시피가 너무 거대져서 하나의 도시 전체가 주방을 이루어 동시에 작동해야 합니다. 이것이 혼합 전문가 (Mixture-of-Experts, MoE) 대규모 언어 모델의 세계입니다.

문제점은 무엇일까요? 셰프들이 재료를 교환하고 메모를 공유하기 위해 오가는 데 너무 많은 시간을 보내서, 실제로 요리를 하지 못한다는 것입니다. 사실, 일부 설정에서는 **전체 시간의 약 60%**가 요리가 아닌 주방을 뛰어다니는 데만 쓰입니다.

이를 해결하기 위해 업계는 주방 사이에 셰프들이 메모를 즉시 교환할 수 있도록 "초고속 도로" (비싸고 대역폭이 높은 네트워크) 를 구축해 왔습니다. 하지만 이 논문은 단순한 질문을 던집니다. "우리가 이 초고속 도로에 너무 많은 돈을 쓰고 있는 것은 아닐까요?"

다음은 간단한 비유를 사용한 그들의 발견 사항 요약입니다:

1. "초고속 도로" 대 "지역 도로"

현재 대부분의 회사는 Scale-Up 네트워크를 구축합니다. 이는 모든 셰프가 모든 다른 셰프와 직접 연결된 광섬유 케이블을 통해 초고속으로 통신할 수 있는 거대한 다차선 초고속 도로와 같습니다. 이는 incredibly 빠르지만, 수천 개의 비싼 교통 스위치 (라우터) 와 수 마일의 비싼 케이블이 필요합니다. 마치 한 개의 향신료 병을 배달하기 위해 셰프 한 명마다 전용 제트기를 만드는 것과 같습니다.

연구자들은 이를 Switchless Topologies(3D Torus 또는 Full-Mesh 등) 와 비교했습니다.

비유: 거대한 셰프들의 정육면체를 상상해 보세요. 초고속 도로 대신, 그들은 바로 옆 이웃 (위, 아래, 왼쪽, 오른쪽, 앞, 뒤) 에게만 메모를 전달합니다. 만약 메모가 정육면체 반대편에 있는 셰프에게 전달되어야 한다면, 이웃에서 이웃으로 점프하며 전달됩니다.
결과: 단일 메시지 전송에는 더 느리지만, 비싼 교통 스위치가 필요하지 않기 때문에 비용이 극적으로 저렴합니다.

2. "셰프의 중첩" 기법 (소프트웨어 최적화)

이 논문은 **Dual-Batch Overlap (DBO)**이라는 교묘한 소프트웨어 기법을 강조합니다.

비유: 한 셰프가 배달 트럭 (통신) 을 기다리는 동안 야채를 다듬는 (계산) 상황을 상상해 보세요. 기존 방식에서는 셰프가 가만히 서서 기다립니다. DBO 를 사용하면, 트럭이 현재 배치를 배달하는 동안 셰프는 다음 배치의 야채 다듬기를 시작합니다.
마법: 셰프가 충분히 빠르게 다듬는다면, 배달 시간은 보이지 않게 됩니다. 셰프는 결코 일을 멈추지 않습니다. 연구자들은 이 기법을 사용하면 셰프들이 요리하느라 너무 바빠서 교통 체증을 느끼지 않기 때문에, "느린" 지역 도로 (switchless 네트워크) 가 "빠른" 초고속 도로와 경쟁할 수 있음을 발견했습니다.

3. "최적 지점" 발견

연구자들은 다양한 시나리오 (짧은 대화 대 긴 이야기, 엄격한 시간 제한 대 완화된 시간 제한) 로 시뮬레이션을 실행했습니다. 그들은 다음과 같은 사실을 발견했습니다:

과도한 공급: 현재 사용되는 비싼 초고속 도로는 필요 이상으로 넓습니다. 대역폭을 절반 (또는 그 이상) 으로 줄이면 하드웨어 비용을 대폭 절약할 수 있으며, "중첩 기법" 덕분에 셰프들은 여전히 정시에 작업을 완료할 수 있습니다.
승자: 3D Full-Mesh 토폴로지 (각 행의 셰프들이 이웃과 직접 연결되어 메쉬를 형성하는 구조) 가 "파레토 최적" 선택으로 밝혀졌습니다.
- 해석: 이것이 절대적으로 가장 빠른 것은 아니지만, 훨씬 저렴하기 때문에 동일한 비용으로 더 많은 클러스터를 구축할 수 있어, 실제로는 더 많은 총 요리 능력을 제공합니다.

4. 미래: 이것이 변할까요?

이 논문은 차세대 컴퓨터 칩 (Blackwell 및 Rubin) 을 살펴보았습니다.

좋은 소식: 더 빠른 칩이 나오더라도 "지역 도로" 전략이 여전히 최고의 가치를 유지합니다. 칩은 요리 속도가 빨라지고 있지만, "교통"(통신) 은 여전히 병목 현상입니다. 저렴한 네트워크도 여전히 따라갈 수 있습니다.
주의 사항: 칩이 너무 빨라져서 1 초에 백만 개의 요리를 만들 수 있게 되지만, 그 사이의 도로가 넓어지지 않는다면 저렴한 네트워크는 결국 어려움을 겪을 수 있습니다. 그러나 가시적인 미래까지는 저렴하고 스위치가 없는 네트워크가 더 현명한 재정적 선택입니다.

결론

이 논문은 업계가 현재 AI 클러스터를 위해 "페라리급" 네트워크에 거액을 쓰고 있지만, 스마트한 소프트웨어 기법 덕분에 "신뢰할 수 있는 세단" 네트워크로도 충분히 일을 해낼 수 있다고 결론 내립니다.

이러한 저비용 스위치 없는 네트워크로 전환하면, 기업들은 인프라 비용을 **20% 에서 56%**까지 절감하면서도 정확히 동일한 양의 AI 서비스를 제공할 수 있습니다. 이는 "목적지에 제 시간에 도착한다면 페라리를 살 필요 없이 혼다 시빅을 타면 된다"는 고전적인 사례입니다.

"Rethinking Network Topologies for Cost-Effective Mixture-of-Experts LLM Serving" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 에서 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처의 도입은 서비스 워크로드를 단일 노드에서 클러스터 규모로 전환시켰습니다. MoE 모델은 특정 전문가에게 토큰을 라우팅하기 위해 가속기 (GPU/TPU 와 같은 XPU) 간에 빈번한 All-to-All (A2A) 통신이 필요한 전문가 병렬화 (Expert Parallelism, EP) 를 요구합니다.

현재 산업 동향: 통신 지연 시간을 최소화하기 위해 산업계는 고대역폭인 비싼 "스케일업 (scale-up)" 네트워크 (예: 고-레이디스 스위치를 갖춘 Clos 기반 팻트리 및 NVLink 와 같은 인터커넥트) 에 막대한 투자를 하고 있습니다.
핵심 질문: 이러한 비싼 스위치 기반 인프라에 대한 막대한 투자가 정말 필수적인 것일까요? 총 소유 비용 (TCO) 을 고려할 때, 더 저렴한 스위치 없는 토폴로지 (switchless topologies) (예: 3D 토러스 또는 풀-메시) 가 충분한 성능을 제공할 수 있을까요?
격차: 기존 연구는 종종 고립된 상태에서의 집단 통신 시간 (CCT) 을 최적화하거나 학습에 초점을 맞추고 있습니다. 반면, 서비스는 엄격한 지연 시간 SLO, 작은 배치 크기, 특정 트래픽 패턴과 같은 고유한 요구 사항을 가지며, 이전 네트워크 비교에서 종종 간과되었던 공격적인 계산 - 통신 오버랩을 허용합니다.

2. 방법론

저자들은 연산, 통신, 소프트웨어 최적화 및 하드웨어 비용 간의 상호 작용을 모델링하는 종합적인 크로스레이어 평가 프레임워크를 제안합니다.

평가된 토폴로지:
1. 스케일업: 고대역폭 스위치 기반 팻트리 (예: NVIDIA DGX 클러스터).
2. 스케일아웃: 표준 이더넷/인피니밴드 스위치 기반 네트워크.
3. 3D 토러스: 스위치 없는 멀티홉 토폴로지 (예: Google TPU).
4. 3D 풀-메시: 스위치 없는 직접 링크 토폴로지 (예: Huawei UB-Mesh-Pod).
워크로드 및 지표:
- 모델: DeepSeek-V3 (671B 파라미터, 256 개 전문가).
- 지표: 비용 대비 처리량 (달러당 초당 토큰 수). 주요 SLO 는 출력 토큰당 소요 시간 (Time Per Output Token, TPOT) 입니다.
- 핵심 개념: 노출된 통신 시간 (Exposed Communication Time, ECT). 목표는 오버랩을 통해 ECT 를 거의 0 으로 줄이는 것입니다. ECT $\approx$ 0 이라면 추가 대역폭은 체감 수익이 감소합니다.
모델링 접근법:
- 통신: NVIDIA H100 에서의 실제 NCCL 벤치마크에 적합하도록 확장된 Alpha-Beta (Hockney) 모델을 사용합니다. 이는 지연 시간을 메시지당 ( $\alpha_0$ ), 라운드당 ( $\alpha_r$ ), 목적지당 ( $\alpha_d$ ) 비용과 대역폭 ( $\beta$ ) 으로 분해합니다.
- 연산: 다양한 병렬화 구성 하에서 커널 실행 시간을 추정하기 위해 Vidur 와 같은 도구를 확장한 프로파일 기반 방법을 사용합니다.
- 소프트웨어 최적화: 통신 시간을 얼마나 숨길 수 있는지 결정하기 위해 듀얼-배치 오버랩 (Dual-Batch Overlap, DBO) 과 추측적 디코딩 (Speculative Decoding, SD) 을 명시적으로 모델링합니다.
- 비용 모델: CapEx (GPU, 스위치, 링크) 와 OpEx (전력) 를 포함한 총 소유 비용 (TCO) 을 계산하여 기준 단위로 정규화합니다.

3. 주요 기여

최초의 체계적인 크로스레이어 분석: 이 논문은 MoE LLM 서비스를 위해 네트워크 토폴로지, 링크 대역폭, 소프트웨어 최적화 (DBO/SD) 및 클러스터 비용을 공동으로 분석한 첫 번째 연구입니다.
"최적점 (Sweet Spot)" 식별: 저자들은 현재의 산업 제공 (고대역폭 스케일업) 이 종종 과다 공급 (over-provisioned) 되어 있음을 증명합니다. 링크 대역폭을 줄이면 처리량 대비 비용이 최대 27% 까지 향상될 수 있습니다.
스위치 없는 토폴로지의 우위: 이 연구는 거의 모든 서비스 시나리오에서 저비용인 스위치 없는 토폴로지 (특히 3D 풀-메시) 가 기존 스케일업 네트워크보다 비용 효율적임을 입증합니다.
미래 대비 분석: NVIDIA Blackwell 및 Rubin 세대의 예상 사양을 사용한 전향적 분석은 인터커넥트 대역폭 확장이 연산/메모리 확장에 맞춰진다면 스위치 없는 네트워크의 비용 우위가 지속될 것임을 시사합니다.

4. 주요 결과

A. 링크 대역폭 과다 공급

현재 스케일업 시스템은 종종 450 GB/s 링크를 사용합니다. 분석에 따르면 많은 시나리오 (특히 DBO 와 SD 가 적용된 경우) 에서 150–300 GB/s가 "최적점"입니다.
대역폭을 이 최적점으로 줄이면 비용 대비 처리량이 6–27% 향상됩니다. 이는 추가 대역폭이 (연산 병목 현상이나 ECT 가 이미 0 이기 때문에) 더 높은 처리량으로 이어지지 않지만 스위치/링크 비용을 크게 증가시키기 때문입니다.

B. 토폴로지 비교 (비용 효율성)

3D 풀-메시는 파레토 최적 (Pareto-Optimal) 입니다: 널리 채택되지는 않았지만, 3D 풀-메시 토폴로지는 가장 우수한 성능 - 비용 트레이드오프를 제공합니다.
성능 향상: 스위치 없는 토폴로지 (토러스 및 풀-메시) 는 스케일업 네트워크 대비 **20.6% 에서 56.2%**까지 비용 효율성을 향상시킵니다.
메커니즘:
- DBO 효과: SLO 가 완화된 경우 (TPOT $\ge$ 40ms) 또는 짧은 컨텍스트에서 DBO 는 통신 지연 시간을 성공적으로 숨깁니다. ECT 가 0 이 되면 스위치 없는 네트워크의 낮은 원시 대역폭이 처리량에 영향을 미치지 않지만, 낮은 비용이 지표를 획기적으로 개선합니다.
- 긴 컨텍스트/엄격한 SLO: 배치 크기가 작고 DBO 가 덜 효과적인 긴 컨텍스트 시나리오나 엄격한 SLO (TPOT = 15ms) 에서도 스위치 없는 네트워크는 경쟁력을 유지합니다. 이는 작은 메시지 크기가 대역폭 항 ( $\beta$ ) 의 영향을 줄이기 때문입니다.

C. 차세대 (Blackwell 및 Rubin)

확장 동향: 차세대 제품 (예: Rubin: 메모리 대역폭 6.57 배 대 링크 대역폭 4 배) 에서 연산 및 메모리 대역폭이 인터커넥트 대역폭보다 빠르게 확장되고 있습니다.
시사점: 이 추세가 계속된다면 "최적점" 대역폭 요구 사항이 상승하여 격차가 좁아질 수 있습니다. 그러나 저자들은 더 높은 요구 사항이 있더라도 소프트웨어 오버헤드 ( $\alpha$ 항) 가 감소하거나 링크 대역폭이 적당히 증가하면 (예: 풀-메시의 대역폭을 두 배로 늘려도 여전히 스케일업보다 비용이 적게 듦) 스위치 없는 네트워크가 스케일업 성능과 맞먹을 수 있음을 보여줍니다.

5. 중요성 및 시사점

경제적 영향: 이 논문은 AI 인프라의 지배적인 "크기가 더 좋다"는 사고방식에 도전합니다. 이는 하이퍼스케일러가 비싼 팻트리 스케일업 네트워크 대신 스위치 없는 클러스터(풀-메시 등) 를 배포함으로써 훨씬 더 낮은 비용으로 동일한 서비스 용량을 달성할 수 있음을 시사합니다.
설계 지침: 클러스터 확장이 가능한 경우 시스템 설계자는 클러스터당 원시 처리량보다 비용 효율성 (달러당 처리량) 을 우선시해야 합니다.
소프트웨어 - 하드웨어 공동 설계: 이 결과는 소프트웨어 최적화 (DBO, SD) 가 네트워크 요구 사항을 근본적으로 변화시켜, 고대역폭 하드웨어가 이전보다 덜 중요하게 만들 수 있음을 강조합니다.
아키텍처 전환: 이는 이전에 틈새로 간주되었던 대체 토폴로지 (풀-메시) 의 타당성을 검증하여 향후 AI 데이터센터 설계의 재편을 이끌 수 있습니다.

요약하자면, 이 논문은 MoE LLM 서비스의 경우 저비용인 스위치 없는 네트워크 (특히 3D 풀-메시) 가 최적의 선택이며, 대부분의 실제 서비스 시나리오에서 성능을 희생하지 않고도 우수한 경제적 효율성을 제공한다고 주장합니다.