기술 요약: Coral – 이종 클라우드 GPU 를 통한 비용 효율적인 다중 LLM 서빙

1. 문제 정의

대형 언어 모델 (LLM) 배포의 환경은 점점 더 분열되고 있으며, 단일 모델이 지배하지 않습니다. 대신, 공급자들은 서로 다른 아키텍처와 비용 - 품질 트레이드오프를 가진 여러 모델을 동시에 서빙해야 합니다. 동시에 클라우드 공급자들은 최상위 H100 에서 중급 A100, 그리고 구형 L4 에 이르기까지 다양한 세대 (heterogeneous mix) 의 GPU 를 제공합니다. 최상위 하드웨어는 최고 성능을 제공하지만, 중급 및 구형 GPU 는 종종 동등하거나 더 우수한 성능당 비용 (performance-per-dollar) 과 더 나은 가용성을 제공합니다.

Coral이 해결하는 핵심 과제는 이종 클라우드 리소스 상에서 다중 LLM 을 비용 효율적으로 적응형으로 서빙하는 것입니다. 이는 두 가지 긴밀하게 결합된 의사결정을 공동으로 최적화해야 합니다:

1. 리소스 할당: 다양한 클라우드 리전 (regions) 에서 어떤 노드를 프로비저닝할지 결정합니다.
2. 모델 배치: 해당 이종 노드들 사이에서 각 모델을 어떻게 분할할지 결정합니다 (예: 파이프라인 병렬화 및 데이터 병렬화를 통해).

기존 시스템은 이러한 엔드 - 투 - 엔드 문제를 해결하지 못합니다. 이전 연구들은 동질적인 복제본을 가정하여 리소스 할당을 최적화하거나 (배치 최적화 무시), 고정된 노드 세트에서 단일 모델에 대한 배치를 최적화합니다 (전역 할당 무시). 두 차원의 지수적 검색 공간과 수요 및 리소스 가격의 변동에 적응하기 위한 신속한 재해결 (시간이 아닌 분 단위) 이 필요하기 때문에, 무차별 대입식 공동 최적화는 계산적으로 처리 불가능합니다.

2. 방법론

Coral 은 결합된 최적화 문제를 **손실 없는 2 단계 분해 (lossless two-stage decomposition)**로 분리하는 적응형 이종 인식 시스템을 도입합니다.

핵심 통찰: 서빙 템플릿

Coral 은 고정된 모델과 지연 시간 서비스 수준 목표 (SLO) 에 대해, 특정 노드 세트에서의 처리량 최적 모델 배치는 나머지 클러스터가 어떻게 할당되었는지와 무관하게 해당 노드 조합에만 의존한다는 것을 관찰합니다. 이를 통해 배치 검색을 오프라인으로 이동할 수 있습니다.

1 단계: 오프라인 서빙 템플릿 생성

• 프로세스: 각 (모델, SLO) 쌍에 대해 Coral 은 노드 조합의 원칙적인 부분집합을 나열합니다. 각 조합에 대해 지연 시간 SLO 를 만족하는 처리량 최적 모델 배치 (레이어 분할 및 노드 지정) 를 계산하기 위해 정수 선형 계획법 (ILP) 을 사용합니다.
• 출력: 서빙 템플릿 라이브러리. 각 템플릿은 노드 조합과 해당 최적 배치 전략을 지정하는 재사용 가능한 아티팩트입니다.
• 최적화: ILP 는 지연 시간 제약 조건 하에서 처리량을 최대화합니다. 결합 복잡성을 처리하기 위해 Coral 은 템플릿당 최대 노드 수 ($N_{max}$) 와 모델 크기에 대한 총 메모리 비율 ($\rho$) 을 제한하여 검색 공간을 가지치기합니다. 왜냐하면 더 큰 조합은 종종 막대한 통신 오버헤드를 초래하기 때문입니다.

2 단계: 온라인 리소스 할당

• 프로세스: 온라인 리소스 할당기는 사전 계산된 서빙 템플릿 라이브러리를 주기적으로 쿼리합니다. 현재 처리량 수요를 최소 비용으로 충족하기 위해 어떤 템플릿을 리전 간에 인스턴스화할지 결정하기 위해 두 번째 경량 ILP 를 해결합니다.
• 입력: 실시간 처리량 수요, GPU 가용성, 그리고 리전 간 가격.
• 목표: 처리량 및 가용성 제약 조건을 충족하면서 총 프로비저닝 비용과 초기화 페널티 (과도한 churn 을 억제하기 위해) 를 최소화합니다.
• 효율성: 복잡한 모델 배치 검색을 임계 경로에서 분리함으로써, 온라인 솔버는 수 시간이 아닌 수십 초 내에 완료되어 클러스터가 수요와 공급의 역동적인 변화에 적응할 수 있게 합니다.

시스템 구현

Coral 은 제어용 ZeroMQ, 인스턴스 간 통신용 NCCL, 실행 엔진으로 vLLM을 사용하여 런타임 시스템으로 구현되었습니다. 이는 Prefill-Decode(PD) 분리 및 집계 서빙을 모두 지원합니다. 물리적 프로비저닝이 비용이 너무 많이 들어 대규모 평가가 필요한 경우, 실제 하드웨어로 검증된 고정밀 이벤트 기반 시뮬레이터가 사용됩니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 문제 공식화: 모델별 지연 시간 SLO 하에서 리소스 할당 및 모델 배치를 통한 이종 인식 다중 LLM 서빙의 공동 최적화에 대한 공식화.
2. 손실 없는 분해: 재사용 가능한 서빙 템플릿을 사용하여 복잡한 배치 검색을 오프라인으로 이동하는 새로운 2 단계 접근법으로, 최적성을 희생하지 않고 온라인 해결 시간을 수 시간에서 수십 초로 단축.
3. 확장 가능한 솔버: 수천 개의 노드로 구성된 클러스터로 확장 가능한 오프라인 배치 및 온라인 할당을 위한 ILP 기반 솔버.
4. 엔드 - 투 - 엔드 시스템: 대규모 평가를 위한 Coral 의 전체 구현 및 검증된 시뮬레이터.
5. 실증적 검증: 6 개의 모델과 20 개의 GPU 구성에 대한 평가를 통해 상당한 비용 절감 및 개선된 goodput 을 입증.

4. 결과

평가는 다양한 모델 (14B 에서 235B 파라미터까지) 과 다양한 GPU 구성 (H100, A100, L40S, L4, A10G 포함) 및 변동하는 리소스 가용성 하에서 수행되었습니다.

• 비용 효율성: Coral 은 확장된 설정에서 최상의 베이스라인 (동질적 복제본을 사용하는 Homo) 대비 최대 2.79 배, PD 분리 베이스라인인 Cauchy 대비 2.66 배의 서빙 비용을 절감합니다. 핵심 설정에서는 각각 1.62 배와 1.60 배의 감소가 있었습니다.
• 희소성 하의 Goodput: 리소스 가용성이 희소한 상황에서 Coral 은 베이스라인 대비 최대 2.39 배 높은 goodput(SLO 를 충족하는 토큰/초) 을 제공합니다. 이는 베이스라인이 특정 모델에 대한 수요를 충족하지 못하는 반면, Coral 은 모델 간 리소스를 공동 조정하여 경쟁을 해결하기 때문입니다.
• 해결 시간: 온라인 리소스 할당 ILP 는 평균 0.24 초(핵심 설정) 및 9.68 초(확장 설정) 내에 해결되어 필요한 적응 시간 창 내에 잘 들어갑니다.
• Helix 와의 비교: 고정된 이종 클러스터에서 단일 모델 환경에서 Coral 은 Helix 대비 비용을 21% 절감하고 처리량을 26% 향상시켰으며, 지연 시간 SLO 를 엄격하게 준수했습니다.
• 민감도 분석: 생성된 템플릿의 비용 효율성은 노드 제한 ($N_{max}$) 을 6 으로, 메모리 비율 ($\rho$) 을 12 로 설정할 때 포화되는 것으로 분석되어 가지치기 전략을 정당화합니다.

5. 중요성

본 논문은 비용 효율적인 다중 LLM 서빙을 위해 리소스 할당과 모델 배치의 공동 최적화가 필수적이라고 주장합니다. 기존 시스템은 동질적 하드웨어 상에서 모델 복제본을 블랙박스로 취급하여 상당한 비용 절감 기회를 놓치고 있으며, 리소스 제약 하에서는 어려움을 겪습니다. Coral 은 복제본 내부 이종성 (intra-replica heterogeneity)—하이브리드 파이프라인 및 데이터 병렬화를 통해 단일 모델 복제본 내에서 다양한 GPU 유형을 혼합하는 것—이 시스템이 특정 워크로드 특성과 SLO 에 맞게 인스턴스를 맞춤화할 수 있음을 보여줍니다.

Coral 의 중요성은 이러한 공동 최적화를 처리 가능하고 적응적으로 만든 능력에 있습니다. 최적 배치를 재사용 가능한 템플릿으로 사전 계산함으로써, 이론적 최적의 공동 검색과 신속한 온라인 재구성의 실용적 필요성 사이의 간극을 메웁니다. 이는 클라우드 공급자가 엄격한 지연 시간 보장을 유지하면서 다양한 동시 LLM 워크로드에 대해 더 넓고 비용 효율적인 GPU 재고 범위를 활용할 수 있게 합니다.