Breaking the Ice: Analyzing Cold Start Latency in vLLM

기술 요약: Breaking the Ice: vLLM의 콜드 스타트 지연 시간 분석

문제 정의
대규모 언어 모델(LLM)이 특히 서버리스 컴퓨팅 패러다임 내에서 대규모로 배포됨에 따라, 추론 엔진의 "콜드 스타트(cold start)" 지연 시간이 중요한 병목 현상이 되었습니다. 서버리스 환경에서 클라우드 제공업체는 트래픽 급증을 처리하기 위해 새로운 컨테이너 인스턴스를 실행하며, 이는 "웜(warm)" 인스턴스에서 요청을 처리할 때보다 수십 배 높은 지연 시간을 유발합니다. 이 지연 시간은 주로 첫 번째 토큰 생성 시간(Time-to-First-Token, TTFT)에 영향을 미칩니다. vLLM은 그 최적화 기술(예: PagedAttention, chunked prefill) 덕분에 많은 워크로드에서 사실상의 표준(de-facto) 추론 엔진으로 부상했지만, 그 스타트업 동작 방식에 대한 체계적이고 엔드 투 엔드(end-to-end)적인 특성 분석은 부족한 실정입니다. vLLM의 급격한 진화(예: V1 API 및 torch.compile의 도입)와 점증하는 코드베이스 복잡성은 아키텍처 변화가 스타트업 성능에 어떤 영향을 미치는지 이해하는 것을 어렵게 만들었습니다. 기존 문헌은 종종 격리된 구성 요소(예: 체크포인트 로딩 또는 상태 구체화)에 초점을 맞추고 있어, 컨테이너화된 LLM 서비스를 위한 효율적인 오토스케일링 정책 설계에 걸림돌이 되고 있습니다.

방법론
저자들은 엔진 초기화 시점부터 엔진이 완전히 작동하여 요청을 처리할 준비가 된 시점까지의 시간을 "스타트업 시간"으로 정의하고, vLLM 스타트업 프로세스에 대한 포괄적인 성능 특성을 분석합니다.

• 실험 설정: 실험은 vLLM v0.10.1.1을 사용하여 22개의 다양한 LLM(0.5B에서 32B 파라미터 범위, MoE 아키텍처 포함)을 대상으로 NVIDIA H100 및 L40S GPU에서 수행되었습니다. 연구에는 다양한 CPU(AMD EPYC, Intel Xeon)와 스토리지 구성(DRAM 캐시 vs. PCIe 5.0 SSD)을 갖춘 4개의 서로 다른 하드웨어 노드가 사용되었습니다.
• 분해: 스타트업 프로세스는 다음 6가지 기초 단계로 분해되었습니다:
  1. 프레임워크 부트스트래핑 (플랫폼 감지, 임포트, 워커 초기화).
  2. 토크나이저 초기화.
  3. 모델 로딩 (구조 초기화 및 가중치 로딩).
  4. Torch 컴파일 (Dynamo 변환 및 컴파일된 그래프 로딩).
  5. KV 캐시 프로파일링.
  6. CUDA 그래프 캡처.
• 분석: 저자들은 다양한 조건 하에서 각 단계의 지연 시간을 측정하였으며, 모델 파라미터(크기, 레이어, 어휘 사전), 시스템 파라미터(CPU/GPU 유형), 구성 플래그에 따른 스케일링 경향을 분석했습니다. 또한 다양한 가중치 로딩 백엔드(Safetensors, Run:ai Streamer, CoreWeave Tensorizer)와 컴파일된 그래프의 캐싱 존재 여부에 따른 영향도 평가했습니다.
• 예측 모델링: 관찰된 스케일링 경향을 바탕으로, 저자들은 경량화된 화이트박스(white-box) 분석 예측 모델을 개발했습니다. 이 모델은 6개 단계 각각에 대해 선형 회귀를 사용하여 모델 구성 및 환경 특성에 기반하여 전체 스타트업 지연 시간을 예측합니다.

주요 결과

• CPU 바운드 특성: 분석 결과, vLLM 스타트업 프로세스는 주로 CPU 바운드인 것으로 나타났습니다. 마지막 두 단계(KV 캐시 프로파일링 및 CUDA 그래프 캡처)는 GPU 바운드이지만, 대부분의 지연 시간(프레임워크 부트스트래핑, 토크나이징, 모델 로딩, 컴파일 포함)은 CPU 성능에 의해 결정됩니다. GPU를 변경(H100 vs. L40S)해도 대부분의 단계에서 무시할 만한 속도 향상을 보였으나, CPU를 변경했을 때는 상당한 성능 차이가 발생했습니다.
• 스케일링 경향:
  • 토크나이저 초기화: 토크나이저 파일 크기에 따라 선형적으로 스케일링됩니다 (PCC = 0.99).
  • 모델 로딩: 가중치 로딩 시간은 모델 파라미터 크기 및 정밀도에 따라 선형적으로 스케일링됩니다 (PCC = 1.00). SSD에서 로딩할 경우 이 단계를 약 0.5배 느리게 만들지만, 가중치 로딩이 전체 소요 시간에서 차지하는 비중이 작기 때문에 전체 스타트업 시간에는 미미한 영향(약 1.04배 개선)만을 미칩니다.
  • Torch 컴파일: Dynamo 변환 시간은 레이어 수와 레이어 복잡도(컴파일된 그래프 파일 크기로 근사화, PCC = 0.96)에 따라 스케일링됩니다. 컴파일된 그래프를 로딩하는 것 또한 그래프 크기에 따라 선형적으로 스케일링됩니다 (PCC = 0.95).
  • KV 캐시 프로파일링: 비(non)-MoE 모델의 경우 모델 파라미터 크기에 따라 선형적으로 스케일링됩니다 (PCC = 0.92). MoE 모델은 동적 전문가 라우팅으로 인해 편차를 보입니다.
  • CUDA 그래프 캡처: 모델 크기와 캡처된 배치 크기 모두에 따라 선형적으로 스케일링됩니다 (PCC = 1.00).
• 캐싱의 영향: 컴파일된 그래프의 캐시를 비활성화하면 "컴파일된 그래프 저장" 단계가 약 36초에서 약 1121초로 증가하여, 후속 실행을 위한 캐싱의 중요성을 강조합니다.
• 예측 정확도: 제안된 분석 예측 모델은 검증 모델에 대해 평균 제곱 오차(MSE) 2.42초, 최대 오차 2.08초의 높은 정확도를 달s합니다. 이 모델은 vLLM v0.11에서 검증했을 때도 높은 정확도(MSE 2.62s)를 유지하여 버전 업데이트에 대한 견고함을 입증했습니다.

의의 및 주장
본 논문은 vLLM 스타트업 프로세스에 대한 최초의 상세하고 체계적인 특성 분석을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 분해: 스타트업 프로세스를 구성하는 6가지 기초 단계를 식별하고 격리하여, 해당 프로세스가 GPU보다는 주로 CPU 바운드임을 밝혀냈습니다.
2. 해석 가능성: 특정 파라미터(예: 모델 크기, 토크나이저 크기, 그래프 크기)와 각 단계의 지연 시간 사이에 일관되고 해석 가능한 스케일링 경향(대부분 선형)을 확립했습니다.
3. 예측 능력: 주어진 하드웨어 및 모델 구성에 대해 스타트업 지연 시간을 정확하게 예측하는 경량 화이트박스 분석 모델을 개발했습니다. 이 도구는 서버리스 LLM 환경을 위한 리소스 계획 및 오토스케일링 결정을 지원하도록 설계되었습니다.
4. 장기적 적용 가능성: 저자들은 vLLM 업데이트에 따라 특정 파라미터 값은 변할 수 있지만, 6단계 분해 방식은 현대적 추론 엔진에 내재된 근본적인 동작을 포착한다는 점을 주장합니다. 따라서 이 방법론은 전체 재분석 없이 파라미터 재조정(re-tuning)만으로 미래 버전에도 적용 가능합니다.

본 논문은 이 작업이 스타트업을 단일한 블랙박스로 취급하는 것을 넘어, 컨테이너화된 서버리스 추론 프레임워크를 위한 영향력 있는 오토스케일러 정책을 설계하기 위한 기초적인 단계라고 규정합니다.