ML Inference Scheduling with Predictable Latency

기술 요약: 예측 가능한 지연 시간을 갖는 ML 추론 스케줄링

문제 정의
머신러닝(ML) 추론 서빙 시스템은 엄격한 서비스 수준 목표(SLO) 또는 데드라인을 준遵守하면서 GPU 활용도를 극대화하는 것을 목표로 한다. 활용도를 높이기 위해 시스템은 종종 동적 배칭(요청 결합)과 동시 배치 실행(단일 GPU에서 여러 배치를 동시에 실행)을 채택한다. 그러나 동시 실행은 배치가 제한된 GPU 자원(예: L2 캐시, DRAM, Tensor Core)을 두고 경합함에 따라 **간섭(interference)**을 유발한다. 이러한 간섭은 예측 불가능한 지연 시간 편차를 생성하여 SLO 보장을 어렵게 만든다.

기존의 간섭 예측 방식은 두 가지 주요 한계점을 가진다:

1. 조립 단위 예측의 한계(Coarse-Grained Prediction): 이들은 런타임 **공동 배치 역학(co-location dynamics)**을 무시하는 경우가 많다. 하나의 배치는 실행되는 동안 서로 다른 공동 배치들과 다양한 시간 동안 함께 실행될 수 있다. 단일하고 일정한 간섭원을 가정하는 정적 모델은 이러한 시간적 변화를 포착하지 못해 부정확한 예측을 초과하게 된다.
2. 비적응형 모델(Non-Adaptive Models): 기존 방식은 일반적으로 오프라인에서 학습된 정적 모델에 의존한다. 이러한 모델은 워크로드 특성이 변할 때(예: 새로운 모델이 배포되거나 요청 도착률이 변할 때) 정확도가 저하되어, 비용이 많이 드는 재학습 및 재배포를 필요로 한다.

방법론
저자들은 NVIDIA L4 GPU와 TensorRT 추론 엔진을 사용하여 수행된 일련의 시뮬레이션과 실험을 통해 이러한 한계점들을 평가한다.

• 실험 설정: 본 연구는 다양한 DNN 모델 세트(CNN 계열인 ResNet-50, VGG-19, ConvNeXt-B 및 Transformer 계열인 RoBERTa-B, ViT-B-16, YOLO-v8n)를 활용한다. 워크로드는 가벼운 부하부터 스트레스 테스트까지 다양한 범위의 포아송 도착 프로세스를 따른다.
• 베이스라인 접근 방식: 평가는 **gpulets [7]**의 간섭 예측 방법을 채택하며, 이는 선형 회귀 모델($\hat{y} = w^T x + b$)을 사용한다. 입력 피처($x$)는 NVIDIA Nsight Compute를 통해 오프라인 프로파일링된, 간섭을 받는 배치와 공동 배치 배치 간의 평균 리소스 처리량 지표(L2 캐시, DRAM, SM 처리량)로 구성된다.
• 조립 단위 역학의 한계 평가: 저자들은 공동 배치 역학이 변하는 시나리오(예: 배치 2가 잠시 배치 1과 함께 있다가, 이후 긴 시간 동안 배치 3과 함께 실행되는 경우)를 시뮬레이션한다. 다음을 비교한다:
  • Static (정적): 역학을 완전히 무시함 (초기 런타임 상태 사용).
  • Partial Dynamics (부분 역학): 도착/이탈을 추적하고 다양한 평활화 계수($\alpha$)를 가진 지수 가중 이동 평균(EWMA)을 사용하여 처리량을 평활화함.
• 비적응형 한계 평가: 저자들은 세 가지 학습 전략(다양한 테스트 세트: 변하는 부하, 새로운 모델, 이질적인 워크로드)을 비교한다:
  • Offline Learning (오프라인 학습): 특정 데이터셋에 대해 한 번 학습된 정적 모델.
  • Online Learning (SGD) (온라인 학습 - SGD): 확률적 경사 하강법을 사용하여 런타임에 모델 가중치를 업데이트함.
  • Online Learning (RLS) (온라인 학습 - RLS): 재귀 최소 제곱법을 사용하여 모델 가중치를 업데이트함.

주요 결과

1. 공동 배치 역학의 영향: 런타임 공동 배치 역학을 무시하면 심각한 예측 오류가 발생한다. EWMA를 통해 역학을 부분적으로 고려하더라도, 예측 모델은 여전히 눈에 띄는 편차를 보인다. 평가 결과, 예측의 50% 이상이 20% 상대 오차 범위 내에 들어왔으나, 상당 부분은 60% 이상의 오차를 초과했다. 저자들은 이를 부정확하고 정적인 공동 배치 리소스 처리량 값을 입력 피처로 사용했기 때문으로 보며, 이 값이 시간이 지남에 따라 배치가 실제로 경험하는 실제 리소스 압박을 반영하지 못한다고 분석했다.
2. 워크로드 변화의 영향: 정적 모델은 변화하는 워크로드 하에서 성능 저하를 겪는다.
   • 새로 배포된 모델(테스트 세트 2, 학습 시 보지 못한 모델)에 대해 테스트했을 때, 오프라인 학습 방법은 평균 제곱 오차(MSE)가 0.0355에서 0.5480으로 대폭 증가했다.
   • 온라인 학습 방법(SGD 및 RLS 모두)은 이러한 저하를 유의미하게 완화하여 훨씬 낮은 MSE(SGD는 0.4311, RLS는 0.3467)를 유지했다.
   • RLS는 곡률 정보를 활용하여 더 빠른 수렴을 달할 수 있는 능력 덕분에 일반 SGD보다 일관되게 우수한 성능을 보였으나, 계산 비용은 더 높았다.

핵심 기여

• 예측 한계에 대한 평가: 본 논문은 런타임 공동 배치 역학을 무시하는 조립 단위 간섭 예측 방식이 상당한 정확도 편차를 초발한다는 실증적 근거를 제공한다.
• 모델 적응성 평가: 본 연구는 정적 예측 모델이 변화하는 워크로드 특성(개념 드리프트) 하에서 상당히 저하되는 반면, 온라인 학습 접근 방식은 예측 정확도를 유지할 수 있음을 입증한다.
• 향후 연구를 위한 베이스라인: 저자들은 gpulets 방식을 엄격하게 테스트함으로써, 동적인 ML 서빙 환경에서 현재의 최첨단 간섭 예측이 가진 구체적인 실패 모드를 보여주는 베이스라인을 구축한다.

의의 및 주장
저자들은 자신의 연구가 현재의 간섭 예측 전략에 존재하는 결정적인 격차를 강조한다는 점을 겸허히 주장한다. 그들은 ML 추론 스케줄링이 높은 GPU 활용도를 달성하면서도 SLO를 충족하기 위해서는 예측 메커니즘이 다음과 같이 재설계되어야 한다고 주장한다:

1. 정적인 스냅샷에 의존하기보다 런타임 공동 배치 역학을 고려해야 한다.
2. 전체 재학습 없이도 진화하는 워크로드 특성에 적응할 수 있도록 온라인 학습 기능을 포함해야 한다.

본 논문은 자신들의 작업이 동적인 ML 서빙 환경에서 진정으로 예측 가능한 지연 시간을 가능하게 하기 위해 더 정교하고 적응적인 예측 모델과 더 나은 리소스 지표가 필요함을 식별하는 기초적인 평가("진행 중인 연구")임을 명시하고 있다.