DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference

기술 요약: DriftSched

문제 정의
대규모 언어 모델(LLM)의 급격한 도입은 AI 데이터 센터에서 효율적인 멀티테넌트(multi-tenant) GPU 스케줄링에 대한 수요를 심화시켰습니다. vLLM과 같은 현대적인 추론 런타임은 연속 배치(continuous batching)와 메모리 관리를 통해 처리량을 최적화했지만, 이질적인 추론 요청의 실행 시간을 정확하게 추정하는 것은 여전히 큰 과제로 남아 있습니다. 기존의 스케줄링 방식은 일반적으로 정적 토큰 제한, 사용자 지정 출력 제약 또는 사전 정의된 워크로드 가정을 기반으로 합니다. 이러한 정적 방법은 프롬프트의 복잡성, 응답 특성 및 모델 동작으로 인해 관찰된 출력 길이가 예상 값에서 자주 벗어나는 실제 LLM 워크로드의 동적 동작을 포착하지 못합니다.

본 논문은 이러한 불일치를 **런타임 토큰 드리프트(runtime token drift)**로 규정합니다. 이 현상은 추정 오류를 유발하여 스케줄링 결정에 전파되며, 이는 워크로드 오분류, 큐 불균형, 테일 레이턴시(tail latency) 증가, 테넌트 간 자원 할당의 불공정성, 그리고 GPU 경합 상황에서의 QoS(서비스 품질) 저하를 초래합니다. 예측 가능한 실행 비용을 가진 시스템을 위해 설계된 기존 스케줄링 알고리즘(예: FIFO, SJF)은 KV 캐시 성장 및 배치 역학(batching dynamics)과 같은 동적 요인에 따라 런타임 동작이 결정되는 멀티테넌트 LLM 환경에서 어려움을 겪습니다.

방법론 및 시스템 아키텍처
이러한 과제를 해결하기 위해 저자들은 NVIDIA L4 GPU 상에서 멀티테넌트 LLM 추론을 위한 적응형 QoS 인식 스케줄링 프레임워크인 DriftSched를 제안합니다. 시스템 아키텍처는 워크로드 분류, 토큰 예산 추정, 테넌트 인식 큐 관리, 그리고 런타임 피드백 기반의 드리프트 보상 메커니즘을 통합합니다.

1. 적응형 토큰 추정: 정적 접근 방식과 달리, DriftSched는 워크로드 분류, 테넌트 인식 안전 계수(safety factors), 프롬프트 복잡성을 결리하여 GPU 실행 전 추론 비용을 추정합니다. 결정적으로, 시스템은 실행 피드백을 사용하여 지속적으로 업데이트되는 적응형 바이어스 계수($B_{runtime}$)를 채택합니다. 추정된 출력 토큰 수는 다음과 같이 계산됩니다:
   $$T_{estimated\_output} = T_{base} \times B_{runtime} \times S_{tenant} \times F_{input}$$
   여기서 $B_{runtime}$은 관찰된 출력 길이와 베이스라인 추정치 사이의 비율로부터 학습됩니다.

2. 워크로드 분류 및 큐잉: 추론 요청은 의미론적 카테고리(short_qa, summary, technical, report)로 분류되며, 추정된 토큰 예산에 따라 런타임 스케줄링 클래스(short, medium, long)로 매핑됩니다. 요청은 Redis를 통해 관리되는 테넌트별 큐(Premium, Standard, Batch)에 할당됩니다.

3. 스케줄링 전략: 본 프레임워크는 다섯 가지 스케줄링 정책을 평가합니다: First-Come First-Serve (FIFO), 우선순위 스케줄링(Priority Scheduling), 가중치 스케줄링(Weighted Scheduling), 최단 작업 우선(Shortest-Job-First, SJF), 그리고 에이징 우선순위 스케줄링(Aging Priority Scheduling).

4. 피드백 루프: 시스템은 두 단계로 작동합니다. 먼저 런타임 피드백을 수집하고 바이어스 계수를 수렴시키기 위한 캘리브레이션 단계(첫 1,000개 요청)를 거칩니다. 그 다음, 학습된 바이어스 값을 활용하면서 지속적인 온라인 적응을 수행하는 스트레스 평가 단계(나머지 2,000개 요청)가 진행됩니다. 적응형 업데이트 규칙은 추정된 토큰 수와 관찰된 토큰 수 사이의 편차를 바탕으로 바이어스 계수를 정교화하기 위해 지수 이동 평균(EMA)을 사용합니다.

주요 기여

• 적응형 드리프트 인식 아키텍처: 워크로드 추정을 런타임 토큰 드리프트 보상 문제로 취급하여, 예측을 관찰된 동작과 일치시키기 위해 바이어스 계수를 동적으로 업데이트하는 새로운 스케줄링 프레임워크를 제시합니다.
• 런타임 토큰 드리프트 보상 메커니즘: 추정된 토큰 예산을 실제 출력 길이와 지속적으로 비교함으로써 추정 오차를 줄이는 피드백 기반 방법을 제공하여, admission-time 스케줄링 정확도를 향상시킵니다.
• 재현 가능한 벤치마킹 프레임워크: NVIDIA L4 GPU 상에서 vLLM을 사용하여 다양한 프롬프트 복잡도와 도착률을 가진 이질적인 멀티테넌트 트래픽을 시뮬레이션하는 종합적인 평가 환경을 구축했습니다.

실험 결과
실험은 NVIDIA L4 GPU에서 세 가지 테넌트 티어와 네 가지 의미론적 워크로드 유형에 대해 3,000개의 추론 요청을 대상으로 수행되었습니다.

• 토큰 드리프트의 존재 확인: 연구를 통해 워크로드 카테고리 전반에 걸쳐 측정 가능한 런타임 토큰 드리프트가 존재함을 확인했습니다. 정적 토큰 예산 추정은 실제 생성 동작을 지속적으로 과대평가했습니다.
• 추정 정확도: 적응형 피드백 메커니즘은 모든 평가된 스케줄링 정책에 대해 정적 베이스라인 대비 평균 38.8% (MAE) 및 **40.5% (RMSE)**의 워크로드 추정 오차 감소를 달 나타냈습니다.
• 레이턴시 성능: 스케줄링 정책 중 **SJF(Shortest-Job-First)**가 가장 우수한 전체 성능을 달성했습니다. FIFO와 비교했을 때, SJF는 중앙값(P50) 엔드 투 엔드 레이턴시를 약 42%, P99 레이턴시를 약 16% 감소시켰습니다. 이러한 개선은 짧은 워크로드를 우선시하고 큐 점유율을 줄인 데 기인합니다.
• 트레이드오프(Trade-offs): SJF가 글로벌 레이턴시를 최적화하는 반면, 테넌트 인식 스케줄러(Priority, Weighted, Aging)는 Premium 테넌트에 대해 더 강력한 QoS 차별화를 제공했습니다. 예를 들어, Priority 스케줄링은 Premium 테넌트의 레이턴시를 ~77초로 줄였으나, Batch 테넌트의 레이한 레이턴시는 ~427초로 증가시켰습니다.
• GPU 활용도: 분석 결과, 모든 스케줄링 정책에 걸쳐 GPU 실행 레이턴시와 메모리 활용도가 비교적 일정하게 유지되었습니다. 이는 성능 차이가 GPU 실행 효율의 변화보다는 큐 관리 및 워크로드 순서 지정에서 기인했음을 나타냅니다.

의의 및 주장
본 논문은 런타임 토큰 드리프트가 멀티테넌트 LLM 서빙 시스템에서 측정 가능하며 실질적으로 중요한 현상이라고 주장합니다. DriftSched의 주요 의의는 적응형 피드백 기반 추정이 GPU 경합 상황에서 워크로드 특성화와 스케줄링 효과를 실질적으로 개선할 수 있음을 입증했다는 점에 있습니다.

저자들은 본 연구 결과가 기업용 AI 서빙 플랫폼을 위한 실질적인 통찰력을 제공하며, 정확한 런타임 워크로드 추정이 미래의 적응형 추론 런타임에 있어 매우 중요하다는 점을 강조합니다. 이 연구는 적응형 워크로드 추정을 추가적인 스케줄링 신호로 도입함으로써 기존 아키텍처(예: Orca, Sarathi, vLLM)를 보완합니다. 결론적으로, 워크로드 인식 스케줄링(SJF와 같은)이 테일 레이턴시를 크게 줄일 수 있지만, 이는 테넌트 수준의 공정성과의 트레이드오프를 수반하므로, 미래의 시스템은 글로벌 효율성과 서비스 수준 보장(SLG) 사이의 균형을 맞춰야 한다고 제언합니다. 또한, 본 평가가 단일 GPU 플랫폼 및 모델에서 수행되었음을 명시하며, 향-후 연구에서는 멀티 GPU 시나리오 및 강화 학습 기반 스케줄링을 탐구할 것이라고 밝히고 있습니다.