Strait: Perceiving Priority and Interference in ML Inference Serving

"Strait: ML 추론 서비스에서의 우선순위 및 간섭 인식" 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의

머신러닝 (ML) 추론 서비스 시스템은 온프레미스 환경에서 높은 GPU 활용도 하에 배포될 때, 작업 우선순위 지정 및 기한 충족과 관련하여 상당한 도전에 직면합니다.

• 불충분한 우선순위 지정: 기존 시스템 (예: TensorFlow Serving, NVIDIA Triton) 은 안전 모니터링, 품질 관리와 같은 중요한 작업을 덜 중요한 작업보다 우선시하는 강력한 지원을 종종 제공하지 못합니다. CUDA 스트림 우선순위를 지원할 수는 있지만, 이러한 하드웨어 힌트는 종종 비효율적입니다. 동시 커널이 공유 자원을 위해 경쟁하기 때문에, 고우선순위 (HP) 작업이 심각한 간섭을 받거나 기한을 놓칠 수 있기 때문입니다.
• 예측 불가능한 간섭: 현재 스케줄링은 종종 시간적 공유 (순차적 실행) 또는 정적 공간적 공유 (동시 실행) 에 의존합니다.
  • 시간적 공유는 선두 행렬 (HOL) 블로킹과 자원 미활용의 고통을 겪습니다.
  • 공간적 공유는 활용도를 향상시키지만, 동시 커널 실행 및 데이터 전송 중 간섭을 초래합니다. 이 간섭은 비선형적이며 추정하기 어려워 예측 불가능한 지연 시간과 기한 위반을 초래합니다.
• 선점의 부재: 상용 GPU 는 일반적으로 작업 수준 선점을 지원하지 않습니다. 일괄 처리가 배정되면 중단할 수 없습니다. 따라서 기한 위반을 방지하기 위해 스케줄링 결정은 사전에 내려져야 하며, 간섭 하에서 정확한 지연 시간 추정이 필요합니다.

2. 방법론: Strait 시스템

Strait 는 간섭을 명시적으로 모델링하고 관리함으로써 이중 우선순위 트래픽 (고우선순위 및 저우선순위) 에 대한 기한 충족을 향상시키도록 설계된 추론 서비스 시스템입니다.

A. 시스템 아키텍처

Strait 는 여러 개의 GPU 가 있는 노드에서 로컬로 작동합니다. 구성 요소는 다음과 같습니다:

1. 우선순위 인식 스케줄러: 다양한 모델에 대한 작업 큐를 관리하고, HP 또는 LP 상태를 할당합니다.
2. 간섭 예측 엔진: 데이터 전송 및 커널 실행 간섭으로 인한 지연 시간을 추정하는 글로벌 모델입니다.
3. 적응형 학습 루프: 작업 부하 변화 및 하드웨어 변이를 처리하기 위해 런타임 피드백을 기반으로 예측 모델을 지속적으로 업데이트합니다.

B. 간섭 모델링

Strait 는 추론 지연 시간 ($T_{inf}$) 을 네 가지 구성 요소로 분해합니다:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. 데이터 전송 간섭 ($T_{data}$):

   • 고정 메모리를 사용한 PCIe 데이터 전송이 FIFO 프로세스를 따른다는 관찰에 기반하여 모델링됩니다.
   • 지연 시간은 PCIe 링크에서 이전 일괄 처리의 완료 시간을 기반으로 계산됩니다.
   • 출력 크기가 작기 때문에 하류 전송 간섭은 종종 무시할 수 있습니다.

2. 커널 실행 간섭 ($T_{kernel}$):

   • 예측 모델: 감속을 추정하기 위해 적응형 지수 성장 모델을 사용합니다. 직관은 간섭이 낮은 자원 압력 하에서는 느리게 증가하지만, GPU 가 지연 시간을 숨기는 능력을 초과하는 압력이 가중됨에 따라 초선형적으로 가속화된다는 것입니다.
   • 입력: 이 모델은 공존하는 일괄 처리에서 L1/L2 캐시, DRAM, 텐서 코어, CUDA 코어와 같은 자원 처리량 지표의 시간 가중 평균을 사용합니다.
   • 우선순위 계수: CUDA 스트림 우선순위로 인해 동일한 압력 하에서 HP 작업이 LP 작업보다 간섭을 덜 경험할 수 있음을 반영하는 학습 가능한 매개변수 ($coeff_p$) 를 포함합니다.
   • 적응: 이 모델은 온라인으로 매개변수를 업데이트하기 위해 Adam 최적화 및 Huber 손실을 사용합니다. 예측된 커널 실행 지연 시간과 실제 지연 시간 간의 불일치를 기반으로 재보정하여 개념 변화 (예: 변경된 모델 아키텍처 또는 GPU 유형) 에 대한 견고성을 보장합니다.

C. 우선순위 인식 스케줄링 알고리즘

스케줄러는 최적의 일괄 처리 크기와 GPU 할당을 결정하기 위해 이진 탐색을 사용합니다. 두 가지 주요 제약을 시행합니다:

1. 높거나 동등한 우선순위 위반 금지: 새로운 일괄 처리는 진행 중인 HP 또는 동등 우선순위 작업이 기한을 놓치지 않도록 할 때만 스케줄링됩니다.
2. 자기 기한 실현 가능성: 새로운 일괄 처리는 보수적으로 추정된 (GPU 런타임 처리량의 절반으로 실행된다고 가정) 자신의 기한을 충족할 수 있어야 합니다.
3. LP 스로틀링: HP 작업을 보호하기 위해 시스템은 가산 증가 감산 (AIMD) 정책을 사용하여 LP 작업의 집계 처리량을 동적으로 제한 ($C_{low}$) 합니다. HP 작업이 기한을 놓치면 $C_{low}$는 보수적인 기준선으로 재설정됩니다.

3. 주요 기여

1. 간섭 인식 스케줄링: Strait 는 이중 우선순위 ML 트래픽에 대한 스케줄링 결정에 데이터 전송 및 커널 실행을 포함한 명시적 간섭 예측을 통합한 최초의 시스템입니다.
2. 적응형 예측 모델: 작업 부하나 하드웨어가 변경될 때 실패하는 정적 모델의 한계를 극복하는 동적으로 자원 경쟁 패턴을 학습하는 새로운 자기 적응 회귀 모델을 제안합니다.
3. 선점 없는 우선순위 관리: 고우선순위 기한을 보호하기 위해 저우선순위 작업을 사전에 차단하거나 스로틀링함으로써 선점이 불가능한 GPU 에서 효과적인 작업 우선순위 지정 방법을 시연합니다.
4. 종합 평가: 시간적 공유, 정적/반응형 공간적 공유, 소프트웨어 정의 선점 (XSched) 을 포함한 최첨단 기준선 against 엄격한 평가를 제공합니다.

4. 평가 결과

실험은 확률적, 균일 및 생산 트레이스 하에서 다양한 DNN 모델 (ResNet, ViT, YOLO, RoBERTa) 을 사용하여 NVIDIA L4 GPU 에서 수행되었습니다.

• 기한 충족:
  • Strait 는 기존 공간적 공유 및 선점 접근 방식에 비해 고우선순위 작업의 기한 위반을 1.02 에서 11.18 퍼센트 포인트 감소시킵니다.
  • 저우선순위 작업에 대해 수용 가능한 성능 트레이드오프를 발생시킵니다 (최악의 경우 저하가 0.61 퍼센트 포인트에 불과함).
• 선점 (XSched) 과의 비교:
  • 커널 수준 선점 시스템인 XSched 와 비교할 때, Strait 는 동등한 HP 기한 충족을 달성하지만 LP 작업에 대해 더 공정한 성능을 제공합니다.
  • XSched 는 HP 요청이 지배적일 때 LP 작업에 HOL 블로킹을 겪는 반면, Strait 의 사전 스케줄링은 동시성과 일괄 처리 크기를 관리함으로써 이를 방지합니다.
• 적응성:
  • 적응형 예측 모델은 서로 다른 모델 세트 (CNN 대 Transformer) 또는 GPU 아키텍처 (Ada Lovelace 대 Ampere 대 Hopper) 간 전환 시 정적 모델보다 훨씬 뛰어난 성능을 발휘하여 p99 예측 오류를 7.2 에서 8 퍼센트 포인트 감소시킵니다.
• 오버헤드:
  • 스케줄링 오버헤드는 최소 (수십 마이크로초) 이므로 실시간 서비스에 적합합니다.

5. 의의

Strait 는 결정론적 지연 시간과 작업 우선순위 지정이 최우선인 (예: 산업 자동화, 안전 시스템) 온프레미스 ML 인프라의 중요한 격차를 해소합니다. 반응형 자원 관리에서 사전 간섭 인식으로 전환함으로써 Strait 는 다음을 가능하게 합니다:

• **높은 신뢰성:**heavy 부하 하에서도 중요한 작업이 엄격한 기한을 충족하도록 보장합니다.
• 더 나은 자원 활용: 일반적으로 비효율적인 시간적 공유에 의존하도록 시스템을 강요하는 예측 불가능성 없이 안전한 공간적 공유를 허용합니다.
• 확장성: 이 접근 방식은 클러스터 수준 자동 확장과 직교하며, 특수 하드웨어 선점 지원 없이도 Triton 과 같은 기존 서비스 스택에 통합되어 우선순위 처리 기능을 향상시킬 수 있습니다.

요약하자면, Strait 는 현대 GPU 가속 추론 서비스에서 동시성, 간섭 및 우선순위 간의 복잡한 트레이드오프를 관리하는 강력한 프레임워크를 제공합니다.