기술 요약: 대규모 머신러닝 모델 서빙 시스템을 위한 부하 테스트

문제 정의

머신러닝(ML) 모델 서빙은 GPU 인프라의 주요 소비처가 되었으나, 이러한 시스템을 위한 용량 계획(Capacity Planning)은 여전히 상당 부분 임시방편적으로 이루어지고 있습니다. 전통적인 부하 테스트 도구(예: JMeter, Locust)와 벤치마킹 스위트(예: MLPerf)는 ML 추론의 고유한 특성을 해결하지 못하며, 이는 다음과 두 가지 결정적인 문제로 이어집니다:

1. 과소 프로비저닝(Under-provisioning): 서비스 수준 목표(SLO) 위반, 사용자 경험 저하 및 운영 장애를 초래합니다.
2. 과다 프로비저닝(Over-provisioning): 다른 워크로드가 사용할 수 있는 상당한 양의 GPU 자원을 낭비하게 됩니다.

본 논문은 일반 목적의 도구들이 해결하지 못하는 네 가지 구체적인 과제를 식별합니다:

• 모델 웜업(Model Warmup): GPU 추론은 JIT 컴파일, CUDA 커널 캐싱, 가중치 로딩을 포함하므로, 정상 상태(Steady State)를 반영하지 못하는 일시적인 성능 변화를 생성합니다.
• 동적 배칭(Dynamic Batching): 현대적인 서빙 시스템은 요청을 배치로 처리하며, 이는 동시 요청 부하와 개별 요청 지연 시간 사이의 비선형 관계를 만듭니다.
• 아키텍처 이질성(Architecture Heterogeneity): 시스템은 다양한 모델(밀리초 미만의 룩업부터 수 초가 걸리는 생성형 출력까지)을 처리해야 하며, 이에 따라 서로 다른 테스트 접근 방식이 필요합니다.
• 하드웨어 민감도(Hardware Sensitivity): 성능은 GPU 세대, 메모리 구성 및 공동 배치(Co-location) 패턴에 따라 크게 달라집니다.

방법론: Vanguard 프레임워크

저자들은 적응형 피드백 기반 탐색 전략을 통해 서빙 용량을 체계적으로 추정하도록 설계된 산업용 부하 테스트 프레임워크인 Vanguard를 제시합니다.

시스템 아키텍처

Vanguard는 10개의 핵심 구성 요소로 이루어진 분산 시스템입니다:

• 오케스트레이션 및 실행: 테스트의 생명주기를 관리하는 태스크 오케스트레이터(Task Orchestrator)와, 프로세싱 지연이 새로운 요청 생성을 억제하여 실제 지연 시간을 가리는 '조율된 누락(Coordinated Omission)' 현상을 방지하기 위해 **오픈 루프 설계(Open-loop design)**를 사용하는 로드 리플레이어(Load Replayer)로 구성됩니다.
• 전략 엔진: 검색 알고리즘을 분리하기 위해 전략 패턴을 구현합니다. 베이스라인 전략(Multi-Rate Sweep, Binary Search, Constant-Rate Stability)과 핵심인 **적응형 피드백 기반 탐색(Adaptive Feedback-Driven Search)**을 지원합니다.
• 상태 평가 엔진(Health Assessment Engine): 원시 메트릭(지연 시간, 처리량, 에러율, GPU 사용률)을 다섯 가지 건강 상태(Healthy, Warn, Unhealthy, Critical, Overloaded)로 매핑합니다. 이 엔진은 **다중 메트릭 가중치(Multi-metric weighting)**와 **히스테리시스(Hysteresis, 상태가 경계 근처에서 '플래핑'하는 것을 방지하기 위해 연속된 윈도우 동안 상태가 유지되어야 함)**를 채택합니다.
• 인프라: 버전 관리된 아티팩트를 위한 모델 레지스트리, 리소스 프로비저닝을 위한 용량 할당기(Capacity Allocator), 재현성을 위한 텔레메트리 로거(Telemetry Logger)를 포함합니다.

적응형 탐색 전략

핵순 기여점은 실시간 메트릭 피드백을 사용하여 최대 지속 가능한 처리량으로 수렴하는 적응형 알고리즘입니다. 이는 세 가지 메커니즘을 사용합니다:

1. 댐핑(Dampening): 탐색이 용량 경계에 접근함에 따라 단계 크기(Step size)를 줄여 오버슈팅을 방지합니다.
2. 스파이크 허용(Spike Tolerance): 설정된 임계값 미만의 일시적인 메트릭 스파이크를 무시하여 조기 수렴을 방지합니다.
3. 수렴 감지(Convergence Detection): 최근 추정치의 분산을 모니터링하며, 변동 계수(Coefficient of variation)가 임계값 아래로 떨어지면 탐색을 종료합니다.

실험 설계

본 연구는 네 가지 아키텍처 클래스(Recommendation, Ranking, Vision, NLP)에 걸친 14개의 산업 사례 연구를 통해 Vanguard를 평가합니다.

• 그라운드 트루스(Ground Truth): 사고 발생 기간과 초기 램프업(Ramp-up) 기간을 제외하고, 런칭 후 7일간의 정상 상태에서 측정된 P90 초당 추론 횟수(Inference-Per-Second, IPS)로 정의됩니다.
• 변수: 연구는 합성 트래픽과 기록된 트래픽 리플레이를 비교하고, 서로 다른 하드웨어(A100 vs H100)를 비교하며, 특정 ML 인식 기능(예: 웜업 처리, 배칭 인식)을 비활성화한 절제 연구(Ablation studies)를 수행합니다.
• 통계 분석: 비모수 검정, 일치도를 위한 Bland-Altman 분석, 그리고 에러 요인을 식별하기 위한 다변량 선형 회귀 분석을 사용합니다.

주요 결과

1. 재현성

Vanguard 측정값은 동일한 하드웨어 상에서 매우 높은 재현성을 보입니다 (내부 상관 계수(ICC) = 0.96, 변동 계수 = 2.9%). 그러나 교차 하드웨어 테스트(A100 vs H100)에서는 4.9%의 체계적인 양의 편향(Positive bias)이 나타났으며, 이는 하드웨어별 보정 계수가 필요함을 시사합니다.

2. ML 특화 설계 결정의 영향 (RQ1)

절제 연구 결과, 특정 ML 인식 기능들이 정확도에 결정적임이 밝혀졌습니다:

• 워크로드 캘리브레이션: 합성 트래픽에서 기록된 트래픽 리플레이로 전환했을 때 추정 에러가 약 30%에서 **2~6%**로 감소했습니다. 이것이 가장 큰 정확도 향상을 가져온 요인이었습니다.
• 웜업 처리: 일시적인 웜업 기간을 적절히 제외함으로써 에러를 22.2% 줄였습니다.
• 기타 요인: GPU 건강 모니터링, 다중 메트릭 SLO, 배칭 인식 또한 각각 7~14%의 에러 감소에 기여하며 유의미한 정확도 개선을 가져왔습니다.

3. 용량 예측 정확도 (RQ2)

• 전체 정확도: Vanguard의 추정치는 관찰된 런칭 후 용량과 밀접하게 일치하였으며, 평균 편향은 -2.1%(약간의 과소 추정이며, 이는 운영 측면에서 바람직함)였고, 95% 일치 한계는 [-14.8%, +10.6%]였습니다. 상관관계는 강력했습니다 ($R^2 = 0.94$).
• 에러 예측 인자: 회귀 분석 결과, 모델 크기(로그 변환된 파라미터 수)와 공동 배치 밀도(Co-location Density, 공동 테넌트 모델 수)가 추정 에러의 가장 강력한 예측 인자로 식별되었습니다. 큰 모델은 가변적인 웜업 동작을 보이며, 공동 배치된 워크로드는 격리된 테스트에서 포착되지 않는 간섭을 유발합니다.

의의 및 기여

본 논문은 ML 모델 서빙을 위해 특화된 부하 테스트에 관한 최초의 경험적 연구라고 주장합니다. 그 의의는 다음과 같습니다:

1. 격차 해소: 전통적인 부하 테스트와 ML 용량 계획의 특수한 요구 사항 사이의 단절을 해결하며, 동적 배칭, 웜업, 하드웨어 민감도를 처리할 수 있는 프레임워크를 제공합니다.
2. 산업적 영향: 14개의 사례 연구에서 Vanguard 배포를 통해 다음과 같은 성과를 거두었습니다:
   • 추정 에러를 30%에서 2~6%로 감소시켰습니다.
   • 과다 프로비저닝을 제거함으로써 개별 모델에 대해 49~83%의 GPU 리소스 절감을 달이었습니다.
   • 과소 프로비저닝으로 인한 런칭 사고를 실질적으로 줄였습니다.
3. 실무자를 위한 가이드라인: 저자들은 워크로드 대표성(기록된 트래픽 사용)과 웜업 처리가 알고리즘의 정교함보다 더 영향력이 크다는 점을 강조하며, 실무자를 위한 6가지 교훈을 정리했습니다. 또한 건강 평가에서의 히스테리시스의 필요성과 공동 배치 효과를 고려하는 것의 중요성을 강조했습니다.

논문은 현재의 아키텍처에는 적응형 전략이 효과적이지만, 가변적인 출력 길이와 KV-캐시 압력을 특징으로 하는 생성형 모델(LLM)에 대응하기 위한 향후 연구가 필요하다고 결론짓습니다.