Prism: Cost-Efficient Multi-LLM Serving via GPU Memory Ballooning

Prism은 여러 모델 간의 GPU 메모리를 동적으로 회수 및 재할당하기 위해 kvcached라고 불리는 새로운 메모리 벌루닝 기술을 활용하여 공간적 및 시간적 공유를 통합함으로써, 프로덕션 환경에서의 비용 효율성과 SLO 준수 능력을 향상시키는 메모리 중심의 LLM 공동 서빙 프레임워크입니다.

핵심

당신은 수천 개의 객실(GPU)과 수천 명의 서로 다른 손님(AI 모델)이 있는 거대한 호텔을 운영하고 있다고 상상해 보세요. 어떤 손님은 24시간 내내 방을 원하는 유명인이고, 어떤 손님은 하루에 한 번 10분 동안만 체크인하는 관광객입니다.

문제는 이 호텔을 운영하는 데 비용이 많이 든다는 점입니다. 만약 관광객이 나타날 때를 대비해 모든 이에게 개인실을 배정한다면, 호텔의 90%가 비어 있게 되어 낭비가 발생합니다. 하지만 한 방에 모두를 몰아넣으려고 하면 혼란이 생기고, 유명인들은 기다려야 하기 때문에 화를 낼 것입니다.

Prism은 **"메모리 벌루닝(Memory Ballooning)"**이라는 기술을 사용하여 이 문제를 해결하는 스마트한 새로운 호텔 매니저입니다.

작동 원리는 다음과 같습니다.

1. 문제점: "고정된 방"의 함정

기존의 AI 운영 방식에서는 모델(손님)에게 방이 할당되면, 그 모델이 잠을 자고 있더라도(유휴 상태) 그 방은 영원히 그 모델의 것이었습니다.

• 공간 공유 (기존 방식): 여러 명의 손님을 한 방에 넣으려고 시도합니다. 손님들이 모두 깨어 있고 대화 중일 때는 아주 잘 작동합니다. 하지만 한 명의 손님이 일주일 동안 떠나 있으면, 그가 차지했던 방의 절반은 빈 상태로 남게 되며 다른 손님은 그 공간을 사용할 수 없습니다.
• 시간 공유 (또의 다른 기존 방식): 다른 사람을 들여보내기 위해 한 명을 쫓아냅니다. 손님들이 서로 다른 시간에 온다면 이 방식이 효과적입니다. 하지만 두 명의 손님이 정확히 같은 순간에 도착하면, 당신은 끊임없이 그들을 들여보내고 내보내야 합니다. 이 "쫓아내는 과정"은 느리며, 이는 대기 시간(지연)을 유발하여 사람들이 마감 기한을 놓치게 만듭니다.

실제 AI 트래픽은 매우 복잡합니다. 때로는 모델 그룹 전체가 동시에 바빠지기도 하고, 때로는 모두가 조용해지기도 합니다. 어떤 기존 전략도 이러한 변화를 감당할 수 없었습니다.

2. 해결책: "벌루닝(Ballooning)" 기술

Prism은 kvcached(벌룬 드라이버)라는 새로운 매니저를 도입합니다. GPU 메모리를 고정된 방이 아니라 공기가 들어가는 풍선이라고 생각하세요.

• 탄력적인 풍선: 모델이 바빠져서 더 많은 생각 공간이 필요할 때, 매니저는 현재 잠들어 있는 다른 모델들로부터 빈 공기를 뺏어와서 모델의 풍선을 부풀립니다.
• 다른 이를 위한 수축: 모델이 잠들면, 그 모델의 풍선은 줄어들며 공간을 방출합니다. 그러면 새로 깨어난 모델이 즉시 자신의 풍선을 부풀릴 수 있습니다.
• 가구 이동 없음: 가장 좋은 점은 모델들이 이런 일이 일어나고 있다는 사실조차 모른다는 것입니다. 그들은 단지 방이 마법처럼 확장되고 수축하는 것을 볼 뿐입니다. 매니저가 배후에서 모든 힘든 일을 처리합니다.

3. 2단계 전략

Prism은 누가 공기를 얻을지 결정하기 위해 두 가지 스마트한 규칙을 사용합니다.

• 규칙 1: 글로벌 스케줄러 (호텔 매니저): 호텔 전체를 살핍니다. "현재 어떤 그룹의 손님들이 활동 중인가?"라고 묻습니다. 그런 다음 활성화된 손님들을 같은 층(GPU)에 배치하여 공간을 쉽게 공유할 수 있도록 합니다. 만약 손님이 잠들어 있다면, 공간을 확보하기 위해 그들을 창고(CPU)로 옮깁니다. 매니저는 어떤 층은 과밀하고 다른 층은 비어 있지 않도록 호텔을 끊임없이 재배치합니다.
• 규칙 2: 로컬 스케줄러 (컨시어지): 지금 당장 들어오는 구체적인 요청을 살핍니다. 만약 두 명의 손님이 마지막 남은 공간을 두고 싸우고 있다면, 컨시어지는 누가 더 긴박한 마감 기한을 가졌는지 확인합니다. 더 급한 손님을 먼저 들여보내고, 덜 급한 손님에게는 잠시 기다리라고 말합니다. 이를 통해 가장 중요한 작업이 제시간에 완료되도록 보장합니다.

4. 결과

논문은 실제 주요 AI 제공업체의 데이터를 바탕으로 Prism을 테스트했으며, 다음과 같은 결과를 얻었습니다.

• 더 빠른 서비스: Prism은 이전 방식보다 성능 약속(SLO)을 최대 3.3배 더 잘 준수했습니다.
• 더 저렴한 비용: 동일한 수준의 성능을 내기 위해 Prism은 절반의 GPU만 필요했습니다(또는 동일한 하드웨어로 두 배 많은 요청을 처리할 수 있었습니다).
• 실제 증명: Prism은 이미 10,000개 이상의 GPU를 보유한 실제 운영 환경에 배치되어, 낭비되는 "유휴" 시간을 청구 가능한 작업으로 전환함으로써 기업들이 GPU당 훨씬 더 많은 수익을 창출하도록 돕고 있습니다.

요약

Prism은 스마트하고 탄력적인 호텔 매니저와 같습니다. 손님들을 고정된 방에 가두거나 끊임없이 쫓아내는 대신, 부풀어 오르는 풍선을 사용하여 공간을 동적으로 공유합니다. 바쁜 모델을 위해 공간을 확장하고 잠든 모델을 위해 공간을 줄임으로써, 호텔이 항상 가득 차 있고 효율적이며 빠르도록, 그리고 아무도 줄을 서서 기다리지 않도록 보장합니다.

기술 요약

기술 요약: Prism

문제 정의

수천 개의 대규모 언어 모델(LLM)을 호스팅하는 추론 제공업체들은 토큰 가격이 하락함에 따라, 저용량의 필수 모델들에 대한 가용성을 유지하면서도 비용을 최소화해야 하는 중대한 효율성 과제에 직면해 있습니다. 프로덕션 트레이스 분석 결과, 실제 워크로드는 컴파운드 AI 시스템과 에이전트 파이프라인에 의해 구동되어 특정 모델 서브셋이 함께 활성화되었다가 시간이 지남에 따라 변화하는 동적인 버스티-그룹(bursty-group) 패턴을 보입니다.

기존의 서빙 전략은 이러한 가변성에 적응하지 못합니다:

• 공간 공유 (Colocation): 사용되지 않는 메모리를 활용하기 위해 여러 모델을 하나의 GPU에 공동 배치하는 방식은 지속적인 저트래픽 모델에는 효과적이지만, 긴 유휴 기간 동안 심각한 메모리 파편화를 초래합니다. 이는 유휴 모델에 의해 메모리가 정적으로 잠겨 있어, 활성 모델이 서비스 수준 목표(SLO) 요구 사항을 충족하기 위해 확장하는 것을 방해합니다.
• 시간 공유 (Swapping): 모델을 GPU 메모리에 넣었다 뺐다 하는 방식은 간헐적인 트래픽은 잘 처리하지만, 급격한 워크로드 변동 시 높은 지연 시간 오버헤드(초 단위)를 겪습니다. 이는 여러 모델이 인터리브(interleaved)된 요청을 경험할 때 "스래싱(thrashing)" 현상을 일으켜 SLO 위반을 초래합니다.

핵심 과제는 공간 공유와 시간 공유를 통합할 수 있는 원칙적인 메커니즘이 부족하다는 점입니다. 현재의 시스템은 워크로드 패턴이 휘발성 버스트에서 인터리브된 활동으로 전환됨에 따라 전략을 유연하게 전환하지 못하며, 이로 인해 SLO 준수와 자원 효율성 사이의 트레이드오프를 강요받게 됩니다.

방법론

Prism은 **탄력적 메모리 할당(elastic memory allocation)**을 통해 공간 및 시간 공유를 통합하도록 설계된 메모리 중심 GPU 공유 프레임워크입니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. GPU 메모리 벌루닝 (The kvcached Driver)

Prism은 추론 엔진(예: SGLang)과 GPU 물리 메모리 사이에 위치하는 벌룬 드라이버인 **kvcached**를 도입합니다. 이 드라이버는 실행을 방해하지 않고 모델 간의 메모리를 회수하고 재할당하는 메모리 벌루닝을 구현합니다.

• 가상/물리 디커플링 (Virtual/Physical Decoupling): 엔진은 큰 가상 주소 공간을 예약하지만, 물리 메모리는 필요에 따라 할당 및 매핑됩니다. 이를 통해 시스템은 런타임 중에 모델의 물리적 풋프린트(가중치 및 KV 캐시)를 축소하거나 확장할 수 있습니다.
• 통합 관리: kvcached는 모델 가중치와 KV 캐시를 하나의 통합된 물리 페이지 풀로 취급합니다. 이는 토큰 블록을 가상 페이지에 매핑하고 형상 충돌(shape conflicts)을 피하기 위해 물리적으로 격리함으로써 다양한 모델 아키텍처를 지원합니다.
• 최적화: 오버헤드를 최소화하기 위해 2MB 메모리 페이지를 사용하고, 부분적으로 채워진 페이지를 우선시하며, 비동기 페이지 준비를 위한 사전 할당 스레드를 채택합니다. 또한 기존 서빙 엔진의 코드 변경 없이도 기존 어텐션 커널 및 CUDA 그래프와 호환되는 탄력 텐서(eTensor) 추상화를 노출합니다.
• 빠른 로딩: 콜드 스타트 지연 시간을 완화하기 위해, Prism은 재사용 가능한 엔진 풀을 사용하여 엔진 라이프사이클과 모델 라이프사이클을 분리하고, 인터커넥트 대역폭을 포화시키기 위해 NVLink를 통한 GPU 간 병렬 가중치 로딩을 채택합니다.

2. 메모리 중심 제어 평면 (Memory-Centric Control Plane)

Prism은 kvcached가 제공하는 탄력성을 관리하기 위해 계층적 스케줄러를 사용합니다:

• 부하 인지 모델 배치 (글로벌): 글로벌 스케줄러는 벌루닝을 위한 메모리 헤드룸을 극대화하도록 모델을 GPU에 배치합니다. 이는 SLO 가중치가 적용된 토큰율을 기반으로 메모리 경합을 정량화하는 KV 압력 비율(KVPR) 휴리스틱을 사용합니다. 알고리즘은 높은 수요를 가진 모델을 기존 압력이 가장 낮은 GPU에 탐욕적으로 배치하여, 활성 모델이 버스트 중에 KV 캐시를 확장할 수 있는 여유 공간을 확보합니다.
• 슬랙 인지 요청 중재 (로컬): GPU 로컬 스케줄러는 공동 배치된 모델들로부터 오는 동시 요청을 관리합니다. 정적 격리 대신, 공유 요청 큐를 사용하고 데드라인 미스를 최소화하기 위해 무어-호지슨(Moore-Hodgson) 알고리즘을 적용합니다. 이는 요청을 타임 슬랙(time slack)(데드라인과 예상 실행 시간의 차이)에 따라 우선순위를 지정하여, 긴 실행 시간이 필요한 요청보다 긴급하고 짧은 지연 시간이 필요한 요청을 먼저 처리함으로써 TTFT(첫 토큰 생성 시간) SLO 달성을 극대화합니다.

3. 시스템 통합

Prism은 CUDA 가상 메모리 관리(VMM) API를 활용하여 SGLang을 확장하는 라이브러리로 구현되었습니다. 이는 런타임 메트릭에 따라 모델의 제거(eviction), 활성화 및 마이그레이션을 조정하는 별도의 제어 프로세스로 작동합니다.

주요 기여

1. 통합 공유 메커니즘: Prism은 GPU 메모리를 탄력적 자원으로 취급함으로써 단일 체계 아래 공간 및 시간 공유를 통합한 최초의 시스템입니다. 이를 통해 시스템은 (모델을 제거하는) 시간 공유 시스템이자 (활성 버스트를 공동 서빙하는) 공간 공유 시스템으로서 동시에 작동할 수 있습니다.
2. kvcached 벌룬 드라이버: 밀리초 단위의 오버헤드와 제로 커널 수정으로 이종 LLM 간의 유연하고 세밀한(2MB) 메모리 재분배를 가능하게 하는 오픈 소스 드라이버입니다.
3. 프로덕션 규모 배포: 이 시스템은 10,000개 이상의 GPU 환경에서 프로덕션에 배포되어 활발히 유지 관리되고 있습니다.
4. 포괄적 평가: 본 논문은 Hyperbolic, Novita AI와 같은 주요 제공업체의 프로덕션 트레이스와 Chatbot Arena와 같은 평가 플랫폼을 분석하며, 11일에서 16개월에 걸친 58개의 이종 모델을 다룹니다.

결과

실제 트레이스를 사용하여 최대 32개의 NVIDIA H100 GPU 클러스터에서 평가한 결과는 다음과 같습니다:

• SLO 달성: 동일한 수의 GPU를 사용할 때, Prism은 최신 베이스라인(MuxServe++, QLM, ServerlessLLM 포함) 대비 최대 3.3배 높은 TTFT SLO 달성률과 2배 높은 TPOT SLO 달성률을 기록했습니다.
• 비용 효율성: 동일한 수준의 SLO 달성을 위해, Prism은 필요한 GPU 수를 2배 감소시키거나(예: 16개의 GPU로 99% TTFT SLO 달성 vs 베이스라인은 32개 이상 필요), 동일한 하드웨어로 3.5배 더 많은 요청을 처리합니다.
• 프로덕션 영향: 두 회사의 섀도우 배포(shadow deployment)에서 Prism은 SLO를 위반하지 않으면서 유휴 용량을 과금 가능한 토큰으로 전환함으로써, GPU당 처리량(Company A: 3.89배) 및 GPU당 수익(Company B: 2.86배)을 증가시켰습니다.
• 지연 시간: 70B 모델에 대해서도 모델 활성화 지연 시간을 1.5초 미만으로 단축했으며, NVLink를 사용할 경우 마이그레이션 오버헤드는 무시할 수 있는 수준(수십 밀리초)입니다.

의의

본 논문은 멀티 LLM 서빙의 근본적인 병목 현상이 연산(compute)이 아닌 GPU 메모리 경합이라고 주장합니다. 정적 파티셔닝이나 경직된 타임 슬라이싱에서 벗어나 탄력적 메모리 관리로 관점을 전환함으로써, Prism은 즉각적인 응답성(공동 배치가 필요함)과 자원 효율성(제거가 필요함) 사이의 갈등을 해결합니다. 이 연구는 메모리 중심의 관점이 현대 AI 워크로드의 "버스티-그룹" 특성에 유연하게 적응할 수 있음을 보여주며, 제공업체가 엄격한 지연 시간 SLO를 준수하면서도 수천 개의 모델을 비용 효율적으로 호스팅할 수 있게 합니다. kvcached의 오픈 소스 공개와 대규모 프로덕션 환경에서의 채택은 이 접근 방식의 실질적인 생존 가능성을 입증합니다.