Serving Compound Inference Systems on Datacenter GPUs

이 논문은 XR 등 새로운 분야의 복합 추론 시스템을 위해 모델 변형 선택과 GPU 공간 분할을 통해 지연 시간, 정확도, 비용을 동시에 최적화하는 'JigsawServe' 프레임워크를 제안하며, 기존 최선 대비 최대 11.3 배의 서비스 처리량 향상을 입증합니다.

핵심

🧩 지그소서브 (JIGSAWSERVE): 데이터센터 GPU 를 위한 '맞춤형 퍼즐' 솔루션

이 논문은 인공지능 (AI) 이 점점 더 복잡해지면서 생긴 새로운 문제를 해결하는 방법을 소개합니다. 제목처럼 "지그소 (Jigsaw)" 퍼즐처럼, 여러 조각을 알맞게 맞춰서 전체를 완성하는 시스템입니다.

1. 문제 상황: "한 번에 여러 일을 해야 하는 AI"

과거의 AI 는 한 가지 일만 했습니다. 예를 들어, "이 사진에 고양이가 있니?"라고 물어보면 "있어"라고 답하는 식이죠.

하지만 요즘은 **복합 추론 시스템 (Compound Inference Systems)**이 대세입니다.

• 예시 (증강현실 AR): 사용자가 카메라를 들면, AI 는 1) 사물을 찾고, 2) 그 사물이 무엇인지 설명하고, 3) 그 설명을 목소리로 읽어줍니다.
• 문제: 이 세 가지 작업 (모델) 이 하나의 요청을 처리하기 위해 순서대로 실행되어야 합니다. 마치 공장에서 조립 라인을 거치는 것처럼요.

여기서 두 가지 큰 난관이 생깁니다.

1. 시간과 정확도의 배분: "전체 작업이 1 초 안에 끝나야 하고, 정확도는 90% 이상이어야 해."라고 했을 때, 각 단계 (사물 찾기, 설명, 목소리) 에 시간을 어떻게 나누고, 어느 정도 정확도로 모델을 골라야 할지 정하기 어렵습니다.
2. 자원 낭비: 각 단계마다 필요한 컴퓨터 성능 (GPU) 이 다릅니다. 어떤 건 가볍고, 어떤 건 무겁습니다. 그런데 기존 시스템은 무조건 큰 GPU 하나를 통째로 할당하거나, 서로 간섭을 일으키며 비효율적으로 운영했습니다.

2. 해결책: 지그소서브 (JIGSAWSERVE)

저자들은 지그소서브라는 새로운 시스템을 만들었습니다. 이름에서 알 수 있듯, 이 시스템은 퍼즐 조각처럼 GPU 를 잘게 나누고, 각 작업에 딱 맞는 AI 모델을 골라줍니다.

이 시스템은 세 가지 마법 같은 기술을 동시에 사용합니다:

🧩 1. 퍼즐 조각 나누기 (GPU 공간 분할)

• 비유: 예전에는 GPU 를 "집"처럼 여겨, 한 작업이 집을 통째로 차지했습니다. 하지만 지그소서브는 GPU 를 아파트처럼 봅니다.
• 기술: NVIDIA GPU 의 'MIG' 기능을 써서, 하나의 강력한 GPU 를 여러 개의 작은 '방 (인스턴스)'으로 나눕니다.
• 효과: 가벼운 작업은 작은 방에, 무거운 작업은 큰 방에 넣을 수 있어, 한 GPU 에 여러 작업을 동시에 효율적으로 실행할 수 있습니다.

📉 2. 상황에 맞는 모델 선택 (정확도 스케일링)

• 비유: 요리할 때 모든 요리에 최고급 식재료를 쓸 필요는 없습니다. 간단한 샐러드에는 일반 채소를, 스테이크에는 최고급 고기를 쓰죠.
• 기술: 각 작업 단계마다 정확도가 높지만 느린 모델과, 정확도가 조금 낮지만 빠른 모델이 여러 개 있습니다. 지그소서브는 전체 시스템의 정확도 목표를 지키면서, 가장 비싼 (무거운) 모델이 꼭 필요한 곳에만 쓰고, 나머지는 가벼운 모델을 골라 시간을 단축합니다.

🗺️ 3. 전체 지도를 보는 예산 관리 (작업 그래프 기반 배정)

• 비유: 여행 계획을 세울 때, 각 도시 (작업) 에 돈을 어떻게 쓸지 정할 때, 전체 여행 기간과 목적을 고려해야 합니다.
• 기술: 각 작업이 서로 어떻게 연결되어 있는지 (그래프) 를 미리 분석합니다. "이 단계가 느려지면 다음 단계가 기다려야 하니까, 이 단계에 더 많은 자원을 줘야겠다"처럼, 전체 흐름을 고려해 자원과 시간을 최적으로 배분합니다.

3. 놀라운 성과: "적은 비용으로 더 많은 일"

이 시스템을 테스트한 결과는 정말 놀라웠습니다.

• 처리량 11.3 배 증가: 같은 GPU 개수로 기존 시스템보다 11.3 배 더 많은 요청을 처리할 수 있었습니다.
• 자원 효율성: 필요한 GPU 자원을 43.3% 만 사용해도 목표한 정확도와 속도 (SLO) 를 달성했습니다. 즉, 절반도 안 되는 전기를 써서 같은 일을 해낸 셈입니다.
• 오류 최소화: 시간 약속을 어기는 경우 (SLO 위반) 가 0.6% 미만으로 매우 낮았습니다.

4. 결론: 왜 이것이 중요한가?

지그소서브는 **"하나의 큰 GPU 를 통째로 쓰는 구시대적 방식"**에서 벗어나, "작은 조각으로 나누고 상황에 맞춰 유연하게 쓰는" 새로운 시대를 열었습니다.

• AI 개발자에게: "여러 가지 버전의 모델 (정확도/속도 차이) 을 만들어 주세요"라고 요청하는 것이 중요해졌습니다.
• 하드웨어 제조사에게: GPU 를 더 세밀하게 쪼개어 쓸 수 있는 기술 (공간 분할) 이 필수적이 되었습니다.

요약하자면, 지그소서브는 복잡한 AI 작업들을 퍼즐처럼 잘게 나누고, 각 조각에 딱 맞는 크기와 모양의 GPU 자원을 배정하여, 최소의 비용으로 최고의 성능을 내는 똑똑한 관리자입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: XR(확장 현실), 멀티 에이전트 시스템 등 새로운 도메인에서 단일 ML 모델이 아닌, 여러 ML 모델이 작업 그래프 (Task Graph) 형태로 결합된 **복합 추론 시스템 (Compound Inference Systems)**이 등장하고 있습니다.
• 핵심 과제: 이러한 복합 시스템은 데이터센터 GPU 환경에서 효율적으로 서빙 (Serving) 되어야 하지만, 기존 시스템들은 다음과 같은 한계가 있습니다.
  1. 예산 할당 (Budgeting)의 부재: 전체 시스템의 지연 시간 (Latency) 및 정확도 (Accuracy) SLO(서비스 수준 목표) 를 개별 작업 (Task) 간에 어떻게 분배할지에 대한 최적화 전략이 부족합니다.
  2. 리소스 할당의 비효율: 각 작업마다 다른 리소스 요구사항을 가진 다양한 모델 변형 (Model Variants) 이 존재함에도 불구하고, 이를 세밀하게 관리하지 못합니다.
  3. GPU 활용도 저하: 최신 데이터센터 GPU 는 공간 분할 (Spatial Partitioning, 예: NVIDIA MIG, MPS) 기능을 제공하지만, 기존 시스템들은 이를 복합 추론 시스템에 적용하여 리소스 할당을 최적화하지 못했습니다.

2. 제안 방법론: JIGSAWSERVE

저자들은 JIGSAWSERVE라는 새로운 서빙 프레임워크를 제안합니다. 이는 지연 시간, 정확도, GPU 리소스 비용 (단위: GPU 슬라이스) 을 동시에 최적화하는 시스템입니다.

핵심 구성 요소 및 기능

1. 세 가지 주요 기능의 통합:

   • 작업별 정확도 확장 (Per-task Accuracy Scaling): 각 작업에 대해 서로 다른 성능/정확도를 가진 모델 변형 (예: ResNet-18 vs 152, YOLOv5-n vs x) 을 선택하여 전체 시스템의 정확도 SLO 를 만족하면서 리소스를 절감합니다.
   • GPU 공간 분할 (GPU Spatial Partitioning): NVIDIA GPU 의 MIG(Multi-Instance GPU) 와 MPS(Multi-Process Service) 를 결합하여 하나의 물리적 GPU 를 여러 개의 격리된 세그먼트로 나누고, 이를 여러 작업에 세밀하게 할당합니다.
   • 작업 그래프 기반 예산 할당 (Task-Graph-Informed Budgeting): 단일 작업이 아닌 전체 DAG(Directed Acyclic Graph) 구조를 고려하여, 각 작업의 지연 시간과 정확도 SLO 를 동적으로 분배합니다.

2. 시스템 아키텍처:

   • Registration Handler: 시스템 등록, 모델 변형 및 정확도 정보, 작업 그래프, SLO 정의.
   • Profiler: 오프라인에서 다양한 모델 변형, GPU 세그먼트 타입, 배치 크기에 따른 지연 시간과 처리량을 프로파일링합니다.
   • Controller (MILP Solver): 프로파일링 데이터를 기반으로 **혼합 정수 선형 계획법 (MILP)**을 사용하여 최적의 구성 (모델 변형 선택, GPU 세그먼트 할당, 배치 크기) 을 계산합니다.
   • Frontend: 클라이언트 요청을 수신하고, 메타데이터를 설정하며, 작업을 라우팅합니다.

3. 최적화 문제 (MILP Formulation):

   • 목적 함수: 전체 시스템 정확도 최대화 및 사용된 GPU 슬라이스 수 최소화.
   • 제약 조건:
     • 지연 시간: 모든 경로 (Path) 의 최대 지연 시간이 전체 SLO 를 초과하지 않도록 보장 (대기 시간 및 추론 시간 포함).
     • 처리량 (Throughput): 각 작업의 요구 처리량을 충족하기 위해 필요한 인스턴스 수 계산 (이전 작업의 요청 수와 승수 계수 (multiplicative factor) 고려).
     • 리소스: 사용 가능한 총 GPU 슬라이스 수 이내로 할당.
     • 정확도: 전체 시스템 정확도가 최대 가능 정확도의 일정 비율 (예: 90%) 이상을 유지하도록 보장.

4. 동적 메커니즘:

   • Early Dropping: 지연 시간 SLO 를 만족할 수 없는 요청은 조기에 폐기하여 전체 SLO 위반률을 낮춥니다.
   • Reconfiguration: 요청 수요 (Demand) 변화에 따라 Controller 가 주기적으로 MILP 를 실행하여 구성을 재설정합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 프레임워크: 데이터센터 GPU 환경에서 복합 추론 시스템을 위해 정확도 확장, GPU 공간 분할, 작업 그래프 기반 예산 할당을 동시에 최적화하는 첫 번째 시스템입니다.
2. 심층 분석 (Analytical Evaluation): 다양한 기능 조합 (A, S, T) 을 분석하여, **공간 분할 (S)**이 단독으로 가장 큰 성능 향상 (5.25 배) 을 제공함을 증명했습니다. 세 가지 기능을 모두 결합한 JIGSAWSERVE 는 최적화되지 않은 시스템 대비 21.6 배, 기존 최선 사례 (Loki 등) 대비 11.3 배의 최대 서비스 가능 수요를 달성했습니다.
3. 실증 평가 (Empirical Evaluation): 다양한 워크로드와 애플리케이션 (소셜 미디어, 교통 분석, AR 어시스턴트) 에서 실험을 수행했습니다.
   • JIGSAWSERVE 는 평균 **43.3%**의 GPU 리소스만 사용하면서도 정확도 SLO 를 준수했습니다.
   • 지연 시간 SLO 위반률은 평균 0.6% 미만으로 유지되었습니다.
   • 기존 방식 (S+T, A+T 등) 은 10% 이상의 SLO 위반률을 보이거나 2 배 이상의 리소스를 소모했습니다.
4. 구성 선택 통찰: JIGSAWSERVE 가 작업 그래프의 특성에 따라 어떤 모델 변형과 GPU 세그먼트를 선택하는지 분석하여, 리소스 소모가 큰 작업의 정확도를 낮추거나 (Accuracy Scaling), 효율적인 GPU 세그먼트 (예: 1/7 MIG + MPS) 를 선택하는 전략을 보여줍니다.

4. 실험 결과 (Results)

• 최대 서비스 가능 수요: JIGSAWSERVE 는 기존 최선 사례 (A+T, Loki 와 유사) 대비 11.3 배 더 높은 요청 처리량 (RPS) 을 동일한 GPU 리소스로 처리할 수 있습니다.
• 리소스 효율성: 다양한 시나리오에서 JIGSAWSERVE 는 사용 가능한 GPU 슬라이스의 약 **43.3%**만 사용하여 목표 성능을 달성했습니다. 반면, 다른 대안들은 2 배 이상의 리소스를 사용하거나 높은 SLO 위반률을 보였습니다.
• SLO 준수: 평균 SLO 위반률은 0.6% 미만으로, 기존 시스템들이 겪는 10% 이상의 위반률을 획기적으로 개선했습니다.
• 기능별 기여도: 정확도 확장 (A), 공간 분할 (S), 작업 그래프 기반 예산 (T) 중 하나라도 제거하면 효율성이 크게 저하됨을 확인했습니다. 특히 공간 분할 (S) 이 가장 큰 단일 기여 요인이었습니다.

5. 의의 및 결론 (Significance)

• 데이터센터 효율성 혁신: 복합 추론 시스템의 급증하는 수요를 처리하면서도 GPU 리소스 비용을 크게 절감할 수 있는 새로운 패러다임을 제시합니다.
• 하드웨어 - 소프트웨어 공동 최적화: ML 모델의 다양성 (여러 변형 제공) 과 GPU 하드웨어의 공간 분할 기능 (MIG/MPS) 을 결합하여 시너지를 창출하는 방법을 증명했습니다.
• 미래 지향성:
  • ML 커뮤니티는 다양한 모델 변형을 계속 출시해야 함을 강조합니다.
  • GPU 벤더는 공간 분할 메커니즘을 데이터센터 환경에 최적화하여 지원해야 함을 주장합니다.
  • 이 프레임워크는 탄소 배출 감소, 에너지 효율성 등 다른 최적화 목표에도 적용 가능한 유연한 MILP 기반을 제공합니다.

요약하자면, JIGSAWSERVE는 복합 추론 시스템의 복잡성을 해결하기 위해 모델 선택, 리소스 분할, 작업 간 의존성 관리를 통합적으로 최적화함으로써, 기존 시스템 대비 압도적인 효율성과 확장성을 달성한 획기적인 서빙 프레임워크입니다.