기술 요약: Compass: 대규모 복합 AI 서빙을 위한 SLO 인지 쿼리 플래너

1. 문제 정의

비디오 샘플러, 비전 인코더, LLM, 음성 렌더러 등 여러 연산자를 실시간 비디오 채팅, 자율 주행, 몰입형 게이밍 등의 애플리케이션을 위한 파이프라인으로 통합하는 **복합 AI 시스템 (Compound AI systems)**의 등장으로, ML 서빙은 단일 모델 배포에서 복잡한 파이프라인 오케스트레이션으로 전환되었습니다. 이러한 워크로드는 엣지 장치부터 네어 엣지 클러스터, 클라우드 티어에 이르기까지 다양한 배포 공간을 아우릅니다.

이러 시스템을 최적화하려면 파이프라인 내의 모든 연산자에 대해 세 가지 상호 의존적인 차원을 **공동 계획 (joint planning)**해야 합니다:

1. 배치 (Placement): 연산자를 어디에서 실행할지 (엣지, 네어 엣지, 또는 클라우드).
2. 구성 (Configuration): 어떤 모델 버전, 정밀도, 또는 샘플링 속도를 사용할지.
3. 리소스 할당 (Resource Allocation): 얼마나 많은 컴퓨팅 (예: GPU 공유분) 과 대역폭을 할당할지.

핵심적인 과제는 리소스 경쟁 하에서 SLO goodput(지연 시간, 정확도, 비용에 대한 서비스 수준 목표를 충족하는 쿼리 수) 을 극대화하는 것입니다. 기존 접근 방식은 다음과 같은 이유로 대규모에서 이를 해결하지 못합니다:

• 조합적 폭발 (Combinatorial Explosion): 이질적인 구성과 배치로 인해 단일 쿼리당 수천 개의 후보 계획이 발생할 수 있습니다.
• 이질성 (Heterogeneity): 런타임 환경 (예: 엣지 대 클라우드 속도) 이 다양하고 사용자 간 입력 데이터 분포가 달라 동일한 계획이라도 성능 편차가 발생합니다.
• 계획 지연 (Planning Latency): 기존 플래너 (예: Vulcan, VideoStorm) 는 실현 가능한 계획을 찾는 데 수 분에서 수 시간이 걸려, 10 초 음성 인식과 같은 실시간 단명 쿼리에는 적용이 불가능합니다.
• 로컬 vs 글로벌 최적화: 단일 쿼리 플래너는 쿼리 간 리소스 경쟁을 무시하여 전역 할당이 비최적화됩니다 (예: 엣지 리소스는 유휴 상태인 반면 클라우드는 과부하 상태).

2. 방법론: Compass 시스템

Compass 는 대규모, 다중 쿼리, 멀티 티어 복합 AI 워크로드를 처리하도록 설계된 최초의 SLO 인지 쿼리 플래너입니다. 효율성과 의사결정 품질의 균형을 맞추기 위해 2 단계 계획 프레임워크를 사용합니다.

A. 시스템 아키텍처

Compass 는 해결하기 어려운 전역 계획 문제를 다음과 같이 분해합니다:

1. 단일 쿼리 탐색: 각 개별 쿼리에 대한 파레토 최적 후보 계획 집합을 식별합니다.
2. 다중 쿼리 스케줄링: 리소스 제약 하에서 전역 goodput 을 극대화하기 위해 쿼리 - 계획 쌍의 최상의 조합을 선택합니다.

B. 핵심 구성 요소

1. 탐색 최적화기 (비용 인지 다목적 탐색)

방대한 탐색 공간을 효율적으로 탐색하기 위해 Compass 는 표준 베이지안 최적화 (BO) 를 개선한 CAMO (비용 인지 다목적) 탐색을 도입합니다.

• 분해된 대리 모델 (Decomposed Surrogates): 단일 목표 대신 CAMO 는 정확도($f_a$) 와 지연 시간($f_l$) 을 위한 두 개의 독립적인 대리 모델을 유지합니다.
• 유틸리티 함수: SLO 를 충족할 확률과 프로파일링 비용(추론 실행 지연 시간) 을 균형 있게 고려하는 획득 함수 $U(p)$를 최대화하여 새로운 계획을 제안합니다:
  $$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$$
• 쿼리 간 웜스타트 (Inter-Query Warm-Start): 새로운 쿼리에 대한 탐색을 가속화하기 위해 Compass 는 쿼리 간의 잠재적 유사성을 활용합니다. 역사적 대리 모델들의 "위원회"를 유지합니다. 새로운 쿼리가 과거 쿼리와 유사하면 위원회가 다음 후보 계획을 투표합니다. 새로운 쿼리의 CAMO 모델이 성숙해짐에 따라 (예측 오차가 위원회보다 낮아지면) 자동으로 자체 의존으로 전환됩니다.

2. SLO 프로파일러 (효율적 검증)

프로파일링 (정확도/지연 시간을 측정하기 위해 계획 실행) 은 주요 병목 현상입니다. Compass 는 다음을 통해 이 비용을 줄입니다:

• 적응형 프로파일링: 고정 샘플링 대신 Compass 는 계획이 SLO 를 충족하는지 통계적으로 확인하는 데 필요한 최소 샘플 수를 결정하기 위해 **스튜던트 t-검정 (Student's t-test)**을 사용합니다. 계획의 추정 정확도와 SLO 간의 격차가 크면 조기에 중단하고, 격차가 작으면 더 많이 샘플링합니다.
• 의존성 공유 프로파일링: 공유 파이프라인 세그먼트에 대한 중간 출력을 캐시합니다. 새로운 계획이 하류 연산자만 변경하는 경우, 프로파일러는 상류 연산자의 재실행을 건너뛰고 캐시된 결과를 재사용합니다.
• 리소스 정리 (Resource Trimming): 탐색은 초기에 SLO 실현 가능성을 보장하기 위해 과할당된 리소스를 가정합니다. 그런 다음 프로파일러는 지연 시간 SLO 가 위반 직전이 될 때까지 리소스 (예: GPU 공유분 감소) 를 탐욕적으로 정리하는 다차원 이진 탐색을 수행하여 파레토 최적 비용 프론티어를 식별합니다.

3. 다중 쿼리 플래너 (전역 스케줄링)

각 쿼리에 대해 파레토 최적 계획 집합이 생성되면, Compass 는 쿼리 집합과 그들의 계획 후보 간 **이분 매칭 (bipartite matching)**을 수행합니다.

• 목표: 리소스 제약 시나리오에서는 SLO goodput 을 극대화하거나, 탄력적 클라우드 시나리오에서는 총 배포 비용을 최소화합니다.
• 알고리즘: 편익 - 리소스 비율(또는 편익 - 비용 비율) 로 계획을 순위 매기는 탐욕적 휴리스틱입니다. 용량이 소진될 때까지 가장 높은 순위의 계획에 리소스를 반복적으로 할당합니다.
• 이론적 보장: 저자들은 클라우드 전용 설정의 경우 탐욕적 접근 방식이 최적 goodput 의 최소 **50%**를 달성함을 증명했습니다. 멀티 티어 비용 최소화에서는 비용이 최적 대비 11/9 경쟁 비율 이내이며, 티어 수에 의존하는 작은 상수가 추가됩니다.

3. 주요 기여

1. 최초의 범용 SLO 인지 플래너: Compass 는 클라우드 전용, 멀티 티어, 엣지 - 클라우드 등 다양한 배포 공간을 아우르며 연속적이고 일시적인 상호작용을 모두 처리하는 복합 AI 서빙을 지원하는 최초의 시스템입니다.
2. 새로운 탐색 메커니즘: 계획 유사성 (쿼리 내 및 쿼리 간) 과 적응형 프로파일링을 활용하여 고차원 탐색 공간을 효율적으로 탐색하는 비용 인지 다목적 탐색 (CAMO) 을 도입했습니다.
3. 전역 의사결정 품질: 단일 쿼리 탐색과 전역 스케줄링을 분리함으로써 공동 계획의 조합적 폭발을 피하면서도 파레토 최적 후보 집합과 탐욕적 매칭을 통해 거의 최적의 의사결정 품질을 유지합니다.
4. 실제 구현: 시스템은 약 2,800 줄의 Python 으로 구현되었으며, Kubernetes 및 LangChain 과 API 호환성을 가지며 최소한의 코드 변경으로 기존 ML 스택을 지원합니다.

4. 실험 결과

평가 작업은 클라우드, 네어 클라우드, 네어 엣지, 엣지로 구성된 현실적인 멀티 티어 인프라를 통해 라이브 에이전트 채팅, 에이전트 코드 생성, 밀집 비디오 캡셔닝, 비전 추적, 음성 인식 등 5 가지 대표적인 복합 AI 애플리케이션에서 수행되었습니다.

• 서비스 Goodput: Compass 는 네이티브 배포 공간에서도 최신 베이스라인 (Vulcan, VideoStorm) 대비 SLO goodput 을 2.4~5.1 배 향상시켰습니다.
• 비용 절감: 리소스 할당과 배치를 최적화하여 배포 비용을 3.8~4.5 배 줄였습니다.
• 계획 속도: Compass 는 계획 속도를 4.2~10.5 배 가속화하여, 베이스라인의 수 분과 비교해 5 초 미만에 첫 번째 SLO 준수 계획을 식별하고 20 초 미만에 거의 최적의 계획을 찾습니다.
• 확장성: 시스템은 수천 개의 동시 쿼리로 확장되며, 서브 선형 스케줄링 시간을 유지하면서 포괄적 탐색 오라클 (ILP) 에 가까운 성능을 달성합니다.
• 반응성: 런타임 동적 요소 (예: 네트워크 변동, 조명 변화) 에 초당 단위로 실시간 적응이 가능합니다.

5. 중요성 및 주장

이 논문은 Compass 가 AI 서빙 진화의 중요한 병목 현상, 즉 단일 모델 추론에서 복합 AI 파이프라인으로의 전환을 해결한다고 주장합니다. 저자들은 다중 연산자, 멀티 티어, 다중 쿼리 시나리오의 조합적 복잡성을 처리할 수 있는 플래너가 없다면 실시간 복합 AI 애플리케이션 (예: 라이브 비디오 에이전트) 을 효율적이거나 비용 효율적으로 배포할 수 없다고 역설합니다.

그 중요성은 다음과 같습니다:

• 실현 가능성: 이전 접근 방식이 너무 느리거나 부정확했던 곳에서 실시간, SLO 보장 복합 AI 서빙을 실현 가능하게 만듭니다.
• 효율성: 전체 서빙 시간을 지배했던 구성 탐색에 소요되는 "계획 세금 (시간 및 비용)"을 획기적으로 줄입니다.
• 범용성: 애플리케이션별 튜닝 없이 엣지 장치부터 대규모 클라우드 클러스터에 이르는 이질적인 인프라 전반에서 작동하는 통합 프레임워크를 제공합니다.

논문은 Compass 가 서비스 제공자가 대규모로 고품질이고 비용 효율적인 복합 AI 서비스를 유지할 수 있게 하여, 이론적 파이프라인 최적화와 실제 실시간 배포 간의 간극을 해소한다고 결론지었습니다.