Cornserve: A Distributed Serving System for Any-to-Any Multimodal Models

이 논문은 다양한 입력과 출력 모달리티를 처리하는 범용 Any-to-Any 멀티모달 모델의 효율적인 분산 서빙을 위해 컴포넌트 분리 및 독립적 확장이 가능한 'Cornserve' 시스템을 제안하고, 이를 통해 처리량과 지연 시간 성능을 크게 향상시켰음을 보여줍니다.

핵심

🌽 코른서브 (Cornserve): 모든 것을 이해하고 만들어내는 AI 의 '스마트 주방'

이 논문은 **"어떤 입력 (텍스트, 이미지, 음성 등) 을 받아서, 어떤 출력 (텍스트, 영상, 음악 등) 으로도 만들어낼 수 있는 최신 AI 모델"**을 효율적으로 운영하는 새로운 시스템인 **'코른서브 (Cornserve)'**를 소개합니다.

기존의 AI 서비스 방식이 가진 문제점과 코른서브가 어떻게 해결책을 제시하는지, 일상생활에 비유해서 쉽게 설명해 드릴게요.

---

1. 문제 상황: "모든 요리를 한 명의 셰프가 하려고 하니 너무 바빠요!"

지금까지의 AI 서비스는 보통 **한 명의 거대한 셰프 (단일 모델)**에게 모든 일을 맡겼습니다.

• 상황: 손님이 "사진을 보고 설명해 줘"라고 하면 사진 처리를 하고, "소리를 만들어 줘"라고 하면 소리 처리를 합니다.
• 문제점:
  1. 경로가 제각각: 어떤 손님은 사진만 보고 싶고, 어떤 손님은 영상까지 만들고 싶어 합니다. 하지만 거대한 셰프는 매번 모든 과정을 다 거쳐야 하거나, 복잡한 지시만 따라야 해서 비효율적입니다.
  2. 속도 차이: 사진 처리는 빨라도, 소리를 만드는 작업은 매우 느립니다. 느린 작업 때문에 전체 주문이 멈춰 서서 대기 시간이 길어집니다.
  3. 자원 낭비: 모든 작업이 한 곳에서 일어나다 보니, 컴퓨터 (GPU) 메모리가 부족해서 아예 실행조차 안 되는 경우가 많습니다.

비유: 마치 한 명의 요리사가 레스토랑 전체를 책임지는 것과 같습니다. 손님이 "스테이크만 주세요"라고 해도, 요리사는 샐러드 준비, 디저트 준비까지 모두 해보려고 하다가 지쳐버리고, 주문이 몰리면 주방이 마비됩니다.

---

2. 해결책: 코른서브 (Cornserve) 의 '스마트 주방' 시스템

코른서브는 이 문제를 해결하기 위해 주방을 여러 개의 전문 스테이션으로 나누고, 주문을 지능적으로 분배하는 시스템을 만들었습니다.

🍳 핵심 아이디어 1: "요리사를 부업으로 쪼개다 (모델 분해)"

코른서브는 거대한 AI 모델을 작은 부품 (컴포넌트) 단위로 잘게 쪼개서 각자 전문적인 일을 하도록 합니다.

• 이미지 처리기: 사진만 보는 전문가.
• 텍스트 생성기: 글을 쓰는 전문가.
• 소리 생성기: 음악을 만드는 전문가.
• 장점: 사진이 필요 없는 주문은 이미지 처리기를 거치지 않고 바로 텍스트 전문가에게 넘어갑니다. 각 전문가가 자신의 속도에 맞춰 일할 수 있어 전체 속도가 빨라집니다.

📝 핵심 아이디어 2: "주문서 작성법 (유연한 작업 정의)"

개발자들은 복잡한 코딩 대신 일반적인 파이썬 (Python) 코드로 "어떤 입력을 받으면 어떤 순서로 어떤 전문가를 부를지"를 쉽게 정의할 수 있습니다.

• 비유: 요리사들이 서로 대화하며 "오늘 손님이 사진이랑 소리를 원하면, 먼저 사진 전문가에게 보내고 그 결과를 소리 전문가에게 넘겨줘"라고 간단한 메모를 남기는 것과 같습니다.

🚀 핵심 아이디어 3: "주문 기록과 재생 (Record-and-Replay)"

가장 혁신적인 부분입니다. 코른서브는 주문이 들어오자마자 실제 요리를 하기 전에 "어떤 순서로 요리할지"를 아주 빠르게 시뮬레이션 (기록) 합니다.

1. 기록 단계: "손님이 A 를 원하면 B 전문가를 부르고, 그 결과로 C 전문가를 부르는구나"라고 경로를 파악합니다. (실제 계산은 안 함)
2. 재생 단계: 파악한 경로대로 각 전문가들에게 실제 작업을 지시하고, 필요한 재료 (데이터) 를 바로바로 전달합니다.

• 효과: 복잡한 주문일지라도, 어떤 경로로 가야 할지 미리 알기 때문에 혼란 없이 빠르게 처리할 수 있습니다.

🤝 핵심 아이디어 4: "공유 주방 (컴포넌트 공유)"

만약 두 개의 다른 AI 모델이 같은 '사진 분석기'를 필요로 한다면, 코른서브는 사진 분석기를 한 개만 만들어서 두 모델이 함께 쓰게 합니다.

• 비유: 두 개의 다른 레스토랑이 같은 '샐러드 바'를 공유하면, 샐러드 요리사를 따로 뽑을 필요가 없어 비용과 공간이 절약됩니다.

---

3. 실제 성과: 얼마나 빨라졌을까요?

이 시스템을 실제 AI 모델 (Qwen Omni 등) 에 적용해 본 결과 놀라운 변화가 있었습니다.

• 처리량 (Throughput): 같은 시간에 처리할 수 있는 주문 수가 최대 3.8 배 늘었습니다. (기존 방식보다 훨씬 많은 손님을 받음)
• 대기 시간 (Latency): 손님이 주문을 하고 결과를 받을 때까지 걸리는 시간이 최대 5.8 배 빨라졌습니다. 특히 긴 대기 시간 (꼬리 부분) 이 크게 줄어든 것이 핵심입니다.
• 메모리 효율: 거대한 모델도 메모리 부족 없이 여러 개의 작은 컴퓨터 (GPU) 에 나누어 실행할 수 있게 되어, 아예 실행되지 않던 모델들도 구동할 수 있게 되었습니다.

---

🌟 요약

코른서브는 거대하고 복잡한 AI 모델을 작고 빠른 전문가 팀으로 재편성하고, 스마트한 주문 시스템으로 연결함으로써, AI 가 어떤 형태의 데이터 (텍스트, 영상, 소리 등) 를 주고받아도 가장 효율적으로 작동하게 만든 혁신적인 시스템입니다.

앞으로 우리가 더 똑똑하고 다양한 기능을 가진 AI 를 만나게 될 때, 그 뒤에는 이런 **'스마트 주방 시스템'**이 숨어 있을 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 등장한 'Any-to-Any' 멀티모달 모델은 텍스트, 이미지, 비디오, 오디오 등 다양한 형태의 입력을 받아 동일한 형태의 출력을 생성할 수 있는 차세대 모델입니다 (예: Qwen Omni, InternVL 등). 그러나 이러한 모델을 효율적으로 서빙 (Serving) 하는 데에는 다음과 같은 고유한 어려움이 존재합니다.

• 요청 유형 및 계산 경로 이질성 (Request & Computation Path Heterogeneity): 동일한 모델이라도 입력/출력 모달리티의 조합에 따라 모델 내를 통과하는 계산 경로가 달라집니다. 예를 들어, 텍스트만 입력받는 요청과 이미지 + 텍스트를 입력받아 오디오를 출력하는 요청은 서로 다른 컴포넌트 (인코더, LLM, 생성기 등) 를 호출하고 서로 다른 경로를 따릅니다.
• 확장성 이질성 (Scaling Heterogeneity): 모델의 각 컴포넌트 (예: 텍스트 생성 LLM vs 오디오 생성기) 는 동일한 GPU 에서도 서로 다른 처리량 (Throughput) 과 리소스 요구 사항을 가집니다. 기존 시스템은 이러한 차이를 고려하지 않고 단일 실행체 (Monolithic) 로 배포하여 병목 현상을 초래합니다.
• 기존 솔루션의 한계: vLLM 은 텍스트 기반 LLM 에 최적화되어 있고, xDiT 은 확산 모델 (Diffusion) 에만 집중되어 있어, 복잡한 Any-to-Any 모델의 유연한 서빙을 지원하지 못합니다.

2. 방법론 및 시스템 설계 (Methodology & System Design)

저자들은 Cornserve라는 분산 서빙 시스템을 제안하여 위 문제를 해결합니다. 시스템은 Kubernetes 기반이며, 약 23,000 줄의 Python 코드로 구현되었습니다.

핵심 아키텍처

1. 유연한 태스크 추상화 (Flexible Task Abstraction):

   • Unit Task: 모델의 원자적 컴포넌트 (인코더, LLM, 생성기 등) 를 나타냅니다.
   • Composite Task: 여러 Unit Task 를 조합하여 모델의 전체 계산 로직을 정의합니다.
   • App: 사용자 정의 Python 모듈로, 여러 태스크를 인스턴스화하고 비동기 serve 함수를 통해 요청 처리 로직을 정의합니다.
   • 개발자는 일반 Python 코드로 임의의 Any-to-Any 모델 계산 그래프를 표현할 수 있습니다.

2. 모델 분할 (Model Fission):

   • 모델을 컴포넌트 경계에서 분해하여 각 컴포넌트를 독립적으로 확장 (Scaling) 가능한 단위로 만듭니다.
   • 각 컴포넌트는 전용 GPU 에서 실행되며, 필요한 경우 Tensor Parallelism 이나 복제 (Replication) 를 통해 리소스를 최적화합니다.
   • 예: 오디오 생성기가 느리다면 LLM 과는 별도로 더 많은 복제본을 배포하여 처리량을 균형 있게 맞춥니다.

3. Record-and-Replay 실행 모델 (Distributed Runtime):

   • Record Phase: 실제 계산 없이 요청에 대한 컴포넌트 호출 순서와 데이터 의존성 (Data Dependencies) 만을 기록하여 서브그래프를 재구성합니다.
   • Replay Phase: 기록된 그래프를 기반으로 실제 계산을 수행합니다.
   • 이 방식을 통해 복잡한 제어 흐름 (루프, 분기) 을 지원하면서도 개발자의 복잡도를 낮춥니다.

4. 효율적인 데이터 전달 (Data Forwarding):

   • Sidecar: 각 GPU 마운트된 데몬 프로세스로, 컴포넌트 간 텐서 데이터를 직접 전달합니다.
   • Intra-node: Linux 공유 메모리 (/dev/shm) 를 사용하여 NVLink/NVSwitch 대역폭 간섭을 최소화합니다.
   • Inter-node: RDMA (UCX 라이브러리) 를 사용하여 노드 간 저지연 데이터 전송을 수행합니다.
   • Component Sharing: 동일한 컴포넌트 (예: 공유 비전 인코더) 를 사용하는 여러 앱이 하나의 실행체를 공유하도록 자동화하여 GPU 사용량을 절감합니다.

3. 주요 기여 (Key Contributions)

• 범용 Any-to-Any 서빙 시스템: 다양한 입력/출력 조합과 복잡한 계산 그래프를 지원하는 최초의 분산 서빙 시스템입니다.
• 컴포넌트 분해 및 독립 확장: 모델의 이질적인 특성을 고려하여 각 컴포넌트를 독립적으로 스케일링할 수 있는 메커니즘을 제공합니다.
• 개발자 친화적 인터페이스: 복잡한 분산 로직을 추상화하여 개발자가 일반 Python 으로 모델을 정의할 수 있게 합니다.
• 오픈소스 및 실증: Kubernetes 기반의 오픈소스 프로젝트로 공개되었으며, 다양한 최신 모델 (Qwen 2.5/3 Omni, InternVL 등) 을 지원합니다.

4. 실험 결과 (Results)

저자들은 Qwen 2.5 Omni 및 Qwen 3 Omni 모델을 대상으로 기존 단일 배포 (Monolith) 와 Cornserve 를 비교 평가했습니다.

• 처리량 (Throughput) 향상:
  • 8 GPU 환경에서 Qwen 2.5 Omni 처리량이 3.09 배, 16 GPU 환경에서 3.81 배 향상되었습니다.
  • Qwen 3 Omni 의 경우, 단일 배포는 GPU 메모리 부족 (OOM) 으로 실패했으나, Cornserve 는 모델 분할을 통해 성공적으로 서빙했습니다.
  • 8 GPU 에서 16 GPU 로 확장 시, 단순 선형 스케일링 (2 배) 을 넘어 2.68 배의 처리량 향상을 달성했습니다 (컴포넌트 간 부하 균형 최적화 덕분).
• 지연 시간 (Latency) 감소:
  • 16 GPU 환경에서 P99 지연 시간이 5.79 배 감소했습니다.
  • 단일 배포에서는 한 컴포넌트만 실행될 때 나머지가 대기하는 '블로킹'이 발생했으나, 분산 아키텍처는 이를 제거하고 Continuous Batching 을 가능하게 하여 지연을 크게 줄였습니다.
• Sidecar 오버헤드:
  • 노드 간 (RDMA) 및 노드 내 (공유 메모리) 데이터 전달 오버헤드는 매우 낮아 (8MB 텐서 기준 5~10ms), 전체 지연 시간의 병목이 되지 않았습니다.

5. 의의 및 결론 (Significance)

Cornserve 는 멀티모달 AI 모델의 급속한 발전에 맞춰, 이질적인 컴포넌트와 복잡한 계산 경로를 가진 Any-to-Any 모델을 효율적으로 운영할 수 있는 기반 인프라를 제공합니다.

• 자원 효율성: 컴포넌트별 독립 확장을 통해 GPU 자원을 최적화하고 비용을 절감합니다.
• 유연성: 텍스트, 이미지, 오디오, 비디오가 혼합된 다양한 시나리오를 하나의 시스템에서 유연하게 처리할 수 있습니다.
• 미래 연구의 토대: 더 강력하고 복잡한 멀티모달 모델의 개발과 배포를 가능하게 하는 핵심 플랫폼으로, 향후 멀티모달 AI 생태계의 표준 서빙 아키텍처가 될 것으로 기대됩니다.