🤖 AI

M*: A Modular, Extensible, Serving System for Multimodal Models

이 논문은 복합 멀티모달 모델을 데이터플로우 그래프로 표현하여 유연한 구성 요소 결합과 분산 최적화를 가능하게 하는 모듈형 및 확장형 서빙 시스템인 M*을 소개하며, 이를 통해 텍스트-이미지 생성, 텍스트-음성 합성, 로봇 계획과 같은 다양한 작업에 걸쳐 기존 프레임워크 대비 상당한 지연 시간 및 처리량 개선을 달성한다.

원저자: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

게시일 2026-06-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Atindra Jha, Naomi Sagan, Keisuke Kamahori, Irmak Sivgin, Rohan Sanda, Steven Gao, Mark Horowitz, Luke Zettlemoyer, Olivia Hsu, Jure Leskovec, Baris Kasikci, Stephanie Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 첨단 기술을 갖춘 주방을 운영하고 있다고 상상해 보십시오.

과거의 방식 (기존 시스템):
오랫동안 AI 모델은 단순한 단선형 조립 라인과 같았습니다. 케이크를 굽고 싶다면(텍스트 생성), 모든 재료는 동일한 경로를 따라가야 했습니다: 혼합, 굽기, 프로스팅, 서빙. vLLM과 같은 시스템은 바로 이 "텍스트 전용" 조립 라인을 위해 구축되었습니다. 이들은 케이크를 굽는 데 있어 믿을 수 없을 정도로 빨랐습니다.

하지만 이제 AI는 새로운 시대에 진입하고 있습니다. 우리는 더 이상 케이크만 굽는 것이 아닙니다. 우리는 **복합 주방(composite kitchen)**을 운영하고 있습니다. 우리는 다음과 같은 모델들을 보유하게 되었습니다:

사진을 보고 그것을 설명하기 (시각/Vision).
목소리를 듣고 다른 목소리로 답하기 (음성/Speech).
영상을 보고 다음에 일어날 일 예측하기 (월드 모델/World Models).
명령에 따라 로봇 팔 제어하기 (로보틱스/Robotics).

이 새로운 "복합" 모델들은 복잡합니다. 이들은 단순히 하나의 직선을 따르지 않습니다. 때로는 작업을 정교화하기 위해(이미지를 다듬는 확산 모델처럼) 다시 루프를 돌며 검토해야 합니다. 때로는 세 가지 다른 각도에서 사진을 확인하는 것처럼 동시에 세 갈래의 병렬 경로로 나뉘어야 합니다. 때로는 실시간으로 오디오를 한 단어씩 스트리밍해야 합니다.

과거의 주방 시스템(vLLM, SGLang)은 이러한 복잡한 다중 작업 모델을 단순하고 직선적인 조립 라인에 억지로 끼워 맞추려 했습니다. 이는 마치 저글링 공연을 컨베이어 벨트에 맞추려는 것과 같았습니다. 작동은 했지만, 느리고 투박했으며, 이 조각들을 서로 붙이기 위해 많은 양의 커스텀 "접착제" 코드가 필요했습니다.

새로운 솔루션: M*
이 논문은 이러한 복잡한 AI 주방을 위한 새로운 운영 체제인 M을 소개합니다. M은 모델을 직선 형태로 강요하는 대신, 이를 동적인 지도(dynamic map) 또는 플로우차트로 취급합니다.

M*이 작동하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. "워크 그래프(Walk Graph)" (지도)

과거에는 주방 매니저가 모든 요리의 정확한 레시피를 알고 있어야 했습니다. 하지만 M*에서는 모델 제작자가 주방의 **지도(그래프)**를 그리기만 하면 됩니다.

노드(Nodes): 이들은 각 스테이션입니다 (예: "시각 스테이션", "언어 스테이션", "오디오 스테이션").
워크(Walks): 이는 고객의 주문이 이동하는 구체적인 경로입니다.
- 주문 A (Text-to-Image): 언어 스테이션에서 출발 → 아트 스테이션에서 50번 루프 반복 → 프린터에서 종료.
- 주문 B (Speech-to-Speech): 마이크 스테이션에서 출발 → 두 갈래로 분리 → 다시 합쳐짐 → 스피커로 이동.

M*은 이를 워크 그래프라고 부릅니다. 이를 통해 시스템은 매번 주방의 레이아웃을 새로 작성하지 않고도, 서로 다른 작업들이 동일한 주방 내에서 각기 다른 경로를 거친다는 것을 이해할 수 있습니다.

2. "컨덕터(Conductor)" (교통 관제사)

지도가 그려지면, M*에는 컨덕터가 있습니다. 이 스마트한 교통 관제사는 음식이 무엇인지에는 관심이 없으며, 오직 음식이 어디로 가야 하는지에만 집중합니다.

만약 요청이 루프를 돌아야 한다면(이미지를 정교화하는 경우처럼), 컨덕터는 해당 요청을 루프의 시작점으로 다시 보냅니다.
만약 요청이 세 갈래로 나뉘어야 한다면(안전성, 스타일, 콘텐츠를 동시에 확인하는 것처럼), 컨독터는 세 개의 복사본을 세 명의 셰프에게 동시에 보냅니다.
만약 오디오를 스트리밍 중이라면, 컨덕터는 셰프가 문장 전체가 끝날 때까지 기다리는 대신 첫 단어를 즉시 전달하도록 보장합니다.

3. 유연한 좌석 배치 (Placement)

과거의 시스템에서는 큰 셰프(대규모 AI 모델)가 있다면 그들을 하나의 거대한 테이블(하나의 GPU)에 앉혀야 했습니다. 작은 조수(작은 인코더)가 있다면 그들은 작은 테이블에 앉아야 했습니다.
M*은 주방을 **분리(disaggregate)**할 수 있게 해줍니다. 여러분은 "시각 셰프"를 다른 컴퓨터에, "언어 셰프"를 또 다른 컴퓨터에, "오디오 셰프"를 세 번째 컴퓨터에 배치할 수 있습니다. 이들은 서로 즉각적으로 소통할 수 있습니다. 즉, 빠른 부분 때문에 돈을 낭비하지 않으면서, 느린 부분만을 골라 확장할 수 있습니다.

무엇을 증명했는가? (결과)

저자들은 다섯 가지 유형의 복잡한 모델을 대상으로 M*을 기존 시스템(vLLM-Omni, SGLang-Omni, VoxServe)과 비교 테스트했습니다. 결과는 다음과 같습니다.

이미지 생성 (BAGEL): 텍스트를 이미지로 변럴할 때, M은 기존 시스템보다 20%에서 50% 더 빨랐습니다. M은 이미지를 정교화하는 데 필요한 복잡한 "루프"를 훨씬 더 효율적으로 처리했습니다.
음성 (Qwen3-Omni & Orpheus): 음성을 생성할 때, M*은 실시간 성능 면에서 최대 2.9배 더 빨랐으며, 동시에 2.7배 더 많은 요청을 처리했습니다. 이는 마치 버벅거리는 라디오에서 선명한 라이브 방송으로 전환한 것과 같았습니다.
로보틱스 (V-JEPA 2): 로봇 계획을 위한 미래 비디오 프레임 예측 시, M은 최대 12.5배 더 빨랐습니다. 기존 시스템은 매 단계마다 모든 것을 처음부터 다시 계산해야 했지만, M은 이전 단계들을 기억하고 새로운 부분만을 업데이트했습니다.

핵심 요약

M*은 모든 AI 모델을 단일하고 경직된 형태에 맞추려고 하지 않는 범용 시스템입니다. 대신, 모델이 스스로 자신의 형태(그래프)를 정의하게 하고, 그 형태를 실행할 수 있는 유연하고 고속인 엔진을 구축합니다.

이는 토스터를 만드는 대신 자동차를 만들려고 할 때 부서져 버리는 경직된 조립 라인과, 토스터부터 로켓까지 무엇이든 동일한 속도와 효율성으로 만들어낼 수 있는 스마트하고 적응력 있는 작업장의 차이와 같습니다. 이 논문은 이를 통해 개발자들이 최소한의 노력으로 이러한 복잡한 멀티모달 모델을 배포하면서도 훨씬 더 나은 성능을 얻을 수 있다고 주장합니다.

기술 요약: M* - 멀티모달 모델을 위한 모듈형 확장 가능 서빙 시스템

1. 문제 정의

AI 환경은 비전 인코더, 언어 백본, 디퓨전 헤드, 오디오 코덱, 액션 생성기 등 다양한 구성 요소를 통합하는 **복합 모델 아키텍처(composite model architectures)**로 변화하고 있습니다. 이러한 모델들—Unified Multimodal Models (UMMs), Omni 모델, Speech-Language Models (SpeechLMs), Vision-Language-Action (VLA) 정책, 그리고 World Models를 포함하여—은 입력 모달리티와 태스크에 따라 크게 달라지는 실행 구조를 보입니다. 고정된 자기회귀(autoregressive, AR) 루프를 따르는 전통적인 텍스트 전용 LLM과 달리, 복합 모델은 다음과 같은 특징을 가집니다:

다양한 실행 경로: 서로 다른 태스크(예: 이미지 생성 vs. 이미지 이해)는 동일한 모델 내의 서로 다른 하위 집합을 통과합니다.
복잡한 제어 흐름: 비자기회귀 루프(예: 디퓨전 스텝, 월드 모델 롤아웃), 내부 병렬성(예: Classifier-Free Guidance 브랜치), 스트리밍 데이터 의존성 등의 패턴이 포함됩니다.
이질적인 하드웨어 요구사항: 구성 요소들을 독립적으로 스케일링하거나 특정 하드웨어 토폴로지에 배치해야 할 수 있습니다.

기존 서빙 프레임워크(예: vLLM, SGLang)는 AR 텍text 생성에 최적화되어 있습니다. 최근의 확장 모델들(vLLM-Omni, SGLang-Omni)은 "스테이지(stages)"라는 고정된 유향 비순환 그래프(DAG)를 통해 멀티모달 모델을 지원하려고 시도하지만, 교차 스테이지 루프, 내부 병렬성, 동적 스트리밍과 같은 복잡한 패턴을 포착하는 데 실패합니다. 이는 최적화되지 않은 성능, 경직된 물리적 배치, 그리고 새로운 아키텍처를 위한 상당한 양의 커스로 '글루 코드(glue code)' 필요성으로 이어집니다.

2. 방법론: 워크 그래프(Walk Graph) 추상화

저자들은 **워크 그래프(Walk Graph)*라고 불리는 핵심 추상화를 기반으로 구축된 범용 서빙 시스템인 M를 제안합니다. 이 추상화는 모델 아키텍처와 시스템 런타임을 분리합니다.

2.1 핵심 정의

M*에서 모델은 튜플 $(G, W)$ 로 정의됩니다:

$G$ (계산 그래프): 이질적인 노드들(예: 인코더, 디코더, 트랜스포머 레이어)과 에지(텐서 흐름)로 이루어진 유향 그래프입니다.
$W$ (워크): 특정 모델 동작의 특정 단계(예: prefill_text, image_gen)를 나타내는 이름이 지정된 유한한 서브그래프 집합입니다. 사용자 요청은 이러한 워크들의 시퀀스입니다.

2.2 구성 프리미티브(Compositional Primitives)

복잡한 제어 흐름을 처리하기 위해 그래프는 네 가지 프리미티브로 구축됩니다:

Sequential (순차): 출력값이 다음 단계로 전달되는 서브그래프 체이닝.
Parallel (병렬): 자식 노드들의 팬아웃(fan-out) 실행 (예: CFG 브랜치를 위함).
Loop (루프): 누적된 출력을 동반한 유한 반복 (예: 디퓨전 스텝).
DynamicLoop (동적 루프): 요청별 조기 종료 조건이 있는 반복 (예: AR에서의 End-of-Sequence 또는 월드 모델의 가변 호라이즌).

2.3 스트리밍 및 청킹(Streaming and Chunking)

실시간 생성(예: 음성)을 지원하기 위해, M*은 ChunkPolicy에 의해 매개변수화된 StreamingGraphEdges를 도입합니다. 이 정책은 누적된 입력 텐서를 기반으로 소비자 노드가 언제 실행될지를 결정합니다. 지원되는 정책은 다음과 같습니다:

FixedChunkPolicy: $K$ 개의 아이템마다 실행.
SlidingWindowChunkPolicy: 버퍼에 $W$ 개의 아이템이 쌓이고 $S$ 만큼 전진할 때 실행.
LeftContextChunkPolicy: 청크에 컨텍스트 프레임을 접두사로 추가.

2.4 런타임 아키텍처

M* 런타임은 분산 아키텍처를 통해 워크 그래프를 실행합니다:

Conductor (컨덕터): 요청별 상태를 유지하고 ZeroMQ를 통해 워커에게 작업을 할당합니다.
Workers (워커): 로컬 서브그래프를 실행하는 GPU 랭크당 하나의 프로세스입니다. 이들은 연속 배칭(continuous batching), CUDA-graph 캡처, torch.compile을 지원합니다.
Engines (엔진): 특화된 추론 인스턴스(예: FlashInfer 페이지드 어텐션을 사용하는 트랜스포머용 KVCacheEngine, 단순 노드용 StatelessEngine).
Placement (배치): 사용자는 GraphNodes를 GPU 랭크에 매핑하는 방식을 정의합니다. 이를 통해 프리필-디코드 분리(prefill-decode disaggregation), 인코더/디코더 분리, 그리고 구성 요소의 독립적 스케일링과 같은 유연한 전략이 가능해집니다.

3. 주요 기여

워크 그래프 추상화: 고정된 스테이지 DAG의 한계를 넘어, 임의의 복합 모델 구조(루프, 병렬성, 스트리밍)를 데이터플로우 그래프로서 포착하는 통합된 표현 방식입니다.
모듈형 런타임: 모델별 글루 코드를 요구하지 않고도 최신 최적화 기술(페이지드 어텐션, CUDA 그래프)을 멀티모달 전반에 걸쳐 통합하여, 그래프 추상화를 고성능 실행으로 컴파일하는 시스템입니다.
유연한 물리적 배치: 배포자가 구성 요소를 하드웨어에 임의로 매핑할 수 있게 하여, 독립적인 스케일링과 다양한 요청 유형 간의 리소스 공유를 가능하게 하는 분리된 API를 제공합니다.
스트리밍 지원: 실시간 음성 및 비디오 생성에 필수적인 프로듀서-컨슈머 패턴을 처리하기 위한 네이티브 청크 정책을 제공합니다.

4. 실험 결과

저자들은 다섯 가지 대표적인 모델인 BAGEL (UMM), Qwen3-Omni (Omni), Orpheus (SpeechLM), V-JEPA 2 (World Model), 그리고 $\pi$ 0.5 (VLA)에 대해 M*를 평가했습니다.

BAGEL (Text-to-Image 및 Image Editing):
- vLLM-Omni와 비교했을 때, M*는 텍스트-이미지 생성에서 약 30% 낮은 p50 엔드-투-엔드 지연 시간을, 이미지 편집(CFG 병렬성 포함)에서는 약 50% 낮은 지연 시간을 달이트했습니다.
- M*는 단일 설정을 사용하여 모든 모달리티를 최적화한 반면, vLLM-Omni는 특정 태스크에서 성능을 저하시키는 설정 간의 트레이드오프(예: 단일 스테이지 vs 멀티 스테이지)가 필요했습니다.
- 이러한 이득은 CFG 브랜치에 대한 M*의 페이지드 KV 캐시 관리를 통해, vLLM-Omni에서 사용하는 밀집 텐서 결합 방식을 피했기 때문입니다.
Qwen3-Omni (Text-to-Speech):
- Seed-TTS 벤치마크에서 M*는 vLLM-Omni 및 SGLang-Omni 대비 최대 **2.9배 낮은 실시간 계수(RTF)**와 2.7배 높은 처리량을 기록했습니다.
- 배치 크기 16에서 처리량은 vLLM-Omni보다 약 15% 높았습니다.
- 개선 사항은 서브모듈별 CUDA 그래프 캡처(이를 통해 전체 Talker 루프를 하나의 그래프로 실행 가능)와 인접 구성 요소 간의 프로세스 간 통신 제거에서 기인했습니다.
Orpheus (Speech):
- M*는 전문화된 음성 서빙 시스템인 VoxServe와 비교하여 13.6% 낮은 p50 RTF와 20%에서 52% 사이의 처리량 향상을 달성했습니다.
V-JEPA 2 (Robotic Planning/World Models):
- 액션 조건부 롤아웃(action-conditioned rollouts)에 대해, M*는 롤아웃 호라이즌 30에서 네이티브 Meta 구현보다 최대 12.5배 높은 성능을 보였습니다.
- 이는 롤아웃을 페이지드 어텐션 KV 캐싱을 사용하는 DynamicLoop로 인코딩함으로써, 베이스라인의 비용이 많이 드는 반복적인 프리필 과정을 피했기 때문입니다.

5. 의의 및 주장

본 논문은 M*가 최소한의 개발자 노력으로 복잡한 차세대 복합 모델을 효율적으로 서빙할 수 있는 길을 열었다고 주장합니다. 멀티모달 추론을 그래프 순회(graph traversal)로 취급함으로써, M*는 모델 저자가 아키텍처를 한 번만 선언하면 배포자가 물리적 배치와 실행을 동적으로 최적화할 수 있도록 합니다.

저자들은 M가 다양한 태스크에 걸쳐 전문화된 모달리티별 베이스라인(VoxServe 등) 및 범용 프레임워크(vLLM-Omni 등)와 대등하거나 더 나은 성능을 달성한다고 단언합니다. 임의의 루프, 병렬성, 스트리밍을 커스텀 글루 코드 없이 처리할 수 있는 M의 능력은 현재의 서빙 스택에 존재하는 근본적인 추상화 불일치를 해결하며, 실제 애플리케이션에서 통합 멀티모달, 옴니, 그리고 월드 모델의 배포를 용이하게 합니다.