💻 computer science

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

MARS 는 허용과 실행을 분리하고 상태 유지를 최적화함으로써 자율 LLM 에이전트를 위한 이종 GPU-CPU 자원을 전역적으로 조정하는 효율적이고 적응적인 공동 스케줄링 시스템으로, 높은 처리량을 유지하면서 종단 간 지연을 크게 줄입니다.

원저자: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 바쁘고 첨단 기술이 갖춰진 주방을 운영한다고 상상해 보세요. 과거에는 이 주방이 단순한 일회성 요리 (단일 텍스트 응답과 같은) 만 만들었습니다. 셰프들 (GPU) 만이 중요했으며, 목표는 단순히 시간당 가능한 한 많은 요리를 만드는 것이었습니다.

하지만 오늘날 주방은 변했습니다. 이제 이 주방은 자율 에이전트를 운영합니다. 이를 단순히 요리를 하는 것이 아니라 문제 해결을 위해 복잡한 여정을 떠나는 슈퍼 셰프로 생각하세요. 그들은 조금 요리한 뒤 재료를 가져오기 위해 식료품 저장고 (도구 사용) 로 달려가거나, 레시피 책 (파일 읽기) 을 확인한 뒤 다시 스토브로 돌아와 조금 더 요리하고, 일이 끝날 때까지 이 루프를 수십 번 반복합니다.

이 논문은 바로 이 혼란스럽고 다단계적인 요리 스타일을 위해 특별히 설계된 새로운 "주방 관리자"인 MARS를 소개합니다. 간단한 비유를 통해 그 작동 방식을 살펴보겠습니다.

문제: 낡은 주방이 고장 나고 있습니다

낡은 주방 관리자 (기존 AI 시스템) 들은 "일회성 요리" 시대를 위해 설계되었습니다. 이러한 새로운 복잡한 에이전트 여정에 직면했을 때, 그들은 세 가지 큰 실수를 저질렀습니다.

"중단과 재개"의 함정: 셰프가 요리를 멈추고 식료품 저장고 (CPU 도구 실행) 로 달려갈 때, 낡은 관리자는 공간을 절약하기 위해 셰프의 메모 (KV 캐시) 를 버리거나, 카운터를 가득 채우는 방식으로 영구적으로 보관했습니다. 메모가 버려지면 셰프는 돌아와서 레시피를 처음부터 다시 써야 하므로 엄청난 시간이 낭비되었습니다.
"대량 주문"의 마비: 거대하고 복잡한 주문 (긴 컨텍스트) 이 들어오면 스토브를 장악하여 그 뒤에 있는 작고 빠른 주문들까지 막아버렸습니다. 비록 그 작은 주문들이 준비되어 있었다 하더라도 말입니다.
"맹점": 관리자는 오직 스토브 (GPU) 만 지켜봤습니다. 식료품 저장고 (CPU) 가 막혀 있다는 사실을 보지 못했습니다. 그래서 저장고가 가득 차 있음에도 불구하고 계속 셰프들을 스토브로 보냈고, 이로 인해 재료를 기다리며 셰프들이 서서히 멈추는 교통 체증이 발생했습니다.

해결책: MARS (스마트 주방 관리자)

MARS는 스토브와 저장고를 모두 보고 완벽하게 조율하는 중추 신경계로 작동하여 이를 해결합니다.

1. "통합 정보 스트림" (무전기)

추측 대신 MARS는 스토브와 저장고를 연결하는 실시간 피드를 갖추고 있습니다.

작동 방식: 셰프가 식료품 저장고로 가려고 멈추거나 재료를 들고 돌아올 때마다 신호가 즉시 전송됩니다. 관리자는 셰프가 왜 멈췄는지, 언제 돌아올지 정확히 압니다.
이점: 관리자는 추측할 필요가 없습니다. 셰프의 메모를 위해 얼마나 많은 카운터 공간 (메모리) 을 유지해야 하는지, 그리고 언제 새로운 주문을 위해 공간을 비워야 하는지 정확히 알 수 있습니다.

2. "외부 제어 플레인" (문지기)

새로운 주문이 주방에 들어오기 전에 MARS는 주방이 실제로 이를 처리할 수 있는지 확인합니다.

작동 방식: 두 가지를 확인합니다. 스토브가 비었는가? 식료품 저장고가 비었는가? 만약 도구 작업으로 인해 저장고가 막혀 있다면, 스토브가 비어 있더라도 MARS는 "지금은 새로운 주문을 받지 않는다"고 말합니다. 이는 주방이 압도되는 것을 방지합니다.
이점: 한 번에 너무 많은 주문을 받아 전체적인 마비로 이어져 아무것도 완료되지 않는 상황을 막아줍니다.

3. "내부 에이전트 중심 스케줄러" (스마트 디스패처)

주문이 들어온 후 MARS는 누가 다음에 요리할지 결정합니다. 단순히 "선착순" 줄을 따르지 않습니다.

작동 방식:
- 우선순위: 셰프가 빠르고 상호작용적인 단계에 있다면, MARS는 그들을 먼저 진행시킵니다. 셰프가 거대하고 느린 레시피에 갇혀 있다면, MARS는 다른 이들이 완료할 수 있도록 잠시 멈추게 하여 "대량 주문" 마비를 방지합니다.
- "웜 리쥼" 트릭: MARS는 셰프의 메모 (KV 캐시) 를 카운터에 유지할지 여부를 지능적으로 결정합니다. 셰프가 2 초 후에 돌아온다면 MARS는 메모를 유지하여 시간을 절약합니다. 만약 20 분 동안 떠난다면, MARS는 다른 이들을 위해 메모를 지웁니다. 실제로 시간을 절약할 때만 메모를 유지합니다.

결과: 더 빠르고 매끄러움

이 논문은 MARS를 실제 시나리오 (소프트웨어를 작성하고 테스트하는 코딩 어시스턴트 등) 에서 테스트했습니다.

속도: MARS는 통제된 테스트에서 에이전트가 작업을 완료하는 속도를 기존 시스템보다 최대 5.94 배 빠르게 만들었습니다. 실제 코딩 환경에서는 작업 완료 속도가 1.87 배 빨라졌습니다.
신뢰성: 기존 시스템은 너무 막혀서 아예 작업을 완료하지 못하게 되는 (높은 "처리량"이지만 "유효 처리량"은 제로) 반면, MARS는 주방이 원활하게 작동하도록 유지하여 작업이 실제로 제시간에 완료되도록 보장했습니다.

요약

MARS는 스토브 위의 냄비 개수만 세는 주방 관리자와 레스토랑 전체 흐름을 이해하는 관리자의 차이라고 생각하세요. 스토브와 저장고를 동시에 관찰하고, 누가 다음에 요리할지, 어떤 메모를 유지할지 지능적으로 결정함으로써 MARS는 복잡한 다단계 AI 에이전트들이 교통 체증에 갇히지 않고 효율적으로 작업할 수 있도록 보장합니다.

다음은 논문 "MARS: 이기종 에이전트 시스템을 위한 효율적, 적응형 공동 스케줄링"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 자율 에이전트의 부상으로 인해 대규모 언어 모델 (LLM) 서비스 패러다임에 근본적인 변화가 발생했다고 지적합니다. 단일 턴 추론을 수행하는 전통적인 챗봇과 달리, 에이전트는 생성, 도구 호출, 상태 업데이트가 포함된 멀티 턴 루프를 반복하는 워크플로우를 실행합니다. 이러한 변화는 기존 LLM 서비스 엔진 (예: vLLM, TGI) 이 해결하지 못하는 두 가지 중요한 과제를 도입합니다.

시간적 변화 (단일 턴 $\to$ 멀티 턴): 세션은 더 이상 연속적인 GPU 연산이 아닙니다. 도구 실행 (CPU 바운드) 동안 일시 중단되었다가 나중에 재개됩니다. 기존 시스템은 빠른 "웜 (warm)" 재개를 위해 KV 캐시를 상주 상태로 유지할지, 아니면 메모리를 절약하기 위해 내보낼지 결정하는 데 어려움을 겪으며, 이로 인해 메모리 부족 또는 비싼 접두사 재계산이 발생합니다.
공간적 변화 (GPU 전용 $\to$ GPU-CPU 공존): 에이전트 워크로드는 추론을 위한 GPU 와 도구 실행을 위한 호스트 CPU 모두에서 결합된 실행을 요구합니다. 기존 시스템은 고립된 GPU 토큰 처리량을 최적화하여 CPU 병목 현상을 무시합니다. 이로 인해 긴 프리필 (prefill) 요청이 짧은 상호작용 연속성을 차단하는 선두 행렬 (HoL) 블로킹과, CPU 도구 실행을 기다리는 동안 GPU 용량이 유휴 상태로 방치되는 **결합된 대기 (coupled queuing)**가 발생합니다.

핵심 문제는 이기종 GPU 및 CPU 리소스 전반에 걸쳐 전체적 가시성과 적응형 공동 스케줄링을 수행하여 단순한 원시 토큰 처리량이 아닌 엔드 투 엔드 워크플로우 완료를 최적화할 수 있는 시스템의 부재입니다.

2. 방법론: MARS 아키텍처

MARS(멀티 턴 적응형 리소스 스케줄러) 는 GPU 추론과 CPU 도구 실행 간의 격차를 해소하도록 설계된 공동 스케줄링 시스템입니다. 이는 다음 세 가지 핵심 기둥을 기반으로 구축됩니다.

A. 통합 정보 스트림

GPU 와 CPU 상태 간의 "맹점"을 제거하기 위해 MARS 는 구조화된 경계 이벤트를 내보내는 저오버헤드 원격 측정 경로를 도입합니다.

GPU 플레인: KV 블록 가용성, 프리필 시작 지연 및 예상 KV 수요를 보고합니다.
CPU 플레인: 활성 도구 호출 및 실행 지속 시간을 추적하여 호스트 측 혼잡도를 정량화합니다.
기능: 이 스트림은 실시간, 이중 압력 원격 측정을 제공하여 정적 휴리스틱이 아닌 실제 리소스 경쟁에 기반한 정보에 입각한 결정을 내릴 수 있게 합니다.

B. 외부 제어 플레인 (접수 제어)

이 구성 요소는 리소스 과잉 할당을 방지하기 위해 실행과 접수를 분리합니다.

전역 로드 밸런서: 현재 리소스 압력에 따라 대기열을 재배열합니다. 예를 들어, CPU 부하가 높을 때는 더 많은 도구 호출을 주입하지 않도록 GPU 집약적 세션을 우선시하고, KV 압력이 높을 때는 더 작은 세션을 우선시합니다.
적응형 접수 컨트롤러: 통합 정보 스트림에 의해 구동되는 AIMD(가법적 증가, 승법적 감소) 제어 루프를 사용합니다. 이는 실시간 CPU 및 KV 압력에 따라 접수 창 ( $W_{adm}$ ) 을 동적으로 조정하여 전역 리소스가 충분할 때만 요청이 데이터 플레인에 진입하도록 보장합니다.

C. 내부 에이전트 중심 스케줄러 (데이터 플레인)

접수된 후 스케줄러는 엔드 투 엔드 임계 경로를 최소화하기 위해 실행 순서 및 KV 상주성을 관리합니다.

우선순위 인식 조정기: 선입선출 (FCFS) 을 다단계 피드백 큐로 대체합니다. 요청은 다음 기준에 따라 우선순위가 지정됩니다.
1. 초기 KV 풋프린트 (작을수록 우선순위 높음).
2. 누적 서비스 (기아 현상 방지).
3. 대기 시간.
  이는 긴 프리필 작업이 짧은 지연 시간 민감형 연속성을 차단하는 것을 방지합니다.
기회주의적 공동 스케줄러: 리소스 제약을 동적으로 처리합니다.
- 청크 축소: 전체 프리필이 메모리에 맞지 않으면 토큰 청크 크기를 축소하여 차단 대신 부분적 진행을 허용합니다.
- 스마트 KV 유지: 도구 실행 중 KV 캐시를 상주 상태로 유지할지 결정합니다. "웜 재개"의 이점이 메모리 기회 비용을 초과하는 경우에만 상태를 유지하여 메모리 유실 (stranding) 을 방지합니다.

3. 주요 기여

워크로드 특성화: 논문은 에이전트 워크로드의 시간적 및 공간적 변화를 공식적으로 식별하고, 이러한 변화가 GPU 연산, KV 캐시 용량 및 호스트 CPU 리소스 전반에 걸쳐 동적으로 불일치하는 수요를 어떻게 생성하는지 입증합니다.
통합 원격 측정: GPU 및 CPU 플레인 모두에서 실행 경계 이벤트를 내보내 이기종 리소스 압력을 명시적으로 만드는 통합 정보 스트림을 도입했습니다.
결합된 제어 아키텍처: 접수용 외부 제어 플레인과 실행용 내부 에이전트 중심 스케줄러를 결합하여 접수, 스케줄링 및 KV 상주성을 공동으로 최적화하는 독창적인 설계입니다.
구현 및 통합: MARS 는 vLLM 위에 구현되어 OpenHands 코딩 에이전트 프레임워크와 통합되었으며, 실용적 적용 가능성을 입증했습니다.

4. 실험 결과

저자들은 H100 및 H200 GPU 에서 Qwen3-Coder-30B 및 GPT-OSS-120B와 같은 모델을 사용하여 SWE-bench, GitTaskBench, RepoBench 를 포함한 벤치마크에 대해 MARS 를 평가했습니다.

지연 시간 감소: MARS 는 고부하 하에서 최신 베이스라인 (FCFS, Autellix, Infercept, Continuum 포함) 대비 평균 엔드 투 엔드 지연 시간을 최대 5.94 배 줄였습니다.
처리량 및 좋은 처리량 (Goodput): MARS 는 거의 최대 시스템 처리량을 유지하면서 동적 SLO 인식 좋은 처리량(지연 시간 목표 내에서 완료되는 요청률) 을 크게 향상시킵니다. 베이스라인은 부하 하에 좋은 처리량이 붕괴되는 반면, MARS 는 높은 완료율을 유지합니다.
실제 배포: OpenHands 를 통한 현실적인 배포에서 MARS 는 엔드 투 엔드 작업 완료 시간을 최대 1.87 배 단축했습니다.
절대 실험: 우선순위 인식 조정기를 제거하면 HoL 블로킹으로 인해 지연 시간이 2 배~~5 배 증가했습니다. 외부 제어 플레인을 제거하면 관리되지 않는 대기열 적재로 인해 1.5 배~~3 배의 속도 저하가 발생했습니다.

5. 의의

MARS 는 LLM 서비스 인프라의 패러다임 전환을 나타냅니다. 과거의 요청 중심, 처리량 최적화 모델에서 세션 인식, 엔드 투 엔드 워크플로우 최적화 모델로 이동합니다.

시스템적 영향: GPU 와 CPU 리소스가 상호 의존적인 "결합된 압력" 문제를 해결하여 차세대 자율 에이전트의 핵심 병목 현상을 해소합니다.
실용성: OpenHands 및 vLLM 과 통합함으로써 이러한 아키텍처 변경 사항이 전체 스택을 다시 작성하지 않고도 실제 에이전트 프레임워크에 배포될 수 있음을 입증했습니다.
미래 방향: 논문은 상태가 있는 멀티 턴 컨텍스트를 관리하기 위해 LLM 서비스에 OS 와 같은 추상화가 필요함을 강조하여, 더 견고하고 효율적인 에이전트 시스템의 길을 열고 있습니다.

요약하자면, MARS 는 이기종 에이전트 시스템을 효율적, 확장 가능, 반응형으로 만들기 위해 필요한 제어 플레인 및 스케줄링 논리를 제공하며, 원시 하드웨어 기능과 실제 워크플로우 완료 사이의 중요한 격차를 해소합니다.