AgentServe: Algorithm-System Co-Design for Efficient Agentic AI Serving on a Consumer-Grade GPU

이 논문은 소비자용 GPU 에서 실행되는 다중 에이전트 AI 작업의 지연 시간 안정성과 처리량을 동시에 개선하기 위해, 프리필과 디코드를 격리하고 동적 예산 할당 및 적응형 CUDA 환경 할당을 통해 프리필과 디코드를 효율적으로 관리하는 'AgentServe' 시스템을 제안합니다.

핵심

🍕 비유: "작은 주방과 여러 명의 요리사"

생각해 보세요. **작은 주방 (일반인용 그래픽 카드)**이 있고, 그 안에서 **여러 명의 요리사 (AI 에이전트)**가 동시에 주문을 받고 요리를 하고 있다고 가정해 봅시다.

이전까지의 시스템들은 이 주방을 효율적으로 쓰려고 했지만, 다음과 같은 문제가 있었습니다:

1. 문제 상황: "긴 레시피"가 "간단한 마무리"를 막는다

   • 냉장고 정리 (Cold Prefill): 새로운 주문이 들어오면 요리사는 긴 레시피 (시스템 프롬프트) 를 처음부터 끝까지 읽어야 합니다. 이 과정은 시간이 오래 걸리고 주방 공간 (컴퓨팅 자원) 을 다 차지합니다.
   • 간단한 마무리 (Short Decode): 레시피를 다 읽고 나면, 실제로 요리를 완성하는 단계는 매우 빠릅니다. 하지만 이 단계는 매우 민감합니다. 요리사가 "이제 요리를 끝낼 때"라고 생각했는데, 갑자기 다른 요리사가 긴 레시피를 읽느라 주방을 다 차지하면, 요리는 멈추고 손님은 기다려야 합니다.
   • 결과: 손님은 "음식이 왜 나오지?"라고 화를 내고, 전체적인 주방의 생산성도 떨어집니다.

2. 기존 시스템의 한계

   • 기존 시스템들은 "한 번에 한 명씩" 하거나, "조금씩 나누어서" 하려고 했지만, AI 에이전트 작업은 짧고 빠른 반복이 많아서 오히려 더 혼란을 빚었습니다. 마치 주방장이 긴 레시피를 읽는 동안, 다른 요리사들이 요리를 하다가 멈췄다, 다시 시작했다를 반복하는 꼴입니다.

---

🚀 AgentServe 의 해결책: "세 가지 역할 분리"

AgentServe 는 이 문제를 해결하기 위해 세 가지 핵심 전략을 사용합니다.

1. 역할 나누기 (Isolation)

• 비유: 주방을 세 구역으로 나눕니다.
  • A 구역 (긴 레시피 읽기): 새로운 주문이 들어오면, 긴 레시피를 읽는 요리사는 A 구역으로 가서 혼자 집중합니다.
  • B 구역 (간단한 수정): 이미 레시피를 읽은 상태에서 추가 정보를 넣는 작업은 B 구역에서 합니다.
  • C 구역 (최종 완성): 요리를 마무리하는 작업은 C 구역에서 합니다.
• 핵심: C 구역 (요리 완성) 은 절대 방해받지 않도록 보호합니다. A 구역에서 긴 레시피를 읽는다고 해서 C 구역의 요리사가 멈추지 않게 합니다.

2. 동적 예산 관리 (Dynamic Budgeting)

• 비유: 주방장이 스마트하게 조절합니다.
  • 요리가 잘 나오고 있다면 (속도가 빠르다면), A 구역 (긴 레시피 읽기) 에 조금 더 많은 인력을 보냅니다.
  • 하지만 요리가 느려지거나 손님이 화를 낼 것 같다면 (속도가 느려지면), 즉시 A 구역의 인력을 줄이고 C 구역 (요리 완성) 에 더 많은 인력을 보냅니다.
  • 이 시스템은 매 순간 **"지금 속도가 괜찮은가?"**를 체크해서 인력을 실시간으로 배분합니다.

3. 전용 의자 확보 (CUDA Green Context)

• 비유: 선점된 의자를 만듭니다.
  • 기존 시스템은 요리사가 필요할 때마다 의자를 찾아서 앉으려다 시간이 걸렸습니다.
  • AgentServe 는 미리 **요리사 전용 의자 (CUDA Green Context)**를 여러 개 만들어 둡니다. 요리사가 앉을 때 바로 앉을 수 있게 해서, 의자를 찾는 시간 (오버헤드) 을 아낍니다. 특히 "요리 완성"을 하는 요리사는 항상 좋은 자리를 보장받습니다.

---

🏆 어떤 효과가 있을까요?

이 시스템을 적용한 결과, 다음과 같은 놀라운 성과가 있었습니다:

• 초반 반응 속도 (TTFT): 손님이 주문하고 첫 번째 요리가 나올 때까지 걸리는 시간이 최대 2.8 배 빨라졌습니다. (예: 10 초 걸리던 것이 3~4 초로 줄음)
• 꾸준한 속도 (TPOT): 요리가 나오는 속도가 일정해져서, 손님이 "음식이 왜 갑자기 멈췄지?"라고 느끼는 경우가 최대 2.7 배 줄었습니다.
• 안정성: 여러 명의 요리사가 동시에 일해도, 누구도 배고프게 기다리지 않고 모든 주문이 원활하게 처리됩니다.

💡 요약

AgentServe는 일반 가정용 컴퓨터에서도 여러 AI 비서가 동시에 일할 때, "긴 준비 작업 (레시피 읽기)"이 "빠른 실행 작업 (요리 완성)"을 방해하지 않도록 주방을 똑똑하게 재배치한 시스템입니다.

기존의 무거운 AI 서버가 아니라, 우리 집 컴퓨터에서도 AI 비서들이 부드럽고 빠르게 일할 수 있게 해주는 혁신적인 기술이라고 보시면 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경:
대규모 언어 모델 (LLM) 이 단순한 챗봇을 넘어 외부 도구를 호출하고 추론 - 행동 루프 (reasoning-action loops) 를 수행하는 AI 에이전트로 배포되고 있습니다. 특히 프라이버시, 규정 준수, 비용 절감 등의 이유로 클라우드 대신 **소비자용 GPU(Consumer-grade GPU)**에서 소형 언어 모델 (SLM) 을 로컬로 실행하는 추세가 증가하고 있습니다.

핵심 문제:
기존 챗봇 워크로드는 긴 입력과 긴 생성 (decode) 이 주를 이루지만, 에이전트 워크로드는 다음과 같은 특성을 가져 기존 추론 시스템 (vLLM, SGLang 등) 이 소비자용 단일 GPU 환경에서 효율적으로 작동하기 어렵습니다.

1. 불균형한 워크로드: 긴 시스템 프롬프트를 처리하는 Cold Prefill(초기화), 도구 출력 등을 추가하는 Resume Prefill(재개), 그리고 매우 짧은 Decode(생성) 단계가 혼재합니다.
2. 선두 행렬 차단 (Head-of-Line Blocking, HoL): 긴 Prefill 작업이 GPU 연산 자원 (SM) 과 메모리 대역폭을 독점하면, 지연에 민감한 짧은 Decode 작업이 대기하게 됩니다.
3. 상호작용 불안정성: 에이전트는 도구 호출을 위해 짧은 Decode 가 완료되어야 다음 단계를 진행하므로, Decode 지연이 전체 작업의 지연을 증폭시킵니다. 이는 토큰 생성의 리듬을 깨고 사용자 경험을 저하시킵니다.

기존의 PD 분리 (Prefill-Decode Disaggregation) 나 Chunked Prefill 기법은 분산 환경이나 긴 Decode 가 주를 이루는 챗봇에는 적합하나, 단일 GPU에서 짧고 빈번한 에이전트 루프를 처리할 때는 오버헤드가 크거나 격리가 불충분합니다.

---

2. 방법론 (Methodology)

저자들은 AgentServe라는 단일 GPU 추론 서빙 시스템을 제안하며, 알고리즘과 시스템을 공동 설계 (Co-design) 했습니다.

A. 시스템 아키텍처

AgentServe 는 크게 3 개의 레이어로 구성됩니다.

1. Application Layer: LangChain, AutoGen 등 에이전트 프레임워크와 연동하여 요청을 수신합니다.
2. Orchestration Layer (CPU): 요청을 분류하고 자원을 스케줄링합니다.
   • Request Manager: 요청을 Cold Prefill, Resume Prefill, Decode 로 분류합니다.
   • Resource-Aware Scheduler (TPOT-Driven): 실시간 TPOT(토큰당 출력 시간) 지표를 기반으로 Prefill 의 토큰 예산 (Budget) 과 Decode 에 할당할 최소 SM(Streaming Multiprocessor) 수를 동적으로 조절합니다.
3. Execution Layer (GPU):
   • CUDA Green Context 활용: 최근 CUDA 에 도입된 'Green Context' 기능을 사용하여, GPU 의 SM 을 물리적으로 분할합니다. 이를 통해 Prefill 과 Decode 커널이 서로 간섭하지 않도록 격리합니다.
   • 이중 스레드 구조: Prefill 스레드와 Decode 스레드가 비동기적으로 커널을 제출하며, 메모리 매니저가 KV 캐시 공유를 안전하게 관리합니다.

B. 핵심 알고리즘: TPOT 기반 리소스 스케줄링

• 동적 예산 제어: Decode 의 TPOT 가 임계값을 초과하면 (지연 발생), Resume Prefill 의 허용 토큰 길이를 줄이고 Decode 에 할당된 SM 수를 늘립니다. 반대로 여유가 있으면 Prefill 에 자원을 할당합니다.
• 경쟁 비율 분석 (Competitive-Ratio Analysis): AgentServe 의 성능을 SLO(서비스 수준 협약) 를 만족하는 오프라인 최적 스케줄러와 비교하여, Prefill 처리량 손실이 이론적 상한선 내에서 제한됨을 수학적으로 증명했습니다.

C. 시스템 최적화

• 미리 생성된 Green Context: 런타임에 컨텍스트를 생성하는 오버헤드를 피하기 위해 시스템 시작 시 10% 단위로 SM 을 할당한 10 개의 Green Context 를 미리 생성해 둡니다. 스케줄러는 실시간 신호에 따라 Decode 스레드를 가장 적합한 컨텍스트에 재바인딩 (Rebind) 합니다.
• 메모리 공유: Prefill 과 Decode 가 동일한 GPU 메모리 풀을 공유하며, KV 캐시 영역을 읽기 전용으로 마킹하여 복사 없이 재사용함으로써 메모리 대역폭을 절약합니다.

---

3. 주요 기여 (Key Contributions)

1. 리소스 인식 스케줄링 알고리즘: 요청 격리 (Isolation) 와 TPOT 기반 적응을 결합하여, Prefill 간섭을 제한하고 지연 민감한 Decode 를 보호하는 알고리즘을 제안했습니다.
2. 단일 엔진 자원 관리 메커니즘: 미리 생성된 CUDA Green Context 와 경량 공유 메모리 조정을 통해 단일 엔진 내에서 효율적인 자원 분할을 구현하고 런타임 오버헤드를 최소화했습니다.
3. AgentServe 시스템 구현 및 평가: 소비자용 GPU 에서 동시 에이전트 워크로드를 처리하는 단일 GPU 서빙 시스템을 구축했습니다. 다양한 모델과 GPU 에서 TTFT(첫 토큰 도달 시간) 는 최대 2.8 배, TPOT 는 최대 2.7 배 개선되었음을 실험을 통해 입증했습니다.

---

4. 실험 결과 (Results)

• 실험 환경: NVIDIA RTX A5000 및 RTX 5090 GPU, Qwen2.5-3B/7B, LLaMA-3-8B 모델, ReAct 및 Plan-and-Execute 에이전트 워크로드.
• 성능 지표:
  • TTFT (Time-to-First-Token): 기존 baselines(SGLang, vLLM, llama.cpp) 대비 최대 2.8 배 개선. 특히 긴 프롬프트가 많은 환경에서 성능 차이가 두드러졌습니다.
  • TPOT (Time-Per-Output-Token): 최대 2.7 배 개선. 토큰 생성의 안정성 (Tail latency 감소) 이 크게 향상되었습니다.
  • 처리량 (Throughput): 지연 안정성을 유지하면서도 vLLM 대비 1.21.5 배, llama.cpp 대비 2.02.2 배 높은 처리량을 기록했습니다.
  • SLO 달성률: 동시 에이전트 수가 증가해도 AgentServe 는 높은 SLO 달성률을 유지했으나, 기존 시스템들은 동시성 증가에 따라 급격히 성능이 저하되었습니다.
• Ablation Study: 스케줄링 알고리즘 (No-Alg) 이나 Green Context 격리 (No-Green) 중 하나라도 제거하면 성능이 크게 저하됨을 확인하여, 두 요소의 공동 설계가 필수적임을 입증했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 소비자용 GPU에서 AI 에이전트를 효율적으로 구동하기 위한 새로운 패러다임을 제시합니다.

• 실용성: 클라우드 의존도를 낮추고 로컬에서 프라이버시를 보장하는 에이전트 배포를 가능하게 합니다.
• 기술적 혁신: 단순한 자원 분할을 넘어, 에이전트 워크로드의 고유한 특성 (긴 Prefill vs 짧은 Decode) 을 인식하고 CUDA 의 최신 기능 (Green Context) 을 활용하여 단일 GPU 에서도 안정적인 저지연 서비스를 제공하는 방법을 제시했습니다.
• 확장성: 다양한 모델 크기와 하드웨어 세대에서 일관된 성능 향상을 보여주어, 엣지 컴퓨팅 및 로컬 AI 에이전트 시스템의 표준 아키텍처로 자리 잡을 잠재력을 가집니다.

결론적으로, AgentServe 는 단일 GPU 환경에서의 에이전트 서빙 문제를 해결하기 위해 알고리즘적 스케줄링과 시스템 수준의 자원 격리를 정교하게 결합한 성공적인 사례입니다.