기술 요약: AGENTSERVESIM

문제 정의

현대의 대규모 언어 모델(LLM) 배포는 상태가 없는(stateless) 단일 턴 채팅 쿼리에서 **멀티 턴 에이전트 시스템(multi-turn agentic systems)**으로 변화하고 있습니다. 전통적인 서빙에서는 각 프롬프트-완료 쌍이 독립적인 요청인 것과 달리, 에이전트 시스템은 LLM 호출과 외부 도구 호출(예: 코드 실행, 웹 검색)을 교차하여 실행하는 상태 유지형(stateful) 프로그램을 실행합니다. 이러한 도구 호출은 밀리초에서 분 단위에 이르는 가변적인 시간 간격을 발생시킵니다.

이러한 변화는 서빙 요구 사항을 근본적으로 바꿉니다:

1. 상태 유지 실행(Stateful Execution): 사용자가 체감하는 지연 시간은 개별 턴의 지연 시간이 아니라 전체 프로그램의 **작업 완료 시간(Job Completion Time, JCT)**입니다.
2. 턴 간 의존성(Cross-Turn Dependencies): 후속 턴은 종종 동일한 대화를 확장하므로, 턴 간 프리픽스 재사용(prefix reuse)이 체계적으로 발생합니다.
3. KV 캐시 역학(KV-Cache Dynamics): KV 캐시 상태는 비용이 많이 드는 재프리필링(re-prefilling)을 피하기 위해 도구로 인한 간극 동안 생존해야 하지만, 긴 간극 동안 상태를 유지하는 것은 희소한 메모리를 낭비하게 됩니다.
4. 라우팅 복잡성(Routing Complexity): 멀티 인스턴스 배포에서 라우팅은 단순히 부하 분산을 하는 것이 아니라, 캐시 지역성을 유지하기 위해 세션 어피니티(session affinity)를 보존해야 합니다.

이러한 워크로드에 대해 실제 하드웨어에서 스케줄링, 라우팅 및 KV 캐시 관리 정책을 평가하는 것은 매우 비용이 많이 듭니다. 각 설계 지점마다 전용 가속기 시간이 필요하며, 구성 공간(도착률, 모델 규모, 메모리 계층 구조 등)이 너무 방대하여 실제 환경에서 전수 조사를 수행하는 것은 불가능합니다. 기존 시뮬레이터(예: Vidur, APEX, LLMServingSim)는 상태가 없는 워크로드를 대상으로 하며, 프로그램 정체성, 도구 간극 또는 턴 간 KV 잔류를 포착하지 못합니다.

방법론

저자들은 멀티 턴 LLM 에이전트 서빙을 위해 특별히 설계된 하드웨어 인식 시뮬레이터인 AGENTSERVESIM을 제시합니다. 이 시뮬레이터는 개별 LLM 호출이 아닌 에이전트 프로그램을 실행 단위로 취급합니다. 이는 다섯 가지 핵심 구성 요소로 이루어진 모듈형 아키텍처를 기반으로 구축되었습니다:

1. 프로그램 오케스트레이터(Program Orchestrator): 턴 순서와 미결 상태의 도구 상태를 추적하는 프로그램별 상태 머신을 유지합니다. 이는 턴 $t+1$이 턴 $t$ 및 관련 도구 간극이 시뮬레이션된 시간 내에서 경과한 후에만 릴리스되도록 보장하여, 프로그램 정체성과 의존성을 보존합니다.
2. 도구 시뮬레이터(Tool Simulator): 도구로 인한 간극을 구체화합니다. 두 가지 모드로 작동합니다:
   • 리플레이 모드(Replay Mode): 검증을 위해 실제 트레이스에서 캡처된 실제 벽시계(wall-clock) 지속 시간을 사용합니다.
   • 생성 모드(Generative Mode): 반사실적 탐색(counterfactual exploration)을 위해 적합된 분포에서 지속 시간을 샘플링합니다.
3. 세션 인식 라우터(Session-Aware Router): 멀티 인스턴스 배포를 관리합니다. 프로그램-인스턴스 어피니티 테이블을 유지하여 후속 턴을 동일한 "홈" 엔진으로 라우팅함으로써 프리픽스 캐시 지역성을 보존합니다. 홈 엔진이 용량을 초과하는 경우, 마이그레이션 또는 재프리필링의 비용을 계산합니다.
4. 프로그램 인식 배치 스케줄러(Program-Aware Batch Scheduler): 스케줄러를 프로그램 정체성에 따라 핵심 큐로 확장합니다. 프로그램 수준의 상태(예: 달성된 서비스)를 플러그형 정책 훅(hook)에 노출하여, 표준 승인(admission) 및 연속 배칭(continuous-batching) 로직을 유지하면서 프로그램 수준의 FCFS 또는 달성 서비스 우선순위 지정이 가능하게 합니다.
5. KV 잔류 모델(KV Residency Model): 메모리 계층(HBM, Host DRAM, CXL) 전반의 KV 캐시 배치를 추적합니다. 도구 간극 지속 시간 및 재계산 비용을 기반으로 KV 블록에 정책 정의 데드라인을 할당합니다. 도구 간극 동안의 증발(eviction), 호스트 메모리로의 스왑 및 유지 결정 등을 명시적으로 모델링합니다.

이 시뮬레이터는 이질적인 하드웨어, 인터커넥트 및 멀리 계층 메모리 액세스를 모델링하기 위해 LLMServingSim 2.0 및 ASTRA-sim 기반의 연산자 그래프 실행 엔진과 통합됩니다.

주요 기여

1. 프로그램 중심 시뮬레이션 아키텍처: 에이전트 프로그램을 실행 단위로 추상화하여, 단일 하드웨어 인식 프레임워크 내에서 턴 의존성, 도구 유도 유휴 간격 및 턴 간 KV 잔류를 연구할 수 있는 새로운 프레임워크를 제공합니다.
2. 실제 배포를 통한 검증: 저자들은 SWE-Bench Verified 워크로드를 사용하여 세 가지 하드웨어 플랫폼(RTX 3090, H100-SXM, B200)에서의 실제 시스템 실행에 대해 AGENTSERVESIM을 검증했습니다. 시뮬레이터는 전체가 범용 CPU에서 실행되면서도 주요 지표(JCT 및 처리량)에서 6% 미만의 오차로 실제 시스템 동작을 재현했습니다.
3. 하드웨어 인식 디자인 공간 분석: 본 논문은 시뮬레이터를 사용하여 프리픽스 캐싱, 스케줄링, 라우팅 및 KV 관리의 상호작용을 체계적으로 연구합니다. 이를 통해 프리픽스 재사용률 및 도구 지연 시간 분포의 영향과 같이 에이전트 인식 정책이 이점을 제공하는 특정 조건을 식별합니다.

결과

• 정확도: 80개의 구성 셀(하드웨어, 모델 크기, 정책 변동)에 대해 AGENTSERVESIM은 실제 시스템 JCT와 **<5%**의 평균 상대 오차로 일치했습니다. 처리량 오차 역시 <2%로 낮았습니다.
• 라우팅 영향: 멀티 인스턴스 클러스터에서 세션 인식 라우팅은 프리픽스 캐시 적중률을 싱글 인스턴스 상한선에 근접하게(96.26%) 유지한 반면, 라운드 로빈(round-robin) 및 최소 부하(least-loaded) 라우팅은 적중률을 3.3~3.6 퍼센트 포인트 떨어뜨려 JCT를 크게 증가시켰습니다.
• 정책 민감도: 요청 수준 베이스라인(vLLM-FCFS) 대비 에이전트 인식 스케줄링(예: Autellix, InferCept)의 이점은 **프리픽스 재사용률($\eta$)**에 크게 의존합니다. $\eta < 0.3$일 때는 재계산 비용이 지배적이어서 정책 차이가 미미합니다. $\eta \ge 0.5$일 때는 잘못된 정책을 선택하면 JCT가 배수로 증가할 수 있습니다.
• 도구 지연 시간: 도구 지연 시간이 증가함에 따라, 에이전트 인식 정책(특히 적응형 또는 정적 TTL 유지 정책)은 FCFS를 크게 능가합니다. 바이모달(bimodal) 도구 트레이스의 경우, 정적 임계값 유지 규칙만으로도 대부분의 이득을 확보하기에 충분했습니다.
• 메모리 계층화: 두 번째 메모리 계층(CPU DRAM 또는 CXL)을 추가하면 고부하 상황에서 HBM 전용 시스템의 성능 붕괴를 완화합니다. CXL 대역폭은 특정 포화 지점에서(주로 꼬리 지연 시간 측면에서) 측정 가능한 이점(최대 약 10% JCT 감소)을 제공합니다.

의의

본 논문은 AGENTSERVESIM이 값비싼 가속기에 대한 전수 배포 없이도 통제 가능하고 반복 가능한 탐색을 가능하게 한다고 주장합니다. 에이전트 실행의 상태 유지 특성을 충실히 모델링함으로써, 연구자들은 다음과 같은 작업을 수행할 수 있습니다:

• 실제 시스템에서는 격리하기 어렵고 서로 밀접하게 결합된 정책 간의 상호작용(스케줄링, 라우팅, KV 관리)을 평가할 수 있습니다.
• 물리적으로 테스트하기 너무 비싸거나 불가능한 구성(예: 더 큰 클러스터, CXL과 같은 가상의 메모리 계층, 또는 특정 도구 지연 시간 분포)을 탐색할 수 있습니다.
• 요청 수준의 지표를 넘어 작업 완료 시간(JCT)과 같은 프로그램 수준의 목표를 최적화할 수 있습니다.

이 연구는 현대의 에이전틱 AI의 복잡하고 상태 유지적인 워크로드를 처리할 수 있는 차세대 LLM 서빙 스택을 설계하기 위한 토대를 마련합니다.