기술 요약: 예측이 아닌 관찰 – 에이전틱 서빙을 위한 대화 수준의 분리형 스케줄링 (Observation, Not Prediction – Conversation-Level Disaggregated Scheduling for Agentic Serving)

1. 문제 정의

기존의 거대 언어 모델(LLM) 서빙 시스템은 "요청(request)"을 원자적 스케줄링 단위로 설계되었으며, 이는 프롬프트가 프리필(prefill)된 후 한 번에 디코딩되는 단발성 추론에 적합한 모델입니다. 그러나 **에이전틱 워크로드(agentic workloads)**는 이 계약을 깨뜨립니다. 에이전트의 작업은 도구 사용, 환경 피드백, 상태 축적이 개입되는 일련의 의존적인 추론 호출을 통해 해결됩니다.

이러한 변화는 다음과 같은 **스케줄링-가치 불일치(scheduling–value-mismatch)**를 야기합니다:

• 시스템 관점: 모든 중간 턴(turn)에 대해 턴당 지연 시간(Time-to-First-Token, TTFT)을 최적화하려 합니다. 하지만 이 중 상당수는 사용자에게 보이지 않는 내부 도구 호출입니다.
• 사용자 관점: 대화의 최종적이고 외부적으로 의미 있는 출력을 기다립니다. 관련 핵심 지표는 첫 번째 유효 토큰 도달 시간(Time-to-First-Effective-Token, TTFET), 즉 실제 사용자에게 유의미한 진전이 보이는 첫 토큰까지의 지연 시간입니다.

현재의 멀티 턴 시스템은 프리필(연산 집약적) 단계와 디코딩(메모리 집약적) 단계를 분리할지 여부를 턴 단위로 결정함으로써 이를 최적화하려고 시도합니다. 이 결정을 내리기 위해 스케줄러는 관찰 불가능한 양들을 예측해야 합니다: 즉, 한 턴이 얼마나 많은 토큰을 디코딩할지, 도구를 호출할지, 그리고 KV 캐시가 얼마나 성장할지 등을 예측해야 합니다. 이러한 예측에 대한 의존은 구조적 취약성을 초래합니다. 즉, 예측 오류는 최적하지 못한 라우팅, 큐잉 지연, 에너지 효율 저하로 이어집니다.

2. 방법론: ConServe

본 논문은 스케줄링 단위를 턴에서 *대화(conversation)*로 격상시킨 시스템인 ConServe를 소개합니다. 핵심 통찰은 에이전틱 대화가 턴 단위로는 불규칙할 수 있으나, 대화 수준에서는 안정적인 2단계 구조를 가진다는 점입니다:

1. 1단계 (연산 집약적/Compute-Bound): 초기 긴 작업 설명(첫 번째 턴)에 대한 단일하고 무거운 프리필(prefill).
2. 2단계 (메모리 집약적/Memory-Bound): 첫 번째 디코딩과 이후의 모든 턴으로 구성된 긴 꼬리(tail) 부분으로, 여기에는 짧은 어펜드-프리필(append-prefill)과 축적되는 KV 캐시 상에서의 디코딩이 포함됩니다.

주요 설계 원칙

• 예측 대신 관찰 (Observation over Prediction): ConServe는 미래의 디코드 길이 혹은 도구 동작과 같은 턴 단위의 결과를 예측할 필요성을 제거합니다. 배치 결정은 전적으로 직접 관찰 가능한 상태에 기반합니다:
  • 첫 번째 턴 프롬프트의 입력 토큰 수 (프리필 부하 결정).
  • 디코더 복제본의 현재 KV 캐시 점유율 (메모리 집약적 부하 결정).
• 대화 수준의 피닝 (Conversation-Level Pinning):
  • 첫 번째 턴의 프리필은 전용 고처리량 **프리필러 노드(prefiller node)**로 라우팅됩니다.
  • 생성된 KV 캐시는 선택된 **디코더 복제본(decoder replica)**으로 단 한 번만 전달됩니다.
  • 해당 대화는 전체 생명 주기 동안 해당 디코더에 **고정(pinned)**됩니다. 이후의 모든 턴(어펜드-프리필 및 디코딩)은 추가적인 네트워크 전송 없이 해당 디코더에서 로컬로 실행되며 KV 캐시를 재사용합니다.
• 반응형 스케줄링 (Reactive Scheduling): 스케줄러는 현재 시스템 용량(프리필 입력률 대비 프리필러 처리량, 총 KV 점유율 대비 디코더 풀 용량)을 기준으로 새로운 대화를 수용합니다. 일단 배치된 대화는 이동(migration)시키지 않습니다.
• 이종 매핑 (Heterogeneous Mapping): 이 2단계 구조는 이종 GPU 티어에 자연스럽게 매핑됩니다. 연산 집약적인 첫 번째 턴 프리필은 고성능 GPU에서 실행되는 반면, 메모리 집약적인 꼬리 부분은 연산 능력보다는 메모리 대역폭에 의해 성능이 제한되므로 충분한 메모리를 갖춘 저전력 GPU에서 실행됩니다.

3. 주요 기여

1. 대화 수준 스케줄링 패러다임: 본 논문은 스케줄링 단위(턴)가 에이전틱 서빙의 취약성의 근원임을 식별했습니다. 턴에서 대화로 단위를 전환함으로써, 시스템은 예측을 관찰 가능한 상태로 대체하여 학습된 비용 모델이나 복잡한 예측기 없이도 구조적 견고함을 확보합니다.
2. ConServe 시스템: 이 원칙을 최소한으로 구현한 시스템으로, 첫 번째 턴 프리필을 고성력 GPU로 라우팅하고, KV 상태를 한 번 전송한 뒤, 대화를 단일 디코더에 고정합니다. 이는 학습된 모델 없이도 TTFET와 에너지 효율을 최적화합니다.
3. 구조적 취약성의 실증적 입증: 저자들은 AMPD와 같은 턴 단위 예측 기반 베이스라인이 예측 오류에 따라 선형적으로 성능이 저하됨을 보여줍니다. 예측 오류율이 높아질수록 SLO 위반과 에너지 비효식성이 선형적으로 악화됩니다. 반면, ConServe는 예측을 수행하지 않으므로 구조적으로 일정한 성능을 유지합니다.
4. 이종 구성을 통한 에너지 효율성: 대화 수준의 단계 분리가 복잡한 오케케스트레이션 없이도 계층적 GPU 할당을 가능하게 하여 에너지 효율을 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과

NVIDIA A40 클러스터에서 Qwen3-0.6B 모델을 사용하여 에이전틱 트레이스(SWE-bench)를 대상으로 평가하였으며, Collocated 방식, 완전 분리형 방식, 그리고 예측 기반 턴 단위 방식(AMPD)과 비교하였습니다.

• 지연 시간 (TTFET): ConServe는 예측 기반 턴 단위 베이스라인(AMPD) 대비 p95 TTFET를 51.08% 감소시켰습니다. 이는 프리필러에서 발생하는 잘못된 라우팅으로 인한 큐잉 지연을 방지함으로써 달성되었습니다.
• SLO 준수: ConServe는 테스트된 모든 요청 속도(포화 지점 포함)에서 제로(0)의 SLO 위반을 유지했습니다. 베이스라인들은 포화 시 실패했습니다: Collocated 시스템은 프리필-디코드 간의 경합으로 고통받고, 턴 단위 시스템은 라우팅 오류를 누적합니다.
• 에너지 효율성:
  • 동종(Homogeneous) 환경에서, ConServe는 턴 단위 베이스라인 대비 에너지 효율을 7.51% 개선했습니다.
  • 이종(Heterogeneous) 환경(300W 프리필러, 200W 디코더)에서, ConServe는 레이턴시 성능을 유지하면서 추가로 **22.75%**의 에너지 효율(Joule당 토큰 수) 이득을 달agi했습니다. 이는 메모리 집약적인 꼬리 부분이 제한된 연산 성능에 민감하지 않기 때문입니다.
• 강건성 (Robustness): 예측 오류율이 증가함에 따라 성능이 선형적으로 저하되는 AMPD와 달리, ConServe는 관찰 가능한 상태에 의존하기 때문에 이러한 오류에 면역력을 가집니다.

5. 의의 및 주장

본 논문은 에이전틱 서빙의 근본적인 추상화는 턴이 아니라 대화라고 주장합니다. 대화의 안정적인 2단계 구조를 인식함으로써, ConServe는 다음을 입증합니다:

• 배치는 예측이 아닌 반응적이어야 한다. 미래의 턴 동작을 예측하는 것보다 관찰 가능한 상태(입력 길이, KV 점유율)에 기반하는 것이 더 충분하고 견고합니다.
• 스케줄링의 입도(Granularity)가 시스템의 안정성을 결정한다. 현재 멀리 턴 시스템의 취약성은 워크로드 자체의 특성이 아니라 턴 단위로 스케줄링하는 결과입니다.
• 에너지 효율은 자연스러운 결과물이다. 대화 수준의 단계 분리는 복잡한 오케스트레이션 없이도 효율적인 이종 매핑을 가능하게 하여, 필요한 곳(초기 프리필)에만 고전력 연산을 사용하고 메모리 집약적인 꼬리 부분에는 저전력 하드웨어를 활용하게 합니다.

저자들은 ConServe를 복잡하고 학습된 시스템이 아니라, 중간 시스템 지표(턴당 지연 시간)가 아닌 실제 사용자 가치(대화 완료)에 정렬된 원칙적인 패러다임을 구현한 "최소한의 구현체"로 제시하며, 이를 통해 에이전틱 서빙의 새로운 방향을 제시합니다.