기술 요약: 에이전트적 서빙을 위한 KV-캐시 관리를 위한 학습형 에이전트 실행 (Learning Agent Execution for KV-Cache Management in Agentic Serving)

문제 정의

멀티 에이전트 대규모 언어 모델(LLM) 시스템은 사용자 요청이 전문화된 에이전트 시퀀스(예: 플래너, 여행 에이전트, 코딩 에이전트)로 분해되는 AI 서비스의 지배적인 패러다임이 되었습니다. 이러한 워크플로의 핵심적인 특징은 각 에이전트와 관련된 **반복되는 고정 컨텍스트(agent anchors)**이며, 여기에는 시스템 프롬프트, 도구 정의, 퓨샷(few-shot) 예시가 포함됩니다. 이 고정 컨텍스트는 전체 프롬프트 토큰의 53~62%를 차지하는 경우가 많습니다.

기존의 LLM 서빙 시스템(예: vLLM, SGLang)은 프리픽스 캐싱(prefix caching)과 최신성 기반 교체 정책(LRU 등)을 사용하여 KV-캐시를 반응적으로 관리합니다. 이러한 시스템은 KV 블록을 익명의 콘텐츠 주소 지정 객체로 취급합니다. 결과적으로, 에이전트가 도구를 실행하거나 플래너의 결정을 기다리는 동안, 해당 에이전트의 KV-캐시 블록은 최근 액세스 부족으로 인해 방출(evict)됩니다. 동일한 에이전트가 워크플로 내에서 나중에 다시 호출될 때, 시스템은 고정 컨텍스트를 처음부터 다시 계산해야 합니다. 이러한 반응적 접근 방식은 에이전트 재사용의 높은 예측성을 활용하지 못하여 상당한 중복 계산과 지연 시간 증가를 초래합니다.

식별된 핵심 과제는 다음과 같습니다:

1. 의미론적 격차(Semantic Gap): 서빙 엔진은 무엇이 캐싱되었는지는 알지만, 그것이 어떤 에이전트에 의해 생성되었는지 또는 언제 재사용될지는 알지 못합니다.
2. 동적 실행(Dynamic Execution): 현대적인 에이전트 프레임워크(예: AutoGen, LangGraph)는 LLM 추론을 통해 런타임에 동적으로 다음 에이전트를 결정하므로, 정적인 워크플로 그래프나 사전에 선언된 실행 경로를 신뢰할 수 없거나 사용할 수 없습니다.
3. 지연 시간 제약(Latency Constraints): 캐시 방출은 서빙의 크리티컬 패스(critical path)에서 발생합니다. 무거운 특징 추출이나 추론을 요구하는 복잡한 학습 기반 예측 모델은 이 문맥에 너무 느립니다.

방법론: CacheScout

저자들은 에이전트 프레임워크와 서빙 엔진 사이를 연결하는 가볍고 에이전트 인지적인 KV-캐시 런타임 레이어인 CacheScout를 제안합니다. CacheScout는 서빙 엔진의 핵심을 수정하거나 오프라인 학습을 요구하는 대신, 캐시 방출 및 프리페칭(prefetching)을 가이드하기 위해 온라인으로 실행 의미론을 학습하는 독립적인 런타임으로서 작동합니다.

주요 구성 요소

1. 전이 학습기 (Transition Learner):

   • 에이전트 실행을 **온라인 1차 마르코프 체인(first-order Markov chain)**으로 모델링합니다.
   • 프롬프트 프리픽스의 핑거프린팅을 통해 현재 에이전트를 식별함으로써 런타임 디스패치를 관찰합니다.
   • 관찰된 모든 에이전트 $i$에서 $j$로의 전이에 대해 전이 카운터($C_{ij}$)를 업데이트합니다.
   • 오프라인 학습이나 사전 정의된 그래프 없이 전이 확률 $P_{ij}$를 계산합니다.

2. 생존 확률 스코어러 (Survival-Probability Scorer):

   • 캐싱된 에이전트 앵커 중 어떤 것을 유지할지 결정하기 위해 생존 확률(다음 $K$ 단계 내에 재사용될 가능성)을 추정합니다.
   • 전이 행렬에서 유도된 희소 실행 그래프(sparse execution graph) 상의 **너비 우선 탐색(BFS)**을 사용하여 이 확률을 근사합니다(낮은 신뢰도의 엣지를 가지치기함).
   • 현재 에이전트로부터의 홉(hop) 거리에 기반하여 생존 점수를 계산합니다. 실행 그래프에서 가까운 앵커일수록 높은 점수를 받습니다.
   • 이 점수를 최신성 신호 및 블록의 재구성 비용(토큰 수)과 결합하여 방출 후보의 순위를 매깁니다. 실행이 예측 불가능해지면 정책은 LRU로 부드럽게 퇴보합니다.

3. 백그라운드 프리페치 코디네이터 (Background Prefetch Coordinator):

   • 요청 사이의 유휴 시간 동안 가치가 높은 에이전트 앵커를 선제적으로 워밍업합니다.
   • 예측된 에이전트의 재사용 가능한 앵커(시스템 프롬프트 + 도구)만을 포함하고 max_tokens=1인 가벼운 "워밍업 요청"을 발행합니다.
   • 이를 통해 서빙 엔진의 표준 프리필(prefill) 파이프라인을 트리거하여 크리티컬 패스 밖에서 KV 블록을 재구성함으로써, 실제 요청이 도착하기 전에 준비되도록 합니다.
   • 적응형 게이팅 메커니즘을 포함합니다: 실행 예측성 지표($R$)가 임계값을 초과할 때만 프리페칭을 활성화하여, 무작위 워크플로에 대한 GPU 사이클 낭비를 방지합니다.

주요 기여

• 새로운 과제 식별: 본 논문은 기존의 반응적 프리픽스 캐시가 에이전트 수준의 의미론적 인식이 부족하여 동적인 멀티 에이전트 워크플로에서의 미래 에이전트 재사용을 활용할 수 없음을 강조합니다.
• 에이전트 인지 런타임 레이어: 서빙 엔진의 핵심을 수정하지 않고도 하부 추론 스택을 제어할 수 있는, 서빙 엔진과 분리된 CacheScout라는 에이전트 인지 런타임 레이어를 제안합니다.
• 온라인 학습 및 예측: 정적 워크플로 그래프나 오프라인 학습 없이 가벼운 마르코프 체인을 통해 실행 전이를 온라인으로 학습하는 설계를 제공합니다.
• 생존 가이드 방출 및 프리페칭: 예측된 재사용 확률에 따라 블록의 우선순위를 정하는 스코어링 메커니즘과 비동기적으로 작동하는 백그라운드 프리페칭 전략을 구현합니다.

결과

저자들은 vLLM 상단에 CacheScout를 구현하였으며, Llama-3.1-8B-Instruct를 사용하여 네 가지 실제 멀리 에이전트 워크로드(GSM8K, MT-Bench, GAIA, SWE-bench)에 대해 vanilla vLLM 및 Continuum(TTL 기반 고정 기능을 사용하는 베이스라인)과 비교 평가하였습니다.

• KV-캐시 히트율: 10–18 퍼센트 포인트 개선되어, 모든 워크로드에서 81–85%에 도달했습니다.
• 지연 시간 (Latency):
  • 평균 첫 토큰 생성 시간(TTFT)을 18–45% 단축했습니다.
  • 평균 턴당 지연 시간(Mean Per-Turn Latency)을 29–38% 단축했습니다.
• 처리량 (Throughput): 피크 처리량을 최대 57% 증가시켰습니다. 동일한 지연 시간 예산 하에서, CacheScout는 vanilla vLLM보다 1.7–12배 더 많은 부하를 지속할 수 있었습니다.
• 확장성 (Scalability): 이점은 더 큰 모델에서도 일반화되었습니다. Qwen3-235B-A22B(235B 파라미터)에서 CacheScout는 TTFT를 33–54% 감소시켰고 37% 더 높은 처리량을 유지했습니다.
• 오버헤드 (Overhead): 런타임 상태는 매우 작으며(<25 KB), 핫 패스(hot-path) 연산은 마이크로초 단위의 미미한 오버헤드만을 발생시켜 서빙 크리티컬 패스에 영향을 주지 않습니다.

의의

본 논문은 **에이전트 실행 의미론(agent execution semantics)**을 KV-캐시 관리에 통합하는 것이 효율적인 멀티 에이전트 LLM 서빙을 위한 효과적이고 실용적인 접근 방식임을 입증합니다. 반응적인 콘텐츠 기반 캐싱에서 선제적인 의미론 인지 관리로 전환함으로써, 시스템은 중복된 프리필 계산을 크게 줄입니다. 이 연구는 멀티 에이전트 시스템의 실행 구조가 온라인으로 학습 가능하며, 정적인 워크플로 정의가 없더라도 예측 가능한 수준임을 보여줍니다. 이러한 접근 방식은 복잡하고 동적인 AI 에이전트 배포를 위해 훨씬 높은 처리량과 낮은 지연 시간을 달성할 수 있는 경로를 제시합니다.