기술 요약: 에이전트 LLM 서빙을 위한 정책 주도형 런타임 레이어

1. 문제 제기

다중 에이전트 대규모 언어 모델 (LLM) 시스템이 주된 생산 워크로드로 자리 잡았음에도, 기존 서빙 스택은 그 요구사항과 구조적으로 정렬되지 않았습니다. 현재 시스템은 2 계층 구조로 운영됩니다:

1. 에이전트 프레임워크 (상위): 에이전트 식별자, 역할 스키마, 분배 로직을 관리하는 AutoGen, LangGraph, MetaGPT 등의 시스템입니다. 이들은 LLM API 호출을 생성하지만 토큰 생성이나 KV 캐시 상태와 같은 엔진 레벨 이벤트에는 무관합니다.
2. 서빙 엔진 (하위): 프리필링, 배치 처리, 토큰 생성을 처리하는 vLLM 또는 SGLang 등의 엔진입니다. 이들은 모든 이벤트를 관찰하지만 에이전트 식별자나 다중 에이전트 워크플로우의 의미론적 구조에 대한 지식은 없습니다.

이 "이음새"는 **교차 정책 (cross-cutting policies)**에 치명적인 간극을 만듭니다. KV 캐시 제거, 배치 형태 조정, 예측 실행, 공정성, 안전성 강제와 같은 많은 최적화 전략은 에이전트 식별 메타데이터(프레임워크에서) 와 엔진 레벨 이벤트(서빙 엔진에서) 에 대한 동시 접근이 필요합니다. 현재 이러한 정책들은 프레임워크나 엔진 중 하나에 "일회성 패치"로 구현됩니다. 이 접근 방식은 취약하고 비모듈적이며 최적의 의사결정에 필요한 전체 컨텍스트를 활용하지 못합니다.

2. 방법론: 에이전트 런타임 레이어

저자들은 프레임워크와 서빙 엔진 사이에 세 번째 계층인 에이전트 런타임 레이어를 삽입하는 구조적 개입을 제안합니다. 이 레이어는 교차 에이전트 메타데이터를 소유하고 안정적이면서 정책과 무관한 인터페이스를 노출하는 기저 (substrate) 역할을 합니다.

네 가지 원시 연산 (Primitives)

이 레이어는 에이전트 인식 정책이 플러그인할 수 있는 네 가지 일반적 원시 연산을 정의합니다. 이러한 원시 연산은 에이전트 식별자를 공유 좌표로 하여 관찰 (observe) → 점수 매기기 (score) → 예측 (predict) → 행동 (act) 피드백 루프를 형성합니다:

1. observe(event): 런타임은 이웃 (예: 블록 터치, 요청 도착, 도구 반환) 으로부터 정책 관련 이벤트를 수신합니다. 이는 에이전트 식별자로 태그된 내부 상태를 업데이트합니다.
2. score(item): 런타임은 이웃이 결정 (예: 어떤 KV 블록을 제거할지, 어떤 요청을 허용할지) 을 순위 매기는 데 사용하는 항목별 우선순위를 반환합니다.
3. predict(horizon): 런타임은 미래 에이전트 활동 (예: 다음 에이전트 역할, 다음 도구 호출) 에 대한 확률적 예상을 반환합니다.
4. act(side_effect): 런타임은 이웃에게 임계 경로 외부의 부수 효과 (예: 캐시 웜업, 가중치 사전 로드, 예측 호출 헤징) 를 발행합니다. 이는 이웃 상태를 변경하는 유일한 원시 연산입니다.

사례 연구: CacheSage

이 추상화를 검증하기 위해 저자들은 즉시 서빙 비용에 가장 큰 영향을 미치는 정책인 KV 캐싱을 위해 이 레이어를 구체화했습니다. 저자들은 CacheSage를 도입했는데, 이는 다음 세션이 도착하기 전에 반응형 접두사 캐시가 "에이전트 앵커"(시스템 프롬프트 및 도구 정의) 를 삭제하는 문제를 해결합니다.

CacheSage 는 세 가지 구성 요소를 통해 네 가지 원시 연산을 구현합니다:

• 전이 학습기 (observe): 온라인으로 1 차 마르코프 전이 행렬을 계산하기 위해 에이전트 전이 횟수 ($n(a', a)$) 의 슬라이딩 윈도우를 유지합니다. 콘텐츠 해싱을 통해 "에이전트 앵커"(시스템 + 도구) 를 식별합니다.
• 생존 확률 스코어러 (score): 에이전트가 다음 $K$단계 내에서 실행될 확률을 근사합니다. 비싼 정확한 계산 대신 임계값이 적용된 방향 비순환 그래프 (DAG) 와 너비 우선 탐색 (BFS) 을 사용하여 "홉 수 (hop count)" 프록시를 계산합니다. 이 점수는 엔진의 기존 최근성 시계와 결합되어 제거 우선순위를 결정합니다.
• 세션 간 프리페치 (predict + act): 스케줄러 단계 사이에서 런타임은 다음 에이전트 ($a^*$) 를 예측하고 "웜업" 요청을 발행합니다. 이 요청은 예측된 에이전트의 앵커에 대한 KV 캐시를 채우기 위해 시스템 프롬프트와 최소한의 사용자 메시지만 포함하며 전체 세션별 콘텐츠를 주입하지 않습니다.

3. 주요 기여

1. 에이전트 런타임 레이어: 서빙 스택을 위한 제안된 세 번째 계층으로, 네 가지 원시 연산 인터페이스 (observe, score, predict, act) 를 노출합니다. 저자들은 KV 캐싱, 도구 결과 메모이제이션, 배치 형태 조정, 공정성 등 9 가지 다양한 에이전트 인식 정책을 이 인터페이스에 매핑하여, 모두 에이전트 식별 태그가 지정된 이벤트에 대한 동일한 구조적 필요를 공유한다고 주장합니다.
2. CacheSage: KV 캐싱을 위한 레이어의 구체적인 구현입니다. 이는 워크로드별 에이전트 전이 행렬을 온라인으로 학습하고 이를 생존 기반 제거 및 단계 간 프리페치에 사용합니다. 이는 바운드된 상태 (워크로드당 $\le$ 20 KB) 로 작동하며 구조가 학습되지 않을 경우 표준 LRU 로 우아하게 대체됩니다.
3. 실증적 검증: MMLU, MT-Bench, GAIA, GSM8K, HumanEval 등 5 가지 실제 다중 에이전트 워크로드에 대한 예비 결과를 통해 접근법의 유효성을 입증했습니다.

4. 결과

실험은 NVIDIA H100 GPU 에서 Llama-3.1-8B-Instruct 를 사용하여 vLLM 및 Continuum 과 CacheSage 를 비교했습니다.

• 캐시 히트율: 모든 5 개 워크로드에서 vLLM 대비 CacheSage 는 캐시 히트율이 +13 에서 +37 퍼센트 포인트 (pp) 증가했습니다. 이는 반응형 캐시가 일반적으로 제거하는 세션 경계 간 에이전트 앵커를 유지하기 때문입니다.
• 지연 시간: 평균 첫 번째 토큰 도달 시간 (TTFT) 및 턴별 엔드투엔드 지연 시간이 12% 에서 29% 감소했습니다.
• 처리량: 시스템 처리량이 6% 에서 14% 증가했습니다.
• 오버헤드: 핫 경로 오버헤드는 무시할 수준입니다. observe 함수는 블록 터치당 $\sim1 \mu s$에서 실행되며 스코어러는 한 자릿수 마이크로초에서 실행됩니다. 조정기 상태는 25 KB 미만으로 유지됩니다.

특히, TTL 핀을 사용하는 기존 Continuum 시스템은 세 가지 실제 작업 워크로드에서 히트율을 9–23 pp 감소시켰는데, 이는 정적 정책과 런타임 레이어의 적응적 특성 간의 트레이드오프를 강조합니다.

5. 중요성 및 주장

이 논문은 에이전트 프레임워크와 서빙 엔진 사이의 "이음새"는 점진적인 개별 수정이 아닌 구조적 변경으로 해결하는 것이 가장 좋다고 주장합니다.

• 모듈성: 네 가지 원시 연산 인터페이스는 서로 다른 정책들이 동일한 관찰 스트림을 공유하고 각 정책마다 새로운 엔진 수정이 필요 없이 동일한 원시 연산에 대해 구성되도록 합니다.
• 일반성: 이 레이어는 프레임워크와 무관하며 (AutoGen, LangGraph 등 지원) 엔진 이식성이 있어, 깊은 내부 수정이 아닌 특정 후크만 필요합니다.
• 간극의 검증: KV 캐싱에서 상당한 성능 향상을 입증함으로써, 저자들은 구조적 간극이 실제 존재하며 에이전트 런타임 레이어가 효율적인 에이전트 LLM 서빙에 필수적인 구성 요소라고 주장합니다.

저자들은 현재 작업의 범위에 대해 겸손하게, CacheSage 가 추상화를 검증하지만 레이어에 매핑된 나머지 여덟 가지 정책 (예: 도구 결과 메모이제이션, 예측 에이전트 실행, 공정성 등) 은 향후 작업을 위한 열린 과제로 남아 있다고 언급합니다. 주요 기여는 모든 정책 구현의 완성이 아닌 인터페이스와 구조적 논증입니다.