기술 요약: CacheTTL

문제 정의

대형 언어 모델 (LLM) 추론 엔진은 현재 키 - 밸류 (KV) 캐시 관리를 위해 "턴 종료 (end-of-turn)" 방식의 폐기 정책을 의존하고 있습니다. 이러한 시스템에서는 요청이 디코딩을 완료하면, 새로운 들어오는 요청을 위한 GPU 메모리 활용도를 극대화하기 위해 해당 요청의 KV 캐시가 GPU 메모리에서 폐기됩니다. 표준 멀티턴 챗봇에는 효과적이지만, 이 정책은 ReAct 패러다임을 따르는 에이전트 워크로드(예: 소프트웨어 엔지니어링 에이전트, 도구 사용 에이전트) 에서는 실패합니다.

에이전트 워크플로우에서는 추론 단계가 외부 도구 호출과 교차하여 수행됩니다. 이러한 도구 호출은 인간의 타이핑 속도보다 짧은 경우가 많지만, 표준 엔진에서 KV 캐시 폐기를 유발할 만큼 충분히 긴 지연 시간을 초래합니다. 에이전트가 도구 호출에서 복귀하여 다음 추론 단계를 시작할 때, 시스템은 다음 두 가지 중 하나를 선택해야 합니다:

1. 재계산: 프리필 (prefill) 을 통해 프록시를 재계산하여 상당한 지연 시간을 초래합니다.
2. 재로딩: CPU 메모리에서 KV 캐시를 다시 로드합니다 (오프로딩이 활성화된 경우). 이는 턴별 대기 지연을 도입합니다. 재로딩이 빠르더라도, 요청은 다른 활성 요청들이 GPU 메모리를 해제할 때까지 큐에서 기다려야 합니다.

기존 솔루션들은 이를 전체적으로 해결하지 못합니다:

• InferCept는 재로딩 비용을 고려하지만, 누적되는 턴별 대기 지연을 무시하며 가변적인 도구 지속 시간에 대한 견고성이 부족합니다.
• Autellix와 Pie는 정적 워크플로우에 초점을 맞추거나 동적 도구 호출을 위한 구체적인 유지 정책을欠缺합니다.
• 정적 유지 전략은 도구 호출이 예상보다 오래 걸릴 경우 GPU 메모리 교착 상태를 초래할 위험이 있습니다.

핵심적인 과제는 예측 불가능한 도구 실행 시간 동안 GPU 메모리를 독점하지 않으면서도 재계산과 대기 지연을 피할 수 있도록 KV 캐시를 충분히 오래 유지하는 것입니다.

방법론: CacheTTL

저자들은 KV 캐시 유지를 위한 시간 제한 (Time-to-Live, TTL) 메커니즘을 도입하는 CacheTTL이라는 서빙 시스템을 제안합니다. 즉각적인 폐기 대신, CacheTTL 은 계산된 기간 동안 GPU 메모리에 KV 캐시를 선택적으로 고정 (pin) 합니다.

1. 비용 - 편익 유틸리티 모델

CacheTTL 은 캐시 유지 비용과 폐기 방지 편익 사이의 트레이드오프를 모델링하여 최적의 TTL($\tau$) 을 결정합니다.

• 비용 ($Cost(\tau, r)$): GPU 메모리를 점유함으로써 발생하는 기회 비용으로, 요청의 메모리 사용량을 활성 요청들의 평균 메모리 발자국으로 나눈 값에 TTL 지속 시간 ($\tau$) 을 곱하여 계산됩니다. 이는 고정된 캐시에 의해 차단된 다른 요청들에 추가되는 지연 시간을 나타냅니다.
• 편익 ($Benefit(r)$): 방지된 두 가지 비용의 합입니다:
  1. CacheMissCost: KV 캐시를 재구성 (prefill) 하거나 CPU 에서 다시 로드하는 데 필요한 시간.
  2. OutofOrderCost: 요청이 폐기되어 GPU 메모리가 사용 가능해질 때까지 큐에서 기다려야 하는 경우 발생하는 턴별 대기 지연입니다. 이 항은 결정적이며 InferCept 와 같은 이전 작업과 CacheTTL 을 구분합니다. 이는 **기억성 계수 ($\eta$)**로 스케일링되는데, 이는 남은 단계의 수가 현재 진행도와 어떻게 상관관계가 있는지를 측정합니다 (예: 고정 길이 프로그램은 높은 기억성을 가짐).

2. TTL 계산

시스템은 기대 순 편익을 최대화함으로써 최적의 TTL($\tau^*$) 을 계산합니다:
$$\tau^* = \arg\max_{\tau} \left( P(\tau, f) \times Benefit(r) - Cost(\tau, r) \right)$$
여기서 $P(\tau, f)$는 도구 호출 $f$가 시간 $\tau$ 내에 완료될 확률로, 과거 도구 호출 기록에서 얻은 경험적 누적 분포 함수 (CDF) 를 사용하여 추정됩니다.

• 콜드 스타트 처리: 역사적 데이터가 부족할 때, CacheTTL 는 지수 분포 가정이나 전역 평균에서 유도된 고정 TTL 로 기본값을 설정합니다.
• 견고성: 도구 호출이 TTL 을 초과하면 KV 캐시가 자동으로 폐기되어 무기한 메모리 점유와 잠재적 교착 상태를 방지합니다.

3. 스케줄링 및 시스템 설계

• 프로그램 수준 FCFS: CacheTTL 은 TTL 을 프로그램 수준(요청 수준이 아님) 의 선착순 (First-Come-First-Serve, FCFS) 정책과 결합합니다. 이는 동일한 에이전트 프로그램에 속한 요청들이 연속성을 유지하도록 우선순위를 보장합니다.
• TTL 인지 우선순위: 스케줄러는 다중 키 우선순위 튜플을 할당합니다:
  1. 선점 (Preempted) 상태.
  2. TTL 상태: 활성 TTL(고정됨) 을 가진 요청은 고정되지 않은 요청보다 우선순위가 높습니다.
  3. 프로그램 수준 도착 시간.
• 구현: vLLM 위에 구축되었으며 모듈식 도구 호출 핸들러를 포함합니다. 이 핸들러는 도구 호출을 식별하기 위해 LLM 출력을 구문 분석하고, 요청 간 간격을 기록하며, TTL 값을 스케줄러에 전달합니다. 이 설계는 최소한의 오버헤드 (~1,000 줄의 Python) 를 추가하며 CPU/SSD 오프로딩과 호환됩니다.

주요 기여

1. 문제 식별: 본 논문은 기존 KV 캐시 폐기 정책이 턴별 대기 지연과 도구 호출 지속 시간의 변이성을 무시함으로써 에이전트 성능을 저하시킨다고 지적합니다.
2. CacheTTL 시스템: TTL 메커니즘을 활용하여 KV 캐시를 동적으로 유지하는 새로운 서빙 시스템입니다. 프리필/재로딩 비용과 메모리 경합 비용 사이의 균형을 맞춥니다.
3. 새로운 비용 모델: 폐기의 큐잉 지연 패널티를 정량화하는 OutofOrderCost 항과 다양한 워크로드 구조에 적응하기 위한 기억성 계수의 도입.
4. 견고성: 시스템은 최대 유지 시간을 강제하여 교착 상태와 메모리 압력을 방지함으로써 예측 불가능한 도구 지속 시간을 처리합니다.

실험 결과

저자들은 다양한 하드웨어 (A100, H100, B200) 에서 SWE-Bench, BFCL, OpenHands 워크로드에 대해 Llama-3.1 (8B/70B), Gemma-3 (12B), **GLM-4.5 (355B)**를 사용하여 CacheTTL 을 평가했습니다.

• 지연 시간 감소: CacheTTL 은 기준선 (vLLM, Autellix, InferCept) 대비 평균 작업 완료 시간을 1.12 배에서 3.66 배까지 단축합니다. A 사의 내부 테스트베드에서 수행된 실제 SWE-agent 테스트에서는 지연 시간에서 최대 8.18 배의 개선을 달성했습니다.
• 처리량: 처리량은 1.10 배에서 3.22 배 향상되었습니다.
• 견고성: 시스템은 턴 수가 증가함에 따라 안정적인 성능을 유지하는 반면, 기준선들은 누적된 대기 지연으로 인해 성능이 크게 저하됩니다.
• 호환성: CacheTTL 은 CPU 및 SSD 오프로딩과 결합되더라도 기준선보다 우수한 성능을 발휘하여, 그 스케줄링 이점이 메모리 오프로딩 기술과 직교함을 입증합니다.
• 오버헤드: 스케줄링 오버헤드는 무시할 수 있을 정도로 작습니다 (한 자릿수 밀리초) 로, 종단 간 지연 시간 절감에 비해 미미합니다.

중요성과 주장

본 논문은 CacheTTL이 멀티턴 에이전트 워크로드를 위해 특별히 설계된 최초의 견고하고 도구 인지형 KV 캐시 관리 전략을 제공한다고 주장합니다. "턴 종료" 폐기에서 TTL 기반 유지 정책으로 전환함으로써, 이 시스템은 LLM 추론과 외부 도구 실행 사이의 간극을 효과적으로 연결합니다.

저자들은 그들의 접근 방식이 모듈식이며 기존 추론 엔진에 최소한의 변경으로 통합될 수 있음을 강조합니다. 그들은 원칙적이고 도구 인지형 KV 관리가 에이전트 워크플로우가 더 복잡하고 멀티턴으로 발전함에 따라 효율적인 에이전트 서빙의 미래에 필수적이라고 주장합니다. 논문은 에이전트 서빙에 대한 추가 연구를 장려하기 위해 트레이스, 코드, 테스트베드를 오픈소스로 공개한다고 결론지었습니다.