Don't Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks

기술 요약: 캐시를 깨뜨리지 마라: 장기 지평 에이전트 과업을 위한 프롬프트 캐싱 평가

문제 정의

최근 대규모 언어 모델(LLM) 에이전트의 발전은 심층 연구 및 자율 코딩과 같이 광범위한 도구 호출(tool calling)을 포함하는 복잡한 다회차(multi-turn) 에이전트 과업을 가능하게 했습니다. 이러한 워크플로우는 종종 수십 번의 API 호출을 수반하며, 컨텍스트 윈도우에 수만 개의 토큰이 누적되어 상당한 운영 비용과 지연 시간(latency) 오버헤드를 발생시킵니다. OpenAI, Anthropic, Google과 같은 주요 LLM 제공업체들은 이전에 계산된 키-값(KV) 텐서를 재사용하여 중복 계산을 줄이는 프롬프트 캐싱 기능을 제공하지만, 이러한 기능들이 에이전트 워크로드에서 갖는 구체적인 이점에 대해서는 아직 충분히 탐구되지 않았습니다. 기존 문헌은 추론 수준의 메모리 관리나 보안 감사에 집중되어 있으며, 동적인 다회차 세션을 위한 캐싱 전략의 비용 절감 효과나 비교 평가에 대한 정량적 분석은 부족한 실정입니다.

방법론

저자들은 OpenAI, Anthropic, Google의 세 가지 주요 LLM 제공업체를 대상으로 프롬프트 캐싱에 대한 포괄적인 평가를 수행했습니다. 연구에는 네 가지 플래그십 모델인 GPT-5.2, GPT-4o (OpenAI), Claude Sonnet 4.5 (Anthric), Gemini 2.5 Pro (Google)가 사용되었습니다.

실험 설정:

• 벤치마크: 본 평가는 에이전트가 복잡한 박사급 연구 질문에 답하기 위해 실제 웹 검색 도구 호출을 자율적으로 실행하는 다회차 에이전트 벤치마크인 DeepResearch Bench를 사용했습니다.
• 규모: 본 연구는 10,000 토큰 규모의 시스템 프롬프트를 포함하는 500개 이상의 에이전트 세션에 걸쳐 진행되었습니다. 각 모델은 캐시 조건당 40개의 독립적인 세션으로 테스트되었습니다.
• 캐시 전략: 저자들은 고유 식별자(UUID)를 사용하여 캐시 경계를 정밀하게 제어하는 네 가지 별도의 조건을 구현하고 비교했습니다:
  1. 캐시 없음 (Baseline): 시스템 프롬프트 앞에 UUID를 추가하여 모든 토큰의 재계산을 강제함으로써, 동적 콘텐츠(예: 타임스탬프)로 인해 캐시가 깨지는 시나리오를 시뮬레이션했습니다.
  2. 전체 컨텍스트 캐싱 (Full Context Caching): UUID를 추가하지 않아, 제공업체의 자동 캐싱 메커니즘이 동적인 도구 결과(tool results)를 포함한 전체 대화 이력에 대해 작동하도록 허용했습니다.
  3. 시스템 프롬프트 전용 캐싱 (System Prompt Only Caching): 시스템 프롬프트 끝에 UUID를 추가하여, 정적인 시스템 지침만 캐싱되도록 보장하고 동적인 대화 이력 및 도구 결과는 재계산되도록 했습니다.
  4. 도구 결과 제외 캐싱 (Exclude Tool Results Caching): 시스템 프롬프트 뒤와 각 도구 결과 뒤에 UUID를 추가하여, 동적인 도구 출력이 캐시에 들어가는 것을 명시적으로 방지했습니다.

지표:
본 연구는 API 비용(표준, 캐시 읽기, 캐시 쓰기 토큰 구분)과 주요 지연 시간 지표인 **첫 번째 토큰 생성 시간(TTFT)**을 측정했습니다. 통계적 유의성은 독립 표본 t-검정($\alpha = 0.05$)을 사용하여 결정되었습니다.

주요 기여

1. 최초의 정량적 평가: 본 연구는 여러 제공업체와 모델에 걸쳐 장기 지평 에이전트 과업에 대한 프롬프트 캐싱의 이점을 최초로 종합적으로 정량화했습니다.
2. 전략 비교: 단순한 전체 컨텍스트 캐싱과 전략적 경계 제어 방법(시스템 프롬프트 전용, 도구 결과 제외)을 비교하여, "단순한(naive)" 접근 방식이 역효効적일 수 있음을 밝혀냈습니다.
3. 제공업체 간 차이: 본 연구는 제공업체가 동적 콘텐츠를 처리하는 방식과 그에 따른 지연 시간 및 비용에 미치는 영향에 대해 제공업체마다 상당한 차이가 있음을 확인했습니다.
4. 절제 연구(Ablation) 통찰: 프롬프트 크기(50050,000 토큰)와 도구 호출 횟수(350회)에 대한 절제 연구를 통해, 제공업체별 토큰 최소 기준을 충족한 이후에는 보편적인 선형적 비용 및 TTFT 이점이 나타남을 입증했습니다.

결과

평가 결과 세 가지 주요 발견 사항이 도출되었습니다:

• 상당한 비용 절감: 프롬프트 캐싱은 모든 제공업체와 모델에서 API 비용을 41%에서 80%까지 일관되게 감소시켰습니다. 이러한 절감의 주요 동력은 크고 안정적인 시스템 프롬프트의 캐싱이었습니다.
• 가변적인 지연 시간 개선: TTFT 개선 폭은 제공업체와 전략에 따라 13%에서 31% 사이였습니다. 그러나 지연 시간 이득은 균일하지 않았습니다. 예를 들어, 일부 모델(GPT-4o 등)의 경우 전체 컨텍스트 캐싱을 사용했을 때 **8.8%의 지연 시간 퇴보(regression)**가 발생했습니다.
• 전략적 경계 제어의 중요성: 본 연구는 전략적 프롬프트 캐시 블록 제어가 단순한 전체 컨텍스트 캐싱보다 우수하다는 것을 발견했습니다.
  • 시스템 프롬프트 전용 및 도구 결과 제외 전략이 가장 일관된 이점을 제공했습니다.
  • 전체 컨텍스트 캐싱은 이후 세션에서 재사용되지 않을 동적인 도구 호출 및 결과를 캐싱함으로써 역설적으로 지연 시간을 증가시키는 오버헤드를 초래하는 경우가 많았습니다.
  • GPT-4o의 경우, 최적의 전략(시스템 프롬프트 전용)은 TTFT를 30.9% 개선한 반면, 전체 컨텍스트 캐싱은 성능을 저하시켰습니다.

의의 및 주장

본 논문은 프로덕션 에이전트 시스템에 프롬프트 캐싱을 구현하기 위한 미묘한 가이드를 제공한다고 주장합니다. 저자들은 제공업체가 캐싱 메커니즘의 많은 부분을 추상화하고 있지만, 실무자는 반드시 캐시 경계에 대한 전략적 제어를 수행해야 한다고 강조합니다.

핵심 논거는 에이전트 워크로드처럼 컨텍스트가 동적이고 세션별로 특화된 경우, 전체 컨텍스트를 캐싱하는 것(단순한 접근 방식)이 해로울 수 있다는 것입니다. 대신, 실무자는 명시적인 경계(예: UUID)를 통해 안정적이고 재사용 가능한 콘텐츠(예: 시스템 프롬프트)만을 캐싱하고, 동적인 요소(도구 결과, 대화 이력)는 제외하도록 보장해야 합니다. 이 접근 방식은 재사용될 콘텐츠를 캐싱하는 데 따르는 오버헤드를 피함으로써 비용 효율성과 지연 시간 개선을 극대화합니다. 본 연구는 "최적의" 캐싱 전략이 제공업체마다 다르며 최적화 목표(비용 vs 지연 시간)에 따라 달라진다는 점을 강조하며, 엔터프라이즈급 에이전트 시스템을 최적화하기 위한 실질적인 가이드 역할을 합니다.