기술 요약: 캐시 인지형 프롬프트 압축 (CAPC)

문제 정의

현대의 대규모 언어 모델(LLM) 배포는 두 가지 별개의 비용 절감 프리미티브(primitive)에 점점 더 의존하고 있습니다: 프롬프트 캐싱(후속 읽기 시 할인된 요율을 적용하기 위해 접두사(prefix)의 KV-상태를 저장하는 것)과 프롬프트 압축(입력 토큰 수를 줄이는 것)입니다. 역사적으로 이러한 기술들은 별개의 최적화 기법으로 취급되어 왔습니다. 그러나 프롬프트 압축에 관한 기존 문헌의 주류는 쿼리 인지적(query-aware) 방식에 의존하며, 이는 모든 특정 쿼리에 대해 고유한 압축 접두사를 생성합니다.

이러한 설계 선택은 접두사 엄격 캐싱 메커니즘(예: Anthropic의 cache_control)과 근본적인 충돌을 일으킵니다. 압축된 접두사가 매 쿼리마다 변경되기 때문에, 캐시 키가 매 호출 시 무효화됩니다. 결과적으로 시스템은 매 요청마다 전체 비캐시 입력 요율을 지불하게 되며, 이는 압축과 캐싱 모두에서 얻을 수 있는 이익을 사실상 상쇄합니다. 기존 문헌은 종종 이상적인 캐시 적중률($\rho = 1.0$)을 가정하지만, 이러한 가정은 실제 API의 경제적 현실, 즉 쿼리 인지적 압축이 순 ROI(투자 수익률)를 마이너스로 만들 수 있다는 점을 간과합니다.

방법론 및 경험적 특성화

저자들은 경험적 측정, 비용 모델링, 알고리즘 설계를 결합하여 이 간극을 해결합니다.

1. Anthropic Sonnet 4.6의 경험적 특성화

논문은 먼저 통제된 실험($n=3$회 시행, 총 비용 $1.91)을 통해 Anthropic의 Sonnet 4.6 API 캐싱 동작을 특성화합니다. 주요 결과는 다음과 같습니다:

• 2계층 구조: 캐시는 균일하지 않습니다. 약 3,500 토큰 근처에서 급격한 임계값을 보입니다.
  • 핫 티어 (Hot Tier, < 3.5k 토큰): 적중률($\rho$)은 30회 호출 후에도 약 0.83(특히 2k 토큰의 경우 0.833)에서 정체됩니다. 1.0이 아닙니다.
  • 지속 티어 (Persistent Tier, > 3.5k 토큰): 두 번째 호출부터 적중률이 사실상 1.0입니다.
• 토큰 엄격 무효화: 캐시 무효화는 토큰 시퀀스에 엄격합니다. 단 하나의 문자 변화만으로도 캐시 미스가 발생하지만, 앞뒤 공백은 토크나이저에 의해 정규화됩니다.
• 가격 구조: API는 캐시 쓰기($c_w$)에 대해 비캐시 입력($p_{in}$)보다 높은 프리미엄을 부과하고, 캐시 읽기($c_r$)에 대해서는 상당한 할인을 제공합니다. Sonnet 4.6의 경우, $c_w \approx 1.25 \times p_{in}$ 이고 $c_r \approx 0.10 \times p_{in}$ 입니다.

2. 비용 모델링 및 교차 분석

저자들은 네 가지 전략에 대한 호출당 비용 모델을 도출합니다:

• A (Vanilla): 캐시 없음, 압축 없음.
• B (Cache-only): 전체 접두사 캐싱, 압축 없음.
• C (Query-aware Compression): 쿼리별로 압축, 캐시 없음 (매번 캐시 미스 발생).
• D (CAPC): 쿼리 불가지론적(Query-agnostic) 압축 + 캐싱.

모델은 캐싱(전략 B)의 비용과 쿼리 인지적 압축(전략 C)의 비용이 같아지는 교차 임계값($\rho_{cross}$)을 정의합니다:
$$\rho_{cross}(r) = \frac{c_w - p_{in}/r}{c_w - c_r}$$
분석 결과, 높은 압축률($r \ge 6$)에서 캐싱(전략 B)이 쿼리 인지적 압축(전략 C)보다 저렴해지기 위해 필요한 적중률은 Sonnet 4.6 핫 티어의 경험적 정체 지점($\rho \approx 0.89$)을 초과합니다. 따라서 현실적인 조건 하에서 쿼리 인지적 압축은 단순 캐싱보다 저렴한 경우가 많으며, 이는 기존의 통념을 뒤집습니다.

3. CAPC 알고리즘

제안된 솔루션인 **캐시 인지형 프롬프트 압축(CAPC)**은 세 가지 구성 요소를 결합합니다:

1. 쿼리 불가지론적 압축: 정적 문서(예: 문장 선택 방식)를 고정된 접두사 $D'$로 한 번 압축하여, 쿼리가 바뀌어도 캐시 키가 일정하게 유지되도록 합니다.
2. 계층 보존 비율 제한 (Tier-Preserving Ratio Bound): 과도한 압축으로 인해 접두사가 "핫 티어"($\rho < 1$)로 밀려나는 것을 방지하기 위해, 압축률 $r$을 $r_{max} = \lfloor |D| / 3500 \rfloor$로 제한합니다. 이를 통해 압축된 접두사가 지속 티어($\rho \approx 1.0$)에 머물도록 보장합니다.
3. AdaptiveCacheBoundary: 진화하는 문서를 위해, 변이율에 따라 문장 위치를 STATIC, QUASI, DYNAMIC으로 분류하고 안정적인 접두사만을 캐싱하는 서브루틴을 사용합니다.

주요 결과

1. LongBench-v2 합성 벤치마크

16개 구성(4개 문서 크기 $\times$ 4개 비율)에 대해, CAPC는 16/16 케이스 모두에서 가장 저렴한 전략이었습니다.

• 절감 효과: 캐시 전용 대비 평균 49%, 쿼리 인지적 압축 대비 64%, Vanilla 대비 **90%**의 절감을 달성했습니다.
• 품질: 계층 보존 비율에서 CAPC는 압축되지 않은 베이스라인 대비 0.05 이내의 품질을 유지했습니다.
• 교차 검증: $r=6$에서 쿼리 인지적 압축이 캐시 전용보다 저렴하다는 결과가 4/4 구성 모두에서 나타났으며, 이는 교차 모델의 예측을 입증합니다.

2. 프로덕션 검증: 엔터프라이즈 도구 사용 어시스턴트

94k 토큰의 정적 접두사(시스템 프롬프트 + 287개 MCP 도구 정의)를 통해 검증되었습니다.

• 비용 절감: $r=3$일 때 CAPC는 Vanilla 대비 51.7%의 비용 절감을 달ر성했습니다.
• 품질: 도구 선택 품질이 캐시 전용과 일치했습니다 (0.700 vs 0.703).
• 통찰: $r=3$일 때 쿼리 인지적 압축은 쿼리와 관련된 도구 정의를 버리기 때문에 도구 선택 성능이 오히려 저하되었습니다 (0.603). CAPC의 쿼리 불가지론적 접근 방식은 전체 카탈로그를 보존함으로써 도구 증강 에이전트에 더 우수함을 입증했습니다.
• 암묵적 캐싱: 연구 결과, Anthropic은 명시적인 마커 없이도 큰 tools= 배열을 암묵적으로 캐싱하며, 이는 Vanilla 전략의 명시적 캐싱 이득을 줄이지만 CAPC의 압축 이득을 무효화하지는 않는다는 것을 보여주었습니다.

3. 지식 그래프 RAG (Graphify)

코드베이스 인덱싱(FastAPI 및 httpx 리포지토리)을 위한 graphify와 통합되었습니다.

• 아키텍처: 레이어 1(캐시됨, 쿼리 불가지론적)은 그래프 메타데이터를 포함하며, 레이어 2(쿼리별)는 소스 코드를 가져옵니다.
• 성능: CAPC는 "캐시-올(cache-all)"(전체 그래프 스켈레톤) 방식에 비해 FastAPI에서는 9.3배, httpx에서는 2.4배의 비용 절감을 달성하면서도 안정적인 85%+ 캐시 적중률을 유지했습니다.
• 품질: CAPC는 특히 모델의 사전 지식이 약한 코드베이스(httpx)에서 Vanilla 및 임베딩-RAG 베이스라인보다 뛰어난 성능을 보이며, Vanilla 대비 142%의 품질 향상을 달성했습니다.

4. 공개 벤치마크: $\tau$-Bench Retail

데이터베이스 상태 보상을 사용하는 50개의 결정론적 태스크에서 평가되었습니다 (LLM 판정자 없음).

• 결과: CAPC는 가장 저렴한 전략이었으며, Vanilla 대비 **7.9%**의 비용을 절감하면서도 Vanilla와 정확히 동일한 태스크 완료율(36/50)을 달성했습니다 ($z=0.00, p=1.00$).
• 쿼리 인지적 방식의 부정적 ROI: 쿼리 인지적 압축은 Vanilla보다 40.1% 더 비쌌으며, 이는 쿼리 인지적 방식이 공개 벤치마크에서 부정적 ROI를 가질 수 있음을 보여주는 첫 번째 프로덕션 확인 사례입니다.

의의 및 주장

본 논문은 이상적인 $\rho=1.0$ 가정을 넘어 프롬프트 캐싱 경제를 체계적으로 특성화한 첫 번째 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 경험적 실체: LLM 캐시가 특정 토큰 임계값 미만에서 비자명한 적중률 정체 지점을 갖는 2계층 구조를 가짐을 입증했습니다.
2. 이론적 역전: 높은 압축률에서 쿼리 인지적 압축이 단순 캐싱보다 저렴할 수 있음을 증명하여, 기존의 설계 계층 구조를 뒤집었습니다.
3. 실용적 알고리즘: 쿼리 불가지론적 압축을 명시적 캐싱 및 계층 보존 제약과 결합한 CAPC를 도입했습니다.
4. 프로덕션 검증: 합성 벤치마크, 엔터프라이즈 도구 사용 에이전트, 지식 그래프 RAG 파이프라인, 그리고 공개 결정론적 벤치마크를 통해 이러한 발견을 검증했습니다.

저자들은 CAPC가 인덱서(예: graphify)를 대체하는 것이 아니라, 인덱스에서 유도된 컨텍스트를 LLM에 전달하는 경제적 비용을 최적화하는 보완적인 "라스트 마일 전달(last-mile delivery)" 레이어임을 강조합니다. 논문의 모든 경험적 작업에 소요된 총 비용은 $98.96로, 이러한 발견이 적은 자원으로도 재현 가능하다는 것을 보여줍니다.