기술 요약: 검색 증강 생성을 위한 근거 기반 캐시 라우팅

문제 제기

현대적인 검색 증강 생성 (RAG) 시스템은 토큰 비용과 첫 번째 토큰 도착 시간 (TTFT) 을 줄이기 위해 캐싱을 점점 더 많이 활용하고 있습니다. 접두사 수준의 키 - 값 (KV) 재사용과 검색 결과 캐싱은 구성상 강력한 정확성 보장을 제공하지만, 출력 수준의 의미론적 답변 캐싱은 여전히 취약합니다. 단순한 의미론적 캐시는 다음과 같은 세 가지 주요 실패 모드를 겪습니다:

1. 참조 대상 이동 (Referent Shift): 문맥에 따라 의미적으로 유사한 쿼리가 서로 다른 올바른 답변으로 매핑될 수 있습니다.
2. 검색 드리프트 (Retrieval Drift): 기반 코퍼스가 업데이트됨에 따라 이전에 캐싱된 증거가 무효화되거나 변경될 수 있습니다.
3. 적대적 충돌 (Adversarial Collision): 악성 입력이 캐시된 응답을 장악할 수 있으며, 평가된 시나리오에서 보고된 장악률은 최대 86% 에 달합니다.

현재 시스템들은 종종 답변을 어떻게 더 빠르게 재사용할지에 중점을 두어, 언제 재사용이 안전한지에 대한 중요한 질문을 간과합니다. 본 논문은 엄격한 검증 없이는 의미론적 캐싱이 사용자가 캐시에서 잘못된 답변을 받는 "비안전 서비스율 (Unsafe-Served Rate, USR)"을 크게 증가시킨다고 주장합니다.

방법론: GroundedCache

저자들은 기존 서비스 스택 (예: vLLM, RAGCache) 위에 정책 계층으로 작용하는 증거 검증 캐시 라우터인 GroundedCache를 제안합니다. 의미적으로 유사한 쿼리에 대해 캐시된 답변을 맹목적으로 반환하는 대신, GroundedCache 는 네 가지 특정 "게이트"가 동시에 성립할 때만 캐시된 답변을 승인합니다.

네 가지 검증 게이트

캐시된 항목 $(q_c, a_c, \sigma_c)$과 새로운 쿼리 $(q, \sigma, C)$가 주어졌을 때, 라우터는 다음 조건이 충족될 때만 $a_c$를 승인합니다:

1. 쿼리 유사성 (G1): 새로운 쿼리 임베딩과 캐시된 쿼리 임베딩 간의 코사인 유사도가 임계값 ($\tau_q$) 을 초과해야 합니다.
2. 증거 중첩 (G2): 새로운 증거 시그니처 (청크 해시 집합) 와 캐시된 시그니처 간의 자카드 유사도가 임계값 ($\tau_e$) 을 초과해야 합니다.
3. 소스 버전 유효성 (G3): 새로운 증거와 캐시된 증거 간의 공유 청크가 동일한 소스 버전 태그를 가져야 하며, 이를 통해 코퍼스가 변조되지 않았음을 보장합니다.
4. 증거 지원 (G4): 캐시된 답변의 콘텐츠 토큰이 새로 검색된 증거로 커버되어야 합니다. 이는 결정론적 어휘 중첩 점수 (기본값) 로 계산하거나, 경량 판정 LLM 을 통해 선택적으로 계산할 수 있습니다.

어떤 게이트라도 실패하면, 시스템은 검색된 청크의 쿼리 조건부 압축 후 생성을 수행하는 표준 RAG 파이프라인으로 되돌아갑니다.

워크로드 및 지표

히트율뿐만 아니라 캐시 안전성을 스트레스 테스트하기 위해, 저자들은 6 가지 영역 워크로드를 합성했습니다:

• 정확한 반복 및 재문장: 선의의 재사용 시나리오.
• 근접 실패 (Near-miss): 금표 문서가 겹치지 않는 어휘적으로 유사한 쿼리.
• 문서 드리프트 (Document-drift): 금표 문서의 숫자 토큰이 변조되어 캐시된 답변을 무효화하는 쿼리.
• 긴 공유 문서 및 유한 KB CAG: 중복 제거 및 컨텍스트 내 생성을 선호하는 시나리오.

주요 평가 지표는 잘못된 캐시된 답변을 받은 모든 쿼리의 비율로 정의된 **비안전 서비스율 (USR)**입니다. 이는 답변 캐시 히트율 (aHR) 과 조건부 오검출률 (FH) 로 보완됩니다.

주요 결과

실험은 12,000 개의 생성 (vLLM 으로 서비스된 Qwen2.5-7B-Instruct) 을 사용하여 HotpotQA와 mtRAG 데이터셋에서 수행되었습니다.

안전성 개선

• HotpotQA: GroundedCache 는 단순 캐싱이 0 이 아닌 오류를 보인 모든 영역에서 USR 을 **0.0%**로 낮췄습니다. 예를 들어, "문서 드리프트" 영역에서 단순 캐싱은 35.0% 의 USR 을 보인 반면, GroundedCache 는 0.0% 를 달성했습니다.
• mtRAG (멀티턴): 단순 캐싱은 참조 대상 이동으로 인해 USR 이 26.0% 에서 51.5% 로 범위를 보이는 치명적인 실패를 보였습니다. GroundedCache 는 USR 을 10 배 이상 감소시켜 문서 드리프트 영역에서 **1.5%**를 달성했습니다 (잘못된 캐시된 답변이 34 배 감소).
• 애블레이션 연구: **어휘 지원 게이트 (G4)**가 "하중을 지는" 안전 메커니즘으로 확인되었습니다. 이를 제거하면 HotpotQA 에서 USR 이 약 0.125, mtRAG 에서 약 0.118 증가했습니다. 다른 게이트 (G1–G3) 는 거의 0 의 비용으로 심층 방어를 제공했으나, G4 가 활성화되어 있을 때는 대부분 중복되었습니다.

성능 및 지연 시간

• 지연 시간: GroundedCache 하의 종단 간 p50 지연 시간은 캐시 없는 RAG 기준 대비 1.04–1.07 배 이내로 유지되었습니다.
• 트레이드오프: "지원 없음" 변형 (G4 비활성화) 은 1.4–1.5 배의 속도 향상을 제공했지만 0.125–0.182 의 0 이 아닌 USR 을 초래하여 안전성과 속도 간의 조정 가능한 트레이드오프를 보여주었습니다.
• 히트율: GroundedCache 는 안전을 보장하기 위해 원시 답변 캐시 히트율을 낮췄습니다 (예: HotpotQA 정확한 반복에서 0.41 에서 0.04 로 감소). 그러나 검색 캐시 경로를 활용하여 상당한 검색 절감 효과를 유지했습니다.

중요성 및 주장

본 논문은 캐시된 답변 재사용에 대한 올바른 프레임은 속도 극대화가 아니라 비안전 서비스율을 정량화하고 최소화하는 것이라고 주장합니다.

• 커널 이상의 정책: GroundedCache 는 모델 서버, 검색기, 임베딩 모델의 변경 없이 기존 인프라 (vLLM APC, LMCache 등) 와 조립되는 정책 계층으로 제시됩니다.
• 운영자 지향 지표: 저자들은 히트율과 지연 시간과 함께 USR 을 보고하는 것이 실무자가 안전/속도 트레이드오프에 대해 정보에 입각한 결정을 내리는 데 필수적이라고 주장합니다.
• 강건성: 새로운 증거와 버전 태그에 대한 검증을 통해, 시스템은 단순 의미론적 캐시가 처리하지 못하는 적대적 충돌과 코퍼스 드리프트를 효과적으로 무력화합니다.

저자들은 의미론적 답변 캐시가 본질적으로 정확성을 속도 위해 교환하지만, 어휘 지원 게이트가 재사용이 안전하도록 보장하는 저렴하고 결정론적인 메커니즘을 제공하여 비안전 서비스율을 거의 0 으로 낮추면서도 캐싱의 지연 시간 이점을 유지한다고 결론지었습니다.