기술 요약: 쿼리 가시성이 KV-캐시 압축 순위에 미치는 영향

1. 문제 정의

KV-캐시 압축에 관한 기존 문헌은 압축 알고리즘이 실행되기 전에 벤치마크 질문을 컨텍스트에 추가하는 쿼리 인지(query-aware) 프로토콜 하에서 방법론들을 평가합니다. 이 설정에서 압로리즘의 스코어링 메커니즘은 질문을 "볼 수" 있으므로, 특정 쿼리에 유의미한 토큰을 우선순위에 둘 수 있습니다.

그러나 KV-캐시 압축의 주요 경제적 동기는 **재사용(reuse)**입니다. 즉, 문서를 한 번 압축하여 향후 많은 질문에 답할 수 있도록 하는 것입니다. 이러한 배포 시나리오에서 압축은 **쿼리 불가지론적(query-agnostic)**이어야 합니다(질문이 보이기 전에 압축이 완료되어야 함). 본 논문은 기존의 평가 방식이 방법론의 보고된 성능 향상이 질문을 미리 본 데서 오는 결과인지, 아니면 진정한 정보 보유 능력인지를 정량화하지 못한다는 중요한 격차를 식면합니다. 저자들은 다음과 같이 질문합니다: 동일한 예산(budget) 하에서, 발표된 각 방법론의 보고된 이득 중 얼마나 많은 부분이 쿼리 인지형에서 쿼리 불가지론형 압축으로 전환될 때 생존하며, 그 하락 폭의 크기가 해당 방법론의 스코어링 신호가 질문을 어떻게 사용하는지와 연관되어 있는가?

## 2. 방법론: 매칭된 예산 기반의 감사(Audit)

저자들은 새로운 압축 방법을 제안하기보다 엄격하고 통제된 감사를 수행했습니다. 실험 설계는 다른 모든 요인을 일정하게 유지하면서 "프로토콜" 변수만을 분리합니다.

• 범위: 본 감사는 6가지의 발표된 압축 방법(SnapKV, H2O, TOVA, ExpectedAttention, AdaKV, KeyDiff)과 3가지의 사소한(trivial) 베이스라인(Random eviction, Key-norm, 그리고 StreamingLLM의 "start + recent window")을 다룹니다.
• 모델 및 벤치마크: 세 가지 오픈 7–9B 모델(Llama-3.1-8B, Qwen2.5-7B, DeepSeek-R1-Distill-Qwen-7B)에 대해 두 가지 벤치마크를 사용하여 평가를 수행했습니다:
  • RULER-8192: 13개의 서브태스크(검색, 집계, 멀티홉)와 650개의 인스턴스.
  • LongBench: 16개의 자연어 영어 태스크(각 50개 인스턴스)를 사용한 강건성 체크.
• 프로토콜 구성:
  • 쿼리 인지(Query-Aware): 스코어링 패스 중에 질문이 가시적임.
  • 쿼리 불가지론(Query-Agnostic): 컨텍스트를 먼저 압축한 후, 제거(eviction) 후에 질문을 추가함.
• 통제 변수:
  • 매칭된 예산(Matched Budget): 모든 방법론은 동일한 압축 비율($r \in \{0.25, 0.5, 0.75, 0.9\}$)과 디코딩 설정(greedy)을 사용합니다.
  • 쌍을 이룬 통계(Paired Statistics): 모든 인스턴스는 두 프로토콜 모두에서 평가되며, 이를 통해 차이를 측정하기 위한 쌍을 이룬 부트스트랩 리샘플링($B=50,000$)이 가능합니다.
  • 베이스라인 앵커링: 방법론들은 단순한 휴리스틱보다 우수한지를 확인하기 위해 "best-of-3" 사소한 베이스라인과 비교됩니다.
• 규모: 감사는 RULER에서 144,300개, LongBench에서 40,800개의 쌍을 이룬 레코드를 생성했으며, OOM(메모리 부족)으로 인한 데이터 누락을 방지하기 위해 엄격한 커버리지 체크를 수행했습니다.

3. 주요 기여

A. 쿼리 의존성의 정량적 측정

감사 결과, 프로토콜 선택이 성능 순위를 근본적으로 변화시킨다는 것이 드러났습니다.

• 역전 현상(The Flip): 쿼리 인지 프로토콜 하에서는 5개 중 4개의 방법론이 사소한 베이스라인보다 우수한 성능을 보입니다. 그러나 쿼리 불가지론 프로토콜 하에서는 이 그림이 뒤집힙니다. 오직 KeyDiff만이 일관되게 "best-of-3" 사소한 베이스라인을 능가하며(36개 셀 중 31개 승리), 널리 배포된 SnapKV는 실제로는 "시작 부분 + 최근 윈도우 유지" 베이스라인보다 낮은 성능을 보였습니다(평균 격차 -0.066).
• 델타($\Delta$): 프로토콜 간의 성능 하락은 방법론마다 다릅니다. SnapKV는 막대한 하락($\Delta = +0.198$)을 겪는 반면, KeyDiff의 성능은 안정적입니다($\Delta = +0.011$).

B. 메커니즘 가설: 가시성이 성능을 추적한다

저자들은 메커니즘 가설을 제안합니다: 성능 하락의 크기($\Delta$)는 소스 코드에서 관찰되는 방법론의 스코어링 신호 내에서의 질문의 가시성과 일관된 순서를 가집니다.

• 높은 가시성: SnapKV와 AdaKV는 질문에 의해 채워지는 관측 윈도우(마지막 64개 토큰)를 사용합니다. 이들은 가장 큰 하락을 보입니다.
• 낮은/없는 가시성: KeyDiff는 평균으로부터의 키 벡터 각도 이상치(angular outliers)를 기준으로 스코어를 산출하며, 여기에는 계산 과정에 **질문 용어(query term)**가 포함되지 않습니다. 이는 가장 작은 하락을 보입니다.
• 증거: 이는 6개 방법론에 걸친 서열적(ordinal) 증거로 제시되며, 적합된 정량적 법칙은 아닙니다. 이 가설은 쿼리 인지형 스코어가 "정보의 중요성"보다는 "쿼리 관련성"을 측정하는 경우가 많음을 시사합니다.

C. 평가 위험 요소의 식별

감사는 평가를 은밀하게 왜곡할 수 있는 두 가지 재현 가능한 방법론적 위험 요소를 찾아냈습니다.

1. 어텐션 백엔드 혼동(Attention-Backend Confound): 압축되지 않은 모델에서 어텐션 백엔드(예: sdpa 대 eager)를 교체했을 때 RULER 정확도가 -0.29만큼 이동했습니다. 이 변화는 대부분의 방법론 간 격차보다 큽니다. 결과적으로 저자들은 eager 백엔드를 요구하는 H2O에 대한 모든 순위 주장을 철회했습니다. H2O의 결함은 백엔드 차이와 관찰적으로 구분이 불가능하기 때문입니다.
2. 토크나이저 의존적 벤치마크 길이: RULR의 명목상 "8192" 토큰 제한은 참조용 토크나이저에서 계산됩니다. gemma-2의 경우, 동일한 컨텍스트가 약 10,600개의 토큰으로 렌더링되어 포지셔널 버짓(positional budget)을 초과하며, 압축 없이도 13개 서브태스크 중 7개가 0.000의 점수를 기록하게 만듭니다. 이로 인해 gemma-2는 감사 대상에서 제외되었습니다.

4. 결과 및 발견 사항

• RULER 결과: 쿼리 불가지론 설정에서 KeyDiff는 고압축 검색 작업에서 사소한 베이스라인을 지속적으로 능가하는 유일한 방법입니다. 다른 방법들(SnapKV, AdaKV, TOVA)은 보고된 이득을 달성하기 위해 질문을 보는 것에 크게 의존합니다.
• LongBench 결과 (자연어 텍스트): 자연스러운 산문에서 KeyDiff는 유효성을 유지하지만(베이스라인을 능가함), 독점적 지위는 잃습니다. 다른 방법론들(TOVA, ExpectedAttention)이 특정 구성에서 KeyDiff를 따라잡거나 추월합니다. 이는 R-RULER의 합성 "건초더미"(반복되는 텍xt)가 KeyDiff의 이상치 탐지 메커니즘을 불균형하게 유리하게 만들어, 일반적인 효과성보다는 독특함을 부풀렸을 가능성을 시사합니다.
• 교차 모델 역전(Cross-Model Flips) 철회: 데이터의 초기 스냅샷은 실제 방법론이 사소한 것들을 이기는지에 대해 모델 간 의견이 일치하지 않는 것처럼 보였습니다. OOM 홀을 채우고 로스터를 완료한 후, 이러한 역전 확률은 거의 제로로 떨어졌으며, 이는 초기 발견이 불완전한 데이터와 추론 튜닝된 모델(R1-Distill)의 바닥 효과(floor effects)에 의한 인위적 결과였음을 나타냅니다.

5. 의의 및 주장

본 논문은 새로운 압축 알고리즘을 제안하거나 KeyDiff를 지지하기보다는, 방법론별로 통제된 정량화로서의 역할을 자처합니다.

• 배포 현실: 저자들은 "한 번 압축하여 여러 번 쿼리하는" 경제적으로 흥미로운 사용 사례에 대해, 쿼리 인지형 평가 프로토콜은 오해의 소지가 있다고 주장합니다. 캐시를 제거하기 위해 질문을 보는 것에 의존하는 방법론은 프로덕션의 재사용 시나리오에서 실패할 수 있습니다.
• 방법론적 엄밀성: 본 논문은 유효한 KV-캐시 압축 감사가 모델과 예산뿐만 아니라 어텐션 백엔드와 토크나이저 정렬까지 고정해야 함을 입증합니다.
• 겸손한 주장: 저자들은 KeyDiff가 전체적으로 "최고"의 방법론이라고 주장하는 것이 아니라, 테스트된 제품군 전반에서 쿼리 독립적이면서도 효과적인, 감사된 유일한 방법론임을 강조합니다. 또한 "메커니즘 가설"이 정량적 법칙으로 증명되기 위해서는 추가적인 조작이 필요하며, 현재는 서열적 증거에 의해 뒷받침된다는 점을 명시합니다.

요약하자면, 본 논문은 KV-캐시 압축 문헌에서 보고된 이득의 상당 부분이 평가 프로토콜의 인위적인 결과물이며, 진정으로 배포 준비가 된 방법론은 미래의 쿼리에 접근하지 않고도 효능을 입증해야 한다고 단언합니다.