SemantiCache: Efficient KV Cache Compression via Semantic Chunking and Clustered Merging

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 긴 문맥 (Long Context) 을 처리할 때 autoregressive(자기회귀) 추론 과정에서 Key-Value(KV) Cache의 메모리 사용량이 입력 시퀀스 길이에 비례하여 선형적으로 증가하는 심각한 병목 현상을 겪습니다. 이는 GPU 메모리 고갈과 추론 지연 시간 증가를 초래합니다.

기존의 KV Cache 압축 기법들은 주로 다음과 같은 두 가지 방식을 사용하지만, 공통된 치명적인 결함이 있습니다:

• Eviction 기반 (삭제): Attention 점수 등을 기준으로 '중요하지 않은' 토큰을 영구적으로 삭제합니다.
• Merging 기반 (병합): 토큰들을 단순히 합쳐서 압축합니다.

핵심 문제점: 기존 방법들은 **이산적인 토큰 (discrete tokens)**이나 **의미론적으로 무작위인 조각 (non-semantic chunks)**을 단위로 작동합니다. 이로 인해 문장, 구절, 절 등 **언어적으로 일관된 의미 단위 (semantic units) 가 파괴되는 '의미론적 분할 (Semantic Fragmentation)'**이 발생합니다. 이는 되돌릴 수 없는 정보 손실을 야기하여 모델의 성능을 급격히 저하시킵니다.

2. 방법론 (Methodology)

저자들은 언어가 평탄한 단어의 흐름이 아니라 계층적인 의미 구조를 가진다는 언어학적 원리에 착안하여, SemantiCache라는 새로운 압축 프레임워크를 제안합니다. 이 프레임워크는 인간의 긴 텍스트 기억 전략을 모방하여 3 단계 파이프라인으로 구성됩니다.

1 단계: 의미론적 청킹 (Semantic Chunking)

• 목적: 의미론적 분할을 방지하고 자연스러운 언어 경계를 유지합니다.
• 방식: 고정된 크기나 임의의 기준이 아닌, **자연어 구분자 (delimiters: ., ,, ?, !, \n 등)**를 기준으로 KV Cache 를 분할합니다.
• 특징: 구분자 토큰은 Attention 점수가 높다는 관찰에 기반하여 수정 없이 보존하며, 이를 구조적 앵커 (structural anchor) 로 활용합니다.

2 단계: 유사도 클러스터링 (Similarity Clustering)

• 목적: 각 청크 내에서 의미적으로 유사한 토큰들을 그룹화합니다.
• 알고리즘: Greedy Seed-Based Clustering (GSC) 알고리즘을 사용합니다.
  • 계산 효율성을 위해 단일 패시 (single-pass) 방식으로 동작합니다.
  • 할당되지 않은 토큰을 '시드 (seed)'로 지정하고, 이후의 토큰들과의 **의미 유사도 (Key 벡터의 코사인 유사도)**가 임계값 ($\tau$) 을 초과하면 해당 클러스터에 포함시킵니다.
  • 이 과정을 반복하여 각 청크를 의미적으로 일관된 클러스터로 분할합니다.

3 단계: 클러스터 병합 및 비례적 어텐션 (Clustered Merging & Proportional Attention)

• 목적: 클러스터 내 토큰들을 하나의 '의미 코어 (Semantic Core)'로 압축하되, 정보 희석을 방지합니다.
• 병합: 각 클러스터의 Key 와 Value 벡터를 평균 풀링 (Mean-pooling) 하여 하나의 대표 벡터 (Semantic Core) 로 만듭니다.
• 비례적 어텐션 (Proportional Attention): 병합로 인한 어텐션 기여도 감소를 보정하기 위해, **클러스터의 크기 ($s$)**를 로그 스케일 ($\log s$) 로 변환하여 어텐션 스코어에 가산합니다.
  • 수식: $Attention(Q, K_c, V_c) = \text{softmax}(\frac{QK_c^T}{\sqrt{d}} + \log s)V_c$
  • 이를 통해 병합된 토큰의 영향력이 원래 토큰 수에 비례하도록 재조정하여 정보 손실을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 의미론적 분할 문제의 식별 및 해결: 기존 KV Cache 압축 방법들의 핵심 결함인 '의미론적 분할'을 명확히 지적하고, 이를 해결하는 새로운 접근법을 제시했습니다.
2. 인지 전략 기반 프레임워크: 인간이 긴 텍스트를 기억할 때 사용하는 '의미 단위 분할 $\rightarrow$ 핵심 개념 추출' 전략을 모방한 SemantiCache 를 개발했습니다.
3. 효율적인 알고리즘 설계:
   • 계산 비용이 낮은 GSC(그리드 시드 기반 클러스터링) 알고리즘을 설계하여 의미 집계를 효율화했습니다.
   • 기존 병합 방식의 정보 희석 문제를 해결하기 위한 비례적 어텐션 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (LongBench, Needle-in-a-Haystack) 와 모델 (Llama-3-8B, Mistral-7B) 을 통해 평가되었습니다.

• 성능 (Accuracy):
  • LongBench: 다양한 KV Cache 예산 (20%, 35%, 50%) 에서 기존 삭제 기반 (StreamingLLM, H2O 등) 및 병합 기반 (CaM, D2O) 방법론을 모두 능가했습니다. 특히 20% 예산 조건에서 Llama-3-8B 기준 30.01 점 (Full Model: 34.88 점) 을 기록하며, 고압축 비율에서도 성능 저하를 최소화했습니다.
  • Needle-in-a-Haystack (NIAH): 긴 문맥 (8k, 32k) 내 특정 정보 검색 능력에서 모든 압축 기법 중 가장 높은 정확도를 보였습니다 (예: 32k 문맥, 4096 예산에서 91.15%).
• 효율성 (Efficiency):
  • 추론 속도: 디코딩 단계 (TPOT) 에서 Full KV Cache 대비 최대 2.61 배의 속도 향상을 달성했습니다.
  • 메모리: 메모리 사용량을 크게 줄였으며, 다른 병합 기반 방법들보다 더 낮은 메모리 footprint 를 보였습니다.
• Ablation Study:
  • 의미론적 청킹 (Semantic Chunking) 을 사용하지 않거나 고정 크기 청킹을 사용할 경우 성능이 현저히 저하되어, 의미 단위 보존의 중요성을 입증했습니다.
  • 유사도 임계값 ($\tau$) 조절을 통해 압축률과 성능 간의 트레이드오프를 유연하게 제어할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

SemantiCache 는 KV Cache 압축 기술의 패러다임을 '단순한 토큰 단위 조작'에서 '의미론적 구조 보존'으로 전환시켰다는 점에서 의의가 큽니다.

• 기술적 의의: 언어의 계층적 구조를 압축 과정에 반영함으로써, 고압축 비율에서도 모델의 언어 이해 능력을 유지할 수 있음을 증명했습니다.
• 실용적 가치: 긴 문맥 처리가 필요한 실제 애플리케이션 (장문 요약, 복잡한 문서 QA 등) 에서 GPU 메모리 제약을 극복하고 추론 속도를 획기적으로 개선할 수 있는 솔루션을 제공합니다.
• 향후 방향: 이 연구는 LLM 의 효율적인 추론을 위해 의미론적 일관성이 필수적임을 강조하며, 향후 더 정교한 의미 기반 압축 및 최적화 연구의 기초를 마련했습니다.