기술 요약: SEKV – 계층적 시맨틱 메모리를 활용한 해상도 적응형 KV 캐시

문제 정의

대규모 언어 모델(LLM)은 문서 분석, 다회차 대화, 에이전트 계획 등 긴 컨텍스트 추론을 요구하는 시나리오에 점점 더 많이 배치되고 있습니다. 그러나 디코딩을 가속화하기 위해 중간 상태를 저장하는 키-값(Key-Value, KV) 캐시는 시퀀스 길이에 따라 선형적으로 증가합니다. 128K 토큰을 초과하는 컨텍스트에 대해 전체 KV 캐시를 유지하는 것은 GPU 메모리 측면에서 매우 비싼 비용이 들며, 종종 압축 없이는 긴 컨텍스트 추론을 불가능하게 만듭니다.

기존의 압축 전략은 효율성과 충실도(fidelity) 사이에서 근본적인 트레이드오프에 직면해 있습니다:

1. 토큰 퇴출(Token Eviction): 어텐션 통계(예: H2O, SnapKV)를 기반으로 토큰을 영구적으로 버리는 방식은 일관된 증거를 파편화하거나, 생성 과정의 후반부에 결정적으로 중요해질 수 있는 정보를 돌이킬 수 없이 손실할 위험이 있습니다.
2. 정적 시맨틱 그룹화(Static Semantic Grouping): 프리필(prefill) 단계에서 토큰을 시맨틱 청크나 문장으로 압축하는 방식(예: ChunkKV, SentenceKV)은 압축 해상도를 초기에 고정해 버립니다. 이러한 방식은 압축된 스팬(span)이 디코딩 중에 다시 관련성을 갖게 되었을 때 미세한 토큰 수준의 세부 정보를 복구할 수 있는 능력이 부족합니다.

핵심 과제는 엄격한 메모리 제약 조건 하에서 정보의 돌이킬 수 없는 손실 없이 관련 증거에 대한 접근을 보존하면서, 쿼리의 관련성에 따라 저장된 컨텍스트의 해상도를 동적으로 조정할 수 있는 메모리 구조를 설계하는 것입니다.

방법론: SEKV

저자들은 GPU와 CPU를 아우르는 계층적 시맨틱 메모리로 컨텍스트를 구성하는 해상도 적응형 시맨틱 KV 캐시인 SEKV(Semantic KV Cache)를 제안합니다. SEKV는 컨텍스트를 다양한 해상도로 저장하고 디코딩 중에 적절한 세부 수준으로 동적으로 "줌 인(zoom in)" 함으로써 돌이킬 수 없는 토큰 퇴출을 방지합니다.

1. 엔트로피 유도 스팬 분할 (Entropy-Guided Span Segmentation)

고정된 크기의 청킹 대신, SEKV는 **토큰 놀람도(surprisal)**를 비용이 들지 않는 경계 신호로 사용하여 입력 컨텍스트를 시맨틱하게 일관된 스팬으로 분할합니다.

• 메커니즘: 프리필 포워드 패스 동안 각 토큰에 대해 놀람도 $H_t = -\log p(x_t | x_{<t})$가 계산됩니다. 높은 놀람도를 보이는 토큰은 종종 시맨틱 전환(주제 변화, 엔티티 도입 등)을 나타내므로, 이를 스팬의 경계로 식별합니다.
• 앵커 토큰(Anchor Tokens): 이러한 고놀람도 경계 토큰들은 **GPU에 풀 해상도(full resolution)**로 유지되는 "앵커 토큰"으로서 역할을 합니다. 이들은 나중의 라우팅 및 재구성에 필수적인 집중된 시맨틱 정보를 보유합니다.
• 스팬(Spans): 인접한 두 앵커 사이의 토큰들은 하나의 시맨틱 스팬 $S$를 형성합니다.

2. 이중 해상도 스팬 표현 및 메모리 계층 구조

각 시맨틱 스팬은 GPU-CPU 계층 구조를 통해 두 가지 해상도로 동시에 표현됩니다:

• GPU (조대 라우팅 - Coarse Routing): 각 스팬은 경량화된 요약 벡터(투영된 키 벡터의 놀람도 가중 평균)로 표현됩니다. 이 요약 벡터는 GPU에 상주하며, 현재 쿼리에 어떤 스팬이 관련 있는지 결정하기 위한 효율적인 조대 라상 라우팅에 사용됩니다.
• CPU (미세 그래인 재구성 - Fine-Grained Reconstruction): 스팬의 전체 토큰 수준 구조는 **저계수 SVD 기저(low-rank SVD basis)**를 사용하여 CPU에 압축되어 인코딩됩니다. 경량 예측기가 특이값(singular values)에 소프트 게이트를 할당하여, 시스템이 정보 밀도에 따라 각 스팬에 대한 랭크 예산 $r_S$를 적응적으로 유지할 수 있도록 합니다. 이를 통해 GPU에 전체 행렬을 저장하지 않고도 토큰 수준의 KV 쌍을 충실하게 온디맨드로 재구성할 수 있습니다.

3. 학습된 줌 인(Zoom-In) 메커니즘

디코딩 중에 SEKV는 어떤 스팬을 확장할지 동적으로 선택하기 위해 학습된 메커니즘을 사용합니다:

• 라우팅(Routing): 현재 쿼리는 스팬 요약과 동일한 라우팅 공간으로 투영됩니다. 시그모이드 관련성 게이트는 특정 스팬이 관련 있을 확률을 계산합니다.
• 확장(Expansion): 학습된 헤드별, 레이어별 임계값이 스팬의 확장 여부를 결정합니다. 만약 선택되면, 시스템은 CPU로부터 해당하는 저계수 SVD 기저를 비동기적으로 가져와 토큰 수준의 KV 쌍을 재구성하고 이를 어텐션 계산에 통합합니다.
• 혼합 해상도 어텐션(Mixed-Resolution Attention): 어텐션 메커니즘은 혼합 해상도 메모리에서 작동합니다. 앵커 토큰은 풀 KV 쌍을 기여하고, 확장되지 않은 스팬은 조대 요약 벡터(크기 보정 포함)를 기여하며, 확장된 스팬은 재구성된 토큰 수준의 KV 쌍을 기여합니다.
• 학습(Training): 베이스 LLM은 동결된 상태를 유지합니다. 오직 경량 라우팅 투영, 줌 인 임계값, 그리고 랭크 게이트 예측기만이 풀-KV 튜터와의 증류 손실(distillation loss), 줌 감독(zoom supervision), 재구성 손실, 그리고 예산 페널티를 결합하여 학습됩니다.

주요 기여

1. SEKV 아키텍처: 컨텍스트를 여러 해상도로 저장하고 쿼리 관련성에 따라 디테일을 동적으로 조정하여 돌이킬 수 없는 토큰 퇴출을 피하는 해상도 적응형 시맨틱 KV 캐시를 제안합니다.
2. 엔트로피 유도 분할: 토큰 놀람도를 사용하여 일관된 시맨틱 스팬을 식별하고 고놀람도 앵커 토큰을 풀 해상도로 보존하는 방법을 제시합니다.
3. 이중 표현 구조: 조대 라우팅을 위한 GPU 상주 스팬 요약, 토큰 수준의 근사 재구성을 위한 CPU 상주 저계수 기저, 그리고 관련 있는 스팬만을 선택적으로 확장하는 학습된 줌 인 메커니즘을 결합한 새로운 KV 구조를 선보입니다.

실험 결과

SEKV는 4개의 벤치마크(LongBench, RULER, InfiniteBench, Needle-in-a-Haystack)와 5개의 백본 모델(Llama-3 변형, Mistral, Qwen 포함)을 대상으로 평가되었습니다.

• 성능: SEKV는 모든 벤치마크와 모델에서 가장 강력한 시맨틱 압축 베이스라인인 SentenceKV를 평균 5.9% 상회하는 성능을 보였습니다. 또한 20개 중 20개 모든 벤치마크-모델 비교에서 최고 성능을 달성했습니다.
• 검색 충실도(Retrieval Fidelity): Needle-in-a-Haystack (NIAH) 벤치마크에서 SEKV는 토큰 퇴출 방식이나 정적 시맨틱 방식에 비해 다양한 컨텍스트 길이와 니들 깊이(needle depth)에 걸쳐 우수한 검색 안정성을 보여주었습니다.
• 메모리 효율성: 128K 컨텍스트 길이에서 SEKV는 성능을 근사치 수준으로 유지하면서도 풀 KV 캐싱 대비 GPU 메모리 소비량을 53.3% 감소시켰습니다.
• 효율성: SEKV는 경쟁력 있는 레이턴시와 처리량(throughput)을 달성하며, 메모리 대역폭 압박을 줄임으로써 종종 풀 KV 캐싱보다 빠른 레이턴시를 기록하는 동시에 공격적인 퇴출 방식보다 훨씬 높은 정확도를 보여주었습니다.
• 파라미터 효율성: 베이스 모델을 동결한 상태에서 약 4.3M 개의 파라미터(Llama-3-8B 기준)만을 추가하여, 학습 가능한 파라미터가 0.05% 미만임을 입증했습니다.

의의 및 주장

본 논문은 효율적인 긴 컨텍스트 추론을 위해서는 정적 압축에서 **동적 해상도 복구(dynamic resolution recovery)**로의 전환이 필요하다고 주장합니다. 저자들은 정적 압축이 조대한 컨텍스트는 보존할 수 있지만, 생성 과정 후반부에 미세한 증거가 필요해졌을 때 이를 검색하는 데 실패한다고 주장합니다. SEKV는 엔트로피 유도 스팬으로 컨텍스트를 조직하고, 요청 시 관련 정보를 "줌 인" 할 수 있는 계층적 메모리 시스템을 활용함으로써 이 문제를 해결합니다.

이 연구의 의의는 다음을 입증하는 데 있습니다:

1. 돌이킬 수 없는 퇴출은 필수적이지 않다: 복구 가능한 저계수 표현을 CPU로 오프로드함으로써 고충실도 긴 컨텍스트 추론을 달성할 수 있습니다.
2. 적응형 해상도가 핵심적이다: 줌 인 메커니즘을 통해 필요한 곳에만 미세한 해상도를 할당함으로써, 정적 정책보다 효과적으로 메모리 제약과 검색 충실도 사이의 균형을 맞출 수 있습니다.
3. 시맨틱 구조가 압축을 돕는다: 엔트로피 유도 분할을 사용하면 임의의 토큰 블록보다 압축 가능한 단위를 생성할 수 있어 효율적인 저계수 근사가 가능해집니다.

저자들은 한계점도 인정하였는데, 효과가 시맨틱 스팬 구축의 품질에 의존하며(매우 파편화된 담화에서는 어려울 수 있음), CPU-GPU 대역폭에 대한 의존성이 생겨 적대적인 쿼리 시나리오에서 레이턴시에 영향을 줄 수 있다는 점을 언급했습니다. 그러나 결론적으로 SEKV는 확장 가능하고 충실도 높은 긴 컨텍스트 LLM 추론을 위한 견고한 프레임워크를 제공한다고 밝히고 있습니다.