기술 요약: NestedKV

문제 정의

장문맥 언어 모델은 실제 배포에서 중요한 병목 현상에 직면해 있습니다: 키-값 (KV) 캐시는 문맥 길이와 배치 크기에 비례하여 선형적으로 증가하며, 모델 가중치가 고정되어 있더라도 추론 메모리 비용을 지배합니다. 훈련이 필요 없는 KV 캐시 압축 방법이 존재하지만, 이들은 일반적으로 과거 어텐션 질량, 최근성, 계층별 할당, 또는 키의 고유성 같은 단일 '앵커' 신호에 의존하여 토큰의 중요도를 순위 매깁니다.

이 논문은 이러한 단일 뷰 접근 방식이 공격적인 압축이나 장문맥 하에서 취약해진다고 주장합니다. 예를 들어, 어텐션 기반 방법들은 종종 프롬프트 끝부분이나 '어텐션 싱크 (attention sinks)'에 질량을 집중시켜, 낮은 어텐션 영역에 위치한 답변을 담고 있는 토큰들을 제거하게 만듭니다. 마찬가지로, 전역 평균은 국소적인 에피소드적 변화를 놓칠 수 있고, 국소 규칙은 반복적인 블록에 과적합될 수 있습니다. 핵심 문제는 유용한 문맥이 전역적으로 고유하거나, 국소적으로 에피소드적이거나, 즉시 관련성이 있을 수 있으므로, 메모리 유지에 대해 더 세밀하고 다중 스케일 접근이 필요하다는 점입니다.

방법론: NestedKV

NestedKV 는 Nested Learning 의 **연속체 메모리 시스템 (Continuum Memory System)**에서 영감을 받은 훈련이 필요 없는 키 전용 KV 캐시 압축 방법입니다. 단일 지표로 토큰을 순위 매기는 대신, 이 방법은 3 단계 아키텍처를 사용하여 제한된 테스트 시간 메모리 유지로서 제거를 처리합니다:

1. 연속체 메모리 상태 (내부 학습기)

NestedKV 는 모든 토큰 $i$에 대해 캐시된 키 스트림에 대해 세 가지 고유한 메모리 앵커를 유지합니다:

• 안정 메모리 ($\mu_s$): 모든 정규화된 키의 전역 평균으로, 문서 수준의 규칙성을 포착합니다.
• 에피소드 메모리 ($\mu_e(i)$): 국소 블록 평균 (블록 크기 $b \approx N/32$) 으로, 패시지 수준 또는 턴 수준의 구조를 포착합니다.
• 현재 메모리 ($\mu_c(i)$): 슬라이딩 윈도우 평균 (윈도우 크기 $W=64$) 으로, 단기 연속성과 즉각적인 중복성을 포착합니다.

각 토큰에 대해 이 방법은 이 세 가지 스케일에 대해 코사인 이상점 점수를 계산합니다: $a_k(i) = -\cos(\hat{k}_i, \mu_k)$. 높은 점수는 해당 특정 메모리 스케일에 비해 토큰이 이상적 (고유) 임을 나타냅니다.

2. 외부 학습기: 적응형 블렌딩 및 서프라이즈 라우팅

이 방법은 두 가지 축에서 작동하는 훈련이 필요 없는 외부 학습기를 통해 이러한 세 가지 이상점 순위들을 결합합니다:

• 헤드 적응형 블렌딩: 서로 다른 어텐션 헤드가 서로 다른 시간적 역할에 특화되어 있습니다. NestedKV 는 헤당 각 스케일의 판별력 (상위 토큰과 하위 토큰 간의 차이) 을 측정하고, 고정된 로그 사전 확률을 가진 소프트맥스를 사용하여 스케일에 가중치를 부여합니다. 이는 블렌딩 점수 $a_{blend}(i)$를 생성합니다.
• 서프라이즈 게이트 라우팅: 이 방법은 세 가지 이상점 점수의 표준 편차로 '압축 유발 서프라이즈'를 계산합니다.
  • 낮은 서프라이즈: 세 가지 스케일이 일치합니다; 토큰은 블렌딩 점수를 유지합니다.
  • 높은 서프라이즈: 스케일들이 불일치합니다 (예: 토큰이 전역적으로는 전형적이지만 국소적으로는 이상적입니다). 이 경우, 이 방법은 중요한 신호를 평균화하여 잃지 않도록 가장 강력한 개별 메모리로 점수를 라우팅합니다 ($a_{win}(i) = \max(a_s, a_e, a_c)$).

3. 헤드별 메모리 할당

메모리를 헤드 간에 균일하게 할당하는 대신, NestedKV 는 경쟁적 예산 관리 메커니즘을 구현합니다. 이는 각 헤드의 안전장치 (모든 헤드가 최소 상태를 유지하도록 보장) 를 준수하면서 레이어 전체에서 전역적으로 가장 높은 잔여 토큰 - 헤드 쌍을 선택합니다. 이는 연속체 메모리 신호가 가장 놀라운 곳에 레이어 예산을 분배합니다.

주요 기여

1. 압축의 재정의: 저자들은 훈련이 필요 없는 KV 압축을 키 스트림에 대한 연속체 메모리 이상점 탐지로 재정의하여, 토큰 제거를 제한된 테스트 시간 메모리 유지에 대한 Nested Learning 해석을 제공합니다.
2. NestedKV 알고리즘: 안정, 에피소드, 현재라는 세 가지 시간 스케일 키 통계를 내부 학습기로 사용하고, 헤드별로 적응하며 압축 유발 서프라이즈에 기반하여 라우팅하는 훈련이 필요 없는 외부 학습기로 결합된 방법의 도입.
3. 실증적 검증: Qwen3 및 Llama-3.2 모델에서 RULER, LongBench, LooGLE, LongBench-E, InfiniteBench, MMLU-Pro 등 여섯 가지 벤치마크에 걸친 광범위한 평가를 통해, 다중 시간 스케일 점수 매기기가 공격적인 압축 하에서 특히 유용함을 입증했습니다.

실험 결과

평가 는 다양한 문맥 길이 (4k–32k) 와 제거 비율 ($r \in \{0.25, 0.50, 0.75, 0.85, 0.95\}$) 에서 Qwen3-4B 및 Llama-3.2-3B-Instruct 모델에 초점을 맞춥니다.

• 공격적인 압축 성능: NestedKV 는 유지되는 캐시가 작을 때 가장 큰 이점을 보여줍니다. RULER(4k 문맥, $r=0.75$) 에서 NestedKV 는 Qwen3-4B 에서 강력한 베이스라인인 KeyDiff 보다 19.10 점 향상되었습니다.
• LongBench: $r=0.75$에서 NestedKV 는 Qwen3-4B 에서 평균 점수 50.06을 달성하여 KeyDiff(30.77) 를 크게 능가했습니다. 극단적인 압축 ($r=0.95$) 에서 NestedKV 는 37.32점을 유지하는 반면, KeyDiff 는 17.55 로 하락했습니다.
• 견고성: 이 방법은 고압축 비율에서도 짧은 문맥 지식 벤치마크 (MMLU-Pro) 에서 거의 전체 KV 성능을 유지하여, 짧은 프롬프트 능력을 저해하지 않음을 나타냅니다.
• 어블레이션 연구: 연속체 메모리 상태 또는 적응형 헤드별 할당 중 하나를 제거하면 각각 약 8 점씩 성능이 크게 저하됩니다. 둘 다 제거하면 약 19 점 하락하여 구성 요소들이 시너지를 낸다는 것을 시사합니다.
• 효율성: 이 방법은 오버헤드를 최소화하며, KeyDiff 와 같은 단일 앵커 베이스라인 대비 프리필 지연 시간이 0.5% 이내이고, 디코딩 지연 시간 및 피크 메모리는 다른 압축 방법과 거의 동일합니다.

중요성 및 주장

이 논문은 NestedKV가 단일 앵커 압축 방법의 구조적 불충분성을 해결한다고 주장합니다. 어텐션 공간이 아닌 연속체 메모리 뷰를 사용하여 키 스트림으로 압축 점수를 이동시킴으로써, 이 방법은 전역, 국소, 또는 즉각적 스케일에서 고유한 토큰들을 성공적으로 유지합니다.

저자들은 NestedKV 의 주요 이점이 반드시 낮은 압축 비율에서의 최고 성능이 아니라, 메모리 예산이 줄어들어감에 따른 **우아한 저하 (graceful degradation)**에 있다고 강조합니다. 다중 시간 스케일 점수 매기기는 어텐션이나 전역 고유성에만 의존하는 단일 신호 방법들이 잘못 제거할 다양한 지원 토큰들을 모델이 보존할 수 있게 합니다. 이 방법은 훈련이 필요 없으며, 기본 LLM 을 수정할 필요도 없고, 최적화된 어텐션 커널과 호환됩니다.

저자들이 지적한 한계:

• 안정/에피소드/현재 통계에 대한 중복성이 유용한 신호라는 가정은, 국소적 반복이 보존되어야 할 패턴인 코드 완성 작업에서는 약할 수 있습니다.
• 이 방법은 고정된 오픈 가중치 모델로 제한되며, 작업별 매개변수를 학습하거나 디코딩 커널을 수정하지 않습니다.