기술 요약: VECTOR

문제 정의

대규모 언어 모델 (LLM) 은 시퀀스 길이에 비례하여 선형적으로 증가하는 키 - 값 (KV) 캐시 메모리 문제로 인해 긴 컨텍스트 추론에서 치명적인 병목 현상에 직면해 있습니다. 이러한 메모리 비용은 검색 중심의 질문 응답 (QA), 에이전트 워크플로우, 다중 턴 추론과 같은 긴 컨텍스트 윈도우가 필요한 애플리케이션의 실용적 배포를 제한합니다.

기존 KV 캐시 압축 방법들은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

1. 중요도 기반 제거 (Importance-based Eviction): SnapKV 및 KeyDiff 와 같은 방법은 토큰에 점수를 매겨 점수가 낮은 항목을 영구적으로 폐기합니다. 효율적이기는 하나, 유지 또는 폐기라는 이진적 결정은 되돌릴 수 없습니다. 엄격한 메모리 예산 하에서는 정밀한 유지가 필수적이지는 않으나 재구성이 가능한 토큰들을 폐기함으로써 상당한 성능 저하를 초래할 수 있습니다.
2. 표현 근사 (Representation Approximation): AQUA-KV 및 EliteKV 와 같은 방법은 양자화 또는 투영을 통해 KV 표현을 압축합니다. 그러나 많은 방법들이 아키텍처 수정, 재학습, 또는 비용이 많이 드는 온라인 계산 (예: 검색 기반 재구성) 을 필요로 합니다.

또한, 기존 다중 상태 할당 방법들 (예: ARKV, D2O) 은 이진적 제거를 개선하지만 토큰 중요도 신호에만 의존합니다. 이들은 토큰의 KV 표현이 제한된 오차로 다른 사용 가능한 정보로부터 정확하게 복구될 수 있는지 여부를 명시적으로 모델링하는 **재구성 가능성 (reconstructability)**을 간과합니다. 또한, 소프트맥스 어텐션 메커니즘에서 오류의 비선형적 증폭으로 인해 값 (V) 이 키 (K) 보다 일반적으로 근사에 더 관대하다는 점이 기존 연구에서 지적되었음에도 불구하고, 대부분의 토큰 단위 압축 방법들은 메모리 할당에서 이러한 비대칭성을 명시적으로 활용하지는 않습니다.

방법론: VECTOR

저자들은 제거 기반 파이프라인을 위한 플러그 앤 플레이 증강 기술인 VECTOR(Value Estimation via Collinearity and Three-way Orthogonal Routing) 를 제안합니다. VECTOR 는 유지 (Retention), 근사 (Approximation), **제거 (Eviction)**라는 세 가지 방향의 토큰 라우팅 메커니즘을 도입합니다.

핵심 메커니즘

1. 비대칭 처리 (K 대 V):

   • 키 (K): 후보 풀에 있는 모든 토큰에 대해 정확하게 유지됩니다. 이는 키의 교란이 소프트맥스 함수에 의해 기하급수적으로 증폭되기 때문에 어텐션 라우팅 메커니즘의 무결성을 보존합니다.
   • 값 (V): 세 가지 결정에 따릅니다.
     • 유지: 고중요도 또는 재구성이 어려운 토큰에 대해 정확한 저장을 수행합니다.
     • 근사: 재구성 가능성이 높은 토큰에 대해서는 폐기하고 실시간으로 재구성합니다.
     • 제거: 저중요도 토큰에 대해서는 영구적으로 제거합니다.

2. OLS 를 통한 재구성 가능성:

   • 이 방법은 K 와 V 가 공유하는 고유한 저랭크 구조 (동일한 숨겨진 상태의 선형 투영) 를 활용합니다.
   • 오프라인에서 보정된 일반 최소제곱법 (Ordinary Least Squares, OLS) 회귀 모델을 사용하여 K 로부터 V 를 예측합니다 ($V \approx W_{OLS}K$).
   • 회전 위치 임베딩 (RoPE) 을 처리하기 위해, 재구성 전에 키에 역회전을 적용하여 위치 정보를 분리함으로써 정적 $W_{OLS}$ 행렬이 모든 위치에서 작동하도록 합니다.

3. 세 방향 할당 파이프라인:
   목표 압축 비율 $p_c$와 근사 비율 $p_a$가 주어졌을 때:

   • 단계 1 (예산 완화): 기본 제거 알고리즘이 $1 - p_c + p_a$ 크기의 확장된 후보 풀을 식별합니다.
   • 단계 2 (잔차 평가): 이 풀에 있는 각 토큰에 대해 재구성 오차 $\epsilon_i = \|V_i - W_{OLS}K_i\|^2$를 계산합니다.
   • 단계 3 (비대칭 자르기):
     • $1 - p_c + p_a$개의 모든 토큰에 대한 키는 유지됩니다.
     • 재구성 오차가 가장 낮은 $2p_a$개의 토큰에 대해서는 값이 폐기되고 $W_{OLS}K$를 통해 재구성됩니다.
     • 나머지 $1 - p_c - p_a$개의 토큰은 정확한 K 와 V 모두를 유지합니다.
   • 이를 통해 총 메모리 발자국이 $1 - p_c$개의 완전한 KV 쌍에 해당하는 목표 예산과 일치하도록 보장합니다.

주요 기여

1. 재구성 가능성 인식 할당: 이 논문은 KV 압축을 이진적 결정이 아닌 토큰 중요도와 재구성 가능성을 공동으로 고려하는 통합된 유지 - 근사 - 제거 문제로 재정의합니다.
2. 경량 K→V 재구성: 한 번의 오프라인 OLS 보정을 통해 저장된 키로부터 온라인 값 재구성을 가능하게 하여, 추론 시간 오버헤드는 무시할 수준이며 모델 재학습이 필요 없습니다.
3. 플러그 앤 플레이 통합: VECTOR 는 최소한의 적응으로 기존 토큰 중요도 제거 방법 (쿼리 인식 및 쿼리 무관 모두) 에 연결할 수 있습니다.
4. 이론적 분석: 저자들은 근사 계층을 확장함으로써 정보 손실을 줄이는 조건을 유도했으며, 필요한 OLS 예측 품질 ($R^2_{approx}$) 과 중요도 점수 분포의 왜도 (skewness) 를 연결했습니다.

실험 결과

실험은 LongBench(16 개 작업) 와 Needle-in-a-Haystack(NIAH) 에서 Llama-3.1-8B, Qwen3-14B, Qwen3-0.6B 를 사용하여 수행되었습니다.

• 고압축 이점: VECTOR 는 고압축 영역 ($p_c \in \{0.75, 0.90\}$) 에서 다운스트림 성능을 일관되게 향상시킵니다.
  • 쿼리 무관 베이스라인: KeyDiff 및 KVzip 과 함께 가장 큰 향상이 관찰되었습니다. 예를 들어, KeyDiff 를 사용한 Qwen3-14B 의 경우, VECTOR 는 $p_c=0.50$에서 평균 점수를 +7.03, $p_c=0.75$에서 +9.15, $p_c=0.90$에서 +9.73 향상시켰습니다.
  • 쿼리 인식 베이스라인: SnapKV 및 PyramidKV 와의 향상은 특히 중간 압축 수준에서 더 소극적이었으며, 이는 이러한 방법들이 이미 가장 관련성 높은 토큰들을 유지하고 있어 근사를 위한 "여유 공간"이 적기 때문입니다. 그러나 $p_c=0.90$에서는 일관된 향상이 관찰되었습니다.
• 견고성 (NIAH): $p_c=0.90$에서의 NIAH 스트레스 테스트에서 VECTOR 는 검색 품질을 일관되게 향상시켰습니다. 이는 실패 패턴을 대규모 연속적인 저점수 영역에서 더 국소화된 어려운 셀로 변환하여 향상된 견고성을 나타냅니다.
• 민감도: 성능은 중간 정도의 근사 비율 ($p_a$) 에서 정점을 이룹니다. $p_a$가 너무 낮으면 복구 가능한 정보가 손실되고, 너무 높으면 유지 계층이 축소되어 재구성이 어려운 토큰들이 근사로 강제됩니다.

중요성 및 주장

이 논문은 중요도 인식 제거와 재구성 가능성 인식 근사를 결합함으로써 긴 컨텍스트 추론 시스템에 대한 유망한 방향을 VECTOR 가 보여준다고 주장합니다.

• 효율성: 이 방법은 이진적 제거 하에서 되돌릴 수 없게 손실되었을 유용한 값 정보를 복구하면서, 어텐션 안정성을 위해 키 벡터를 보존합니다.
• 실용성: 이 방법은 아키텍처 변경이나 재학습이 필요 없으므로 기존 시스템에 실용적인 증강 기술입니다.
• 트레이드오프 최적화: 엄격한 메모리 예산 하에서 VECTOR 는 더 나은 품질 - 메모리 트레이드오프를 달성하며, 특히 중요도와 재구성 가능성이 유용성의 직교 차원을 포착하는 컨텍스트 내재적 스코어링 (쿼리 무관) 에만 의존하는 방법들에 효과적입니다.

저자들은 한계를 인정하며, 근사 비율 $p_a$가 현재 동적 최적화 대신 경험적 공식을 통해 설정되며, 쿼리 인식 베이스라인에 대한 향상은 이러한 방법들의 높은 베이스라인 성능에 의해 제한된다고 지적합니다. 향후 연구는 적응형 할당 전략을 탐구할 수 있습니다.