기술 요약: Tamarin (HSQ) – 가역적 계층적 KV-캐시 압축

1. 문제 제기

자기회귀(Autoregressive) 대규모 언어 모델(LLM) 추론에서 키-값(KV) 캐시는 특히 긴 컨텍스트 시나리오에서 GPU 메모리를 가장 많이 소비하는 주범입니다. 한 번 양자화할 수 있는 모델 가중치와 달리, KV 캐시는 컨텍스트 길이에 따라 선형적으로 증가합니다. 예를 들어, Qwen3-8B 모델을 fp16으로 사용할 경우 32K 토큰 컨텍스트에 약 4.5 GiB의 VRAM이 필요하며, 이는 표준 GPU의 용량을 초과하는 경우가 빈번합니다.

기존의 솔루션들은 다음과 같은 공통된 사각지대를 가진 이분법적 한계에 직면해 있습니다:

• KV 양자화: 모든 엔트리를 저정밀도(2–4비트)로 압축합니다. 이는 안전하지만, 압축 비율이 제한적이며(일반적으로 fp16 대비 약 4배) 낮은 비트 폭에서는 품질 저하가 발생할 수 있습니다.
• 토큰 제거/병합(Token Eviction/Merging): StreamingLLM, H2O, SnapKV와 같은 방식은 프리필(prefill) 단계에서 중요도가 낮다고 판단되는 토큰을 영구적으로 삭제하거나 융합합니다. 이러한 방식은 높은 압축률을 달면 하지만 가역적이지 않습니다(irreversible). 만약 초기에 제거된 토근이 이후 디코딩 단계의 쿼리에 결정적인 역할을 하게 되더라도, 그 정보는 이미 손실된 상태입니다.

기존 연구의 핵심 한계는 토큰의 중요성이 미래의 쿼리에 따라 달라진다는 점입니다. 제거 기반 방식은 미래의 컨텍스트를 얻을 수 없는 압축 시점에 중요도를 예측해야만 합니다.

2. 방법론: Tamarin (HSQ)

Tamarin (Hierarchical Semantic Quantization, 또는 HSQ)은 KV-캐시 압축을 삭제 문제가 아닌 인덱싱(indexing) 문제로 재정의합니다. 이 시스템은 세 가지 동기화된 표현을 유지하여, 모든 압축된 토큰이 주소 지정 가능하고 복구 가능한 상태를 보장합니다.

3단계 아키텍처

1. L1 (Focal Tier, GPU): 4비트 양자화된 벡터로 저장되는 소규모의 비요약 토큰 집합입니다. 여기에는 어텐션 싱크(attention sinks), 선택적 최근 윈도우, 그리고 학습된 리더(reader)에 의해 명시적으로 중요하다고 표시된 토큰들이 포함됩니다.
2. L2 (Summary Tier, GPU): 나머지 토큰들은 그룹(크기 $N \in \{8, 16\}$)으로 분할됩니다. 각 그룹은 두 개의 학습된 대표 벡터($\hat{k}, \hat{v}$)로 압축되어 3비트 정밀도로 저장됩니다. 결정적으로, 이 벡터들은 내용의 대체물이 아니라 라우팅 키(routing keys) 역할을 수행합니다.
3. L3 (Archive Tier, CPU RAM): 모든 압축된 토큰의 원본(양자화된) 키와 값은 4비트 정밀도로 CPU RAM에 저장됩니다. 이는 콘텐츠의 근거(source of truth) 역할을 합니다.

디코드 프로세스

디코딩 중에는 다음과 같은 가역적 인덱스 조회 프로세스가 작동합니다:

1. 라우팅(Routing): 헤드당 라우터가 현재 쿼리에 대해 L2 요약 키의 점수를 계산합니다.
2. 페칭(Fetching): 라우팅 예산($\beta$)에 따라, 라우터는 점수가 가장 높은 그룹들을 선택합니다. 시스템은 이에 대응하는 원본 토큰을 L3 CPU 아카이브에서 가져와 GPU에서 역양자화한 후, 의미론적 위치로 회전(rotate)시킵니다.
3. 어텐션(Attention): 어텐션 메커니즘은 L1 토큰, L2 요약, 그리고 복구된 L3 원본의 합집합에 대해 실행됩니다. L2 요약은 원본이 페칭된 그룹에 대해 중복 계산을 방지하기 위해 마스킹 처리됩니다.

주요 기술 구성 요소

• 리더(Reader): 초기 디코더 은닉 상태를 기반으로 토큰 중요도를 점수화하는 작은 MLP입니다. 토큰을 L1, L2(중간 그룹), 또는 L2(낮은 그룹)로 분류합니다.
• 컴프레서(Compressor): Perceiver 스타일의 크로스 어텐션 풀러(cross-attention pooler)로, 3비트 라우팅 키를 생성합니다. 이 컴프레서는 콘텐츠를 재구성하는 것이 아니라, 모델의 쿼리 투영(query projections) 하에서 그룹을 효과적으로 순위 매기도록 학습됩니다.
• 양자화(TurboQuant): 좌표 간 상관관계를 제거하기 위해 고정된 무작위 직교 회전(random orthonormal rotation)을 사용하는 무작위 스칼라 양자화를 사용합니다. L1과 L3는 4비트 정밀도를, L2는 3비트 정밀도를 사용합니다.
• 구현: HuggingFace Transformers 상에서 구현된 약 9,000라인의 Python 라이브러리로, 커스텀 CUDA 커널이나 모델 가중치 수정이 필요하지 않습니다.

3. 주요 기여

• 아키텍처: 라우팅(L2)과 콘텐츠(L3)를 분리하여 정보의 영구적 손실 없이 높은 압축률을 달하는 3단계 가역적 계층 구조를 제시합니다.
• 검증 방법론: 쌍체 시행($n=500$ per cell), 정확한 McNemar 테스트, 이진 검색에 대한 TOST(Two One-Sided Tests) 동등성 검정, 그리고 퍼플렉시티(perplexity)에 대한 단측 비열등성 마진(one-sided non-inferiority margins)을 사용하는 엄격한 통계적 프레임워크를 사용합니다.
• 스케일링에 대한 발견: 모델 크기가 커질수록 품질 비용이 감소함을 입증하였으며, 4B 이상의 파라미터를 가진 모델의 경우 4비트 가중치 양자화와 자유롭게 결합 가능합니다.
• 오픈 소스: Apache 2.0 라이선스 하에 모델 어댑터와 평가 하네스를 포함한 베타 HSQ 패키지를 공개합니다.

4. 결과

Qwen3 제품군(0.6B–14B)을 대상으로 fp16, int8, int4 가중치 및 최대 32K 컨텍스트에서 평가한 결과는 다음과 같습니다:

• 압축 비율: Tamarin은 GPU에 상주하는 KV 캐시를 12–28배 줄입니다 (예: 32K 컨텍스트에서 Qwen3-8B의 경우 GPU 내 4.5 GiB에서 172 MiB로 감소, CPU에는 2.29 GiB 존재).
• 검색 성능:
  • 4B 및 8B 모델에서, 검색은 모든 깊이에서 압축되지 않은 베이스라인과 통계적으로 동등합니다 (TOST equivalence).
  • 32K 컨텍스트에서, Qwen3-8B-int4는 불일치 쌍(discordant pairs)이 0개인 500/500 니들(needle) 검색 패리티를 달로했습니다.
• 퍼플렉시티(PPL) 오버헤드:
  • 4B–14B 모델의 경우, PPL 오버헤드는 매우 미미합니다 (0.1–0.4%).
  • 4B 모델의 경우, 다국어 퍼플렉시티가 베이스라인보다 낮게 측정되었습니다 (비율 0.9972). 이는 압축 비용이 측정 한계치 미만임을 시사합니다.
  • 소형 모델(0.6B)은 더 높은 비용을 치릅니다 (fp16에서 4–6%, int4에서 6–10%).
• 토큰 일치도: 4B–14B 모델의 경우 베이스라인과 그리디(greedy) 토큰 수준 일치도가 **96–97%**입니다.
• 속도:
  • 프리필 오버헤드는 긴 컨텍스트에서 상쇄됩니다 (32K에서 1.2–1.3배).
  • 현재 디코드 처리량(throughput)이 병목 구간입니다. 컨텍스트가 8K까지는 베이스라인의 40–73% 수준을 유지하지만, 32K에서는 CPU로부터의 페칭 및 역양자화 비용으로 인해 **17–18%**까지 떨어집니다.

5. 주장 및 의의

본 논문은 Tamarin이 KV-캐시 관리의 패러다임을 **삭제(deletion)**에서 **인덱싱(indexing)**으로 성공적으로 전환했다고 주장합니다. 쿼리 시점에 (라우터를 통해) 어떤 토큰이 "중요한지" 결정을 유예함으로써, 제거 방식의 비가역성 문제를 해결합니다.

구체적 주장:

• 용량 우선(Capacity over Latency): Tamarin은 지연 시간을 줄이기 위한 것이 아니라, 제한된 GPU 메모리에 더 큰 컨텍스트와 배치 크스를 담기 위한 솔루션으로 제시됩니다.
• 가역성(Reversibility): 모든 압축된 토큰은 주소 지정이 가능합니다. 시스템은 정보를 영구적으로 버리지 않습니다.
• 모델 스케일링: 모델 용량이 커질수록 방법론이 더욱 효과적이 됩니다. 4B 및 8B 모델은 베이스라인과 거의 완벽한 동등성을 보여줍니다.
• 결합성(Composition): 최소 4B 파라미터 이상의 모델에서 추가적인 성능 저하 없이 4비트 가중치 양자화와 매끄럽게 결합됩니다.

명시적 한계 및 경계:

• 소형 모델: 4B 미만의 모델(특히 0.6B)은 노이즈 누적으로 인해 더 높은 PPL 오버헤드를 겪습니다.
• 취약한 체크포인트: Qwen3-14B-int4 체크포인트에서 특정 깊이의 단일 니들 검색 시 좁은 "구멍(holes)"이 발견되었으며, 이는 방법론 자체보다는 양자화의 취약성에 기인한 것으로 분석됩니다.
• 모델 제품군: 본 방법론은 Qwen3에 대해 통계적으로 검증되었습니다. Mistral-7B에 대한 초기 테스트에서는 성능 저하가 관찰되었는데, 이는 키 정규화(key normalization)의 부재로 인한 '패밀리 효과(family effect)'로 추정됩니다.
• 처리량: 현재 구현은 메모리 용량을 확보하는 대신 디코드 속도를 희생합니다. 매우 긴 컨텍스트(32K)에서는 상당한 처리량 저하가 발생합니다.

결론적으로, Tamarin은 사용자가 디코드 처리량 감소를 수용한다면, 소비자용 및 데이터센터용 GPU에서 긴 컨텍스트 추론을 가능하게 하는 실용적이고 가역적인 경로을 제공합니다.