SplitZip: Ultra Fast Lossless KV Compression for Disaggregated LLM Serving

기술 요약: SplitZip

문제 정의
현대의 대규모 언어 모델(LLM) 서빙 시스템은 자원 활용도를 최적화하기 위해 연산 집약적인 프리필(prefill) 단계와 메모리 집약적인 디코드(decode) 단계를 분리하는 프리필-디코드(PD) 분리(disaggregation) 방식을 점점 더 많이 채택하고 있습니다. 그러나 이 아키텍처는 프리필 워커(worker)에서 디코드 워커로 물리적 노드 간에 키-값(KV) 캐시를 전송할 때 발생하는 결정적인 병목 현상을 야기합니다. 프리필과 디코드가 서로 다른 노드 또는 클러스터 간의 링크(종종 50~100 GB/s의 대역폭을 가짐, 이는 intra-rack RDMA보다 현저히 낮음)로 분리된 실제 운영 환경에서, 이 전송 과정은 특히 긴 입력 및 에이전트형(agentic) 워크로드에서 지배적인 지연 요인이 됩니다.

기존 솔루션들은 다음과 같은 트레이드오프에 직면해 있습니다:

• 손실 압축 방식(pruning, 양자화, 선택적 유지)은 높은 압축률을 제공하지만 모델 출력을 변경하며, 배포 시마다 검증이 필요하고 긴 컨텍스트에서 오차 누적의 위험이 있습니다.
• 무손실 방식(예: Huffman 코딩, nvCOMP와 같은 범용 GPU 라이브러리)은 이 설정에 적합하지 않은 경우가 많습니다. 이들은 오프라인 가중치 압축을 대상으로 하거나, CPU에서 실행되거나, 가변 길이 코딩을 사용하여 불규칙한 메모리 액세스 패턴과 순차적 의존성을 생성함으로써, 프리필 중 KV 생성 속도를 따라잡기에 너무 느린 압축/압축 해제 처리량을 보입니다.

방법론: SplitZip
저자들은 분리된 LLM 서빙을 위한 KV 캐시 전송에 특화된, GPU 친화적인 무손실 압축 스킴인 SplitZip을 제안합니다. SplitZip은 모델 실행이나 의미론(semantics)을 변경하지 않고 KV 텐서를 비트 단위로 보존합니다.

• 핵심 통찰: 본 논문은 BF16(및 FP8) KV 활성화 값에서 중복성이 지수(exponent) 필드에 집중되어 있는 반면, 부호(sign)와 가수(mantissa)는 높은 엔트로피를 가지며 압축하기 어렵다는 점에 주목했습니다. 다양한 모델 제품군(Qwen, Llama, Phi)에 대한 통계적 분석 결과, 지수 엔트로피는 일반적으로 3~4비트이며, 상위 16개의 가장 빈번한 지수 값이 모든 지수 항목의 99% 이상을 차지함을 발견했습니다.
• 인코딩 전략:
  • 고정 길이 코딩: SplitZip은 가장 빈번한 지수 값을 4비트 고정 길이 코드로 매핑하기 위해 오프라인으로 교정된 Top-16 코드북을 사용합니다. 두 개의 4비트 코드는 하나의 바이트에 패킹됩니다.
  • 이스케이프 스트림(Escape Stream): Top-16 세트 이외의 지수 값은 "이스케이프(escape)"로 처리됩니다. 이러한 희귀한 값들에 대해, 시스템은 해당 요소의 위치(16비트)와 원본 지수 값(8비트)을 희소 보정 스트림(sparse correction stream)에 기록합니다.
  • 부호/가수 보존: 부호와 가수 비트는 압축 없이 8비트 스트림으로 무손실 저장됩니다.
  • 최적화: 인코딩 프로세스는 온라인 히스토그램 생성의 오버헤드를 피하기 위해 사전 교정된 코드북을 사용하여 GPU 처리량을 극대화하는 융합된 "Quad64" 벡터화 커널을 활용합니다.
• 디코딩 전략:
  • 병렬성: 디코딩은 바이트를 4비트 코드로 언패킹하고 룩업 테이블을 통해 병렬로 매핑합니다.
  • 보정: 밀집 경로(dense path)는 대부분의 값을 재구성합니다. 그 후 희소 이스케이프 스트림이 적용되어 몇 안 되는 잘못된 지수들을 정확한 원본 값으로 덮어씀으로써 비트 단위의 정확한 재구성을 보장합니다.
  • 설계 선택: 저자들은 (센티널을 사용하는) Top-15 설계 대신 Top-16 설계를 명시적으로 선택했습니다. 센티널 방식은 메타데이터를 절약할 수 있지만, 불규칙한 제어 흐름을 유발하여 GPU 디코딩 처리량을 심각하게 저하시킵니다. SplitZip은 균일하고 분기(divergence)가 없는 GPU 실행을 우선시합니다.

주요 기여

1. KV 중복성 특성화: 본 논문은 모델 가중치에서 이미 언급된 BF16 지수의 중복성이 밀집(dense), MoE, 하이브리드 아키텍처의 KV 활성화에서도 널리 퍼져 있으며 일관되게 나타남을 입증했습니다.
2. 고처리량 코덱: SplitZip은 실제 BF16 활성화에 대해 613.3 GB/s의 인코딩 및 2181.8 GB/s의 디코딩 처리량을 달합니다. 이 속도는 기존의 무손실 압축기들(예: Falcon보다 68.9배 빠른 인코딩, nvCOMP Cascaded보다 14.1배 빠른 디코딩)을 크게 상회합니다.
3. 엔드 투 엔드 통합: 이 시스템은 SGLang 서빙 프레임워크(전송을 위해 Mooncake 사용)에 통합되었습니다. 이를 통해 BF16 KV 캐시 전송에서 최대 1.32배의 속도 향상, 첫 토큰 생성 시간(TTFT)에서 1.30배의 속도 향상, 그리고 긴 컨텍스트 워크로드에서 1.23배의 요청 처리량 증가를 달성했습니다.
4. 확장성: 이 접근 방식은 FP8 (E5M2) KV 캐시로 확장되어, 네이티브 FP8 저장 대비 추가적인 1.14배의 압축을 제공합니다.

결과

• 코덱 성능: SplitZip은 BF16에 대해 1.324배의 압축률을 유지합니다(이스케이프율이 0.16%로 떨어질 때의 이론적 한계인 1.33배에 근접). 이는 처리량 측면에서 베이스라인들을 압도하면서도 무손실 충실도를 유지합니다.
• 전송 지연 시간: Mooncake 전송 실험에서, SplitZip은 시퀀스 길이와 배치 크기에 따라 1.22배에서 1.32배의 전송 시간 단축을 보여줍니다. 이 이점은 전송이 대역폭 제한을 받는 긴 시퀀스로 갈수록 커집니다. 긴 시퀀스(예: 64K)의 경우, 코덱 오버헤드는 미미하며(전체 시간의 약 7%), 줄어든 페이로드 크기가 직접적으로 지연 시간을 낮춥니다.
• 절제 연구(Ablation Studies):
  • Top-16 vs. Top-8: Top-16이 선호됩니다. Top-8은 커버리지를 감소시키고(92% vs 99.8%), 이스케이프율을 높이며, 효율적이지 못한 패킹으로 인해 디코딩 속도를 3배 느리게 만듭니다.
  • 교정(Calibration): 단일 오프라인 교정 코드북은 다양한 데이터셋(WikiText, HumanEval, MMLU)과 모델 레이어에 걸쳐 잘 일반화되며, 동적/텐서별/토큰별 교정에 따른 막대한 처리량 페널티를 피할 수 있습니다.
  • 메타데이터 트레이드오프: 이스케이프 위치를 명시적으로 저장하는 방식(Top-16)이 센티널 기반 탐지(Top-15)보다 선호됩니다. 이는 균일한 디코딩 경로를 보존하여 3.5배 더 높은 디코딩 처리량을 가능하게 하기 때문입니다.

의의
본 논문은 SplitZip이 분리된 LLM 서빙에서 커지는 특정 병목 현상인 KV 캐시 전송의 통신 오버헤드를 해결한다고 주장합니다. 부동 소수점 지수의 통계적 특성을 활용하고 GPU 병렬성에 맞게 설계된 코덱을 통해, SplitZip은 모델 정확도를 희생하지 않고 효율적인 무손실 전송을 가능하게 합니다. 이를 통해 PD 분리 구조가 고대역폭 RDMA 패브릭뿐만 아니라 표준 네트워크 링크에서도 효과적으로 확장될 수 있도록 하며, 손실 압축이 허용되지 않는 긴 컨텍스트 및 다단계 추론 워크로드를 지원합니다. 저자들은 SplitZip을 대역폭 비용을 더욱 줄이기 위해 다른 최적화 기법(양자화 등) 위에 계층화할 수 있는 보완적인 기술로 포지셔닝합니다.