Efficient Remote KV Cache Reuse with GPU-native Video Codec

기술 요약: GPU 네이티브 비디오 코덱을 활용한 효율적인 원격 KV 캐시 재사용

문제 제기
대규모 언어 모델 (LLM) 은 increasingly 공통 접두사를 공유하는 요청 간에 계산 비용을 분산시키기 위해 키-밸류 (KV) 캐시 재사용에 점점 더 의존하고 있습니다. 효과적이기는 하지만, 이러한 캐시를 저장하고 검색하는 것은 분산 환경이나 대역폭이 제한된 환경에서 병목 현상이 됩니다. 기존 원격 KV 재사용 솔루션은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 대역폭 제약: 표준 네트워크 (수십 Gbps) 를 통해 원시 KV 텐서를 전송하면 높은 지연 시간이 발생하여 재사용의 이점을 상쇄합니다.
2. 비효율적인 압축 해제: 기존 압축 방법 (예: CacheGen) 은 커스텀 CUDA 커널을 사용하여 LLM 추론 엔진과 GPU 리소스 (연산 및 메모리) 를 경쟁하게 만들어 상당한 간섭을 유발하고 첫 번째 토큰 도달 시간 (TTFT) 을 증가시킵니다.
3. 높은 하드웨어 비용: 간섭이 없는 대안 솔루션 (예: ShadowServe) 은 압축 해제를 SmartNIC 으로 오프로드하지만, 이는 과도하게 비싸 광범위한 채택을 방해합니다.
4. 비최적의 압축: 기존 비디오 코딩 시도 (예: llm.265) 는 압축률과 추론 정확도 사이의 균형을 맞추지 못해, 종종 프레임 간 예측을 폐기하거나 모델 성능을 저하시키는 손실 단계를 사용합니다.

방법론: KVCodec
저자들은 GPU 네이티브 비디오 코덱 하드웨어 (NVENC/NVDEC) 의 유휴 상태를 활용하여 효율적인 원격 KV 캐시 재사용을 가능하게 하는 KVCodec 시스템을 제안합니다. 이 시스템은 두 가지 핵심 구성 요소로 이루어져 있습니다:

1. 코덱 친화적 텐서 레이아웃 (압축)
정확도 손실 없이 높은 압축률을 달성하기 위해 KVCodec 은 KV 텐서를 비디오 프레임에 매핑하는 방식을 재설계하여, 표준 손실 비디오 인코딩 단계 (DCT 및 양자화) 를 피하고 대신 무손실 프레임 내 및 프레임 간 중복 제거를 활용합니다.

• 프레임 간 레이아웃: 시스템은 토큰 차원 (가장 높은 유사성을 보임) 을 따라 KV 텐서를 슬라이스하고 이를 연속적인 비디오 프레임에 분배합니다. 이는 시간적 중복성을 극대화하여 비디오 인코더가 이전 프레임을 기반으로 후속 프레임을 예측할 수 있게 합니다.
• 프레임 내 레이아웃: 시스템은 나머지 차원 (헤드 수 및 헤드 차원) 을 비디오 픽셀 블록에 매핑하는 것을 최적화합니다. 이를 공동 최적화 문제로 공식화하고 특정 규칙 (예: 서로 다른 어텐션 헤드 간 요소 교환 금지) 을 적용함으로써, 압축을 극대화하는 최적의 기하학적 타일링을 찾습니다.
• 무손실 인코딩: 시스템은 무손실 모드에서 H.265 인코딩을 사용하여 재구성된 KV 캐시가 원본과 동일하도록 보장함으로써 100% 추론 정확도를 유지합니다.

2. 효율적인 원격 KV 페처 (압축 해제 및 스케줄링)
TTFT 를 최소화하고 리소스 경쟁을 제거하기 위해 KVCodec 은 파이프라인화된 페칭 메커니즘을 도입합니다:

• 페칭 인식 스케줄러: 이 구성 요소는 원격 KV 페칭이 필요한 요청과 그렇지 않은 요청을 구분합니다. 페칭 요청을 백그라운드 큐로 격리하여 재사용이 아닌 요청의 추론을 차단하지 않도록 함으로써 (Head-of-Line 차단 문제 해결) 이를 방지합니다.
• 적응형 해상도 페칭: 네트워크 지터와 다양한 대역폭을 처리하기 위해 시스템은 KV 청크의 비디오 해상도를 동적으로 조정합니다. 파이프라인 버블을 최소화하기 위해 전송 시간과 디코딩 시간 사이의 균형을 맞추는 최적의 해상도를 선택합니다.
• 프레임 단위 텐서 복원: 메모리 급증을 유발하는 청크 기반 복원과 달리, KVCodec 은 디코딩 직후 프레임 단위로 KV 텐서를 복원합니다. 이는 GPU 메모리 사용량을 최소화 (압축 해제 버퍼를 70MB 미만으로 유지) 하고 간섭 없는 추론을 보장합니다.

주요 기여

• GPU 네이티브 코덱의 최초 식별: 본 논문은 현대 GPU 의 유휴 NVENC/NVDEC 유닛을 원격 KV 캐시 재사용에 식별하고 활용하는 첫 번째 사례로, CUDA 기반 또는 SmartNIC 기반 솔루션에 대한 비용이 없고 간섭이 없는 대안을 제공합니다.
• 시스템 설계 (KVCodec): 저자들은 코덱 친화적 텐서 레이아웃과 효율적인 원격 페처를 통합한 완전한 시스템의 프로토타입을 구현했습니다.
• 종합 평가: 이 시스템은 140 Gbps 대역폭 범위에서 다양한 하드웨어 (고성능 A100, 중급 H20, 저가 L20) 와 모델 (7B70B) 에 걸쳐 평가되었습니다.

결과
실험 결과는 KVCodec 이 최첨단 (SOTA) 방법보다 크게 우월함을 보여줍니다:

• TTFT 감소: KVCodec 은 무손실 정확도를 유지하면서 SOTA 방법 (CacheGen 및 원시 KV 재사용 포함) 대비 TTFT 를 최대 3.51 배 감소시킵니다.
• 비재사용 요청 성능: 페칭 작업을 격리함으로써, KVCodec 은 간섭이 발생할 수 있는 베이스라인 대비 비재사용 요청의 TTFT 를 77% 줄이고 TPOT(출력 토큰당 시간) 를 35.4% 감소시킵니다.
• 압축 효율성: 코덱 친화적 레이아웃은 모델 정확도 저하 없이 11.9 배의 압축률을 달성하여, CacheGen 보다 2.17 배 그리고 ShadowServe 보다 1.93 배 더 우수합니다.
• 강건성: 이 시스템은 다양한 네트워크 대역폭과 컨텍스트 길이에 걸쳐 성능 향상을 유지하며, 특히 대역폭이 제한된 시나리오 (<40 Gbps) 에서 탁월한 성능을 발휘합니다.

의의 및 주장
본 논문은 KVCodec 이 원격 KV 캐시 재사용을 위한 광범위하게 배포 가능하고 비용 효율적인 솔루션을 제공한다고 주장합니다. 새로운 하드웨어나 비싼 NIC 를 요구하는 대신 기존 하드웨어 기능 (GPU 네이티브 코덱) 을 활용함으로써 전송 속도, 압축 해제 지연 시간, 추론 간섭 사이의 중요한 트레이드오프를 해결합니다. 저자들은 그들의 접근 방식이 대역폭이 제한된 중급 및 저가 GPU 에서 LLM 서비스가 효율적으로 작동할 수 있게 하여, 원격 KV 재사용의 적용 범위를 더 넓은 실제 배포 시나리오로 확장한다고 주장합니다. 이 작업은 명시적으로 윤리적 문제를 제기하지 않는다고 명시하고 있습니다.