KARA: Efficient Reasoning LLM Serving via Sliding-Window KV Cache Compression

기술 요약: Kara - 추론형 LLM의 효율적인 서빙을 위한 슬라이딩 윈도우 KV 캐시 압축 기법

문제 정의

추론 대규모 언어 모델(LLM), 특히 사고 사슬(Chain-of-Thought, CoT) 생성을 활용하는 모델은 디코딩 단계에서 방대한 양의 키-값(Key-Value, KV) 캐시를 축적하며 매우 긴 토큰 시퀀스를 생성합니다. 이러한 축적은 메모리 제약이 있는 동시 서빙 환경에서 상당한 메모리 오버헤드, 높은 디코딩 지연 시간, 그리고 제한된 출력 처리량(throughput)을 초래합니다.

중요하지 않은 KV 쌍을 선택적으로 제거하여 메모리 풋프린트를 줄이고자 하는 기존의 KV 캐시 압축 방식들은 두 가지 주요 한계점을 가집니다:

1. 임계값 트리거형 압축 정책(Threshold-Triggered Compression Policies): 대부분의 방법은 캐시가 사전 정의된 임계값에 도달했을 때만 압축을 수행합니다. 동시 서빙 시, 활성 시퀀스의 수가 임계값과 압축된 길이 사이의 간격에 근접함에 따라 압축이 빈번하게 트리거됩니다. 이는 계산 오버헤드를 발생시켜 처리량 이득을 상쇄할 수 있으며, 동시성이 증가할수록 오히려 전체 처리량이 감소하는 "동시성-처리량 역전(concurrency-throughput inversion)" 현상을 유발합니다. 또한, 전체 캐시에 대해 반복적으로 압축을 수행하면 특정 시퀀스 블록에서 모든 KV 쌍이 제거되어 정보 손실이 심화될 수 있습니다.
2. 경직된 유지 입도(Rigid Retention Granularity): 현재의 방법들은 일반적으로 고립된 KV 쌍을 유지하거나 고정된 크기의 청크(chunk)를 유지합니다. 이는 임의의 토큰 위치에 존재하는 유연한 크기의 의미론적 정보 청크를 보존하지 못하여, 잠재적인 추론 성능 저하를 야기합니다.

방법론: Kara

저자들은 디코딩 중에 최근에 생성된 컨텍스트에만 작동하도록 설계된 슬라이딩 윈도우 KV 캐시 압축 방식인 Kara를 제안합니다. Kara는 다음 세 가지 핵심 구성 요소를 통해 식별된 문제들을 해결합니다.

1. 슬라이딩 윈도우 양방향 어텐션 스코어링 (Sliding-Window Bidirectional Attention Scoring)

전체 이력을 압축하는 대신, Kara는 가장 최근에 생성된 토큰들에 대해 슬라이딩 윈도우를 유지합니다.

• 메커니즘: 이 윈도우 내에서, 방법론은 양방향 어텐션(bidirectional attention) 점수를 계산합니다. 윈도우 내의 모든 토큰의 쿼리(query) 상태를 사용하여 압축 가능한 영역(윈도우 끝의 보호 버퍼 제외)에 있는 키(key) 상태를 스코어링합니다.
• 근거: 경험적 분석에 따르면 양방향 어텐션은 효과적인 중요도 지표 역할을 합니다. 미래의 토큰에 높은 어텐션을 할당하는 토큰(및 그 반대)은 풍부한 문맥 정보를 포함하고 있는 경우가 많습니다. 이러한 어텐션 가중치를 누적함으로써, Kara는 중요하면서도 정보력이 높은 이산적인 후보 KV 쌍을 식별합니다.
• 선택: 윈도우 내에서 가장 중요한 상위 K(Top-K) 개의 이산적 KV 쌍을 유지 후보로 선택합니다.

2. Token2Chunk 모듈

고립된 쌍만을 유지하거나 고정된 크기의 청크를 유지하는 경직성을 극복하기 위해, Kara는 Token2Chunk 모듈을 도입합니다.

• 기능: 이 모듈은 선택된 이산적 KV 쌍의 집합을 유연한 크기의 연속적인 청크로 확장합니다.
• 과정: 인덱스 순으로 정렬된 모든 두 개의 연속된 후보 KV 쌍을 잠재적 청크의 엔드포인트(endpoint)로 취급합니다. 그런 다음, 길이와 엔드포인트 쌍의 중요도 점수를 기반으로 이러한 후보 청크들의 점수를 매깁니다.
• 결과: 이 모듈은 정보 보존을 극대화하는 청크를 필터링하고 선택하여, 고정된 경계에 구애받지 않고 임의의 위치에서 임의의 크기를 가진 연속적인 스팬(span)을 유지할 수 있게 합니다.

3. KvLLM 프레임워크 및 주기적 압축

저자들은 Kara를 vLLM에서 사용되는 PagedAttention 메커니즘에 적응시켜 KvLLM이라는 추론 프레임워크를 구축했습니다.

• 주기적 압축 정책 (Periodic Compression Policy): 임계값 기반 정책과 관련된 빈번한 트리거 문제를 피하기 위해, KvLLM은 주기적인 압축 스케줄을 채택합니다. 이는 정해진 디코딩 스텝마다 선택된 시퀀스의 트레일링(trailing) 블록을 압축합니다.
• 목표: 이 정책은 압축이 발생하는 시점을 제어하여, 동시성-처리량 역전 현상을 방지하고 더 많은 동시 시퀀스를 지원할 수 있도록 메모리를 효율적으로 해제합니다.

주요 기여

1. Kara 알고리즘: 슬라이딩 윈도우 양방향 어텐션을 사용하여 후보 이산 KV 쌍을 식별하고, Token2Chunk 모듈을 통해 임의의 위치에서 유연한 크기의 연속적 청크를 생성하여 의미론적 정보를 보존하는 새로운 압축 방법론입니다.
2. KvLLM 프레임워크: 메모리 제약 환경에서 처리량과 동시성을 개선하기 위해 설계되었으며, PagedAttention과 주기적 압축 정책을 결다한 Kara를 vLLM 기반으로 통합한 추론 프레임워크입니다.
3. 경험적 검증: Kara가 전체 KV 대비 극소수의 캐시만을 유지하면서도 Full-KV 수준의 정확도를 유지하며, KvLLM이 기존 방식들보다 출력 처리량을 크게 향상시킨다는 것을 포괄적인 평가를 통해 입증했습니다.

실험 결과

저자들은 Qwen3-4B, Qwen3-14B, Distill-Llama-8B 등의 모델을 사용하여 수학적 추론 벤치마크(MATH-500, AIME 2024, AMC 2023)와 Needle-in-a-Haystack (NIAH) 벤치마크에서 Kara와 KvLLM을 평가했습니다.

• 정확도: Kara는 KV 캐시의 20%만을 유지하면서도 Full-KV 정확도의 거의 100%를 보존합니다. Qwen3-14B를 이용한 MATH-500 데이터셋에서, Kara는 30% 유지 비율에서도 정확도가 거의 변하지 않았으며, 다양한 유지 수준에서 AdaKV, PyramidKV, SnapKV, ChunkKV를 포함한 다른 압축 방법들을 능가했습니다.
• 처리량: 메모리 제약이 있는 동시 서빙 환경에서, KvLLM은 vanilla vLLM 대비 평균 12.75% 향상된 출력 처리량을 보여주었습니다. 반면, SnapKV와 같은 베이스라인 방법들은 동시성이 증가함에 따라 빈번한 압축 트리거로 인해 처리량 저하(예: 배치 사이즈 128에서 11.15% 감소)를 보였습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 양방향 어텐션 스코어링과 Token2Chunk 모듈이 모두 필수적임을 확인했습니다. 두 구성 요소 중 하나라도 제거되면 측정 가능한 정확도 저하가 발생했습니다.

의의

본 논문은 Kara와 KvLLM이 추론형 LLM 서빙의 핵심 병목 현상을 해결한다고 주장합니다. 경직된 임계값 트리거형 압축과 고립된 쌍 유지 방식에서 벗어남으로써, 제안된 방법은 메모리 효율성과 추론 능력 사이의 균형을 효과적으로 맞춥니다. 본 연구의 의의는 정확도를 희생하지 않으면서 긴 컨텍스트 추론 요구사항을 가진 고동시성 워크로드를 서빙할 수 있는 능력을 갖추었다는 데 있으며, 이는 메모리 제약이 있는 배포 시나리오에서 실행 가능한 솔루션이 됩니다. 이 접근 방식은 훈련이 필요 없는(training-free) 방식이며 기존 추론 프레임워크와 플러그인 형태로 호환되도록 설계되었습니다.