기술 요약: VeriCache

문제 정의

대규모 언어 모델 (LLM) 의 컨텍스트 길이가 급격히 확장되어 (백만 토큰 이상) 키 - 밸류 (KV) 캐시의 크기로 인해 추론 서비스에서 심각한 병목 현상이 발생하고 있습니다. 이 병목 현상은 두 가지 방식으로 나타납니다:

1. 요청 내부 오버헤드: 디코딩 단계에서 GPU 고대역폭 메모리 (HBM) 에서 전체 KV 캐시를 읽어야 하므로, 컨텍스트 길이에 비례하여 선형적으로 증가하는 메모리 대역폭 병목이 발생합니다. 또한 대규모 캐시는 GPU 메모리에 수용 가능한 배치 크기를 줄입니다.
2. 요청 간 오버헤드: 공유 접두어 (예: 시스템 프롬프트) 에 대해 미리 계산된 KV 캐시를 재사용할 때, 저장소나 네트워크를 통해 대량의 데이터를 전송해야 하며, 이는 종종 요청 지연 시간을 지배합니다.

이를 해결하기 위해 다양한 KV 캐시 압축 방법 (토큰 드롭핑 및 양자화) 이 제안되었습니다. 그러나 이러한 방법들은 본질적으로 손실 (lossy) 이 있습니다. 짧은 출력의 경우 토큰 수준 지표 (예: 퍼플렉시티, F1 점수) 를 유지할 수는 있지만, 다음 토큰 분포에 체계적인 편향을 도입합니다. 생성이 진행됨에 따라 이 편향이 누적되어 출력이 전체 KV 기준과 크게 달라집니다. 이는 코드 생성 (구문 오류) 및 도구 호출 (잘못된 인수) 과 같은 엄격한 기능적 정확성이 필요한 애플리케이션에서 "치명적인 실패"를 초래하여, 이러한 중요한 작업에는 기존 압축 방식이 적합하지 않게 만듭니다.

방법론: VeriCache

VeriCache 는 KV 캐시 압축의 처리량 이점을 달성하면서도 손실 없는 (lossless) 전체 KV 디코딩과 동일한 출력을 보장하도록 설계된 추론 프레임워크입니다. 이는 손실 압축 방법을 직접적인 서비스 메커니즘이 아닌, 추측 실행 (speculative execution) 계층으로 재사용합니다.

핵심 알고리즘

VeriCache 는 초안 작성 (drafting) 후 검증 (verify) 하는 루프로 작동합니다:

1. 초안 작성: 모델은 압축된 KV 캐시 ($KV_{comp}$) 를 사용하여 후보 토큰 시퀀스 ($x$) 를 생성합니다. 이 단계는 빠르고 메모리 효율적입니다.
2. 검증: 시스템은 전체 KV 캐시 ($KV_{full}$) 를 사용하여 단일 순전파 (forward pass) 를 수행하여 초안 작성된 토큰을 병렬로 검증합니다.
3. 수용: 첫 번째 불일치까지 토큰이 수용됩니다. 모든 초안 작성된 토큰이 전체 KV 예측과 일치하면 추가적인 "보너스" 토큰이 수용됩니다. 이 과정은 마지막 수용된 토큰에서 반복됩니다.

주요 시스템 혁신

검증 오버헤드가 압축으로 인한 처리량 증가를 상쇄하지 않도록 하기 위해, VeriCache 는 두 가지 중요한 시스템 수준의 설계를 도입합니다:

1. 크로스 - 리소스 교차 배치 (Cross-Resource Staggering, P1)
기존 추측 디코딩은 종종 동기화 (모든 초안 작성 후 모든 검증) 방식으로 실행되어 리소스 경합을 유발합니다. VeriCache 는 초안 작성과 검증이 상호 보완적인 리소스 병목 현상을 가진다는 사실을 활용합니다:

• 초안 작성은 GPU HBM 대역폭 제한 (압축된 KV 및 가중치 읽기) 입니다.
• 검증은 인터커넥트 대역폭 제한 (CPU/저장소에서 전체 KV 로드) 및 연산 제한입니다.
• 메커니즘: 런타임 스케줄러는 일부 요청이 초안 작성 (HBM 사용) 하는 동안 다른 요청은 검증 (PCIe/네트워크를 통한 전체 KV 로드) 하도록 요청을 교차 배치합니다. 이를 통해 데이터 전송과 연산을 중첩하여 인터커넥트와 GPU HBM 을 모두 정지 없이 활용합니다.

2. 높은 수용률을 통한 확장된 검증 기간 (P2)
기존 추측 디코딩은 더 작고 다른 모델을 초안 작성기로 사용하여 (빠른 분포 발산과 짧은 수용 길이로 이어짐), VeriCache 는 압축된 KV 를 사용하는 동일한 타겟 모델을 사용합니다.

• 모델 가중치와 지배적인 어텐션 패턴이 유지되므로, 압축된 KV 초안 작성기는 긴 초안 길이에서도 높은 수용률을 유지합니다 (예: 소규모 모델 초안 작성기의 23 개 토큰 대비 1 회당 2540 개 토큰).
• 이 높은 수용률은 비싼 전체 KV 검증 비용을 분산시켜, 정확성을 유지하면서 검증 빈도를 줄일 수 있게 합니다.

아키텍처 지원

VeriCache 는 두 가지 주요 배포 시나리오를 지원합니다:

• 긴 컨텍스트 디코딩: 압축된 KV 는 GPU HBM 에 상주하고, 전체 KV 는 CPU 메모리에 저장됩니다. 검증은 PCIe 링크를 통해 CPU 에서 GPU 로 전체 KV 를 로드하는 과정을 포함합니다.
• 원격 접두어 캐싱: 압축된 KV 는 느린 네트워크 링크를 통해 원격 GPU 로 스트리밍되어 초안 작성이 수행됩니다. 전체 KV 는 빠른 로컬 링크를 통해 로컬 GPU 로 로드되어 검증됩니다. 이는 느린 저장소 전송을 원격 GPU 의 연산과 분리합니다.

이 프레임워크는 균일한 압축기 인터페이스를 노출하여, 스케줄링 또는 검증 로직을 수정하지 않고도 다양한 기존 토큰 드롭핑 및 양자화 방법 (예: KVzip, KIVI, SnapKV) 과 통합할 수 있게 합니다.

주요 기여

1. 압축을 통한 손실 없는 추론: VeriCache 는 본질적으로 손실적인 KV 압축 기술을 사용하여 전체 KV 디코딩과 동일한 출력을 보장하는 손실 없는 LLM 추론을 가능하게 하는 최초의 프레임워크입니다.
2. 검증 오버헤드를 위한 시스템 설계: 크로스 - 리소스 교차 배치와 확장된 검증 기간을 도입하여 전체 KV 캐시 로딩 지연을 숨기고, 일반적으로 추측 검증과 관련된 처리량 저하를 해결합니다.
3. 통합 인터페이스: 특정 압축기를 하드 - 와이어링한 기존 시스템과 달리, 다양한 압축 방법 (토큰 드롭핑 및 양자화 모두) 을 지원하는 범용 인터페이스를 제공합니다.
4. 이중 시나리오 지원: 긴 컨텍스트 디코딩 (HBM 병목) 과 원격 접두어 캐싱 (네트워크/저장소 병목) 모두를 해결합니다.

실험 결과

코드 생성, 도구 호출, 수학 추론 등 다양한 워크로드에 걸쳐 Mistral-24B, Qwen-32B, Llama-70B 모델을 평가한 결과:

• 처리량: VeriCache 는 긴 컨텍스트 디코딩에서 전체 KV 추론 대비 최대 4 배 높은 처리량을 달성하며, 원격 접두어 캐싱에서는 최대 2 배의 처리량을 보입니다.
• 정확성: 손실 기반 방법론이 기능적 정확도에서 큰 저하를 겪는 반면 (예: 4 배 압축 시 기저 방법론에서 코드 구문 유효성이 거의 0 으로 떨어짐), VeriCache 는 (탐욕적 디코딩 하에서) 전체 KV 추론과 동일한 출력을 생성합니다.
• 품질 - 처리량 트레이드오프: 손실 기반 방법론은 더 높은 압축이 더 낮은 품질로 이어지는 트레이드오프를 강요하는 반면, VeriCache 는 압축 추론의 처리량 수준에서 작동하면서도 완전한 품질을 유지합니다.
• 조합: VeriCache 는 기존 추측 디코딩 (예: EAGLE) 과 조합될 수 있으며, 직교 병목 현상 (압축을 통한 배치 크기, 소형 모델 초안 작성을 통한 토큰 속도) 을 공격함으로써 최대 4.35 배의 이상적인 속도 향상을 달성합니다.

의의

이 논문은 높은 처리량의 손실 압축 (기능적 실패 위험) 과 낮은 처리량의 전체 KV 추론 사이에서 선택해야 하는 현재의 이분법은 불필요하다고 주장합니다. VeriCache 는 압축이 정확한 계산을 대체해서는 안 되며, 오히려 가속화해야 함을 보여줍니다. 동일 모델 압축 초안 작성의 높은 수용률과 정교한 리소스 교차 배치를 활용함으로써, VeriCache 는 이러한 작업에 필요한 기능적 정확성을 희생하지 않고도 코딩 및 에이전트 워크플로우와 같은 중요한 애플리케이션에서 긴 컨텍스트 LLM 을 배포할 수 있게 합니다.