기술 요약: 중요한 것을 양자화하기: 키에는 더 많이, 값에는 더 적게

문제 제기

대규모 언어 모델 (LLM) 은 모델 크기와 컨텍스트 길이에 비례하여 선형적으로 증가하는 키 - 값 (KV) 캐시에 기인한 심한 추론 시간 메모리 병목 현상에 직면해 있습니다. KV 캐시 양자화 (정밀도를 BF16 에서 INT4 이하로 낮추는 것) 는 메모리 절감을 위한 경로를 제공하지만, 기존 방법들은 종종 키와 값 사이의 비트 할당을 위한 휴리스틱하고 임시방편적인 튜닝에 의존합니다. 현재 접근 방식들은 일반적으로 키 - 값 분할을 그리드 검색하거나 추론 시간 활성화 통계에서 유도해야 하는 하이퍼파라미터로 취급하며, 내재적 모델 특성에 기반한 이론적 토대가 부족합니다. 이로 인해 다음과 같은 근본적인 질문이 제기됩니다: 양자화 오차를 최소화하면서 모델 정확도를 유지하는 원칙적이고 일반화 가능한 방식으로 비트 할당을 어떻게 결정할 수 있을까요?

방법론

본 논문은 트랜스포머 가중치 행렬의 내재적 스펙트럼 노름과 프로베니우스 노름에 기반한 기하학적 접근 방식을 통해 혼합 정밀도 KV 양자화를 제안합니다. 방법론은 두 가지 이론적 및 실증적 단계로 진행됩니다:

1. 노름 불균형의 이론적 분석: 저자들은 키 ($W_K$) 와 값 ($W_V$) 투영 행렬의 학습 역학을 분석합니다. 그들은 주메커니즘의 구조적 비대칭성으로 인해 $W_K$가 체계적으로 $W_V$보다 큰 스펙트럼 노름과 프로베니우스 노름을 획득함을 보여줍니다. 구체적으로, $W_K$는 어텐션 맵을 형성하고 쿼리와 곱셈적으로 상호작용하여 학습 중 증폭된 기울기 신호를 유발하는 반면, $W_V$는 어텐션 후 표현에만 영향을 미칩니다. 그 결과 $W_K$는 더 높은 정보 밀도와 크기를 갖게 됩니다.
2. 양자화 정리 유도: 양자화 오차가 신호 에너지 (노름 크기) 에 비례한다는 관찰에 기반하여, 저자들은 두 가지 정리를 유도합니다:
   • 키 - 값 노름 불균형 정리: 주요 LLM 패밀리 전반에 걸쳐 $W_K$의 기대 스펙트럼 노름과 프로베니우스 노름이 $W_V$의 노름을 초과함을 증명합니다.
   • 키 우선 양자화 정리: 고정된 메모리 예산에 대해 키에 값보다 더 높은 정밀도를 할당하는 것이 총 양자화 오차를 엄격히 감소시킨다는 것을 확립합니다. 이는 고노름 키 경로에서 발생하는 오차가 네트워크를 통해 값 경로에서 발생하는 오차보다 훨씬 더 크게 증폭되기 때문입니다.

저자들은 다양한 모델 (Llama-3, Mistral, Phi, Qwen, DeepSeek), 데이터셋 (C4, MMLU, GSM8K, CoQA, EQ-Bench, LongBench), 그리고 양자화 백엔드 (Optimum Quanto 및 HQQ) 를 통해 이러한 정리를 검증했습니다. 또한 이 전략을 회전 기반 아웃라이어 재분배 방법 (예: QuaRot) 과 통합하는 것도 조사했습니다.

주요 기여

• 이론적 토대: 본 논문은 KV 캐시의 비대칭 비트 할당에 대한 최초의 이론적 근거를 제공하여, 휴리스틱 튜닝을 넘어 트랜스포머 가중치의 선형 대수적 속성에 기반한 설계 원칙으로 나아갑니다.
• 노름 불균형 정리: 키 투영이 값 투영보다 일관되게 더 큰 노름을 보이며, 이 특성이 결과적인 캐시에서도 유지됨을 증명합니다.
• 키 우선 양자화 정리: 값보다 키에 정밀도를 우선시하는 것이 양자화 오차를 최소화하고 대칭적이거나 역전된 할당보다 추론 정확도를 더 효과적으로 유지함을 공식적으로 입증합니다.
• 실증적 검증: 광범위한 실험은 키를 우대하는 할당 (예: 4 비트 키, 2 비트 값) 이 균일한 4 비트 할당 (K4V4) 의 정확도까지 98.3% 까지 유지하면서 KV 캐시 메모리를 25% 감소시킨다는 것을 보여줍니다.
• 직교성과 통합: 본 연구는 이 기하학적 전략이 기존 아웃라이어 재분배 기술과 직교함을 보여줍니다. 키 우선 양자화와 키 전용 회전을 결합하면 시너지 효과를 얻어 다양한 작업에서 균일한 베이스라인보다 정확도가 4.4~18% 향상됩니다.

결과

• 재구성 오차: 일곱 가지 모델과 여러 데이터셋에 걸쳐, 동일한 비트 폭 (예: K2 대 V2) 에서 키 캐시는 값 캐시보다 일관되게 더 큰 재구성 오차를 발생시켜 양자화에 대한 민감도가 더 높음을 확인했습니다.
• 하류 정확도:
  • Optimum Quanto 를 사용한 GSM8K 평가에서 K4V2 구성 (4 비트 키, 2 비트 값) 은 K2V4 를 크게 능가하여 전체 정밀도 베이스라인 정확도의 약 94% 를 회복하는 반면, 값을 우대하는 할당은 최대 30 퍼센트 포인트의 손실을 초래했습니다.
  • HQQ 를 사용하여 더 넓은 비트 폭 (18 비트) 과 모델 (0.6B32B) 에 걸쳐 초저정밀도에서 키에 단 하나의 추가 비트만 할당해도 막대한 이득을 얻습니다 (예: Qwen3-8B 의 GSM8K 에서 1 비트 키에서 2 비트 키로 이동할 때 +48 퍼센트 포인트).
  • 평균적으로 K4V2 는 CoQA, EQ-Bench, GSM8K 전반에 걸쳐 K4V4 정확도의 98.3% 를 유지합니다.
• 회전 통합: K4V2 설정에서 키에만 회전을 적용하면 전체 K4V4 베이스라인과 거의 일치하는 정확도를 달성하여, 회전의 주요 이점이 키 아웃라이어를 완화하는 데서 비롯됨을 나타냅니다. 값만 회전시키는 것은 미미하거나 부정적인 결과를 가져옵니다.
• 그룹 크기 민감도: 키에 대한 더 세밀한 그룹 크기 (예: 32) 는 더 높은 정보 밀도로 인해 정확도를 향상시키는 반면, 값에 대한 더 거친 그룹 크기 (64 또는 128) 는 무시할 수 있는 정확도 손실로 충분합니다.

중요성

본 논문은 비트 할당을 임시방편적인 설계 선택에서 효율적인 LLM 추론을 위한 이론적으로 근거 있고 기하학적으로 주도되는 설계 원칙으로 변모시키기를 주장합니다. 모델 가중치의 내재적 노름에 혼합 정밀도 전략을 고정함으로써, 저자들은 "키에는 더 많이, 값에는 더 적게"라는 일반화 가능한 규칙을 제공합니다. 이 접근 방식은 추론 시간 introspection 이나 재학습 없이 모델당 경량화된 일회성 분석 비용을 제공합니다. 이러한 발견은 향후 KV 양자화 프레임워크와 하드웨어 - 알고리즘 공동 설계가 최소한의 정확도 저하로 최대의 메모리 효율성을 달성하기 위해 키 정밀도를 우선시해야 함을 시사합니다. 또한 이 연구는 이 전략이 기존 아웃라이어 재분배 기술을 보완하여 복잡성을 증가시키지 않고 추가적인 성능 향상을 가능하게 함을 강조합니다.