기술 요약: KV 캐시 압축을 위한 Hurwitz 사원수 곱셈 양자화

문제 정의

대규모 언어 모델 (LLM) 의 긴 문맥 추론 중 키 - 밸류 (KV) 캐시의 메모리 비용은 종종 계산 비용을 압도합니다. FP16 으로 K 및 V 벡터를 저장할 경우, 시퀀스 길이가 32k 를 초과하면 수십 기가바이트의 메모리를 소모할 수 있습니다. 스칼라 양자화 (예: int8, int4) 는 이러한 비용을 줄이지만, 4 비트 미만에서는 성능이 현저히 저하되며 int2 는 일반적으로 모델을 붕괴시킵니다. furthermore, 현대 아키텍처 (특히 Qwen2.5 및 Qwen3 과 같은 그룹화 쿼리 어텐션을 사용하는 아키텍처) 는 "아웃라이어가 많은" 어텐션 패턴을 보이며, 소수의 K-청크가 극단적인 크기를 가집니다. 표준 스칼라 양자화는 이러한 시나리오에서 치명적으로 실패하여 퍼플렉시티 (PPL) 가 10,000 포인트 이상 급증합니다. 기존 벡터 양자화 접근법은 종종 보정 데이터를 필요로 하거나 이러한 아웃라이어를 효과적으로 처리하지 못합니다.

방법론: Hurwitz 사원수 곱셈 양자화 (HQMQ)

저자들은 보정이 필요 없는 방법인 HQMQ 를 제안합니다. 이 방법은 K 또는 V 벡터의 4 원소 청크 각각을 사원수 $x \in \mathbb{H}$로 취급합니다. 이 방법은 벡터를 반지름 $r = \|x\|$와 3-구면 $S^3$ 위의 단위 방향 $u = x/r$로 분해합니다.

1. 곱셈 코드북 구성

단일 대형 코드북을 학습하거나 가법적 구성을 사용하는 대신, HQMQ 는 두 구성 요소의 곱셈 곱을 통해 결합된 코드북을 구성합니다:

• 주 코드북 ($P$): 24-셀의 꼭짓점에 해당하는 24 개의 고정 단위 Hurwitz 사원수 집합 ($S^3$ 위의 이진 사면체 군 $2T$). 이러한 꼭짓점은 쌍으로 $60^\circ$만큼 분리되어 있으며 닫힌 곱셈 군을 형성합니다.
• 보조 코드북 ($S$): 보정 없이 (레이어, 헤드, 역할) 당 초기화된 $S$개의 무작위 단위 사원수 집합.

실제 코드북은 $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ 집합입니다. 이는 $S$개의 매개변수만 저장하면서 $24S$개의 실제 코드워드를 생성합니다. 방향 $u$는 내적 $\langle u, c \rangle$를 최대화하는 코드워드 $c \in C$로 양자화됩니다.

2. 무작위 초기화에 대한 이론적 정당성

이 논문은 단위 사원수에 의한 좌측 곱셈이 $S^3$ 위의 등거리 변환 (isometry) 이므로 보정이 불필요하다고 주장합니다. $S$개를 무작위로 선택하면 고정된 $2T$ 군이 효과적으로 회전하여 $S^3$을 준균일하게 채우는 $S$개의 불연속 등거리 복사본을 생성합니다. Proposition 3.1 은 이 무작위 곱셈 패킹이 $S^3$에서 $O((24S)^{-1/3})$의 최적 커버링 비율을 달성하며, 상수 범위 내에서 최적 구면 패킹의 이론적 한계와 일치함을 입증합니다.

3. 중앙값 - 승수 아웃라이어 추출 (Med3×)

청크 노름이 80~280 배까지 변동하는 "아웃라이어 많은" 아키텍처를 처리하기 위해, 저자들은 배치별 아웃라이어 추출 단계를 도입합니다:

• 현재 배치 전체의 중앙값 청크 노름 $r_{med}$을 계산합니다.
• $r > C \cdot r_{med}$인 청크를 식별합니다 (고정 상수 $C=3$ 사용).
• 이러한 아웃라이어를 전체 FP16 으로 저장하고 (1 비트 플래그 포함), 나머지 "대량" 청크는 HQMQ 를 사용하여 양자화합니다.
  이 단계는 보정 데이터를 필요로 하지 않으며 다양한 아키텍처에서 안정적입니다.

주요 기여

1. 새로운 코드북 구성 규칙: 가법적 VQ(CommVQ) 또는 평탄 학습 VQ(VPTQ) 와는 다른 유한 Hurwitz 군 $2T$ 기반의 곱셈 양자화 방식.
2. 보정 없는 배포: 24-셀의 Haar-무작위 회전 기하학적 특성에 의존하여 모델별 보정 패스를 제거합니다. 실험 결과, 무작위 시드 간 엔드 태스크 퍼플렉시티 변동이 0.14% 미만임을 확인했습니다.
3. 강건한 아웃라이어 처리: Med3× 추출 메커니즘을 통해 naive int4 가 완전히 실패하는 아웃라이어 많은 모델 (Qwen2.5/3 등) 에서 저비트 양자화를 가능하게 합니다.
4. 실험적 검증: Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B, gpt-oss-20b 등 다섯 가지 다양한 모델을 평가하여 naive 정수 기준 대비 파레토 우위를 입증했습니다.

실험 결과

퍼플렉시티 및 품질

• Mistral-7B 및 Llama-3-8B: HQMQ 는 $\sim5$비트에서 FP16 퍼플렉시티와 0.02~0.03 포인트 이내로 일치하는 손실 없는 압축을 달성합니다. 3.79 비트에서는 FP16 다운스트림 제로샷 정확도 (PIQA, HellaSwag, ARC-Easy) 와 일치합니다.
• Qwen2.5-7B 및 Qwen3-8B (아웃라이어 많은): naive int4 는 PPL 이 17,00018,000 으로 붕괴됩니다. HQMQ + Med3× 는 $\sim5$비트에서 FP16 품질 (PPL $\approx$ 9.09.7) 을 회복하여, 더 적은 비트에서 naive int4 대비 $\sim1,900$배의 품질 개선을 보입니다.
• gpt-oss-20b (희소 MoE): HQMQ 는 일치하는 비트 수에서 naive 기준 대비 3~3.5 배의 파레토 우위를 보입니다.

기준선과의 비교

• naive Int 대비: 일치하는 비트율에서 모든 모델에 걸쳐 HQMQ 가 naive int4 보다 PPL 에서 3~1,900 배 더 우수합니다.
• KIVI(보정 기준선) 대비: 3.79 비트에서 HQMQ 는 보정된 KIVI-4(약 4.5 비트 사용) 와 CoQA 에서 약 1 포인트, GSM8K 에서 2.3 포인트 이내로 일치하며, 16% 적은 비트와 제로 보정으로 달성합니다.
• 구면/벡터 양자화 대비: HQMQ 는 무작위 코드북을 사용하는 구면 기준선 (예: TurboQuant 스타일) 및 가법적 VQ 기준선보다 우수합니다.

메모리 및 지연 시간

• 압축: HQMQ 는 최대 5.05 배의 KV 캐시 압축을 제공합니다. 128k 문맥을 가진 Llama-3-70B 모델의 경우, 캐시가 43GB(FP16) 에서 8.5GB 로 축소되어 단일 24GB 소비자 GPU 에서 추론이 가능해집니다.
• 지연 시간: 결합된 Triton 커널은 어텐션 루프 내에서 K/V 를 직접 디코딩합니다. 생산 디코드 워크로드에서 결합된 커널은 문맥 길이에 관계없이 $\sim0.033$ms 의 일정한 지연 시간을 유지하며, 각 단계에서 전체 캐시를 디양자화하는 naive "fake-quant" 파이프라인 대비 7.4 배에서 82.9 배의 속도 향상을 제공합니다.

중요성 및 주장

이 논문은 HQMQ 가 이론적 벡터 양자화와 실제 배포 간의 격차를 해소하는 KV 캐시 양자화를 위한 "깨끗한 대수적 레시피"를 제공한다고 주장합니다. 주요 중요성은 다음과 같습니다:

1. 아웃라이어 많은 모델에서의 저비트 양자화 가능: 표준 방법이 실패하는 Qwen2.5/3 아키텍처와 같은 경우 5 비트 미만 양자화를 가능하게 하는 첫 번째 방법입니다.
2. 보정 오버헤드 제거: Hurwitz 군의 기하학적 특성을 활용하여 데이터 의존적 보정의 필요성을 제거하므로, 독점적이거나 신속하게 배포되는 모델에 적합합니다.
3. 실용적 효율성: 높은 압축 비율 (최대 5 배) 과 메모리 대역폭 병목 현상을 피하는 결합된 커널의 조합은 소비자 하드웨어에서 긴 문맥 추론을 실용적으로 만듭니다.

저자들은 HQMQ 가 3 비트 미만 영역에서 학습된 코드북 (CommVQ 등) 과 경쟁하지 않으며, 128k 를 훨씬 초과하는 극도로 긴 문맥이나 Multi-head Latent Attention (MLA) 과 같은 특정 아키텍처에서의 성능은 추가 조사가 필요하다고 지적합니다. 그러나 3~5 비트 영역 내에서 이는 보정 불필요하고 아웃라이어에 강건한 KV 압축을 위한 새로운 최첨단 (SOTA) 을 확립합니다.