기술 요약: HyperQuant

문제 정의

대규모 언어 모델(LLM)과 확산 트랜스포머(Diffusion Transformer)는 자기회귀적 추론 과정에서 심각한 병목 현상에 직면해 있습니다: 바로 메모리 대역폭입니다. 컨텍스트 길이가 길어짐에 따라 Key-Value(KV) 캐시와 모델 가중치가 메모리 사용량을 지배하게 되며, 이는 시스템이 얇은 행렬-벡터 곱을 위해 방대한 데이터셋을 스트리밍하도록 강제합니다. 이로 인해 산술 연산 강도(Arithmetic Intensity)는 하드웨어의 계산 대 대역폭 비율보다 훨씬 낮은 수준에 머물게 됩니다. 포스트 트레이닝 양자화(PTQ)가 추론을 속도-왜곡 압축(Rate-Distortion Compression) 문제로 프레임화하여 해결책을 제시하고 있지만, 기존의 최첨단 방식들은 다음과 같은 비효율성을 보입니다:

• 가중치 양자화: HIGGS와 같은 방식은 무작위 하다마르 변환(RHT)과 유한 로이드 코드북(Finite Lloyd Codebooks)을 활용하지만, 인덱스를 고정된 비트율(Fixed bit-rate)로 전송합니다. 정보 이론에 따르면 엔트로피 코딩된 양자화기는 동일한 왜곡에 대해 더 적은 비트를 요구해야 하지만, HIGGS는 고정 비율 인덱스로 인해 "남겨진 비트(Rate on the table)"를 발생시킵니다.
• KV 캐시 양자화: TurboQuant 및 OCTOPUS와 같은 접근 방식은 고정된 비율 오버헤드를 가진 스칼라 또는 저차원 주변부 양자화(Marginal Quantization)에 의존합니다. 이들은 엄격한 벡터별 무편향성(Per-vector Unbiasedness)을 결방하여 체계적인 어텐션 점수 변화를 초래하며, 다차원 벡터 양자화의 이점을 충분히 활용하지 못합니다.

방법론: HyperQuant 파이프라인

HyperQuant는 per-tile RHT, 격자 양자화(Lattice Quantization), 그리고 엔트로피 코딩이라는 '속도-왜곡 최적(Rate-distortion-optimal)'의 세 가지 요소를 가중치와 KV 캐시 모두에 적용하는 통합된 데이터 프리(Data-free) 포스트 트레이닝 파이프라인을 제안합니다. 이 파이프라인은 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. Per-Tile 무작위 하다마르 변환 (RMT)

양자화 전, 입력값(가중치 또는 KV 벡터)을 타일(예: 크기 128) 단위로 분할하고 $RHT_n(x) = H_n D x$를 통해 변환합니다. 여기서 $H_n$은 월시-하다마르 행렬이고 $D$는 무작위 부호 대각 행렬입니다.

• 효과: 이 과정은 데이터를 "혼합"하여, 각 좌표의 분포를 근사적으로 가우시안 분포($N(0, \sigma^2)$)로 만듭니다.
• 이점: 이는 양자화 오차를 아웃라이어 좌표에서 등방성(Isotropic) 분포로 재분배하여, 데이터를 최적의 격자 양자화에 적합하게 만듭니다. 이 변환은 직교(Orthogonal)하며, $\ell_2$ 오차 특성을 보존합니다.

2. 격자 양자화 (Lattice Quantization)

HyperQuant는 유한 코드북 대신, 회전된 타일을 저차원의 최적 격자인 E8 (8차원), D4 (4차원), A2 (2차원) 또는 스칼라 Z로 양자화합니다.

• 세밀한 이득: 이러한 격자들은 스칼라 양자화보다 낮은 정규화된 2차 모멘트($G(\Lambda)$)를 제공하여, 고정된 비율에서 왜곡을 줄여줍니다. E8은 상수 시간($O(1)$) 폐쇄형 디코더를 허용하는 가장 높은 차원의 격자입니다.
• 정수 구현: 격자는 8비트 저장 제약 조건에 맞추기 위해 정수 임베딩(예: $E^8_{int} \subset \mathbb{Z}^8$)으로 매핑되며, 오버플로를 방지하기 위해 스케일링 인자($\alpha$)가 조정됩니다.

3. 비트 스트리핑(Bit-Stripping) 및 라이스 코딩 (Rice Coding)

엔트로피 최적에 가까운 속도를 달取得하기 위해, HyperQuant는 2단계 인코딩 프로세스를 채택합니다:

• 비트 스트리핑: 격자 멤버십 제약 조건(예: E8의 패리티 체크)은 정수 코드 벡터의 특정 비트를 결정론적으로 고정합니다. 이 비트들은 인코딩 전에 손실 없이 제거되어, 남은 심볼들의 엔트로피를 낮춥니다.
• 라이스 코딩: 남은 심볼들은 기하 분포에 최적화된 가변 길이 코드인 라이스 코드를 사용하여 인코딩됩니다. 고정 비율 방식과 달리, 이를 통해 코드북을 사실상 무제한으로 설정할 수 있어, 외부 셀을 확장하지 않고도 가우시안 꼬리(Gaussian tails)를 처리할 수 있습니다. 실현된 속도는 목표값으로부터 약 $0.01$ bps 이내에 도달합니다.

4. KV 캐시를 위한 편향 수정 (Bias Correction)

KV 캐시의 결정론적 편향이 어텐션 의미론을 훼손하는 것을 방지하기 위해, HyperQuant는 다음을 통합합니다:

• 무작위 회전: 이방성을 줄이기 위해 레이어별 회전(전체 Haar-uniform QJL 행렬 또는 저렴한 $\pm 1$ 부호 대각 행렬)을 적용합니다.
• 감산 디더링 (Subtractive Dither): 양자화 전 단계에서 새로운 균등 노이즈 벡터 $U \sim \text{Uniform}(V(\Lambda))$를 더하고, 양자화 후 이를 다시 뺍니다. 저자들은 이것이 **엄격한 벡터별 내적 무편향성(Strict per-vector inner-product unbiasedness)**을 생성함을 증명했습니다(부록 A). 이는 표준 QJL 스케치가 가진 분포 평균적 무편향성보다 우수한 특성입니다.

주요 기여

1. 통합된 속도-왜곡 최적 파이프라인: HyperQuant는 RHT, 최적 격자, 엔트로피 코딩을 가중치와 KV 캐시에 모두 결합하여 이론적 목표치에서 $\sim 0.01$ bps 이내의 성능을 달성한 최초의 데이터 프리 파이프라인입니다.
2. 우월한 가중치 양자화: 유한 코드북을 무제한 격자와 가변 길이 코딩으로 대체함으로써, HyperQuant는 모든 작동 지점(3–5 bps)에서 HIGGS를 능가합니다. 저자들은 이 이득을 다음과 같이 분석했습니다:
   • 엔트로피 여유(Entropy Slack): 고정 비율 인덱스에서 낭비되는 비트를 회복 (저율 구간에서 지배적).
   • 무제한 코드북의 이점: 유한 코드북 대비 무한 코드북의 구조적 이점 (고율 구간에서 지배적).
3. 두 가지 레짐의 KV 양자화: 저자들은 KV 양자화를 "고품질" 레짐($\ge 2.5$ bps, 편향 수정 변형들이 수렴함)과 "고압축" 레짐($1.7\text{--}2.5$ bps, QJL 회전이 상당한 이득을 제공함, $\sim 0.5$ PPL 개선)으로 구분했습니다.
4. 하드웨어 통합: 이 파이프라인은 현대적인 Tensor Core(Hopper/Blackwell)를 위해 설계되었으며, fp8, int8, nvfp4, mxfp4 경로와 통합됩니다. 특히, 저자들은 RHT를 거친 데이터의 가벼운 꼬리를 가진 근사 가우시안 분포 특성 때문에 int8이 fp8보다 성능이 우수함을 발견했습니다.
5. 일반화: 이 방법은 데이터 없이도 비디오 DiT인 19B 파라미터 LTX-2로의 전이가 성공적임을 입증하였으며, 눈에 띄는 아티팩트가 나타나지 않았습니다.

실험 결과

Llama-3.1-8B-Instruct (WikiText-2) 및 LTX-2-19B를 대상으로 평가한 결과:

• 가중치 양자화: 4 bps에서 HyperQuant (E8 격자)는 PPL 7.434를 달성하여, HIGGS-p2의 7.618보다 우수한 성능을 보였습니다. 3 bps에서는 격차가 더 커졌습니다 (HyperQuant: 8.744 vs. HIGGS: 9.527).
• KV 캐시 양자화:
  • 3 bps에서 HyperQuant는 PPL 7.41 (bf16 베이스라인 7.16 대비)을 달성하여, 81%의 메모리 감소를 보였습니다.
  • 2 bps에서 HyperQuant는 PPL 7.93 (+0.77% over baseline)을 달성하여, OCTOPUS(+34.7% PPL) 및 TurboQuant를 크게 앞질렀습니다.
  • 1.7 bps에서 HyperQuant는 26.9%의 PPL 증가와 함께 7.1배의 압축률에 도달한 반면, OCTOPUS는 약 3.0배 압축률에서 한계에 부딪혔습니다.
• 엔드 투 엔드 성능: H100에서 HyperQuant는 선형 가중치를 3.9배, KV 캐시를 3.79배 압축합니다. 가변 길이 디코딩으로 인해 레이턴시가 발생하지만(현재 하드웨어에서 실제 벽시계 시간 단축은 없음), 상주 메모리 감소량은 상당합니다 (전체 모델 기준 14.96 GiB $\to$ 5.29 GiB).
• 비디오 모델: LTX-2-19B에서 4 bps 양자화는 PSNR 22.74 dB 및 LPIPS 0.20을 기록하며, 시각적 아티팩트 없이 fp8 기반 양자화보다 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 HyperQuant가 정보 이론적 원칙(엔트로피 코딩 및 격자 이론)을 트랜스포머 추론에 엄격하게 적용함으로써, 데이터 프리 포스트 트레이닝 양자화의 새로운 최첨단(SOTA)을 확립했다고 주장합니다.

• 이론적 돌파구: 현재의 SOTA(HIGGS)와 최적 성능 사이의 간극이 주로 고정 비율 인데스와 유한 코드북의 비효율성 때문임을 입증했습니다. 무제한 격자 위에서 가변 길이 코딩을 사용함으로써 HyperQuant는 이 "여유(Slack)"를 회복했습니다.
• 실제적 배포: 이 방법은 캘리브레이션 데이터셋이나 파인튜닝을 필요로 하지 않아 즉시 배포가 가능합니다. 또한 사용자에게 다양한 운영 지점(Menu of operating points)을 제공하여, 메모리와 품질 사이의 절충(예: 최소한의 PPL 저하로 대규모 메모리 절약을 제공하는 3 bps KV 캐시)을 가능하게 합니다.
• 하드웨어 인식: 이 연구는 아웃라이어 처리에 fp8이 항상 우월하다는 가설에 도전합니다. RHT를 통해 데이터를 가우시안화함으로써, int8이 결과적인 분포에 더 적합하며 동일한 비트 폭에서 더 나은 품질을 제공함을 보여줍니다.

저자들은 HyperQuant가 현재의 하드웨어에서는 처리량(Throughput)을 희생하는 대신 메모리 효율성을 얻는 구조이지만, 향후 융합된 디코드+MMA 커널 최적화를 통해 실제 실행 시간(Wall-clock speedup)을 끌어낼 수 있는 필수적인 토대를 제공한다고 결론지었습니다.