🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant는 보정 데이터셋에 의존하지 않고도 강건한 저비트 압축과 최대 3배의 처리량 이득을 가능하게 하기 위해, 토큰 분포를 표준 정규 분포와 정렬하는 고유한 "Normalize-Shift-Normalize" 변환과 하다마르 변환(Hadamard transform)을 결합하여 LLM KV 캐시를 위한 보정이 필요 없는 벡터 양자화 방법을 채택한다.

원저자: Donghyun Son, Euntae Choi, Sungjoo Yoo

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Donghyun Son, Euntae Choi, Sungjoo Yoo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 긴 길을 걸으며 거대한 기억의 도서관을 배낭에 담아 옮기려 한다고 상상해 보세요. 이것은 거대 언어 모델(LLM)—이야기를 쓰고, 수학 문제를 풀고, 당신과 대화하는 똑똑한 컴퓨터 뇌—이 긴 대화를 처리하려고 할 때 발생하는 현상입니다. 단어를 하나 읽을 때마다, 모델은 문맥을 이해하기 위해 그 이전에 왔던 모든 것을 기억해야 합니다. 이 "기억"을 **KV 캐시(KV Cache)**라고 부릅니다. 문제는 대화가 길어질수록 이 배낭이 점점 더 무거워져서, 결국 공간이 부족해지고 속도가 느려진다는 것입니다.

이를 해결하기 위해 과학자들은 진공 압축 백에 옷을 넣는 것처럼 기억을 압축하여 배낭의 크기를 줄이려고 노력해 왔습니다. 한 가지 인기 있는 방법은 **벡터 양자화(Vector Quantization, VQ)**입니다. 이것은 비슷한 항목들을 하나로 묶고 이를 "사전"이나 코드북의 하나의 라벨로 대체하는 것과 같습니다. 모든 양말의 정확한 파란색 색조를 일일이 기억하는 대신, 그냥 "파란색 그룹 4"라고 기억하는 식입니다. 하지만 여기에는 함정이 있습니다. 대부분의 기존 방식은 사전을 만들기 위해 특정 의류 세트(보정 데이터셋)를 미리 공부해야 합니다. 만약 완전히 다른 종류의 옷(새로운 유형의 대화)을 팩킹하려고 한다면, 그 사전은 맞지 않게 되고 압축은 실패하게 됩니다. 이 논문은 바로 이 문제, 즉 데이터를 먼저 공부하지 않고도 어떻게 메모리를 줄일 수 있는지에 대해 다룹니다.

문제점: 하나의 옷장에만 작동하는 사전

서울대학교 연구진은 현재 LLM 메모리 압축 분야에서 가장 뛰어난 기술 중 하나인 **결합 양자화(Coupled Quantization, CQ)**의 답답한 결함을 발견했습니다. CQ를 한 사람의 치수에 맞춰 맞춤 정장을 만드는 재단사라고 상상해 보세요. 만약 그 사람이 다양한 체형의 사람들이 모인 방으로 들어간다면, 그 정장은 첫 번째 사람에게는 완벽하게 맞겠지만 다른 모든 사람에게는 우스꽝스러워 보일 것입니다.

AI의 세계에서 이 "사람"은 모델이 보정된 데이터(예: WikiText-2라는 특정 텍xt 데이터셋)입니다. 모델이 다른 유형의 텍스트(예: 방대한 웹 페이지 모음인 C4 데이터셋)를 처리하려고 하면, 이 "정장"은 맞지 않게 됩니다. 저자들은 이러한 불일치가 모델로 하여금 특히 구두점 기호에서 어처구니없는 실수를 하게 만든다는 것을 발견했습니다. 예를 들어, 모델은 쉼표에 대해 혼란을 겪을 수 있는데, 이는 학습 데이터로부터 배운 "사전"이 새로운 텍스트에서 나타나는 쉼표의 방식에 적절한 라벨을 가지고 있지 않았기 때문입니다. 이는 매우 중요한 문제입니다. 모델이 자신의 안락한 구역을 벗어날 때 신뢰할 수 없게 된다는 것을 의미하기 때문입니다.

해결책: NSNQuant – 만능 패킹 큐브

이 문제를 해결하기 위해 연구팀은 특정 데이터를 미리 공부할 필요가 없는 새로운 메모리 압축 방식인 NSNQuant를 도입했습니다. 모든 옷에 딱 맞는 맞춤형 사전을 만들려고 애쓰는 대신, NSNQuant는 모든 옷이 표준화된 기성품 패킹 큐브에 들어가도록 강제합니다.

연구팀은 **정규화-이동-정규화(Normalize-Shift-Normalize, NSN)**라고 불리는 세 단계의 "마법 주문"을 사용하여 이를 수행합니다.

정규화 (첫 번째 단계): 어떤 양말은 아주 작고 어떤 양말은 아주 크다고 상상해 보세요. 첫 번째 단계는 모든 양말을 같은 크기로 늘리거나 줄이는 것입니다. 이는 거대한 양말이 공간을 독차지하여 전체적인 패킹을 망치는 것을 방지합니다.
이동 (중간 단계): 이제 양말들이 모두 같은 크기이지만, 모두 왼쪽으로 기울어져 있다고 상상해 보세요. "이동" 단계는 이들을 다시 중앙으로 밀어 넣어 완벽하게 균형을 잡도록 합니다.
정규화 (마지막 단계): 마지막으로 확인 차원에서, 모든 것이 여전히 균일한지 확인하기 위해 크기를 한 번 더 체크합니다.

이 세 단계의 춤을 마친 후, 저자들은 마지막 반전인 **하다마르 변환(Hadamard Transform)**을 추가합니다. 이것은 전체 양말 더미를 특정한 수학적 방식으로 회전시키는 것이라고 생각하면 됩니다. 이 회전의 마법은, 원래의 무질서하고 예측 불가능한 양말의 모양(데이터)이 갑자기 완벽하고 매끄러운 종 모양의 곡선(표준 정규 분포)처럼 보이게 만든다는 점입니다.

데이터가 원래의 텍스트가 무엇이었든 관계없이 이 예측 가능한 종 모양 곡선 형태를 띠게 되므로, 저자들은 해당 곡선에 맞춰 특별히 설계된 단 하나의 기성 "사전"(코드북)을 사용할 수 있습니다. 데이터를 먼저 살펴볼 필요가 없습니다. 데이터를 그런 모양으로 강제했기 때문에, 데이터가 사전에 딱 맞을 것임을 이미 알고 있기 때문입니다.

연구 결과: 만능 열쇠

연구팀은 LLaMA와 Mistral 제품군을 포함한 여러 유명 AI 모델을 대상으로 이 아이디어를 테스트했습니다. 그들은 단순한 이야기부터 복잡한 코드와 수학 문제에 이르기까지 다양한 유형의 텍스트를 사용하여 NSNQuant를 기존 방식(CQ 및 KIVI)과 비교했습니다.

결과는 인상적이었습니다:

더 나은 일반화 능력: 기존 방식(CQ)은 데이터셋을 바꿀 때 비틀거렸지만, NSNQuant는 강력한 성능을 유지했습니다. 이는 마치 모든 문을 여는 만능 열쇠를 가진 것과 같았고, 기존의 열쇠들은 오직 자신이 만들어진 문에만 작동하는 것과 같았습니다.
저비트(Low-Bit) 성공: 연구팀은 메모리를 단 1비트와 2비트까지 압축하여 테스트했습니다. 1비트 설정(메모리를 절대적으로 가장 작게 줄인 경우)에서 NSNQuant는 경쟁 상대를 압도했습니다. 예를 들어, GSM8K라는 수학 추론 작업에서 기존 1비트 방식은 약 24점을 기록한 반면, NSNQuant-1b는 53.45점을 기록했습니다. 이는 두 배 이상의 성능 향상입니다!
속도와 공간: 메모리가 훨씬 작기 때문에 컴퓨터는 더 많은 대화를 동시에 처리할 수 있습니다. 저자들은 자신들의 방식이 압축되지 않은 표준 버전보다 3배 더 많은 데이터 처리량을 처리하면서도 메모리는 훨씬 적게 사용한다는 것을 보여주었습니다.

세부 사항

저자들은 이 방식이 엄청난 개선이지만, 완벽한 마법은 아니라는 점을 주의 깊게 언급했습니다. 그들은 AI 모델의 매우 초기 레이어에서 "양말" 중 일부가 여전히 종 모양 곡선에 완벽하게 맞지 않는 이상치(outliers)를 가질 수 있다는 것을 발견했습니다. 그러나 이러한 작은 결함에도 불구하고 전반적인 성능은 매우 높게 유지되었습니다.

또한 그들은 이 방식이 "보정 불필요(calibration-free)"하다는 점을 강조합니다. 사전을 만들기 위해 특정 데이터를 몇 시간 동안 공부해야 했던 기존 방식과 달리, NSNQuant의 사전은 단일 그래픽 카드에서 5분 미만으로 구축할 수 있으며 이후 어떤 모델에도 재사용할 수 있습니다. 이는 실제 환경에서 사용하기에 매우 실용적입니다.

요약하자면, NSNQuant는 무질서한 기억의 더미를 예측 가능한 형태로 강제하는 만능 패킹 시스템과 같아서, AI 모델이 명료한 사고 능력을 잃지 않으면서도 훨씬 작은 배낭에 장기 기억을 담을 수 있게 해줍니다. 이는 데이터를 압축하기 전에 표준화함으로써, AI가 완전히 새롭고 낯선 주제를 다룰 때도 더 빠르고, 저렴하며, 신뢰할 수 있게 만들 수 있음을 시사합니다.

기술 요약: NSNQuant

문제 정의

대규모 언어 모델(LLM) 추론은 특히 긴 시퀀스와 큰 배치 크기를 처리할 때 점점 더 메모리 제한적인(memory-bound) 특성을 보입니다. 주요 병목 현상은 키-값(Key-Value, KV) 캐시이며, 이는 시퀀스 길이에 따라 선형적으로 증가합니다. 벡터 양자화(Vector Quantization, VQ)가 유망한 압축 기술로 부상했지만, Coupled Quantization(CQ)과 같은 기존 방식은 코드북(centroids)을 학습하기 위해 캘리브레이션 데이터셋에 의존합니다. 저자들은 이러한 캘리브레이션 기반 접근 방식이 분포 외(out-of-distribution, OOD) 시나리오에서 심각한 성능 저하를 겪는다는 점을 관찰했습니다. 구체적으로, 입력 분포가 캘리브레이션 세트와 다를 경우(예: WikiText-2로 캘리브레이션을 수행하고 C4로 테스트하는 경우), 학습된 센트로이드가 문장 부호와 같은 중요한 토큰을 정확하게 표현하지 못하여 어텐션 가중치에 상당한 오류를 초래하고 모델 성능(예: 높은 퍼플렉시티)을 저하시킵니다.

방법론: NSNQuant

캘리브레이션 데이터에 대한 의존성과 그로 인한 분포 변화를 해결하기 위해, 저자들은 캘리브레이션이 필요 없는 VQ 기술인 NSNQuant를 제안합니다. 핵심 혁신은 KV 캐시 분포를 표준 정규 분포(standard normal distribution)에 정렬시켜 외부 데이터 없이도 단일하고 재사용 가능한 코드북을 사용할 수 있게 하는 변환 파이프라인입니다.

1. Normalize-Shift-Normalize (NSN)

이 방법은 KV 텐서( $v \in \mathbb{R}^{l \times d}$ )에 세 단계의 변환을 적용합니다:

Normalize (Token-wise): 각 토큰이 $\sqrt{d}$ 의 노름(norm)을 갖도록 정규화합니다. 이는 이상치(outlier) 토큰이 후속 단계에서 지배적인 영향을 미치는 것을 방지하고, 크기가 작은 토큰들이 큰 상대적 오차를 유발하지 않도록 합니다.
Shift (Channel-wise): 채널별 평균을 계산하여 0을 중심으로 분포를 이동(centering)시킵니다.
Normalize (Token-wise): 토큰 노름을 다시 $\sqrt{d}$ 로 복구하기 위해 두 번째 정규화를 적용합니다.

이 과정은 원래의 텐서를 재구성하는 데 사용되는 부산물( $s_1, o, s_2$ )을 생성합니다. 이론적으로, 하다마르 변환(Hadamard transform)과 결다면, 이 과정은 Lemma 1에서 도출된 분산 경계 및 중심 극한 정리(Central Limit Theorem)에 의해 뒷받침되듯 채널 분포를 표준 정규 분포에 정렬시킵니다.

2. Hadamard Transform

NSN 과정은 하다마르 변환(특히 Randomized Hadamard Transform, RHT)과 결합됩니다. 최종 구현에서는 효율성을 위해 단순한 Hadamard transform이 사용되지만, RHT는 결과적인 채널 분산이 1에 가깝다는 이론적 보장을 제공합니다.

3. Vector Quantization 및 Codebook

변환된 데이터는 표준 정규 분포에 맞춤화된 단일 전역 코드북을 사용하여 양자화됩니다.

코드북 구축: 캘리브레이션 세트로부터 센트로이드를 학습하는 대신, 합성된 표준 정규 데이터(torch.randn)에 대해 K-Means를 수행하여 코드북을 초기화하고, 원래 벡터와 양자화된 벡터 사이의 코사인 거리를 최소화하도록 미세 조정(fine-tuning)합니다. 이 과정은 빠르며(수 분 내) 모델 가중치에 대한 역전파(backpropagation)를 필요로 하지 않습니다.
Scale Adjustment: 양자화된 벡터가 원래 벡터에 평행한 성분을 보존하여 직교 오차(orthogonal errors)를 최소화하도록 적응형 스케일링 전략이 사용됩니다.
Double Quantization (DQ): 오버헤드를 더욱 줄이기 위해, NSN 과정에 사용되는 파라미터(평균 $o$ 및 스케일 $s_1$ )와 코드북 항목 자체를 4비트로 양자화하며, 이는 매우 적은 메모리 오버헤드(평균 약 0.23 bits)만을 추가합니다.

4. 구현 세부 사항

Residuals: KIVI를 따라, KV 캐시는 양자화된 부분과 풀 프리시전(full-precision) 잔차(residual)로 나뉩니다. 잔차가 가득 차면 플러시(flush)되어 양자화된 후 추가됩니다.
Attention Computation: 키(key)의 경우, NSN은 회전 위치 임베딩(Rotary Position Embedding, RoPE) 전에 적용됩니다. 저자들은 이 순서가 더 나은 품질을 낸다는 것을 발견했습니다. 어텐션 점수 계산은 NSN 부산물( $s_1, s_2, o$ )을 커스텀 CUDA 커널 내에 직접 포함하도록 수정되었습니다.
Efficiency: 하다마르 변환, 벡터 양자화 및 역양자화를 위해 커스텀 CUDA 커널이 구현되었으며, DRAM 액세스를 최소화하기 위해 공유 메모리(shared memory)를 활용합니다.

주요 기여

경험적 관찰: 저자들은 KV 분포가 입력 데이터셋에 강하게 의존한다는 점이 기존 VQ 방식(예: CQ)을 실패하게 만든다는 것을 입증했습니다. 특히 LLaMA3 모델에서 문장 부호 토큰에 영향을 미칩니다.
Calibration-Free VQ: NSNQuant는 NSN 과정과 하다마르 변환을 통해 KV 분포를 알려진 사전 확률(prior, 표준 정규 분포)에 정렬함으로써 캘리브레이션 데이터의 필요성을 제거하는 방법을 도입했습니다.
성능 및 일반화: 광범-한 실험을 통해 NSNQuant가 다양한 데이터셋(WikiText-2, C4, LongBench, GSM8K, MMLU)에서 1-bit 및 2-bit 설정 모두에서 기존 베이스라인(KIVI, KVQuant, CQ)보다 일관되게 우수한 성능을 보임을 입증했습니다. 또한 캘리브레이션 기반 방식이 성능이 저하되는 상황에서도 뛰어난 일반화 능력을 보여줍니다.
효율성: 구현된 방식은 풀 프리시전 베이스라인 대비 최대 3배의 처리량(throughput) 이득을 얻으며, 감소된 메모리 사용량 덕분에 더 큰 배치 크기(최대 4배)를 지원합니다.

결과

Perplexity (PPL): C4 데이터셋에서 NSNQuant는 CQ를 크게 앞섭 off 합니다. 예를 들어, LLaMA3-8B에서 CQ-4c9b는 13.97의 PPL을 기록한 반면, NSNQuant-2b는 9.08을 달성했습니다. 1-bit 설정에서 NSNQuant-1b(PPL 16.69)는 CQ-8c10b(PPL 43.78)를 압도합니다.
LongBench: NSNQuant-1b는 다른 1-bit 베이스라인들을 큰 차이로 앞섭니다. 2-bit 설정에서는 다른 방법들과 비슷하거나 약간 상회하는 성능을 보이지만, 저자들은 특정 태스크에서의 메트릭 노이즈를 언급했습니다.
추론 및 생성: GSM8K(수학 추론) 및 MMLU(다중 작업 이해)에서 NS-Quant는 특히 엄격한 추론 경로가 요구되는 Few-shot CoT(Chain-of-Thought) 설정에서 탁월한 성능을 발휘합니다.
Latency: 프리필(prefill) 단계에서는 NSN 및 하다마르 오버헤드로 인해 지연 시간이 발생하지만, 디코딩 단계는 메모리 제한적인 어텐션 계산을 완화함으로써 풀 프리시전 베이스라인보다 빠릅니다.

의의 및 주장

본 논문은 NSNQuant가 데이터 의존적(data-dependent) 캘리브레이션에서 분포 정렬형(distribution-aligned) 양자화로의 전환을 나타낸다고 주장합니다. 하다마르 변환과 NSN을 결합하면 표준 정규 분포를 생성한다는 성질을 활용함으로써, 이 방법은 범용적이고 모델에 무관한(model-agnostic) 코드북 사용을 가능하게 합니다. 이는 접근 방식의 견고함과 일반성을 높이며 캘리브레이션의 계산 비용과 데이터 요구 사항을 제거합니다. 저자들은 NSNQuant를 메모리가 제한된 하드웨어에서 긴 컨텍스트의 LLM 추론을 가능하게 하는 실질적인 솔루션으로 자리매김하며, 높은 압축률(1-bit/2-bit), 강력한 일반화, 그리고 효율적인 런타임 성능 사이의 균형을 제공한다고 설명합니다.

저자들은 표준화가 고분산 채널이 존재하는 초기 레이어에서는 완벽하지 않다는 점과, CQ와 달리 채널 간 상관관계를 명시적으로 모델링하지 않는다는 점을 인정하며 한계를 겸허히 밝히고 있습니다. 그러나 이들은 이러한 트레이드오프가 특정 캘리브레이션 분포에 과적합되어 얻을 수 있는 잠재적 이득보다 견고성과 일반화 측면에서 더 유리하다고 주장합니다.