🤖 machine learning

RDQ: Residual Distribution Quantization for Large Language Models

이 논문은 드리프트된 잔차 분포에 맞춰 채널별 스케일을 조정하는 계단식 오차 보상(Cascaded Error Compensation)을 채택함으로써 대규모 언어 모델에서 양자화 노이즈의 초선형적 누적을 완화하고, 이를 통해 추론 오버헤드 없이 3비트 및 4비트 정밀도에서 최첨단 퍼플렉서티를 달성하는 사후 학습 양자화 프레임워크인 RDQ를 소개한다.

원저자: Prateek Singh

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prateek Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 32개의 연결된 방으로 이루어진 길고 구불구불한 터널 속으로 비밀 메시지를 보내려고 한다고 상상해 보세요. 고품질의 원본 버전(FP16이라 불리는)에서는 메시지가 처음부터 끝까지 완벽하게 선명하게 전달됩니다. 하지만 휴대폰이나 에지 디바이스의 공간을 아끼기 위해 메시지를 아주 작은 압축 형식(양자화)으로 줄이려고 하면 문제가 발생하기 시작합니다.

오랫동안 과학자들은 이 문제가 단순히 각 방이 개별적으로 조금 지저분해지는 문제라고 생각했습니다. 그들은 "방 1을 청소하고, 그다음 방 2를, 그다음 방 3을 청소하면 다 괜찮아질 거야"라고 생각했습니다. 하지만 이 새로운 논문인 **RDQ (Residual Distribution Quantization)**는 이러한 "각 방을 따로 청소하는" 방식이 사실 잘못된 접근법이라는 것을 발견했습니다.

진짜 범인: "눈덩이" 효과

저자들은 진짜 문제가 눈덩이 효과라는 것을 발견했습니다. 메시지가 방을 통과할 때마다 미세한 "노이즈"나 정전기가 추가됩니다. 일반적인 터널에서는 이것이 문제가 되지 않습니다. 하지만 압축된 터널에서는 이 미세한 노이즈가 사라지지 않고 다음 방으로 전달되며, 그 방에서 발생하는 새로운 노이즈와 섞이게 됩니다.

메시지가 32번째 방에 도달할 때쯤이면, 그 미세했던 정전기는 거대한 굉음으로 변해 있습니다. 저자들은 이 "노이즈 축적"(그들이 **잔차 스트림 드리프트(residual stream drift)**라고 부르는 것)을 측정했으며, 놀라운 사실을 발견했습니다. 노이즈의 양이 메시지의 품질 저하를 완벽하게 예측한다는 것입니다. 실제로 그들은 상관관계가 매우 강력하여(Pearson r=0.999), 신호가 얼마나 드리프트되었는지 알면 컴퓨터가 얼마나 혼란스러워할지를 정확히 예측할 수 있다는 것을 발견했습니다.

큰 발견: 터널은 매끄럽지 않다

이 논문 전까지 대부분의 전문가들은 이 터널의 노이즈가 매끄럽고 예측 가능한 언덕( "가우시안(Gaussian)" 분포) 모양일 것이라고 가정했습니다. 그리고 그들은 이 매끄러운 언덕을 바탕으로 청소 도구를 만들었습니다.

하지만 저자들은 직접 터널 안으로 들어가 살펴보았습니다. 그들은 **LLaMA-3-8B 모델의 84%**가 전혀 매끄러운 언덕 모양이 아니라는 것을 발견했습니다! 대신, 노이즈는 울퉁불퉁하고 기괴하며, 때로는 두 개의 정점(bimodal)을 가집니다. 이는 마치 잔잔한 호수를 예상했는데 갑자기 파도가 치는 거친 바다를 마주한 것과 같습니다. 노이즈가 너무 기괴했기 때문에, 기존의 "매끄러운 언덕" 기반 청소 도구들은 특히 메시지를 단 3비트(매우 작은 크기)로 줄이려 할 때 처참하게 실패했습니다.

해결책: "계단식 오차 보상" (CEC)

그렇다면 메시지가 깊숙이 들어갈수록 노이즈가 변하는 터널을 어떻게 고칠 수 있을까요? 저자들은 **계단식 오차 보상(Cascaded Error Compensation, CEC)**이라는 새로운 방법을 제안합니다.

메시지가 여전히 신선하고 깨끗하다고 가정하고 각 방을 청소하는 대신(기존 방식), CEC는 다음과 같이 말합니다: "먼저 터널을 쭉 지나가 보면서, 메시지가 각 방에 도착했을 때 실제로 어떤 모습인지 확인한 다음, 그때 청소하자."

작동 방식은 다음과 같습니다:

사전 탐색 (The Walk-Through): 컴퓨터가 터널을 통과하는 테스트 메시지를 실행합니다. 실제 상황처럼 처음 몇 개의 방이 "더러워지도록"(양자화되도록) 내버려 둡니다.
실제 모습 확인: 메시지가 10번 방에 도착했을 때, 그것은 이미 1번부터 9번 방을 거치며 다소 노이즈가 섞인 상태입니다. 시스템은 이 실제의 지저분한 신호를 포착합니다.
맞춤형 수정: 일반적인 청소 도구를 사용하는 대신, 시스템은 그 지저한 신호에 특화된 맞춤형 청소 도구를 만듭니다. 그 방에서 메시지의 "볼륨"(스케일)을 즉시 조정합니다.
마법 같은 접기 (The Magic Fold): 청소 도구가 완성되면, 이 도구는 방의 문틀(RMSNorm 가중치) 안에 접혀 들어갑니다. 이는 나중에 실제 메시지가 통과할 때, 별도의 추가 시간이나 속도 손실 없이 자동으로 청소가 이루어짐을 의미합니다.

결과: 엄청난 개선

팀은 이 방법을 세 가지 유명한 AI 모델인 LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B에 대해 테스트했습니다.

기존 방식: 표준 방식(RTN)을 사용하여 LLaMA-3-8B를 3비트로 압축하려고 했을 때, 메시지는 거의 알아들을 수 없는 수준이 되었으며, 점수(Perplexity)가 5.83에서 14.09로 치솟았습니다. 이는 엄청난 품질 저하입니다.
RDQ 방식: 이 새로운 "사전 탐색" 방법을 사용했을 때, 점수를 7.55까지 낮출 수 있었습니다. 이는 기존 방식보다 46.4% 개선된 수치입니다!
4비트에서: 또한 이전의 기록들을 큰 차이로 따돌리며 역대 최고의 결과를 기록했습니다 (예: LLaMA의 경우 5.62 vs 6.92).

이것이 의미하는 바

저자들은 이 점을 매우 명확히 하고 있습니다: 이것은 단순한 더 좋은 도구가 아니라, 문제를 바라보는 새로운 관점입니다. 그들은 이 "드리프트"가 저비트 환경에서 모델이 망가지는 주요 원인임을 증к명했습니다. 또한, "각 방을 독립적으로 청소한다"는 기존의 아이디어는 이전 방들로부터 오는 노이의 눈덩이 효과를 무시하기 때문에 막다른 길이라는 것을 보여주었습니다.

비록 아직 2비트 압축 문제까지는 해결하지 못했지만(노이즈가 너무 강하기 때문입니다), 3비트 및 4비트 압축에 대해서는 모델의 지능과 속도를 유지할 수 있음을 보여주었습니다. 가장 좋은 점은? 이 새로운 방법은 엔지니어들이 이미 사용하는 표준 도구들과 함께 작동하므로, 특별하고 느린 하드웨어 없이도 지금 바로 휴대폰과 컴퓨터에 배포할 수 있다는 것입니다.

요약하자면, 터널이 지저분해진 이유는 우리가 방을 잘못된 순서로 청소했기 때문입니다. 메시지가 실제로 이동하는 순서에 맞춰 청소함으로써, 우리는 끝까지 신호를 선명하게 유지할 수 있습니다.

기술 요약: LLM을 위한 RDQ (Residual Distribution Quantization, 잔차 분포 양자화)

1. 문제 정의: 4비트 미만의 성능 저하 장벽

LLM(대규모 언어 모델)의 사후 학습 양자화(PTQ)는 정밀도를 4비트 미만으로 낮출 때 급격한 성능 저하 현상(performance cliff)에 직면합니다. 4비트 방식은 FP16 품질에 근접하는 경우가 많지만, 3비트 양자화는 종종 치명적인 성능 저하를 초축합니다. 예를 들어, LLaMA-3-8B에서 RTN(Round-to-Nearest) 방식의 퍼플렉시티(PPL)는 W4에서 5.83이었으나 W3에서는 14.09로 급증하며, 이는 비트 폭이 1.33배 감소하는 동안 PPL이 2.42배 증가했음을 의미합니다.

본 논문은 이러한 실패의 근본 원인을 **잔차 스트림의 분포 드리프트(residual stream distributional drift)**로 지목합니다. 트랜스포머 아키텍처에서 잔차 스트림 $h_l$ 은 모든 레이어가 읽고 쓰는 공유된 표현입니다. 특정 레이어 $l$ 이 양자화되면, 그 과정에서 발생하는 오차 $\epsilon_l$ 이 잔차 스트림 $h_{l+1}$ 로 전달됩니다. 이 오차는 레이어를 거치며 누적되어, 깊은 레이어의 활성화 분포가 원래의 FP16 베이스라인으로부터 크게 벗어나게 만듭니다.

이 문제를 진단하는 주요 경험적 발견은 다음과 같습니다:

초선형 드리프트 누적 (Super-linear Drift Accumulation): 양자화된 분포와 FP16 분포 사이의 총 쿨백-라이블러(KL) 발산은 모든 테스트된 방법 및 비트 폭에 대해 피어슨 상관계수 $r=0.999$ ( $p<0.001$ )로 로그-퍼플렉시티와 상관관계를 보입니다.
비가우시안 분포 (Non-Gaussian Distributions): LLaMA-3-8B 레이어의 84%가 비가우시안 잔차 분포를 나타냈으며(Kolmogorov-Smirnov 검정, $p \le 0.05), 이는 기존 많은 PTQ 이론 분석에 내재된 가우시안 가정을 무효화합니다.
분산 폭발 (Variance Explosion): 레이어 깊이에 따라 잔차 스트림의 분산이 6,548배까지 증가하며, 이는 후반부 레이어가 상위 레이어의 양자화 오차에 훨씬 더 민감함을 나타냅니다.

2. 방법론: 계단식 오차 보상 (Cascaded Error Compensation, CEC)

제안된 솔루션인 **RDQ (Residual Distribution Quantization)**는 **계단식 오차 보상 (CEC)**을 중심으로 한 프레임워크를 도입합니다. 각 레이어를 깨끗한 FP16 입력을 기준으로 독립적으로 최적화하는 기존 PTQ 방식(예: GPTQ, AWQ, SpinQuant)과 달리, CEC는 추론 과정 중 레이어 $l$ 이 이미 상위 레이어 $0 \dots l-1$ 의 양자화로 인해 왜곡된 입력을 받게 된다는 점을 인정합니다.

CEC 파이프라인

CEC는 다음과 같은 순차적 캘리브레이션 절차를 사용합니다:

순차적 처리 (Sequential Processing): 레이어를 $l=0$ 부터 $L-1$ 까지 하나씩 순차적으로 양자화합니다.
드리프트된 활성화 캡처 (Drifted Activation Capture): 레이어 $l$ 을 양자화하기 전, 레이어 $0 \dots l-1$ 이 이미 양자화된 상태로 모델에 캘리브레이션 데이터를 통과시킵니다. 이를 통해 레이어 $l$ 이 실제 추론 시 마주하게 될 실제 드리프트된 활성화 분포( $\hat{h}_l$ )를 포착합니다.
채널별 스케일 피팅 (Per-Channel Scale Fitting): 캡처된 드리프트된 입력을 사용하여, AWQ 스타일의 그리드 서치를 통해 최적의 채널별 스케일을 피팅합니다. 목표는 특정 드리프트된 입력 분포에 대해 출력 재구성 오차를 최소화하는 것입니다.
폴딩을 통한 수학적 등가성 (Mathematical Equivalence via Folding): 학습된 스케일은 이전 RMSNorm 가중치에 폴딩(folding)됩니다. 이를 통해 이 방식은 수학적으로 정확하며, **런타임 오버헤드가 제로(zero)**임을 보장합니다. 순전파(forward pass)는 표준 양자화 모델과 동일하게 유지되어 기존 인퍼런스 스택(Qualcomm AIMET, GGUF 등)과 호환됩니다.

기존 연구와의 핵심 차이점

본 논문은 핵심 혁신이 스케일링 공식 자체(AWQ 스타일 유지)가 아니라, 캘리브레이션 데이터의 소스에 있다고 강조합니다. 기존 방식들은 이상적인 FP16 입력을 대상으로 캘리브레이션을 수행하지만, 이는 깊은 레이어의 추론 시점에는 존재하지 않는 데이터입니다. 반면 CEC는 실제 드리프트된 분포를 대상으로 캘리브레이션을 수행합니다.

3. 주요 기여

잔차 스트림 드리프트 식별: 저자들은 잔차 스트림 드리프트가 sub-4-bit 성능 저하의 지배적인 메커니즘임을 입증하였으며, 이는 KL 드리프트와 로그-PPL 사이의 거의 완벽한 상관관계( $r=0.999$ )로 증명되었습니다.
분포 특성 규명: LLaMA-3-8B 레이어의 84%가 비가우시안이며 잔차 분산이 깊이에 따라 6,548배 증가한다는 점을 문서화하여, 표준 PTQ 가정에 도전했습니다.
계단식 오차 보상 (CEC): 교차 레이어 드리프트 누적을 교정하는 순차적 캘리브레이션 절차를 통해, LLaMA-3-8B의 W3 환경에서 RTN 대비 PPL을 46.4% 감소시켰습니다.
최첨단 성능 (SOTA): RDQ는 세 가지 다양한 아키텍처(LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) 모두에서 W3A16 및 W4A16 성능을 달성하며, 테스트된 모든 구성에서 기존의 최고 수준 베이스라인(LeanQuant, SpinQuant)을 능가했습니다.
제로 오버헤드 배포: 수정된 RMSNorm 스칼라를 포함한 표준 group-128 비대칭 양자화를 출력하므로, 별도의 커스텀 커널이나 런타임 오버헤드가 필요하지 않습니다.

4. 실험 결과

방법론은 32개의 캘리브레이션 시퀀스를 사용하여 WikiText-2에서 평가되었습니다.

성능 지표 (Perplexity):

LLaMA-3-8B:
- W3A16: 7.55 (RTN 14.09, LeanQuant 7.61 대비)
- W4A16: 5.62 (FP16 5.557, LeanQuant 6.92 대비)
Qwen-2.5-7B:
- W3A16: 7.46 (RTN 8.20, LeanQuant 8.30 대비)
- W4A16: 6.38 (FP16 6.158, LeanQuant 7.25 대비)
Mistral-7-B:
- W3A16: 6.88 (RTN 7.44, LeanQuant 7.30 대비)
- W4A16: 5.73 (FP16 5.632, LeanQuant 6.20 대비)

절제 연구 (Ablation Studies):

순차적 캘리브레이션 vs 스케일링: 본 논문은 순차적 캘리브레이션만 적용할 경우(AWK 스케일링 없이) 오히려 Qwen에서 RTN보다 성능이 저하됨을 보여줍니다 (10.31 PPL vs 8.20 PPL). 반대로, 정적 FP16 캘리브레이션에 AWQ 스케일링을 적용하는 것도 성능이 떨어집니다 (9.49 PPL). 즉, 순차적 드리프트 인식 캘리브레이션과 AWQ 스타일의 스케일링의 결합이 관찰된 성능 향상의 필수 요소입니다.
일반화 가능성: 이 방법은 GQA, RoPE, Sliding Window 등 서로 다른 메커니즘을 가진 아키텍처 전반에 걸쳐 일반화되며, 이는 드리프트 교정 메커니즘이 아키텍처에 구애받지 않음을 시사합니다.

5. 의의 및 주장

본 논문은 RDQ를 단순한 PTQ의 엔지니어링 개선이 아니라, **양자화 하에서의 트랜스포머 분포 역학(distributional dynamics of transformers under quantization)**에 대한 근본적인 통찰로 자리매김합니다.

예측 가능성: 저자들은 양자화 품질이 단일 스칼라(총 KL 드리프트)로부터 예측 가능하며, 이 드리프트를 제어하는 것이 퍼플렉시티를 제어하는 것이라고 주장합니다.
실패 모드 교정: 본 연구는 sub-4-bit PTQ의 주요 실패 모드가 개별 레이어의 가중치 오차가 아니라, 교차 레이어 드리프트의 누적임을 밝혀냈습니다. 정적 캘리브레이션 방식은 추론 시 레이어가 실제로 마주하게 될 분포(깨끗한 FP16)를 대상으로 최적화하기 때문에 실패합니다.
강건성: 드리프트된 활성값에 맞춰 스케일을 피팅함으로써, CEC는 다른 가중치 분포(예: Qwen)를 가진 모델에서 실패할 수 있는 AWQ의 돌출 채널 탐지와 같은 아키텍처 특정적 휴리스틱을 우회합니다.
이론적 한계: 논문은 가우시안 영역에 대한 이론적 경계가 존재하지만, 실제 84%의 레이어가 비가우시안인 상황에는 적용되지 않는다는 점을 겸허히 언급합니다. 관찰된 성능 향상은 엄격한 이론적 경계보다는 드리프트 교정 메커니즘에 의해 주도된 경험적 결과입니다.

결론적으로, RDQ는 잔차 스트림의 "드리프트"를 해결하는 것이 견고한 3비트 양자화를 실현하는 핵심임을 입증하며, 여러 모델 제품군에서 현재의 최첨단 방법들을 능가하는 확장 가능하고 오버헤드가 없는 솔루션을 제공합니다.