🤖 machine learning

Theory-optimal Quantization Based on Flatness

본 논문은 새로운 "평탄도" 지표를 기반으로 이론적으로 최적의 해를 도출하여 활성화 값의 이상치를 효과적으로 분산시키고, 따라서 저비트 대형 언어 모델 양자화에서 최첨단 정확도를 달성하는 새로운 사후 학습 양자화 프레임워크인 양방향 대각 양자화 (BDQ) 를 소개합니다.

원저자: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Theory-optimal Quantization Based on Flatness"이라는 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어보겠습니다.

큰 문제: 조용한 방에 있는 "시끄러운 이웃"

마치 거대하고 놀라울 정도로 상세한 도서관 (대규모 언어 모델, LLM) 이 있다고 상상해 보세요. 이 도서관을 작은 배낭 (휴대폰이나 저렴한 서버) 에 넣으려면 책들을 축소해야 합니다. 이 과정을 **양자화 (quantization)**라고 합니다.

보통 책들은 고화질 잉크 (32 비트 또는 16 비트 정밀도) 로 쓰여 있습니다. 공간을 절약하기 위해 몇 가지 간단한 색상 (4 비트 또는 심지어 2 비트) 만 사용하여 다시 쓰려고 합니다.

문제점: 이 책들의 대부분은 정상적인 내용이지만, 가끔씩 모든 것보다 더 크게 외치는 거대한 네온 빨간색 글씨로 쓰인 문장이 있습니다. 논문에서는 이것들을 **이상치 (outliers)**라고 부릅니다.

전체 책을 작은 공간에 맞추려고 할 때, 이 "거대한 네온 글씨"는 전체 시스템이 그것들을 수용하도록 확장되게 만듭니다. 그 결과 모든 정상적인 텍스트는 작고 읽을 수 없는 구석으로 눌려버립니다. 결과는 무엇일까요? 책은 엉망진창이 되어 읽을 수 없는 소음이 됩니다.

기존 해결책: 방을 회전시키려 노력하기

이전 방법들은 방을 회전하거나 가구를 재배치하여 문제를 해결하려 했습니다. 거대한 네온 글씨가 정상적인 텍스트와 섞이기를 바라며 데이터를 회전시켰습니다 (선형 변환 사용).

이 논문의 저자들은 이러한 방법들을 보고 "충분히 잘 작동하지 않는다"고 말했습니다. 방을 회전시킨 후에도 네온 글씨는 여전히 존재하며, 단지 다른 위치에 있을 뿐입니다. 그들은 여전히 모든 공간을 독점하여 나머지 데이터를 좁게 만들었습니다.

새로운 아이디어: "평탄성 (Flatness)"과 이퀄라이저

저자들은 문제를 바라보는 새로운 방식을 고안했습니다. 네온 글씨를 숨기려는 시도 대신, 지형을 평평하게 만드는 것에 초점을 맞췄습니다.

데이터를 언덕진 지형으로 상상해 보세요. 대부분의 땅은 평평하지만, 몇 개의 거대한 산 (이상치) 이 있습니다.

목표: 지형이 가능한 한 평평해지기를 원합니다 (잔잔한 호수처럼). 이것이 그들이 말하는 **평탄성 (Flatness)**입니다.
지표: 그들은 데이터가 얼마나 "울퉁불퉁한지" 측정하는 수학 도구를 고안했습니다. 산이 너무 높으면 "평탄성" 점수가 나쁘고, 땅이 매끄러우면 점수가 좋습니다.

그들은 수학적으로 이 지형을 평평하게 만드는 최선의 방법이 회전하는 것이 아니라 양방향 스트레칭 도구를 사용하는 것이라고 증명했습니다.

해결책: BDQ (양방향 대각선 양자화)

저자들은 BDQ라는 새로운 방법을 제안합니다. 비유를 통해 작동 방식을 설명해 보겠습니다.

데이터가 행과 열로 서 있는 거대한 사람들의 격자라고 상상해 보세요.

문제: 특정 행과 열에 거인 (이상치) 몇 명이 서 있습니다.
기존 방식: 전체 격자를 회전시키려 합니다. 거인들은 여전히 거인일 뿐, 단지 다른 방향을 바라볼 뿐입니다.
BDQ 방식: 특정 행에 있는 모든 사람에게 스트레치 바지 (대각선 행렬) 를 주고, 특정 열에 있는 모든 사람에게 스트레치 신발 (다른 대각선 행렬) 을 줍니다.
- 행에 거인이 있다면, 그 행에 있는 모든 사람의 바지를 줄입니다.
- 열에 거인이 있다면, 그 열에 있는 모든 사람의 신발을 줄입니다.
- 결과: 거인들은 정상적인 크기로 줄어들고, 작은 사람들은 늘어나게 됩니다. 갑자기 모두 키가 거의 같아집니다. "지형"이 평평해진 것입니다.

거인들이 더 이상 공간을 지배하지 않으므로, 중요한 세부 사항을 잃지 않고 전체 격자를 작은 배낭에 압축할 수 있습니다.

"과적합 (Overfitting)"의 함정: 암기만 한 학생

또 다른 문제가 있었습니다. 컴퓨터에게 이 스트레치 바지와 신발을 사용하는 법을 가르칠 때, 128 개의 문장처럼 아주 작은 데이터 샘플만 보여주었습니다.

컴퓨터는 128 개의 특정 연습 문제에 대한 정답을 완벽하게 외웠지만, 일반적인 규칙을 이해하지 못해 실제 시험에서 실패한 학생과 같았습니다. 기술적인 용어로 이것은 **과적합 (overfitting)**이라고 합니다.

이를 해결하기 위해 저자들은 Recursive Cross-Entropy Loss라는 특별한 규칙을 추가했습니다.

비유: 단순히 학생에게 "이것이 정답이다"라고 말하는 대신, "네가 예측한 정답을 보고 실제 정답과 당신의 확신이 일치하는지 확인하라"고 말합니다.
이는 컴퓨터가 특정 연습 문장을 단순히 암기하는 것이 아니라, 데이터를 평평하게 만드는 일반적인 패턴을 학습하도록 강제합니다.

결과: 여행 가방을 완벽하게 포장하기

이 논문은 LLaMA-3 와 DeepSeek 과 같은 세계 최고의 AI 모델들에서 이 새로운 방법을 테스트했습니다.

테스트: 모델들을 극도로 작은 크기로 축소해 보았습니다 (가중치에 4 비트, 활성화 값에 4 비트, 또는 가중치에 2 비트만 사용).
결과:
- 이전 방법들은 이렇게 작게 축소했을 때 AI 를 "멍청하게" 만들었습니다 (정확도가 크게 떨어졌습니다).
- BDQ는 AI 를 원래 풀사이즈 버전과 거의 똑똑하게 유지했습니다.
- 한 가지 극단적인 테스트 (700 억 개 파라미터 모델을 2 비트 가중치로 축소) 에서 BDQ 는 기존 최상위 방법들보다 성능 격차를 거의 40% 줄였습니다.

요약

이 논문은 "평탄성"이 좋은 압축의 핵심임을 수학적으로 증명하고, 양방향 스트레칭 도구 (BDQ) 와 더 지능적인 학습 규칙 (RCE) 을 결합하여 거대한 AI 모델을 지능을 잃지 않고 작은 크기로 축소할 수 있다고 주장합니다. 그들은 울퉁불퉁하고 산악 지형 같은 풍경을 작은 배낭에 쉽게 들어가는 매끄럽고 평평한 평원으로 바꾸었습니다.

기술 요약: 평탄도 기반 이론 최적 양자화

1. 문제 제기

학습 후 양자화 (PTQ) 는 대규모 언어 모델 (LLM) 을 압축하고 가속화하기 위한 표준 기법이 되었습니다. 그러나 주요 과제로서 **활성화 이상치 (activation outliers)**의 존재가 남아 있습니다. 이는 데이터의 나머지 부분에 대한 통계적 기대치보다 크기가 현저히 큰 값들입니다. 이러한 이상치들은 양자화 스케일이 이를 수용하도록 확장되게 하여, 정상 데이터의 대부분을 좁은 정수 레벨 범위로 압축하게 만듭니다. 그 결과, 특히 낮은 비트 폭 (예: W4A4 또는 W2A4) 에서 상당한 양자화 오차와 성능 저하가 발생합니다.

최근 접근법들은 선형 변환 (예: 회전) 을 통해 이상치를 완화하려 시도하지만, 저자들은 이러한 방법들이 이상치 패턴을 완전히 분산시키지 못해 여전히 성능을 저하시키는 집중된 크기 분포를 남긴다고 관찰했습니다. furthermore, 기존 방법들은 이상치와 양자화 오차 사이의 직접적인 수학적 관계를 확립하지 않은 채 휴리스틱 전략에 의존하며, 전체 양자화 공간의 분포를 최적화하지도 않습니다.

2. 방법론

본 논문은 "평탄도 (Flatness)"에 대한 이론적 분석에 기반한 **양방향 대각 양자화 (Bidirectional Diagonal Quantization, BDQ)**를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

2.1 이상치 및 오차의 수학적 모델링

저자들은 먼저 이상치와 양자화 오차 사이의 수학적 관계를 유도합니다. 이상치 $|w_{outlier}|$ 가 양자화 범위보다 현저히 클 때, 총 양자화 오차 $E[\epsilon^2]$ 는 이상치에 의해 지배되며 이상치의 크기와 **2 차 관계 (quadratic relationship)**를 보임을 입증합니다. 구체적으로, 오차는 $w_{outlier}^2$ 에 비례하여 증가하므로, 이상치가 양자화 정확도를 제한하는 핵심 요인임을 나타냅니다.

2.2 평탄도 지표 및 이론적 최적 해

이상치 분포를 정량화하기 위해 저자들은 정보 엔트로피에서 영감을 받은 새로운 지표인 **평탄도 (Flatness)**를 도입합니다. 평탄도는 정규화된 제곱 요소를 확률 분포로 간주하여 행렬 전체에 걸친 데이터 분포의 균일성을 평가합니다.

정의: 평탄도 ( $F$ ) 는 $p_{ij} \ln p_{ij}$ 의 합으로 정의되며, 여기서 $p_{ij} = \frac{W_{ij}^2}{\alpha_i \beta_j}$ 입니다. 여기서 $\alpha_i$ 와 $\beta_j$ 는 각각 행과 열에 대한 학습 가능한 에너지 가중치 인자입니다.
최적화: 에너지 제약 조건 하에서 $F$ 를 최소화 (엔트로피 최대화) 하는 것이 목표입니다. 라그랑주 승수법을 통해 저자들은 최대 평탄도를 달성하기 위한 유일한 최적 해가 $V = d_1 W d_2$ 형태의 변환임을 증명합니다. 여기서 $d_1$ 과 $d_2$ 는 대각 행렬입니다. 이 구조는 이상치를 분산시키기 위해 행과 열을 독립적으로 스케일링할 수 있게 합니다.

2.3 BDQ 프레임워크

이론적 최적 해를 바탕으로 BDQ 는 다음을 구현합니다:

양방향 대각 변환: LLM 의 각 완전 연결 계층에 대해 BDQ 는 행 단위 및 열 단위 스케일링을 수행하는 두 개의 대각 행렬 ( $\Lambda_1, \Lambda_2$ ) 을 학습합니다. 이를 통해 이상치 크기를 두 차원에 걸쳐 재분배합니다.
해다마드 직교 변환: 대각 스케일링만으로는 해결되지 않을 수 있는 강한 열 상관관계를 깨고 이상치를 더 분산시키기 위해, BDQ 는 해다마드 행렬과 직교 행렬로 구성된 학습 가능한 회전 행렬 $R$ 을 포함합니다. 순전파는 $y = Q(\Lambda_1 x \Lambda_2 R) \cdot Q(R^T \Lambda_2^{-1} W \Lambda_1^{-1})$ 로 재구성되어, 전역 네트워크 수준에서 동등한 변환을 보장합니다.
재귀적 교차 엔트로피 (RCE) 손실: PTQ 에서 흔히 발생하며 이상치 완화를 방해하는 작은 교정 세트 (예: 128 개 샘플) 에 대한 과적합 문제를 해결하기 위해, BDQ 는 재귀적 교차 엔트로피 손실을 도입합니다. 이 손실 함수는 라벨 분포와 모델이 예측한 토큰 분포를 동시에 적합시켜, 모델이 지역 최적점에 빠지는 것을 방지하고 일반화를 향상시킵니다.

3. 주요 기여

이론적 모델링: 본 논문은 이상치와 양자화 오차 사이의 수학적 관계를 모델링한 최초의 연구로, 오차가 이상치 크기에 따라 2 차적으로 증가함을 증명합니다.
평탄도 지표: 저자들은 이상치 분포를 정량화하기 위해 평탄도 지표를 제안하고, 이 지표를 최소화하기 위한 최적 해 (양방향 대각 스케일링) 를 수학적으로 유도했습니다.
BDQ 프레임워크: 학습된 대각 연산과 해다마드 회전을 활용하여 평탄도에 대한 이론적 최적 해를 달성하는 양방향 대각 양자화를 제안했습니다.
과적합 완화: 소규모 교정 세트에 내재된 과적합 문제를 해결하기 위해 재귀적 교차 엔트로피 손실을 도입하여, 기존 최첨단 방법들의 한계를 극복했습니다.

4. 실험 결과

LLaMA-2, LLaMA-3, DeepSeek-R1-Distill 모델에 대해 다양한 비트 폭 설정 (W4A4, W2A4, W3A3) 으로 광범위한 실험이 수행되었습니다.

W4A4 설정: LLaMA-3-8B 에서 BDQ 는 정밀도 모델 대비 1% 미만의 정확도 감소만 보이며, QuaRot, SpinQuant, FlatQuant 와 같은 기존 방법들을 능가했습니다.
W2A4 설정 (도전적): DeepSeek-R1-Distill-LLaMA-70B 에서의 극도로 낮은 비트 W2A4KV16 설정에서, BDQ 는 최신 최첨단 접근법 대비 정밀도 모델과의 성능 격차를 39.1% 줄였습니다.
효율성: 정밀도 모델 대비 추론 속도 향상 (NVIDIA A100 에서 최대 3.44 배) 과 메모리 절약 (AMD MI250 에서 최대 3.74 배) 을 보여주었습니다.
절대적 연구 (Ablation Studies): 실험은 표준 교차 엔트로피를 사용한 BDQ 보다 BDQ 와 RCE 손실의 조합이 더 우수한 결과를 산출함을 확인시켜, 제안된 손실 함수가 과적합을 방지하는 데 효과적임을 검증했습니다.

5. 의의 및 주장

본 논문은 BDQ 가 학습 후 양자화의 새로운 벤치마크를 수립했다고 주장합니다. 그 주요 의의는 휴리스틱 이상치 완화를 넘어, 첫 원리에서 도출된 이론 최적 접근법으로 이동했다는 점에 있습니다. 양방향 대각 스케일링이 평탄도 최대화 (즉, 양자화 오차 최소화) 를 위한 최적 해임을 수학적으로 증명함으로써, 저자들은 향후 양자화 방법들을 위한 엄밀한 기초를 제공했습니다.

저자들은 실험이 70B 파라미터까지의 모델과 특정 GPU 아키텍처로 계산 자원에 의해 제한되었다는 한계를 인정합니다. 그러나 LLaMA-3-70B, DeepSeek-R1-Distill-70B 와 같은 대규모 모델에서 입증된 성능과 이론적 프레임워크가 효율적이고 저비용인 LLM 배포를 위한 방법의 잠재력을 검증한다고 주장합니다.