💬 NLP

NeUQI: Near-Optimal Uniform Quantization Parameter Initialization for Low-Bit LLMs

이 논문은 단순화된 스케일 전용 최적화를 통해 근사 최적의 초기화 파라미터를 도출함으로써 대규모 언어 모델을 위한 저비트 균등 양자화를 개선하는 방법인 NeUQI를 제안하며, 이를 통해 기존 기술들과 자원 집약적인 증류 방식들을 능가하는 성능을 보여준다.

원저자: Li Lin, Xinyu Hu, Xiaojun Wan

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Li Lin, Xinyu Hu, Xiaojun Wan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거대하고 믿을 수 없을 정도로 상세한 지식의 도서관(거대 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 이 도서관은 너무 커서 이를 저장하기 위한 거대한, 비싼 창고(고성능 서버)와 책을 읽기 위한 강력한 힘을 가진 인부들(강력한 GPU)이 필요합니다. 하지만 대부분의 사람들은 그저 이동 중에 읽을 수 있도록 몇 권의 좋아하는 책을 배낭(노트북이나 스마트폰)에 담아 가기를 원합니다.

문제는 이 책들이 매우 무겁고 복잡한 언어(bfloat16과 같은 고정밀 숫자)로 쓰여 있다는 점입니다. 배낭에 넣기 위해서는 이 책들을 더 단순하고 가벼운 언어(2비트 또는 3비트와 같은 저비트 정수)로 번역해야 합니다. 이 과정을 **양자화(Quantization)**라고 부릅니다.

기존 방식: "자(Ruler)와 자" 방식

오랫동안 이 책들을 번역하는 표준적인 방법은 Min-Max라고 불리는 방법을 사용하는 것이었습니다.

Min-Max를 방의 크기를 측정하기 위해 딱딱한 자를 사용하는 것에 비유해 봅시다. 당신은 방에서 가장 짧은 지점과 가장 긴 지점을 살펴본 뒤, "좋아, 우리의 자는 정확히 가장 짧은 벽에서 가장 긴 벽까지 뻗어야 해"라고 말합니다.

결함: 이 접근 방식은 너무 경직되어 있습니다. 이는 자의 길이를 오직 극단적인 이상치(가장 짧은 지점과 가장 긴 지점)에 의해서만 결정되도록 강요합니다. 만약 방의 가장자리에 이상한 돌출부나 작은 움푹 들어간 곳이 있다면, 당신의 자는 그것에 맞추기 위해 왜곡되어 나머지 공간을 제대로 측정하지 못하게 됩니다.
제약 사항: 게os 더, 이 오래된 방식은 "제로 포인트(자 측정이 시작되는 지점)"가 반드시 1, 2, 3과 같은 정수여야 한다고 고집했습니다. 2.5와 같은 숫자는 될 수 없었습니다. 이는 마치 인치 단위로 잴 때 반 인치는 절대 안 되고 오직 정수 인치로만 재야 한다고 말하는 것과 같으며, 이는 정확도를 제한합니다.

새로운 방식: NeUQI

이 논문의 저자인 리 린(Li Lin)과 동료들은 이 경직된 "Min-Max" 자가, 특히 우리가 도서관을 아주 작은 2비트 또는 3비트 크기로 줄이려고 할 때 우리의 발목을 잡는다는 것을 깨달았습니다. 그들은 NeUQI(Near-Optimal Uniform Quantization Parameter Initialization)라고 불리는 새로운 방법을 제안했습니다.

NeUQI가 어떻게 작동하는지 다음의 창의적인 비유를 통해 설명하겠습니다.

1. "유연한 줄자" vs "딱딱한 자"
두 개의 극단적인 벽이 전체 자의 길이를 결정하게 두는 대신, NeUQI는 방의 전체적인 형태를 살펴봅니다. NeUQI는 다음과 같이 묻습니다. "내가 시작 지점(제로 포인트)을 아주 조금만 움직인다면, 전체적인 측정값이 더 좋아질까?"

돌파구: NeUQI는 모든 특정 자의 길이(스케일)에 대해, 오차를 최소화하는 수학적으로 완벽한 "제로 포인트"가 존재한다는 것을 깨달았습니다. 이는 그 제로 포인트가 정수가 아닌 소수점 숫자(예: 2.53)일지라도 효율적으로 계산해 냅니다.
결과: 제로 포인트를 정밀한 소수로 허용함으로써, 도서관의 "번역"은 훨씬 더 정확해졌습니다. 책들은 의미를 잃지 않고도 배낭에 더 잘 들어맞게 되었습니다.

2. "거친 단계에서 정밀한 단계로(Coarse-to-Fine)" 탐색
모든 책에 대해 이 완벽한 소수점 제로 포인트를 찾는 것은 시간이 너무 오래 걸릴 수 있습니다. 이를 해결하기 위해 NeUQI는 스마트한 탐색 전략을 사용합니다.

1단계 (거친 단계 - Coarse): 넓은 그물을 사용하여 방을 빠르게 훑어보며 최적의 자가 시작될 일반적인 구역을 찾습니다.
2단계 (정밀한 단계 - Fine): 그런 다음 그 특정 구역으로 줌인하여 정확한 소수점 지점을 찾아냅니다.
이는 잃어버린 열쇠를 들판에서 찾는 것과 같습니다. 먼저 들판 전체를 돌아다니며 올바른 풀밭을 찾습니다. 그다음, 그 특정 구역에 무릎을 꿇고 앉아 꼼꼼하게 찾습니다. 이 방식은 시간을 엄청나게 절약해 줍니다.

그들은 무엇을 발견했는가?

저자들은 LLaMA와 Qwen 같은 유명한 AI 모델들을 대상으로 NeUQI를 테스트했습니다.

더 나은 성능: 실험 결과, NeUQI를 사용하여 압축된 모델들은 기존의 Min-Max 방식을 사용한 모델들보다 훨씬 더 똑똑했습니다. 어떤 경우에는 NeUQI를 사용한 2비트 모델이 압축되지 않은 전체 크기의 모델만큼이나 성능이 좋았습니다.
강자들을 이기다: 그들은 심지어 NeUQI를 "경량 증류(lightweight distillation)" 전략(작은 모델이 큰 모델을 모방하도록 가르치는 방식)과 결 조합했습니다. 놀랍게도, 이 단순한 조합은 훨씬 더 복격적이고 자원이 많이 드는 방법인 PV-tuning을 능가했습니다.
"마법 같은" 결과: 어떤 시나리오에서는, NeUQI로 압축된 모델(메모리를 적게 차지함)이 오히려 더 많은 메모리를 차지하는 원래의 압축되지 않은 모델보다 질문에 더 잘 답변했습니다.

핵심 요약

이 논문은 AI 모델을 줄이는 과정의 "시작" 방식이 줄이는 기술 자체만큼이나 중요하다는 점을 주장합니다. "자"(초기화 파라미터)를 수정하고 더 유연하고 정밀한 시작 지점을 허용함으로써, NeUQI는 우리가 세계 최대 규모의 AI 뇌를 지능을 잃지 않고 훨씬 더 작은 공간에 담을 수 있게 해줍니다. 이는 측정을 시작하는 방식의 단순한 변화이지만, 최종 결과에는 거대한 개선을 가져옵니다.

기술 요약: NeUQI: 저비트 LLM을 위한 근사 최적 균등 양자화 파라미터 초기화

문제 정의

대규모 언어 모델(LLM)은 높은 메모리 소비와 추론 지연 시간으로 인해 소비자급 하드웨어에 배포하는 데 상당한 어려움을 겪고 있습니다. 사후 훈련 양자화(Post-training quantization, PTQ), 특히 균등 양자화 방식(예: 가중치를 int4/3/2로 변환)을 사용하는 것은 실질적인 해결책이 됩니다. 그러나 기존의 저비트 균등 양자화 방법들은 대부분 양자화 파라미터(스케일 $s$ 및 제로 포인트 $z$ )를 초기화하기 위해 전통적인 Min-Max 공식에 크게 의존합니다.

저자들은 저비트 설정(2비트 및 3비트)에서 성능을 저해하는 Min-Max 공식의 두 가지 결정적인 한계를 식별했습니다:

극단값 의존성 (Extreme Value Dependency): $s$ 와 $z$ 모두 가중치 분포의 최솟값과 최댓값에 의해서만 결정됩니다. 이는 최적화 알고리즘을 제약하여, 탐색 기반 방법(LeanQuant 등)이 이러한 극단값과 관련된 스케일링 인자를 열거하도록 강제함으로써, 더 효율적인 $T$ 탐색 대신 계산 비용이 많이 드는 $T^2$ 탐색 공간을 생성하게 만듭니다.
정수 제로 포인트 제약 (Integer Zero-Point Constraint): Min-Max 정식화는 제로 포인트 $z$ 를 $k$ -비트 부호 없는 정수로 제한합니다. 이는 파라미터 공간을 인위적으로 제한하여, 특히 저비트 폭 시나리오에서 양자화 오차를 최소화할 수 있는 최적의 비정수 값을 발견하는 것을 방해합니다.

방법론: NeUQI

본 논문은 양자화 손실의 구조를 명시적으로 활용함으로써 Min-Max 공식의 제약을 우회하도록 설계된 NeUQI(Near-Optimal Uniform Quantization Parameter Initialization)를 제안합니다.

1. 손실 정식화 및 근사 (Loss Formulation and Approximation)

이 방법은 프록시 헤시안( $H$ )에 의해 가중치가 부여된 원래 가중치와 양자화된 가중치 사이의 기대 제곱 오차로 정의되는 선형 레이어의 양자화 손실을 최소화합니다. 최적화를 용이하게 하기 위해, NeUQI는 헤시안의 **대각 근사(diagonal approximation)**를 채택하여 손실을 각 가중치 요소에 대한 독립적인 항들의 합으로 축소합니다:
$L(s, z) = \sum_i H_{i,i} (Q_{s,z}(w_i) - w_i)^2$

2. 제로 포인트 최적화 (고정 스케일) (Zero-Point Optimization (Fixed Scale))

$s$ 와 $z$ 를 공동으로 최적화하는 대신, NeUQI는 스케일 $s$ 를 고정하고 최적의 제로 포인트 $z$ 를 분석적으로 도출합니다.

조각별 이차 구조 (Piecewise Quadratic Structure): 손실 함수 $L(z)$ 가 조각별 이차 함수임을 식별했습니다.
효율적 탐색: 전역 최솟값을 찾는 나이브한 접근 방식은 $O(n \cdot 2^k)$ 입니다. NeUQI는 전이점(transition points)을 통과할 때 이차 함수를 점진적으로 업데이트하는 알고리즘(Algorithm 1)을 도입하여, 정렬 후 복잡도를 $O(n \log n)$ 으로 줄입니다.
Coarse-to-Fine 전략: 계산 부담을 더욱 줄이기 위해, NeUQI는 $O(n \log n)$ 시간 내에 후보 영역을 식별하기 위해 손실 함수를 근사합니다. 그 후, 이 후보의 제한된 이웃 범위 내에서 정밀 탐색을 수행하여 $O(n \log n)$ 복잡도를 유지합니다.

3. 스케일 최적화 (Scale Optimization)

임의의 $s$ 에 대해 최적의 $z$ 를 계산할 수 있으므로, 문제는 스케일 $s$ 에 대한 단일 변수 최적화 문제로 축소됩니다.

탐색 공간: 탐색 공간은 Min-Max 공식으로부터 유도된 스케일에 의해 경계가 정해집니다.
Coarse-to-Fine 탐색: NeUQI는 2단계 탐색 전략을 사용합니다. 먼저, $T_c$ 개의 후보( $T_c = O(\sqrt{T})$ )에 대한 거친 탐색(coarse search)을 통해 유망한 영역을 식별합니다. 그 다음, 거친 최적값의 이웃 범위 내에서 미세 탐색(fine-grained search)을 수행하여 스케일 추정치를 정교화합니다. 이를 통해 제로 포인트 계산 횟수를 $O(T)$ 에서 $O(\sqrt{T})$ 로 줄입니다.

4. 제약 완화 (Relaxing Constraints)

결정적으로, NeUQI는 제로 포인트에 대한 정수 제약을 제거하여 $z$ 가 부동 소수점 값을 가질 수 있도록 합니다. 이는 파라미터 공간을 확장하여, 양자화 오차를 더 효과적으로 최소화할 수 있는 "근사 최적(near-optimal)" 초기화를 찾을 수 있게 합니다.

주요 기여 (Key Contributions)

Min-Max 한계 식별: 저자들은 표준 Min-Max 초기화의 두 가지 제약(극단값 의존성 및 정수 제로 포인트)을 공식적으로 식별하고 분석하여, 이들이 어떻게 최적화 유연성과 탐색 효율성을 제한하는지 입증했습니다.
NeUQI 알고리즘: 스케일과 제로 포인트 최적화를 분리하는 새로운 초기화 방법을 제안합니다. 최적의 제로 포인트를 도출함으로써, 이 방법은 복잡한 공동 최적화를 다루기 쉬운 단일 변수 탐색으로 변환합니다.
경험적 우월성: LLaMA 2/3 및 Qwen 2.5 제품군에 걸친 광범한 실험을 통해, NeUQI가 저비트 설정(2비트 및 3비트)에서 기존 PTQ 방법(GPTQ, GPTAQ, MagR, LeanQuant)보다 일관되게 뛰어난 성능을 보임을 입증했습니다.
미세 조정과의 시너지: 본 논문은 NeUQI가 다운스트림 태스크를 위한 강력한 초기화 도구임을 보여줍니다. 경량 증류(distillation)와 결합했을 때, NeUQI는 자원 집약적인 PV-tuning과 같은 방법보다 우수한 성능을 보입니다. 또한, EfficientQAT의 초기화로 사용될 경우 추가적인 성능 향상을 가져오며, 이는 고품질의 초기화가 강력한 미세 조정 파이프라인에서도 매우 중요하다는 것을 시사합니다.

실험 결과 (Experimental Results)

성능: 2비트 채널 단위 양자화에서, NeUQI는 C4 및 WikiText2에 대한 퍼플렉시티(perplexity)를 크게 낮추고, 5개 벤치마크(ARC, HellaSwag 등)의 평균 정확도를 향상시켰습니다. 예를 들어, LLaMA 2 7B (2-bit)에서 NeUQI는 C4 퍼플렉시티 17.50을 달성했는데, 이는 GPTQ의 2592 및 GPTAQ의 246과 대조적입니다.
비양자화 모델과의 비교: 유사한 메모리 사용량 하에서, NeUQI로 초기화된 3비트 모델은 종종 비양자화(BF16) 모델보다 우수한 성능을 보입니다. 예를 들어, NeUQI를 사용한 3비트 Qwen 2.5 72B 모델은 16비트 비양자화 14B 모델보다 낮은 퍼플렉시티와 높은 정확도를 달성합니다.
효율성: 제안된 최적화(전이점 감소 및 coarse-to-fine 탐색)는 초기화의 런타임 오버헤드를 줄입니다. NeUQI는 GPTQ보다 오래 걸리지만(예: LLaMA 2 7B 2-bit 기준 약 30분 vs 9분), 여전히 실용적이며 광범위한 미세 조정이나 무거운 탐색을 요구하는 방법들보다 훨씬 빠릅니다.
하드웨어 호환성: 본 논문은 부동 소수점 제로 포인트가 기존 GPU 추론 라이브러리(예: vLLM에 통합된 BitBLAS)에서 지원됨을 언급하며, 이를 통해 이론적 이점이 특수 하드웨어 없이도 실제 배포에서 구현될 수 있음을 보장합니다.

의의 및 주장 (Significance and Claims)

본 논문은 양자화 파라미터의 초기화가 저비트 양자화에서 중요하지만 종종 간과되는 요소라고 주장합니다. 저자들은 불량한 초기 조건은 광범한 미세 조정을 통해서도 바로잡기 어렵지만, 잘 초기화된 모델은 훨씬 적은 노력으로 우수한 성능을 달성할 수 있다고 주장합니다.

Min-Max 공식을 넘어섬으로써, NeUQI는 다음과 같은 "근사 최적" 시작점을 제공합니다:

저비트 모델(2-bit/3-bit)이 유사한 메모리 풋프린트 내에서 더 높은 비트 또는 비양자화 모델의 성능에 도달하거나 이를 능가할 수 있게 합니다.
증류와 결합했을 때, 무거운 미세 조정 방법(PV-tuning 등)에 대한 가벼운 대안을 제공합니다.
정수 제로 포인트 제약을 완화하는 것이 LLM의 균등 양자화 잠재력을 극대화하기 위한 필수 단계임을 확립합니다.

이 연구는 향히의 연구가 포스트 초기화 성능을 더욱 높이기 위해 첫 번째 제약(Min-Max 공식)을 넘어 작동하는 미세 조정 전략에 집중해야 함을 시사합니다.