💬 NLP

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training

본 논문은 모든 매개변수의 민감도가 균질화되는 문제를 해결하기 위해 선형 레이어를 효율적인 1 비트 분기와 민감한 매개변수를 보존하는 고정밀 분기로 분리하는 'pQuant'를 제안하여, 극저비트 양자화 환경에서 기존 방법보다 뛰어난 성능을 달성함을 보여줍니다.

원저자: Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

게시일 2026-02-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

pQuant: 거대한 언어 모델을 '초소형'으로 만드는 마법 같은 해법

이 논문은 인공지능, 특히 거대한 언어 모델 (LLM) 을 아주 작은 스마트폰이나 엣지 기기에서도 빠르게 돌릴 수 있게 해주는 새로운 기술인 **'pQuant'**에 대해 설명합니다.

기존의 방법들은 모델을 작게 만들면 지능이 급격히 떨어지는 문제가 있었는데요. pQuant 는 이 문제를 **"모든 부품을 똑같이 취급하지 않고, 중요한 부품만 특별하게 보호한다"**는 아이디어로 해결했습니다.

이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

1. 문제: "모두가 평등해진" 모델의 위기 (Parameter Democratization)

기존에 모델을 아주 작게 (1 비트, 즉 0 과 1 만으로) 만들려고 하면, 모델이 가진 모든 '지식'이 같은 중요도를 갖게 되는 이상한 현상이 발생합니다.

비유: imagine imagine 한 반의 학생들을 상상해 보세요.
- 원래는 수학 천재, 작문 천재, 운동 천재 등 각자 특기가 뚜렷했습니다.
- 그런데 모델을 너무 작게 만들려고 하니, 선생님 (알고리즘) 이 "너희는 다 똑같은 학생이야"라고 말하며 모든 학생의 능력을 평균화해버린 겁니다.
- 결과? 천재들은 제 능력을 발휘하지 못하고, 평범한 학생들도 더 이상 성장하지 못해 전체적인 학급의 성적이 떨어집니다.

이를 논문에서는 **'파라미터 민주화 (Parameter Democratization)'**라고 부르며, 이것이 저비트 모델의 성능을 막는 가장 큰 병목 현상이라고 지적합니다.

2. 해결책: pQuant 의 '특수 부대' 전략

pQuant 는 이 문제를 해결하기 위해 모델을 두 개의 부대로 나누는 전략을 사용합니다.

1 비트 부대 (일반 병사):
- 역할: 대부분의 계산을 빠르게 처리합니다.
- 특징: 아주 작고 빠르지만, 정밀도는 낮습니다. (0 과 1 만 사용)
- 비유: 군대 전체를 빠르게 움직이는 보병 부대입니다. 숫자는 많지만 개인적인 정밀함은 떨어집니다.
8 비트 부대 (특수 부대/정예 병사):
- 역할: 모델이 가장 중요하게 여기는 **'민감한 지식'**을 저장하고 처리합니다.
- 특징: 크기는 작지만 (전체 파라미터의 약 5% 만 사용), 정밀도가 높습니다.
- 비유: 특수 부대입니다. 숫자는 적지만, 가장 어렵고 중요한 임무 (민감한 데이터 처리) 만을 맡습니다.

핵심 아이디어:
기존 방법은 모든 학생을 똑같이 가르쳤다면, pQuant 는 **"누가 천재인지 찾아내서 그들만 특수 부대에 배치하고, 나머지는 보병으로 배치한다"**는 것입니다. 이렇게 하면 전체적인 크기는 작지만, 중요한 부분의 지능은 그대로 유지됩니다.

3. 작동 원리: "스마트한 지휘관" (Feature Scaling)

그렇다면 어떻게 중요한 지식을 가진 '천재'를 찾아내서 특수 부대에 넣을까요?

비유: **스마트한 지휘관 (Feature Scaling)**이 있습니다.
- 이 지휘관은 훈련 과정에서 "아, 이 학생은 수학 문제를 풀 때 아주 민감하게 반응하네? 이 학생은 특수 부대로 보내자!"라고 동적으로 판단합니다.
- 단순히 미리 정해진 자리가 아니라, 모델이 스스로 "내가 여기서 가장 잘할 수 있는 부분"을 찾아내서 8 비트 부대에 할당합니다.
- 또한, 훈련 초기에는 특수 부대에게 더 많은 점수 (그래디언트) 를 주어 그들이 더 잘 성장하도록 돕습니다.

4. 확장성: "원하는 만큼 부대 늘리기" (Scalability)

더 큰 모델을 만들고 싶다면 어떻게 할까요?
기존 방식은 모델을 키우면 성능이 느리게 올라갔지만, pQuant 는 특수 부대 (8 비트) 의 수를 늘리는 방식으로 확장합니다.

비유: **스마트한 라우터 (Router)**가 있습니다.
- 들어오는 질문 (입력 데이터) 에 따라 가장 적합한 특수 부대 한 팀을 골라 일을 시킵니다.
- 마치 스마트한 식당에서 손님의 주문에 따라 가장 잘하는 셰프 한 명만 호출하는 것과 같습니다.
- 이렇게 하면 모델의 능력 (용량) 은 크게 늘지만, 실제 작동할 때는 한 번에 한 팀만 일하므로 속도는 여전히 빠릅니다.

요약: 왜 이것이 혁신적인가요?

압도적인 성능: 기존 1 비트 모델보다 훨씬 정확도가 높습니다. (예: 1.35 비트 모델이 2 비트 모델보다 더 잘함)
효율성: 메모리 사용량은 16 비트 모델의 1/100 수준으로 줄이면서도, 성능은 거의 비슷하게 유지합니다.
실용성: 이 기술이 적용되면 거대한 AI 모델을 고사양 서버 없이도 스마트폰이나 작은 기기에서 매우 빠르게 실행할 수 있게 됩니다.

한 줄 요약:

"모든 부품을 다 작게 만드는 게 아니라, 중요한 부품만 정교하게 보호하고 나머지는 가볍게 만드는 지능적인 압축 기술이 바로 pQuant 입니다."

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 에지 디바이스 배포를 위해 극저비트 (Sub-2-bit, 특히 1 비트) 양자화는 메모리 및 연산 비용을 획기적으로 줄일 수 있는 핵심 기술입니다. 최근 'Scratch-from-scratch' 방식의 양자화 인식 학습 (QAT-Scratch, 예: BitNet) 이 주류를 이루고 있지만, 다음과 같은 한계점이 존재합니다.

정확도 저하: 1 비트 모델은 여전히 FP16 기준 80% 미만의 성능을 보이며, 실제 활용에 제약이 있습니다.
확장성 (Scalability) 부족: 모델 크기가 커져도 성능 향상이 선형적으로 증가하지 않으며, FP16 모델에 비해 확장 효율이 낮습니다.
핵심 원인: 파라미터 민주화 (Parameter Democratization): 저자가 발견한 핵심 병목 현상입니다. 극단적인 양자화 하에서 모든 가중치의 민감도 (Sensitivity) 가 균일화되어, 모델 출력에 결정적인 영향을 미치는 '민감한 파라미터'를 구별하지 못하게 됩니다. 이로 인해 모델의 표현력 (Expressivity) 이 제한받게 됩니다.

2. 제안 방법 (Methodology: pQuant)

이러한 문제를 해결하기 위해 제안된 pQuant는 파라미터 민감도를 해체 (Decouple) 하고 유도 (Guide) 하는 새로운 아키텍처를 도입합니다.

가. 해체된 선형 레이어 (Decoupled Linear Layer)

기존의 단일 1 비트 레이어를 두 개의 전문화된 브랜치로 분리합니다.

주요 1 비트 브랜치 (Dominant 1-bit Branch): 대부분의 가중치를 1 비트로 양자화하여 연산 효율성을 극대화합니다.
소형 고정밀 브랜치 (Compact High-Precision Branch): 모델 출력에 가장 민감한 파라미터들을 보존하기 위해 8 비트 (INT8) 로 유지합니다.
- 이 구조는 Mixture of Experts (MoE) 개념과 유사하게 작동하며, 1 비트 브랜치는 공유 전문가, 8 비트 브랜치는 특수한 라우팅 전문가 역할을 합니다.

나. 특징 스케일링 (Feature Scaling)

어떤 파라미터가 8 비트 브랜치로 할당될지 사전에 고정하는 것이 아니라, 학습 가능한 스칼라 (Feature Scaling) 를 도입하여 모델이 동적으로 민감한 파라미터를 고정밀 경로로 할당하도록 유도합니다.

초기화 전략: 8 비트 브랜치의 가중치에 더 큰 기울기 (Gradient) 가 흐르도록 초기화 값 ( $\alpha \gg \beta$ ) 을 설정하여, 중요한 정보를 고정밀 브랜치가 학습하도록 강제합니다.
동적 할당: 이를 통해 모델은 데이터에 따라 가장 중요한 표현을 8 비트 브랜치에 집중시킵니다.

다. 확장성 설계 (Efficient Scaling)

고정밀 브랜치를 여러 개 (N 개) 로 확장하고, 경량화 된 라우터 (Router) 를 통해 입력 토큰에 따라 가장 적합한 브랜치 하나를 선택 (Top-1 Gating) 합니다.

장점: 활성화되는 파라미터 수는 기존 밀집 (Dense) 레이어와 동일하게 유지하여 추론 비용을 증가시키지 않으면서, 모델의 용량 (Capacity) 을 확장할 수 있습니다.

3. 주요 기여 (Key Contributions)

파라미터 민주화 현상의 발견 및 해결: 극저비트 양자화에서 발생하는 민감도 균일화 문제를 규명하고, 이를 구조적으로 분리하여 해결하는 첫 번째 체계적인 접근법을 제시했습니다.
새로운 아키텍처 (pQuant): 1 비트 효율성과 8 비트 정밀도를 결합한 해체형 선형 레이어와 특징 스케일링 메커니즘을 제안했습니다.
SOTA 성능 달성: 기존 1 비트 및 2 비트 모델 대비 뛰어난 성능을 달성하면서도, FP16 모델과 유사한 처리량 (Throughput) 을 제공합니다.

4. 실험 결과 (Results)

성능 향상: 1.3B 파라미터 모델 기준, pQuant(약 1.35 비트) 는 기존 SOTA 1 비트 모델 (BitNet) 대비 Perplexity 를 32.0% 감소시켰습니다.
비트당 효율성: 2 비트 모델 (BitNet1.58) 보다 적은 비트 수 (0.65 비트 차이) 로 거의 동등한 정확도를 달성했습니다.
확장성: 8 개의 8 비트 브랜치 (N=8) 를 활성화했을 때, 2 비트 모델을 능가하는 성능을 보이며 FP16 모델의 손실 곡선 추세를 따르는 우수한 확장성을 입증했습니다.
메모리 및 추론 효율:
- FP16 모델 대비 메모리 사용량을 92% 감소시켰습니다.
- 2 비트 모델 (BitNet1.58) 대비 추론 속도가 18.2% 빠르며, 1 비트 모델 대비 38% 더 빠른 연산 효율을 보입니다.
- 8 비트 브랜치는 추론 시 하나의 브랜치만 활성화되므로 메모리 접근 오버헤드가 최소화됩니다.

5. 의의 및 결론 (Significance)

pQuant 는 극저비트 LLM 의 한계였던 '정확도'와 '확장성' 문제를 동시에 해결하는 획기적인 방법론입니다.

에지 디바이스 최적화: 1 비트 연산의 하드웨어 효율성을 유지하면서, 소수의 고정밀 파라미터를 통해 모델의 지능을 보존함으로써 에지 환경에서의 고품질 LLM 배포를 현실화합니다.
설계 패러다임 전환: 단순히 양자화 비트 수를 줄이는 것을 넘어, 파라미터의 역할 (민감도) 을 구조적으로 분리하고 학습을 통해 최적화하는 새로운 설계 철학을 제시했습니다.
미래 지향성: 이 연구는 저비트 양자화가 단순히 압축 기술이 아닌, 모델 아키텍처 자체를 재설계하는 핵심 요소임을 보여주며, 차세대 경량 LLM 개발의 새로운 기준을 마련했습니다.