기술 요약: 대규모 언어 모델을 위한 가변 그리드 상의 비트 평면 분해 양자화

문제 정의

대규모 언어 모델 (LLM) 추론은 종종 메모리 사용량과 대역폭에 의해 제한받으며, 특히 자원이 제한된 환경에서 그러합니다. 훈련 후 양자화 (PTQ) 는 4 비트 정밀도에서 높은 충실도를 유지하는 데 효과적이지만, 2~3 비트로 확장할 경우 성능이 현저히 저하됩니다. GPTQ 와 같은 기존 최적화 기반 PTQ 방법은 헤시안 유도 기하학 하에서 출력 불일치 (예: $\|WX - \hat{W}X\|_F$) 를 최소화하는 데 의존합니다. 그러나 이러한 방법들은 각 가중치 그룹에 대해 형태 불변의 양자화 그리드(예: UINT2 와 같은 고정 균일 간격 또는 고정 비균일 템플릿) 를 강제합니다.

저자들은 이러한 형태 불변성이 저비트 영역에서의 근본적인 병목 현상임을 규명했습니다. 고정된 그리드는 양자화 레벨의 실현 가능 집합을 단일 템플릿의 확대 버전 (예: $s \cdot \{0, 1, 2, 3\}$) 으로 제한합니다. 이러한 경직성은 가중치 분포가 고정된 템플릿의 상대적 간격과 일치하지 않을 때 헤시안 유도 기하학에서 최근접점 투영을 최적화가 찾지 못하게 하여, 2 비트 정밀도에서 심각한 표현력 손실과 모델 붕괴를 초래합니다.

방법론: 비트 평면 분해 양자화 (BPDQ)

고정된 그리드의 경직성을 해결하기 위해, 본 논문은 **비트 평면 분해 양자화 (BPDQ)**를 제안합니다. BPDQ 는 각 그룹에 대해 가변 양자화 그리드를 구성하여 이론적으로 오차 최소화를 위한 실현 가능 해 집합을 확장합니다.

1. 가변 그리드 공식화

고정된 템플릿 대신, BPDQ 는 비트 평면과 스칼라 계수를 사용하여 양자화된 가중치 $\hat{W}$를 다음과 같이 표현합니다:
$$\hat{W} = \text{REP}(C_0) + \sum_{i=1}^{k} \text{REP}(C_i) \odot B_i$$
여기서:

• $B_i \in \{0, 1\}^{d_{out} \times d_{in}}$는 원래 가중치에서 유도된 $k$개의 가장 중요한 비트 평면들입니다.
• $C_i$는 그룹별 스칼라 계수 (편향 $C_0$ 포함) 입니다.
• $\text{REP}(\cdot)$는 입력 차원에 걸쳐 계수를 확장합니다.
• $\odot$는 요소별 곱을 나타냅니다.

이 공식화는 학습된 계수 $C_i$에 기반하여 그룹 간 양자화 레벨의 상대적 간격을 변형할 수 있게 하여, 형태 불변성 제약을 깨뜨립니다.

2. 최적화 프레임워크

BPDQ 는 출력 재구성 목표와 정렬을 보장하기 위해 헤시안 유도 기하학 내에서 작동합니다. 이 과정은 다음을 포함합니다:

• 초기화: 비트 평면은 가중치의 비트 평면 분해 (BPD) 를 통해 선택됩니다 ($k$개의 가장 중요한 평면 유지). 스칼라 계수는 로컬 헤시안 메트릭 하에서 폐쇄형 가중 최소제곱 해를 사용하여 적합됩니다.
• 반복적 정제: 알고리즘은 다음을 번갈아 수행합니다:
  1. 비트 평면 업데이트: 고정된 계수에 대해, 비트 평면은 지역 재구성 오차를 최소화하기 위해 열 단위로 정확한 열거를 통해 업데이트됩니다.
  2. 계수 재적합: 업데이트된 비트 평면을 통해 스칼라 계수는 폐쇄형 최소제곱을 통해 재최적화됩니다.
• 델타 보정: 오차 전파 상태와의 일관성을 유지하기 위해 (순차적 PTQ 에 필수적), 계수 재적합 후 델타 보정이 적용됩니다. 이는 양자화된 가중치 블록의 변화를 고려하여 누적된 전파 오차를 조정하여 모든 반복이 동일한 최적화 목표에 따르도록 보장합니다.

주요 기여

1. 통찰: 본 논문은 저비트 영역에서 최적화 기반 PTQ 를 제한하는 주요 제약으로서 고정 양자화 그리드의 형태 불변성을 규명합니다. 2 비트에서의 실패는 최적화 목표 자체 때문이 아니라 실현 가능 집합의 경직성 때문임을 입증합니다.
2. 방법론: BPDQ 는 최적화 기반 PTQ 를 가변 그리드로 확장합니다. 가중치를 비트 평면으로 분해하고 그룹별로 독립적인 스칼라 계수를 적합함으로써, 실현 가능 집합을 1 차원 매니폴드 (확대된 템플릿) 에서 고차원 기하학으로 확장합니다. 이론적 분석은 BPDQ 가 표준 균일 그리드의 실현 가능 집합을 엄격하게 포함하며, 특정 가중치 벡터에 대해 엄격하게 낮은 양자화 오차를 달성할 수 있음을 증명합니다.
3. 성능: 광범위한 실험에서 BPDQ 는 최첨단 방법 (GPTQ, AWQ) 이 치명적인 저하를 겪는 2 비트 및 3 비트 영역에서 높은 충실도를 달성함을 보여줍니다.

실험 결과

저자들은 언어 모델링, 추론, 그리고 긴 컨텍스트 벤치마크에 걸쳐 Qwen-3/2.5 계열 (0.6B–72B) 과 Ministral-3 (3B, 8B) 에서 BPDQ 를 평가했습니다.

• 2 비트 영역: Qwen2.5-72B에서 2 비트 GPTQ 와 AWQ 는 심각한 성능 저하를 겪습니다 (예: GSM8K 정확도가 41% 미만 또는 0% 로 하락). 반면, BPDQ 는 단일 RTX 3090 (22.69 GB VRAM) 을 사용하여 GSM8K 에서 83.85% 의 정확도 (16 비트 기준 90.83% 대비) 를 달성하며 높은 충실도를 유지합니다.
• 추론 작업: BPDQ 는 2 비트 및 3 비트에서 추론 벤치마크 (GSM8K, MATH500) 에서 GPTQ 와 AWQ 를 크게 능가합니다. 예를 들어, Qwen2.5-72B (W2-G64) 에서 BPDQ 는 GSM8K 에서 87.72% 를 달성하는 반면, GPTQ 는 63.46% 에 그칩니다.
• 시스템 효율성: BPDQ 는 반복적 정제로 인해 GPTQ 보다 약 3 배 더 많은 양자화 시간이 필요하지만, VQ(벡터 양자화) 방법인 VPTQ(약 40 배 오버헤드 발생) 보다 훨씬 빠릅니다. 추론의 경우, BPDQ 는 비트 평면 룩업 테이블 (LUT) 커널을 활용하여 2/3 비트 영역에서 GPTQ 와 동등하거나 더 나은 저지연 디코딩을 가능하게 합니다.
• 이상치 보존: 활성화 분석은 BPDQ 가 고정 그리드 방법들에 의해 종종 억제되는 중요한 이상치 (높은 활성화 크기를 가진 특징) 를 본질적으로 보존함을 확인시켜 주며, 이는 관찰된 성능 향상과 상관관계가 있습니다.

중요성과 주장

본 논문은 BPDQ 가 양자화 그리드의 경직성을 완화하면서도 하드웨어 친화적인 포맷을 유지함으로써 극단적인 모델 압축을 위한 유망한 방향을 제시한다고 주장합니다. 이론적으로 실현 가능 해 집합을 확장함으로써, BPDQ 는 최소한의 충실도 손실로 소비자급 하드웨어에 대규모 모델 (예: 720 억 파라미터) 을 배포할 수 있게 합니다. 저자들은 BPDQ 를 헤시안 유도 최적화 목표와 양자화 과정을 정렬시키는 엄격한 솔루션으로 위치시키며, 벡터 양자화의 prohibitive 비용이나 양자화 인식 훈련 (QAT) 의 훈련 오버헤드를 치르지 않고도 이전의 형태 불변 접근법의 한계를 극복한다고 명시합니다.

이 연구는 향후 하드웨어 구현 (FPGA/ASIC) 이 비트 평면의 이진적 특성을 활용할 수 있음을 시사하며, BPDQ 의 통합된 기반은 다양한 하드웨어 데이터 유형을 요구하지 않고도 혼합 정밀도 서비스를 자연스럽게 지원합니다.