Channel-Wise Mixed-Precision Quantization for Large Language Models

기술 요약: 모든 비트 폭에 대한 적응: LLM을 위한 채널별 혼합 정밀도 양자화

1. 문제 정의

대규모 언어 모델(LLM)은 거대한 파라미터 크기로 인해 메모리 요구 사항이 매우 커서 에지 디바이스 배포 시 상당한 어려움을 겪고 있습니다. 가중치 전용 사후 훈련 양자화(Post-Training Quantization, PTQ)는 정밀도를 낮춤으로써(예: FP16에서 3비트로) 해결책을 제시하지만, 기존 방식들은 두 가지 주요 한계점을 가집니다:

1. 정수 비트의 경직성: 대부분의 최첨단 PTQ 방식(예: GPTQ, AWQ)은 모든 레이어에 대해 균일한 정수 비트 양자화를 적용합니다. 이는 소수점 단위의 평균 비트 폭(예: 2.2 또는 3.8 비트)을 지원할 수 있는 장치의 능력을 활용하지 못하고, 가용 저장 공간의 활용도를 저하시킵니다.
2. 비효과적인 혼합 정밀도 전략: LLM-MQ와 같은 기존의 혼합 정밀도 방식은 주로 1차 정보(그래디언트)를 이용한 레이어별 민감도 추정에 의존합니다. 그러나 이미 수렴된 LLM에서 그래디언트는 거의 0에 가깝기 때문에, 레이어 간의 민감도를 효과적으로 구분하기 어렵습니다. 또한, 레이어 단위의 할당은 특정 레이어에 정보 손실을 집중시켜 전체 성능을 저하시킬 수 있습니다. 아울러, 이상치(outliers)를 FP16으로 수동적으로 유지하는 방식은 성능 향상 없이 추론 지연 시간만 증가시키는 경우가 많습니다.

2. 방법론: 채널별 혼합 정밀도 양자화 (CMPQ)

저자들은 CMPQ를 제안합니다. 이는 성능 저하 없이 임의의 평균 비트 폭(소수점 포함) 제약에 LLM을 적응시키도록 설계된 PTQ 프레임워크입니다. 이 방법은 세 가지 핵심 구성 요소를 통해 작동합니다.

A. 채널별 비균등 양자화

전체 가중치 범위를 균등한 간격의 빈(bin)으로 나누는 균등 양자화와 달리, CMPQ는 LLM 특유의 비균등한 가중치 분포를 더 잘 처리하기 위해 비균등 양자화(K-means 클러스터링 활용)를 채택합니다.

• 정밀도 할당: 레이어 전체에 고정된 비트 폭을 할당하는 대신, CMPQ는 채널 수준에서 정밀도를 할당합니다.
• 활성화 기반 휴리스틱: 이 방법은 캘리브레이션 세트에 대한 순방향 패스(forward pass) 동안 각 채널의 L2-노름(L2-norm)을 계산합니다.
  • 목표 평균 비트 폭 $b > 3$인 경우, 활성화 노름이 큰 채널(주요 채널)에는 높은 정밀도(예: 4비트)를 할당하여 중요한 정보를 보존합니다.
  • $b < 3$인 경우, 덜 중요한 채널에는 낮은 정밀도(예: 2비트)를 할당하여 저장 공간을 최소화합니다.
  • $b = 3$인 경우, 약 1%의 소수 채널을 4비트로 보호하고 나머지는 3비트를 사용합니다.
• 알고리즘: 할당은 각 채널 $i$에 대해 비트 폭 $c_i \in \{2, 3, 4\}$를 할당하는 알고리즘 1을 통해 결정됩니다.

B. 이중 이상치 보호 (Dual Outlier Protection)

극단적인 값들로 인한 성능 저하를 완화하기 위해, CMPQ는 특정 가중치를 FP16으로 보존하는 두 가지 구별된 이상치 추출 기술을 통합합니다.

1. 활성화 기반 이상치 ($O_{act}$): 활성화 L2-노름의 상위 0.45%에 해당하는 채널을 식별하여 FP16으로 보존합니다. 이는 이상치가 채널 단위의 패턴을 보이는 경우가 많다는 관찰 결과에 근거합니다.
2. 양자화 인식 이상치 ($O_q$): $O_{act}$를 제거한 후, 남은 가중치들에 대해 채널별 비균등 양자화를 수행합니다. 절대 양자화 오차($|W' - W'_q|$)가 가장 큰 상위 0.05%의 가중치를 식별하여 FP16으로 보존합니다. 이는 양자화에 사용되는 클러스터 중심점이 극단적인 값에 의해 왜곡되지 않고 가중치 분포의 대다수를 대표하도록 보장합니다.

• 총 오버헤드: 결합된 이상치 비율은 0.5%로 유지되어 기존 베이스라인 방식들과 동일한 저장 용량 비교를 보장합니다.

C. 효율성 및 배포

• 역전파 불필요: CMPQ는 단 한 번의 순방향 패스만 필요하므로, SqueezeLLM과 같이 메모리 집약적인 역전파 과정이 필요하지 않습니다.
• 추론: 이 프레임워크는 채널 할당에 따라 가중치를 하위 행렬로 분해하여 혼합 정밀도 행렬 곱셈을 처리합니다. 이상치는 표준 CSR 희소 커널(sparse kernels)을 통해 처리되며, 나머지 대다수의 가중치는 저비트 커널을 통해 처리됩니다.

3. 주요 기여

1. 적응형 프레임워크: 채널별 정밀도 할당을 통해 임의의 평균 비트 폭(소수점 포함)을 지원하는 PTQ 프레임워크인 CMPQ를 도입했습니다.
2. 새로운 메커니즘: 비균등 양자화와 이중 이상치 처리 전략(활성화 기반 및 양자화 인식)을 결합하여 낮은 오버헤드로 미세한 제어를 제공합니다.
3. 성능 향상: 정수 비트 및 소수점 비트 설정 모두에서 기존 방식보다 우수한 성능을 입증하였으며, 약간의 메모리 증가만으로도 상당한 성능 개선을 달성했습니다.

4. 실험 결과

9개의 LLM(OPT, LLaMA2, LLaMA3)을 대상으로 다양한 비트 폭(2, 3, 4 비트) 및 데이터셋(WikiText-2, C4, PIQA, HellaSwag, MMLU)에서 실험을 진행했습니다.

• 정수 비트 성능: CMPQ는 GPTQ, AWQ, QuIP, LLM-MQ와 같은 베이스라인과 비교하여 동등하거나 더 뛰어난 퍼플렉시티(perplexity) 점수를 달성했습니다. 예를 들어, OPT-2.7B 3비트 설정에서 CMPQ는 WikiText-2 퍼플렉시티 13.38을 기록하여 LLM-MQ(18.09)와 GPTQ(17.09)를 능가했습니다.
• 소수점 비트 성능: CMPQ는 소수점 비트 폭(예: 2.2, 3.4 비트)에 대한 탁월한 적응력을 보여줍니다. LLaMA2-7B의 경우, 평균 정밀도를 2비트에서 2.2비트로 높이면 퍼플렉시티가 15.97에서 11.11로 30% 개선되는데, 이는 정수 전용 방식으로는 달성할 수 없는 수치입니다.
• 강건성: CMPQ는 QuIP와 같은 헤시안(Hessian) 기반 방식보다 캘리브레이션 세트 변화에 더 강한 모습을 보였습니다. 헤시안 기반 방식은 평가 데이터셋이 캘리브레이션 데이터셋과 다를 경우 성능이 저하될 수 있습니다.
• 효율성:
  • 메모리: 비트 할당 메타데이터 및 클러스터 중심을 저장하는 오버헤드는 매우 미미합니다(<0.03 비트/가중치).
  • 지연 시간: 추론 지연 시간 및 피크 메모리 사용량은 SqueezeLLM과 같은 정수 전용 양자화 방식과 유사하며, 보조적인 고정밀 경로로 인해 대규모 모델(13B)에서 약 11-12%의 미미한 증가만 발생합니다.
  • 캘리비레이션: CMPQ는 매우 데이터 효율적입니다. 다른 방식들이 흔히 50개 이상의 샘플을 필요로 하는 반면, CMPQ는 단 1-2개의 캘리브레이션 샘플만으로도 원하는 성능을 달성합니다.

5. 의의 및 주장

본 논문은 CMPQ가 이론적 저장 효율성과 실제 배포 제약 사이의 간극을 메움으로써 LLM 양자화 분야에서 중요한 진전을 이루었다고 주장합니다.

• 적응성: 이는 "소수점 비트 정밀도의 구조적 사용"을 가능하게 하여, 개발자들이 정수 비트 체계에 국으로 제한되지 않고 가용 장치 메모리 예산을 완전히 활용할 수 있도록 합니다.
• 트레이드오프 최적화: 이 방법은 저비트 채널에 정밀도를 선제적으로 할당하고 FP16 풋프린트를 고정함으로써, 수동적인 이상치 유지가 초래하는 지연 시간 페널티를 피하면서 우수한 메모리-정확도 트레이드오프를 달성합니다.
• 실용성: 역전파를 제거하고 최소한의 캘리브레이션 데이터만을 요구함으로써, CMPQ는 계산 및 메모리 자원이 제한된 실제 배포 시나리오에 적합한 확장 가능하고 효율적인 솔루션을 제공합니다.

저자들은 가중치 전용 양자화에 집중했다는 점, 이산적인 정밀도 레벨({2, 3, 4})에 의존한다는 점, 그리고 캘리브레이션 세트가 타겟 사용 분포를 대표한다는 가정 등을 한계점으로 인정합니다. 그러나 CMPQ가 다양한 디바이스 역량에 걸쳐 LLM 양자화를 위한 매우 적응력 있고 효과적인 접근 방식임을 강조합니다.