기술 요약: 포스트 트레이닝 양자화를 위한 비선형 양극 보상 (NBC)

1. 문제 제기

네트워크 양자화는 부동소수점 수를 저비트 표현으로 매핑하여 메모리 및 연산 소비를 줄임으로써 딥 신경망을 압축하는 핵심 기술입니다. 양자화 인식 훈련 (QAT) 을 위한 재학습을 피함으로써 포스트 트레이닝 양자화 (PTQ) 는 QAT 에 대한 실용적인 대안을 제공하지만, 기존 PTQ 방법들은 특히 저비트 양자화 (예: 4 비트) 환경에서 정확도와 효율성 간의 상당한 트레이드오프에 직면해 있습니다.

최근 보상 기반 방법들은 양자화 네트워크에 경량 선형 레이어를 도입하여 양자화 오차를 완화하려 시도했습니다. 그러나 저자들은 기존 접근법에서 두 가지 근본적인 한계를 확인했습니다:

1. 제한된 보상 능력: 딥 신경망의 양자화 손실은 본질적으로 매우 비선형적입니다. 단순한 선형 변환으로는 양자화 과정에서 손실된 정보를 완전히 복구하기에 부족합니다.
2. 이상치에 대한 높은 민감도: 비전 트랜스포머 (ViT) 와 대규모 언어 모델 (LLM) 과 같은 현대 아키텍처는 종종 정상 값 범위를 크게 초과하는 활성화 이상치를 포함합니다. 일반 최소제곱법 (OLS) 을 통해 초기화되는 선형 보상 모듈은 구조적으로 이러한 이상치에 의해 "끌려가는" 경향이 있습니다. OLS 해법은 극단적 값의 제곱 오차를 최소화하여 회귀선이 이상치 쪽으로 과도하게 기울어지게 만들고, 데이터의 대다수에 대한 최적 적합을 희생시킵니다.

2. 방법론: 비선형 양극 보상 (NBC)

이러한 한계를 해결하기 위해 본 논문은 복잡한 양자화 손실과 이상치를 처리하면서도 폐형식 (closed-form) 해법의 효율성을 유지하는 포스트 트레이닝 양자화 접근법인 비선형 양극 보상 (NBC) 을 제안합니다.

핵심 프레임워크

NBC 방법은 양자화된 입력 ($x_q$) 과 양자화 오차 ($y - y_q$) 를 변환된 공간으로 매핑한 후, 해당 공간 내에서 선형 보상을 수행하고 결과를 원래 공간으로 다시 매핑하는 방식으로 작동합니다. 이 과정은 다음과 같이 공식화됩니다:
$$y_{nbc} = y_q + f^{-1}(W f(x_q) + b)$$
여기서:

• $f(x)$ 는 비선형 변환 함수입니다.
• $f^{-1}(x)$ 는 그 역함수입니다.
• $W$ 와 $b$ 는 경량 선형 레이어의 가중치 행렬과 편향 벡터입니다.
• 특히, $W$ 와 $b$ 매개변수는 변환된 데이터 ($f(x_q)$ 및 $f(y - y_q)$) 에 대한 폐형식 해법 (선형 회귀) 을 통해 얻어지며, 역전파나 반복적 훈련이 필요하지 않습니다.

양극 로그 변환 (BLT)

비선형 함수 $f(x)$ 의 구체적인 구현은 양극 로그 변환 (Bipolar Logarithmic Transformation, BLT) 입니다. 표준 로그 변환은 양자화 오차와 입력이 음수일 수 있기 때문에 적합하지 않습니다. BLT 는 크기 임계값 ($2^{-N}$) 을 기반으로 입력 도메인을 세 가지 영역으로 분할합니다:

1. 선형 영역: 작은 크기 ($|x| \le 2^{-N}$) 의 경우, 함수는 0 근처의 정밀도를 보존하기 위해 선형 스케일링을 적용합니다.
2. 양수 로그 영역: 큰 양수 값 ($x > 2^{-N}$) 의 경우, 오프셋이 있는 로그 변환을 적용합니다.
3. 음수 로그 영역: 큰 음수 값 ($x < -2^{-N}$) 의 경우, 대응하는 오프셋이 있는 음수 로그 변환을 적용합니다.

이 설계는 정상 활성화에 대한 선형 관계를 보존하면서 양극성 이상치 (양수 및 음수 모두) 를 효과적으로 압축합니다.

하이퍼파라미터 선택

임계값 매개변수 $N$ 은 특성 손실 기반 지역 탐색 (Feature Loss based Local Search, FLS) 알고리즘을 사용하여 선택됩니다. 이 알고리즘은 경험적 초기값 주변의 이산적 지역 탐색을 수행하며, 정밀도 모델의 특성과 양자화 모델의 특성 간의 제곱 L2 거리를 평가하여 특성 손실을 최소화하는 최적의 $N$ 을 찾습니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

• 한계 분석: 기존 보상 기반 PTQ 방법들이 비선형 양자화 손실을 모델링하지 못한다는 점과 선형 OLS 최적화에서 이상치에 대한 구조적 민감성으로 인해 실패함을 공식적으로 식별하고 입증합니다.
• NBC 프레임워크: 정확도를 향상시키기 위해 비선형성을 도입하면서도 폐형식 매개변수 계산의 단순성과 효율성을 유지하는 비선형 양극 보상을 제안합니다.
• BLT 설계: 음수 값에 대한 표준 로그 변환의 한계를 극복하는 양극 로그 변환을 도입하여 양수 및 음수 활성화 범위 모두에서 효과적인 이상치 압축을 가능하게 합니다.
• 종합적 검증: 다양한 작업 (비전, 언어, 멀티모달), 모델 (ViT, DeiT, Swin, LLaMA2, DiT), 그리고 PTQ 베이스라인 (RepQ-ViT, AdaLog, Q-DiT, DuQuant) 에서 방법을 검증했습니다.

4. 실험 결과

광범위한 실험은 NBC 의 효과성, 효율성 및 견고성을 입증합니다:

• 이미지 분류 (ImageNet):

  • RepQ-ViT 를 사용한 4 비트 양자화 ViT-B 에서 NBC 는 베이스라인 RepQ-ViT(69.1%) 와 선형 보상 방법 QwT(76.6%) 보다 크게 개선된 77.6% 의 Top-1 정확도를 달성했습니다.
  • 다양한 백본 (DeiT-T, ViT-B, Swin-S) 에 걸쳐 NBC 는 QwT 를 일관되게 능가하며, 베이스라인 대비 평균 **2.4%**의 향상과 4 비트 시나리오에서는 최대 **4.6%**의 향상을 보였습니다.
  • NBC 매개변수는 정밀도 손실 (<0.2%) 이 거의 없이 INT8 로 양자화될 수 있어 저장 오버헤드를 추가로 줄입니다.

• 이미지 생성 (DiT):

  • DiT-XL/2 모델에서 NBC 는 8 비트 설정에서 베이스라인 Q-DiT 를 0.33 FID 및 5.4 IS만큼 개선했으며, 4 비트 설정에서도 성능을 크게 회복시켰습니다 (예: FID 가 6.75 에서 6.12 로 감소).

• 멀티모달 인식 (CLIP):

  • 이미지 및 텍스트 인코더 모두를 양자화 (6 비트) 할 때, NBC 는 베이스라인 RepQ-ViT(29.8%) 대비 제로샷 Top-1 정확도를 **16.4%**만큼 개선하여 44.3% 를 기록했습니다.

• 대규모 언어 모델 (LLaMA2-7B):

  • DuQuant 와 통합된 NBC 는 상식 QA 작업의 평균 정확도를 60.57% 에서 **61.47%**로 개선하고 WikiText2 및 C4 에서의 퍼플렉시티를 감소시켰습니다.

• 효율성 및 견고성:

  • 보정: 단일 GPU 에서 전체 보정 과정 (FLS 탐색 포함) 은 1 분에서 3 분 이내에 완료됩니다.
  • 오버헤드: 보상 모듈은 모델 크기에 약 **4%**를 추가하고 W8A8 설정에서 약 2.2ms의 추론 지연을 발생시키며, 정밀도 대비 거의 모든 정확도 손실을 회복합니다.
  • 견고성: 이 방법은 보정 세트 샘플링을 위한 서로 다른 무작위 시드 전반에 걸쳐 일관된 향상을 보입니다.

5. 중요성 및 주장

저자들은 NBC 가 저비트 양자화를 위한 범용적이고 효율적이며 실용적인 솔루션을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 선형 병목 현상 극복: 훈련 없이 비선형성을 도입함으로써 NBC 는 선형 보상 방법의 정확도 한계를 극복합니다.
2. 이상치 처리: BLT 는 현대 트랜스포머 기반 모델에서 중요한 실패 모드인 "이상치 끌림 (outlier drag)" 문제를 구체적으로 해결합니다.
3. 배포 준비성: 블록별 재구성을 수시간 동안 요구하는 최적화 기반 방법과 달리, NBC 는 PTQ 의 "보정 전용" 효율성을 유지하여 실제 배포에 적합합니다.

본 논문은 한계를 인정하며, 성능은 기반 PTQ 프레임워크에 의존하며, ViT 를 위한 4 비트 GEMM 커널을 지원하는 성숙한 추론 프레임워크 (예: TensorRT, TVM) 의 부재로 인해 ViT 에 대한 엔드투엔드 W4A4 배포가 현재 방해받고 있음을 지적합니다. 그러나 이 방법은 고정확도 저비트 추론을 향한 견고한 단계로 제시됩니다.