기술 요약: HQ-DM – 저비트 확산 모델을 위한 단일 하다마드 변환 기반 양자화 인식 훈련

1. 문제 정의

확산 모델(Diffusion models)은 이미지 합성을 위한 최첨단 생성 프레임워크로 자리 잡았으나, 실시간 또는 자원이 제한된 환경에서의 배포는 높은 계산 비용과 메모리 소비로 인해 어려움을 겪고 있습니다. 모델 양자화는 저장 공간을 줄이고 추론을 가속화하는 해결책을 제공하지만, 확산 모델에 이를 적용하는 것은 전통적인 분류 또는 생성 작업과는 구별되는 독특한 과제를 안겨줍니다.

주요 병목 현상은 다단계 디노이징(denoising) 과정 중 발생하는 **활성화 분포의 비정상성(non-stationary nature)**에 있습니다. 정적인 작업과 달리, 확산 모델의 활성화 값은 타임스텝(timestep)에 따라 스케일, 특징 구조 및 통계적 특성이 크게 변화합니다. 또한, 이러한 모델은 **두드러진 아웃라이어(outlier)를 포함하는 롱테일 분포(long-tailed distributions)**를 보입니다. 저비트 양자화(예: 4비트 이하) 환경에서 이러한 아웃라이어는 심각한 클리핑(clipping) 및 반올림 오차를 유발합니다. 결정적으로, 이러한 오차는 반복적인 샘플링 단계 동안 축적되고 증폭되어 생성 품질의 상당한 저하를 초래합니다. 기존의 양자화 인식 훈련(QAT) 및 포스트 트레이닝 양자화(PTQ) 방법들은 이러한 활성화 아웃라이어를 효과적으로 완화하는 데 어려움을 겪으며, 종종 낮은 비트 폭에서 성능 저하를 일으킵니다.

2. 방법론: HQ-DM

저자들은 활성화 아웃라이어를 완화하면서 하드웨어 효율성을 유지하도록 설계된 새로운 양자화 인식 훈련(QAT) 프레임워크인 HQ-DM을 제안합니다. 핵심 혁신은 양자화 전 활성화 행렬에 **단일 하다마드 변환(Single Hadamard Transformation)**을 적용하는 것입니다.

2.1 단일 vs. 이중 하다마드 변환

이전 연구들(예: QuaRot, Xi et al.)은 가중치와 활성화 모두에 변환을 적용하는 "이중 하다마드 변환(Double Hadamard Transformation)"을 활용했습니다. 저자들은 확산 모델에 대한 이 전통적인 접근 방식의 두 가지 결정적인 한계를 식별했습니다:

1. 합성곱(Convolution)과의 불일치: 이중 하다마드에 필요한 분배 법칙은 특히 확산 모델에서 흔히 사용되는 멀티 스트라이드 합성곱(multi-stride convolutions) 연산에는 직접적으로 적용되지 않습니다.
2. 가중치 아웃라이어 증폭: 원래 아웃라이어가 적은 가중치 행렬에 하다마드 변환을 적용하면, 변환된 가중치에서 새로운 아웃라이어가 의도치 않게 생성되어 양자화 오차를 증폭시킬 수 있습니다.

HQ-DM은 양자화 전 활성화 행렬에만 변환을 적용하고 가중치는 변환하지 않는 단일 하다마드 변환을 도입합니다.

• 메커니즘: 입력 활성화 행렬 $X$는 표준 하다마드 행렬 $H_k$로 구성된 블록 대각 하다마드 행렬 $H$와 곱해집니다. 변환된 활성화 $(XH)$가 이후 양자화됩니다.
• 복구: 하다마드 행렬의 직교성($H^T = H^{-1} = H$) 덕분에, 추론 시 $\hat{X} = S_{XH} \cdot (XH)_{int} \cdot H$ 연산을 통해 원래 값을 복구할 수 있습니다.
• 하드웨어 효율성: 정밀도 계수 $2^{-k/2}$를 부동 소수점 양자화 스케일로 추출함으로써, 핵심 계산은 정수 행렬 곱셈 및 합성곱만 수행하게 됩니다. 이는 INT 연산을 지원하는 하드웨어 가속기와의 호兼容성을 보장합니다.

2.2 LoRA 기반 증류 프레임워크

HQ-DM은 EfficientDM에서 영감을 받은 증류(distillation) 프레임워크에 단일 하다마드 변환을 통합합니다:

• 교사-학생 설정: 풀 프리시전(FP32) 교사 모델이 양자화된 학생 모델을 가이드합니다.
• LoRA 적응: 기존의 사전 학습된 가중치는 동결됩니다. 대신, 저계수 적응(Low-Rank Adaptation, LoRA) 행렬($A$와 $B$)을 훈련하여 모델이 양자화 노이즈에 적응하도록 합니다. 적응된 가중치는 $W' = W + B \cdot A$입니다.
• 타임스텝 인식 양자화: 활성화의 비정상성을 인식하여, 이 프레임워크는 각 디노이징 단계에 대해 독립적으로 최적화되는 타임스텝 인식 학습 가능 양자화 스케일(LSQ)을 가중치와 활성화 모두에 적용합니다.
• 대칭 양자화: 활성화에 비대칭 양자화를 사용하는 일부 기존 방법과 달리, HQ-DM은 정수 합성곱 연산과의 완전한 호환성을 보장하기 위해 대칭 양자화를 채택합니다.

3. 주요 기여

1. 단일 하다마드 변환 프레임워크: 저자들은 활성화의 아웃라이어를 줄이기 위해 단일 하다마드 변환을 적용하는 증류 프레임워크를 제안합니다. 이 접근 방식은 저비트 양자화 설정에서 확산 모델의 성능을 크게 향상시킵니다.
2. 구현 친화적 설계: 제안된 단일 하다마드 변환은 다음과 같은 이유로 이중 하다마드 방식의 한계를 해결합니다:
   • 확산 모델에 필수적인 정수(INT) 합성곱 연산을 원활하게 지원합니다.
   • 가중치 아웃라이어 증폭을 방지하여 가중치 행렬에 추가적인 양자화 오차가 도입되는 것을 피합니다.
3. 우수한 저비트 성능: 이 방법은 여러 데이터셋(ImageNet, LSUN)과 아키텍처(U-Net 기반 LDM 및 Transformer 기반 DiT)에서 탁월한 성능을 입증하였으며, 특히 초저비트 활성화 양자화(예: W4A3) 시나리오에서 두드로 나타납니다.

4. 실험 결과

저자들은 LDM-4 모델을 사용하여 ImageNet 256×256 데이터셋에서, 그리고 LSUN-Bedrooms, LSUN-Churches 및 DiT-XL 모델에서 HQ-DM을 평가했습니다.

• ImageNet 256×256 (LDM-4):
  • W4A4 양자화: HQ-DM은 EfficientDM 대비 Inception Score(IS)를 12.8% 개선했습니다.
  • W4A3 양자화: HQ-DM은 EfficientDM 대비 IS에서 **467.73%**라는 엄청난 개선을 달성했습니다. 또한 4가지 모든 지표(IS, FID, sFID, Precision)에서 100% 이상의 개선을 보였습니다.
• LSUN 데이터셋: HQ-DM은 다양한 비트 폭(W8A4, W4A4, W4A3, W4A2)에 걸쳐 EfficientDM 및 기타 베이스라인(PTQD, QuEST)을 일관되게 능가했습니다. 예를 들어, LSUN-Bedrooms에서 HQ-DM은 W8A4, W4A4, W4A3 설정에 대해 각각 FID를 5.56, 3.66, 4.92 감소시켰습니다.
• DiT-XL: Transformer 기반 모델에서 HQ-DM은 W4A4 양자화 하에서 EfficientDM 대비 상대적 IS 개선율 60.92% 및 Precision 개선율 **13.79%**를 달성했습니다.
• 효율성: HQ-DM의 훈련 및 캘리브레이션 시간은 EfficientDM과 유사하며, 이는 희소(sparse) 하다마드 변환의 계산 오버헤드가 무시할 만한 수준임을 나타냅니다. 추론 지연 시간은 더 나은 하드웨어 호환성 덕분에 이중 하다마드 접근 방식보다 약 10%~14% 감소했습니다.

5. 의의 및 주장

본 논문은 HQ-DM이 확산 모델의 정확한 양자화를 방해하는 핵심 병목 현상인 비정상적 활성화 분포와 아웃라이어 축적에 대한 체계적인 솔루션을 제공한다고 주장합니다. 단일 하다마드 변환을 도입함으로써, 저자들은 하드웨어 효율성을 희생하지 않고도 초저비트(W4A3)에서 고품질 생성을 달성하는 것이 가능하다는 것을 입증했습니다.

저자들은 자신들의 방법이 아웃라이어 억제와 하드웨어 호환성 사이의 트레이드오프를 해결한다는 점에서 특히 중요하다고 강조합니다. 합성곱 지원에 실패하거나 가중치 품질을 저하시켰던 이전 방법들과 달리, HQ-DM은 정수 합성곱 연산을 직접 지원하면서도 활성화 아웃라이어를 효과적으로 평활화(smoothing)합니다. 결과적으로 HQ-DM은 실제 환경에서 효율적인 저비트 확산 모델을 배포하기 위한 실용적이고 일반화 가능한 솔루션임을 시사합니다.