On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 자동회귀형 대규모 언어 모델 (AR-LLM, 예: GPT-4, Qwen 등) 은 코딩 작업에서 뛰어난 성능을 보이지만, 토큰을 하나씩 생성하는 방식 due to 긴 시퀀스 처리 시 높은 메모리 사용량과 추론 지연 시간 (latency) 을 초래합니다. 이를 해결하기 위해 확산 기반 언어 모델 (Diffusion LLM, d-LLM) 이 제안되었으며, 반복적 탈노이즈 (iterative denoising) 를 통해 바운드된 추론 비용을 제공합니다.
• 문제: AR-LLM 에서는 모델 압축을 위해 양자화 (Quantization) 기술 (특히 학습 후 양자화, PTQ) 이 널리 연구되고 적용되고 있습니다. 그러나 확산 기반 언어 모델 (d-LLM) 에 대한 양자화 연구는 매우 부족합니다.
• 핵심 질문: AR-LLM 과 비교하여 d-LLM 은 학습 후 양자화 (PTQ) 에 대해 더 강건한가? 특히 저비트 (low-bit) 환경에서 성능 저하가 어떻게 다른가?

2. 연구 방법론 (Methodology)

저자는 아키텍처와 평가 파이프라인을 통제하되, 생성 방식 (확산 vs 자동회귀) 만 다른 두 모델을 비교했습니다.

• 대상 모델:
  • CoDA 1.7B: 확산 기반 언어 모델 (d-LLM).
  • Qwen3-1.7B: CoDA 와 동일한 아키텍처를 기반으로 하지만 자동회귀 (AR) 방식으로 학습된 모델.
• 양자화 기법:
  1. GPTQ (Generative Post-training Quantization): 계층별 역 헤시안 (inverse Hessian) 을 근사하여 가중치 양자화 오차를 보정하는 표준 PTQ 방법. 2, 3, 4, 8 비트로 양자화 실험 수행.
  2. HAWQ (Hessian-Aware Quantization) 수정 버전:
     • 기존 HAWQ 는 CNN 을 위해 설계되었으나, 이를 17 억 파라미터 규모의 d-LLM 에 적용하기 위해 수정했습니다.
     • 수정 사항: Flash Attention 백엔드와의 호환성 문제로 유한 차분 (finite differences) 을 사용하여 헤시안 - 벡터 곱 (Hv) 을 근사하고, 계산 효율성을 위해 희소 샘플링 (sparse sampling, $\rho=0.1$) 을 도입했습니다.
     • 혼합 정밀도 (Mixed-Precision): 층별 민감도 (Hessian 고유값 기반) 를 계산하여 민감한 층은 16 비트, 덜 민감한 층은 8 비트 또는 4 비트로 할당하는 전략을 구현했습니다.
• 평가 벤치마크:
  • HumanEval 및 MBPP (Mostly Basic Programming Problems) 코딩 벤치마크 사용.
  • 지표: pass@1 (한 번의 생성으로 모든 테스트 케이스 통과).
  • 환경: NVIDIA L40S GPU, WikiText 데이터셋을 칼리브레이션 (calibration) 에 사용.

3. 주요 기여 (Key Contributions)

1. 표준화된 비교: 확산 기반 LLM 과 그 자동회귀 대응 모델 간의 PTQ 강건성을 체계적으로 비교한 최초의 연구 중 하나.
2. 저비트 강건성 발견: 2~4 비트 저비트 양자화 환경에서 AR 모델 (Qwen3) 보다 확산 모델 (CoDA) 이 훨씬 더 큰 강건성을 보임을 입증.
3. 혼합 정밀도 최적화: HAWQ 기반의 혼합 정밀도 구성이 정확도, 지연 시간, 메모리 사용량 간의 파레토 최적 (Pareto optimal) 트레이드오프를 부드럽게 제공함을 보임.

4. 실험 결과 (Results)

A. 정확도 (Accuracy)

• 베이스라인: Qwen3(AR) 이 CoDA(확산) 보다 약간 더 높은 정확도를 보임 (데이터 양 차이로 추정: Qwen3 는 36 조 토큰, CoDA 는 1,800 억 토큰으로 학습).
• GPTQ 양자화 결과:
  • 4 비트: CoDA 는 HumanEval 에서 1.8 포인트, MBPP 에서 최대 5 포인트의 정확도 감소만 보임. 반면 Qwen3 는 12~23.2 포인트의 큰 감소 발생.
  • 3 비트 이하: Qwen3 는 3 비트에서 성능이 완전히 붕괴 (collapse) 되었으나, CoDA 는 3 비트에서도 일정 수준의 기능을 유지함.
  • 결론: CoDA 는 저비트 양자화에 대해 AR 모델보다 훨씬 더 강건함. 이는 CoDA 가 Qwen3 보다 상대적으로 적은 데이터로 학습되었기 때문에 (Chinchilla 최적화 비율 대비 과적합이 덜함) PTQ 에 덜 취약할 수 있음을 시사함.

B. 지연 시간 (Latency)

• 베이스라인 (16 비트): Qwen3 가 CoDA 보다 약간 빠름 (단일 토큰 생성의 최적화 때문).
• 양자화 후 (4/8 비트):
  • CoDA 는 4/8 비트에서 베이스라인과 유사한 지연 시간을 유지함.
  • Qwen3 는 4/8 비트에서 베이스라인 대비 5~10ms 증가.
  • 2 비트: CoDA 가 Qwen3 보다 25~40% 더 빠름.
  • 이유: 양자화로 연산 비용이 줄어들면, AR 모델의 프레임워크 오버헤드 (causal masking, 토큰 위치 처리 등) 가 전체 지연 시간의 큰 비중을 차지하게 되어 CoDA 의 단일 탈노이즈 패스 (dense computation) 가 상대적으로 더 효율적으로 작동함.

C. HAWQ (혼합 정밀도) 결과

• 16/8 비트 또는 8/4 비트로 50:50 비율로 분할된 혼합 정밀도 설정은 정확도 손실 없이 메모리 사용량을 크게 줄일 수 있음.
• 그러나 3 가지 이상의 정밀도 (16/8/4 비트) 를 복잡하게 섞는 경우 모델 붕괴가 발생하여, 추가적인 미세 조정 (fine-tuning) 이 필요할 수 있음.

5. 의의 및 결론 (Significance & Conclusion)

• 효율적 배포 가능성: 확산 기반 LLM 은 저비트 양자화 환경에서 AR 모델보다 강건성 (robustness) 이 뛰어나며, 특히 4 비트 및 8 비트 구간에서 더 빠른 추론 속도를 달성할 수 있음.
• 자원 제약 환경: 메모리 제약이 있는 환경이나 에지 디바이스 배포 시, 확산 모델이 AR 모델보다 더 유리한 대안이 될 수 있음을 시사.
• 향후 과제:
  • 동일한 데이터셋과 토크나이저로 AR 과 확산 모델을 처음부터 학습시켜 아키텍처 외의 변수를 완전히 통제할 필요.
  • 코딩 특화 데이터셋을 이용한 칼리브레이션 및 양자화 민감도 분석.
  • 양자화 인식 학습 (QAT) 을 통한 저비트 환경에서의 성능 회복 가능성 탐구.

이 논문은 확산 기반 언어 모델이 단순히 생성 방식의 대안을 넘어, 양자화 압축 및 저자원 환경에서의 배포 측면에서도 AR 모델보다 우월한 잠재력을 가지고 있음을 처음으로 실증적으로 제시했다는 점에서 의미가 큽니다.