BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization

BATQuant 은 MXFP4 양자화에서 발생하는 블록 간 아웃라이어 전파 및 분포 불일치 문제를 해결하기 위해 블록 단위 아핀 변환, GPK 분해, 그리고 블록별 학습 가능한 클리핑을 도입하여 다중 모달 및 대규모 언어 모델에서 기존 방법들을 압도하는 최첨단 성능을 달성합니다.

핵심

BATQuant: 거인 AI 를 작은 가방에 넣는 '똑똑한 압축 기술'

안녕하세요! 오늘 소개해 드릴 논문은 **"BATQuant"**라는 이름의 새로운 기술에 대한 것입니다. 이 기술은 거대하고 무거운 인공지능 (AI) 모델을, 성능을 잃지 않으면서도 훨씬 작고 가볍게 만들어주는 '압축 기술'입니다.

이해하기 쉽게 거대한 도서관과 여행 가방에 비유해서 설명해 드릴게요.

---

1. 문제: 거대한 도서관을 여행 가방에 넣으려다 망친 경우

우리가 가진 AI 모델 (예: Qwen3) 은 방대한 지식과 능력을 가진 거대한 도서관과 같습니다. 이 도서관은 수천 권의 책 (데이터) 을 담고 있어 매우 무겁습니다.

• 목표: 이 도서관을 들고 다니려면 (휴대폰이나 작은 기기에 넣으려면) **여행 가방 (저용량 메모리)**에 넣어야 합니다.
• 기존 방법의 실패:
  • 기존 기술들은 도서관의 책들을 무작위로 잘게 자르거나 (정수형 양자화), 책장을 뒤집어 책들을 섞는 (회전 변환) 방식을 썼습니다.
  • 하지만 문제는 **"특이한 책들 (Outliers)"**입니다. 도서관에 아주 두꺼운 백과사전이나 희귀한 고서적처럼, 일반 책들과는 완전히 다른 '특이한 책'들이 몇 권 있습니다.
  • 기존 기술로 이 특이한 책들을 가방에 넣으려니, 가방의 한쪽 구석에 책들이 쑤셔 넣겨서 가방이 찢어지거나 (성능 급락), 혹은 책들이 비효율적으로 배치되어 공간이 낭비되는 문제가 발생했습니다. 특히 최신형 가방 (MXFP4 포맷) 에는 이런 문제가 더 심각했습니다.

2. BATQuant 의 등장: "맞춤형 정리사"와 "스마트 압축"

BATQuant 는 이 문제를 해결하기 위해 등장한 초능력을 가진 정리사입니다. 이 정리사는 두 가지 핵심 전략을 사용합니다.

전략 1: "영역별 정리" (Block-wise Affine Transformation)

• 비유: 도서관을 **작은 구역 (블록)**으로 나누고, 각 구역마다 전문 정리사를 배치합니다.
• 기존 방식의 문제: 전체 도서관을 한 번에 뒤섞으면, 특이한 책 (Outlier) 이 다른 구역으로 넘어가 그 구역의 정돈을 망가뜨립니다.
• BATQuant 의 해결: 각 구역 (32 권의 책 묶음) 안에서만 책을 정리합니다. 특이한 책이 한 구역에 있다면, 그 구역 안에서만 그 책을 잘 배치하고, 다른 구역으로 넘기지 않습니다. 이렇게 하면 **각 구역의 책장 (스케일링 인자)**이 그 구역의 책들 크기에 딱 맞게 조정되어, 공간 낭비가 사라집니다.

전략 2: "공유 도구 + 개인 도구" (Global and Private Kronecker, GPK)

• 비유: 정리사들이 사용하는 도구상자 문제입니다.
• 문제: 각 구역마다 완전히 새로운 도구상자를 만들면 (모든 정리사가 다른 도구 사용), 가방이 너무 무거워집니다 (메모리 과부하).
• BATQuant 의 해결:
  • 공유 도구 (Global): 모든 구역에서 공통으로 사용하는 기본 도구 (예: 책 정리용 자) 는 하나만 공유합니다.
  • 개인 도구 (Private): 각 구역의 특성에 맞춰 조금씩 다른 도구 (예: 두꺼운 책용 가위) 는 각자 준비합니다.
  • 이 방식으로 도구상자의 무게를 획기적으로 줄이면서도, 각 구역에 맞는 정교한 정리가 가능해집니다.

전략 3: "과도한 책 잘라내기" (Block-wise Learnable Clipping)

• 비유: 가방에 넣을 때, 너무 튀어나온 책은 살짝 잘라내거나 (Clipping), 책장을 살짝 눌러서 넣는 것입니다.
• 해결: 여전히 가방에서 튀어나오는 아주 특이한 책들이 있다면, 그 책의 두께를 자동으로 조절해서 가방 안으로 밀어 넣습니다. 이렇게 하면 가방이 찢어지지 않습니다.

---

3. 결과: 성능은 그대로, 크기는 반으로!

이 기술을 적용한 결과, 놀라운 일이 일어났습니다.

• 극한의 압축 (W4A4): 책의 내용을 4 비트 (매우 작은 숫자) 로만 표현하더라도, 원래 도서관의 96% 이상의 능력을 유지했습니다. 기존 기술들은 이 정도 압축에서는 도서관이 무너져 내렸지만, BATQuant 는 무너지지 않았습니다.
• 다양한 테스트:
  • 문서 읽기 (OCR): 기차 번호판 같은 작은 글씨도 정확하게 읽었습니다. (기존 기술은 글자를 잘라내거나 엉뚱한 숫자를 읽음)
  • 추리 문제: 복잡한 수학 문제나 논리 퀴즈에서도 높은 점수를 받았습니다.
  • 시각 이해: 그림 속의 선이 만나는 지점을 정확히 세는 등, 시각적 추론 능력도 잘 보존되었습니다.

4. 요약: 왜 이 기술이 중요한가요?

지금까지 AI 모델을 작은 기기 (휴대폰, 자율주행차 등) 에 넣으려면 성능을 크게 희생해야 했습니다. 특히 최신 하드웨어에 맞는 4 비트 압축은 너무 어려워서 거의 불가능한 일처럼 보였습니다.

BATQuant는 "특이한 책 (Outlier) 이 있는 구역만 따로 관리하고, 도구를 효율적으로 공유하는" 지혜로운 방식을 통해, 성능을 거의 잃지 않으면서도 AI 를 아주 작게 압축할 수 있게 만들었습니다.

이제 우리는 거대한 AI 도서관을 작은 여행 가방에 넣고도, 그 안에 있는 모든 지식을 완벽하게 활용할 수 있게 된 것입니다! 🎒📚✨

기술 요약

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 과 대규모 언어 모델 (LLM) 을 에지 디바이스나 가속기 아키텍처에 배포하기 위해 마이크로스케일링 부동소수점 (Microscaling Floating-point, MXFP) 포맷, 특히 MXFP4가 표준으로 부상하고 있습니다. MXFP 는 블록 단위 (block-wise) 스케일링을 통해 긴 꼬리 (long-tailed) 분포를 가진 활성화 값을 효율적으로 표현할 수 있는 잠재력을 가지고 있습니다.

그러나 기존 학습 후 양자화 (Post-Training Quantization, PTQ) 방법론, 특히 정수형 (INT) 포맷을 위해 설계된 회전 기반 (Rotation-based) 기법들 (예: QuaRot, SpinQuant) 은 MXFP4 에 적용할 때 심각한 성능 저하를 겪습니다. 그 주요 원인은 다음과 같습니다:

• 전역 회전 (Global Rotation) 의 불일치: 전역적인 직교 변환 (Orthogonal Transformation) 은 양자화 블록 간에 아웃라이어 (Outlier) 에너지를 이동시킵니다. 이는 MXFP 의 세밀한 블록 단위 스케일링을 방해하고 새로운 아웃라이어를 생성합니다.
• 이중 모드 (Bimodal) 분포 문제: 기존 블록 단위 회전 (예: Hadamard 변환) 을 적용하면 특정 블록 내에서 활성화 값의 분포가 이중 모드 (bimodal) 로 변형되어, 제한된 양자화 범위를 비효율적으로 사용하게 됩니다.

2. 제안 방법 (Methodology)

이러한 문제를 해결하기 위해 저자들은 BATQuant (Block-wise Affine Transformation) 를 제안합니다. 핵심 아이디어는 변환을 MXFP 의 양자화 세밀도 (Granularity) 에 정확히 맞추고, 직교성 제약을 완화하여 분포를 최적화하는 것입니다.

가. 블록 단위 아핀 변환 (Block-wise Affine Transformation)

• 블록 정렬: 변환 행렬을 MXFP 블록 크기 (예: 32 개 요소) 와 일치하도록 분리된 블록 대각 행렬 (Block-diagonal matrix) 로 구성합니다.
• 효과: 이를 통해 아웃라이어의 에너지가 블록 간에 전파되는 것을 방지하고, 각 블록의 스케일링 인자가 해당 블록의 국소적 동적 범위 (Dynamic Range) 를 정확하게 포착하도록 합니다. 또한, 전역 회전이 아닌 아핀 변환을 사용하여 활성화 분포를 부동소수점 양자화 그리드에 적합하도록 재구성합니다.

나. 글로벌 및 프라이빗 크로네커 분해 (Global and Private Kronecker, GPK)

• 문제: 학습 가능한 블록 단위 아핀 행렬은 파라미터 수가 많아 메모리 오버헤드가 큽니다.
• 해결: 각 블록의 변환 행렬 $P_i$를 **글로벌 공유 행렬 (Global Shared Matrix, A)**과 **블록별 프라이빗 행렬 (Block-specific Private Matrix, $B_i$)**의 크로네커 곱 ($B_i \otimes A$) 으로 분해합니다.
• 효율성: 모든 블록이 $A$를 공유하고 $B_i$만 고유하게 가지므로 파라미터 수를 획기적으로 줄이면서도 (약 74~79% 감소), 추론 시 효율적인 벡터화 연산을 유지합니다.

다. 블록 단위 학습 가능한 클리핑 (Block-wise Learnable Clipping)

• 아핀 변환 후에도 잔여 아웃라이어가 존재할 수 있습니다. 이를 위해 각 블록의 통계량에 기반하여 동적으로 클리핑 임계값 ($\beta^{min}, \beta^{max}$) 을 학습하는 전략을 도입하여, MXFP 의 제한된 범위를 초과하는 값을 효과적으로 억제합니다.

3. 주요 기여 (Key Contributions)

1. BATQuant 프레임워크 제안: MXFP4 의 세밀한 블록 구조에 맞춰 아핀 변환을 적용함으로써, 전역 회전 기법의 한계 (블록 간 에너지 전이, 이중 모드 분포) 를 극복하고 아웃라이어에 강한 양자화를 실현했습니다.
2. GPK 분해 도입: 학습 가능한 변환 행렬의 저장 및 연산 오버헤드를 크게 줄여 대규모 모델 배포를 가능하게 했습니다.
3. SOTA 성능 달성: MLLM 과 LLM 에서 광범위한 실험을 통해, 특히 공격적인 W4A4KV16 (가중치 4 비트, 활성화 4 비트, KV 캐시 16 비트) 설정에서 기존 방법론을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Qwen3-8B (LLM) 및 Qwen3-VL-8B-Instruct (MLLM) 모델을 대상으로 다양한 벤치마크 (다중 모달, 비추론, 추론 작업) 에서 BATQuant 를 평가했습니다.

• W4A4KV16 설정 (가장 공격적인 설정):
  • MLLM (Qwen3-VL): 멀티모달 벤치마크에서 **96.43%**의 성능 회복률을 기록하여, 기존 최상위 기법 (FlatQuant 등) 보다 1.64%p 이상 우세했습니다.
  • LLM (Qwen3-8B): 추론 작업 (GSM8K, MATH-500 등) 에서 회전 기반 기법들이 심각한 성능 붕괴를 겪는 반면, BATQuant 는 안정적인 성능을 유지하며 GPTQ 기반 방법론보다 높은 정확도를 보였습니다.
• W4A8KV16 설정:
  • 거의 무손실 (Near-lossless) 성능을 달성하여, MLLM 에서 **99.29%**의 회복률을 기록했습니다.
• 시각화 분석: BATQuant 는 다른 방법론들이 유발하는 블록 내 이분산 (Bimodal) 분포를 방지하고, 컴팩트한 단분산 (Unimodal) 분포를 형성하여 양자화 오차를 최소화함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MXFP4 와 같은 차세대 저비트 부동소수점 포맷을 대규모 모델에 효과적으로 적용하기 위한 핵심 과제를 해결했습니다.

• 하드웨어 친화적 설계: MXFP 의 블록 단위 스케일링 특성을 고려한 변환 기법을 개발하여, 하드웨어 가속기 (AMD, NVIDIA 등) 의 MXFP 지원과 양자화 알고리즘 간의 간극을 메웠습니다.
• 실용적 배포 가능성: GPK 분해를 통해 파라미터 효율성을 확보함으로써, 메모리 제약이 있는 에지 디바이스에서도 고품질의 멀티모달 및 언어 모델을 실행할 수 있는 길을 열었습니다.
• 향후 영향: 특히 4 비트 양자화 환경에서의 성능 회복은 대규모 모델의 배포 비용을 획기적으로 낮추고, 실시간 추론 속도를 향상시키는 데 기여할 것으로 기대됩니다.

결론적으로 BATQuant 는 아웃라이어 처리와 분포 최적화 측면에서 MXFP4 양자화의 새로운 표준 (State-of-the-Art) 을 제시한 연구입니다.