기술 요약: TORQ – MXFP4 양자화를 위한 2 단계 직교 회전

1. 문제 제기

대규모 언어 모델 (LLM) 이 실제 배포를 향해 나아가면서, 마이크로스케일링 FP4(MXFP4) 포맷은 높은 동적 범위와 하드웨어 효율성 사이의 균형을 이루며 저비트 추론을 위한 핵심 표준으로 부상했습니다. 그러나 LLM 활성화 (activation) 양자화에 MXFP4 를 직접 적용하면 심각한 정확도 저하가 발생합니다. 본 논문은 정수 형식 (예: INT4) 을 주로 위해 설계된 기존 회전 기반 양자화 방법들이 MXFP4 와 같은 블록 부동소수점 (BFP) 형식의 고유한 위상 구조를 해결하지 못한다고 지적합니다.

이론적 분석을 통해 저자들은 성능 저하가 실제 세계의 활성화 분포와 MXFP4 블록 부동소수점 포맷 간의 두 가지 구조적 불균형에서 비롯됨을 밝혔습니다:

1. 극심한 블록 간 분산 불균형: 고정 블록 마이크로스케일링 하에서 활성화 분산은 매우 불균등합니다. 소수의 고분산 블록이 전체 양자화 오차를 지배합니다. 이러한 블록은 이상치를 수용하기 위해 공유 스케일링 인자 (지수) 를 상향 조정하게 만들어, 동일한 블록 내 대다수의 작은 크기 활성화에 대한 해상도가 과도하게 거칠어지며, 종종 90% 이상의 요소를 0 으로 만듭니다.
2. 블록 내 코드북 활용 불균형 (코드북 붕괴): 실제 세계의 활성화는 0 근처에 집중된 heavy-tailed 분포를 따르는 경우가 많아 MXFP4(e2m1) 의 기하급수적 코드북과 불일치합니다. 이로 인해 "코드북 붕괴"가 발생하여, 대다수의 값이 최소 양자화 구간으로 떨어지고 큰 값을 위한 고용량 코드워드가 유휴 상태로 남습니다. 통계에 따르면 코드워드 범위의 약 50% 가 데이터의 약 10% 에 의해서만 활성화됩니다.

2. 방법론: TORQ 프레임워크

이러한 과제를 해결하기 위해 저자들은 MXFP4 양자화를 위한 훈련이 없는 사후 양자화 (PTQ) 프레임워크인 TORQ(Two-level Orthogonal Rotation for MXFP4 Quantization) 를 제안합니다. TORQ 는 양자화 매개변수를 수동으로 조정하는 대신, 활성화 좌표계를 능동적으로 회전시켜 분포 특성을 MXFP4 의 구조적 특성과 정렬시킵니다. 이 방법은 최적화를 두 가지 수학적으로 직교하는 하위 문제로 분해합니다:

A. 매크로 균형 회전 (블록 간)

• 목표: 모든 블록에 활성화 에너지를 균일하게 재분배하여 고분산 블록의 지배력을 제거합니다.
• 이론적 기반: Schur-Horn 정리와 볼록 최적화 이론에 기반합니다. 저자들은 볼록 오차 모델 하에서 블록 간 분산을 균등화하면 전역 평균 제곱 오차 (MSE) 를 최소화함을 증명합니다.
• 메커니즘: 변환된 공분산 행렬의 대각 요소가 균일하도록 (즉, 모든 블록 분산이 동일하도록) 하는 직교 변환을 구성합니다. 이는 "소프트 이상치 억제" 메커니즘으로 작용하여 고분산 블록이 공유 스케일링 인자를 상향 조정하는 것을 방지하고 작은 크기 요소의 정밀도를 보존합니다.
• 구현: 회전 행렬을 구성하기 위해 효율적인 반복적 Givens 회전 알고리즘을 사용하여 $O(B^2)$ 시간 내에 수렴하도록 합니다.

B. 마이크로 정렬 회전 (블록 내)

• 목표: 블록 내 활성화 분포를 재구성하여 전체 MXFP4 코드북 용량을 활용함으로써 "코드북 붕괴"를 완화합니다.
• 이론적 기반: 최대 엔트로피 원리에 guided 됩니다. 목표는 정규화된 FP4 공간 내에서 활성화 분포가 각 코드워드 구간으로 균일하게 "흐르도록" 만드는 것입니다.
• 메커니즘: 이 방법은 경험적 코드워드 사용량과 균일 분포 간의 편차를 측정하는 **코드북 점유 균형 손실 (Codebook Occupancy Equilibrium Loss)**을 정의합니다.
• 최적화: 번갈아 가며 좌표 하강 전략을 사용합니다:
  • S-단계: 블록 스케일링 인자를 업데이트하여 최대 활성화 값을 최대 MXFP4 코드워드로 매핑합니다.
  • R-단계: Givens 회전을 사용하여 블록 내 직교 회전 행렬을 업데이트합니다. 휴리스틱은 불균형이 크고 통계적 보완성이 높은 열 쌍을 선택한 후, 손실 함수의 조각별 상수 특성을 활용하여 유한 열거를 통해 최적 회전 각도를 탐색합니다.

추론 효율성

TORQ 는 최소한의 오버헤드를 위해 설계되었습니다. 역 회전 행렬은 오프라인 보정 단계 중 인접한 선형 레이어의 가중치에 융합됩니다. 따라서 온라인 추론 단계에서는 회전이 실제로 가중치 행렬 곱셈에 흡수되므로 추가적인 계산 비용이 무시할 수준입니다.

3. 주요 기여

1. 문제 형식화: 본 논문은 MXFP4 성능을 저해하는 두 가지 구조적 과제인 블록 간 분산 불균형과 블록 내 코드북 활용 불균형을 체계적으로 식별하고 형식화한 첫 번째 연구입니다.
2. 이중 수준 프레임워크: 매크로 분산 균형과 마이크로 코드북 정렬을 통합하여 양자화 오차를 체계적으로 최소화하는, 블록 부동소수점 구조를 위해 명시적으로 설계된 최초의 TORQ 이중 수준 회전 프레임워크를 제안합니다.
3. 이론적 기반: 저자들은 볼록 오차 모델 하에서 분산 균형이 근사적으로 최적임을, 그리고 MXFP4 기하 구조 하에서 코드워드 점유 균형이 양자화 오차 최소화를 근사함을 보여주는 엄밀한 증명을 제공합니다.
4. 효율적인 PTQ 파이프라인: 최소한의 보정 데이터 (예: 128 개 샘플) 만 필요로 하고 파라미터 발자국이 무시할 수준인 하드웨어 친화적인 파인튜닝이 없는 파이프라인을 확립했습니다.

4. 실험 결과

8B 에서 70B 파라미터에 이르는 주류 LLM(LLaMA3 시리즈 및 Qwen3 시리즈) 에서 실험을 수행했으며, Dense 및 Mixture-of-Experts(MoE) 아키텍처를 모두 포함했습니다. 평가에는 WikiText2 의 perplexity 와 ARC, HellaSwag, MMLU, GSM8K, HumanEval 과 같은 작업에서의 zero-shot 정확도가 포함되었습니다.

• 성능 우위: TORQ 는 기존 최첨단 (SOTA) 방법 (RTN, GPTQ, QuaRot, OSTQuant, FlatQuant, BRQ 포함) 을 크게 능가합니다.
  • Qwen3-32B에서 TORQ 는 WikiText perplexity 를 8.43으로 낮췄습니다 (RTN 의 274.93, OSTQuant 의 14.62 대비). 이는 7.61 인 BF16 기준선에 근접합니다.
  • Qwen3-32B 의 zero-shot 작업 평균 정확도는 38.40%(RTN) 에서 73.63%(TORQ) 로 증가하여 74.82% 인 BF16 기준선에 거의 근접했습니다.
  • LLaMA3-70B에서 TORQ 는 3.49의 perplexity(RTN 의 3180.43 대비) 와 **76.28%**의 평균 정확도를 달성했습니다.
• 추론 능력: TORQ 는 복잡한 추론 작업에서 "심층 지능"의 강력한 회복을 보여주었습니다. Qwen3-8B 의 GSM8K 에서 정확도는 86.82%(GPTQ 의 67.37% 대비) 로 회복되었고, HumanEval 정확도는 **61.15%**에 달했습니다.
• 일반화 능력: 이 방법은 다양한 마이크로스케일링 포맷 (MXINT4, NVFP4) 과 MoE 아키텍처 (Qwen3-30B-A3B) 에서 효과적이었으며, 포맷 무관한 특성을 확인했습니다.
• 효율성: TORQ 보정은 경쟁 방법보다 훨씬 빠릅니다 (예: Qwen3-32B 의 경우 FlatQuant 대비 약 10 배 빠름). Qwen3-30B-A3B 에서 BF16 대비 3.5 배의 추론 속도 향상이 관찰되었으며, 메모리 사용량은 56.9GB 에서 15.3GB 로 감소했습니다.

5. 의미 및 주장

본 논문은 TORQ 가 4 비트 부동소수점 양자화와 고정밀 추론 간의 격차를 효과적으로 메우며, MXFP4 활성화 양자화에 내재된 정확도 저하를 해결한다고 주장합니다. 국소적 매개변수 조정에서 "구조 인식 직교 변환"으로 최적화 패러다임을 전환함으로써, TORQ 는 MXFP4 활성화 양자화를 위한 최초의 체계적인 해결책을 제공합니다.

저자들은 이 작업을 LLM 의 효율적 배포를 위한 저비트 부동소수점 포맷 적용의 중요한 기초를 마련한 것으로 위치 짓습니다. 그들은 4 차 모멘트 (첨도 등) 와 같은 고차 모멘트를 무시하는 현재 1 차 통계에 초점을 맞추고 고정 블록 크기를 사용한다는 한계를 인정하며, 이러한 요소에 대한 적응형 전략이 향후 연구 방향임을 지적합니다. 그러나 현재 결과는 저비트 부동소수점 활성화 양자화를 위한 새로운 최적화 패러다임을 확립합니다.