기술 요약: RaZeR – 중복 제로 리매핑(Redundant Zero Remapping)을 통한 NVFP4 한계 돌파

1. 문제 정의

대규모 언어 모델(LLM)은 상당한 메모리 대역폭 및 연산 요구량으로 인해 배포 시 심각한 어려움에 직면해 있습니다. 양자화는 효율적인 추론을 위한 주요 해결책이지만, 최근 도입된 NVFP4 포맷(NVIDIA Blackwell GPU에서 지원)은 특정 한계를 가지고 있습니다: 바로 4비트 FP4 요소 포맷의 제한된 표현 가능 값의 집합입니다.

저자들은 현재 NVFP4 인코딩에서 활용되지 못하고 있는 두 가지 구체적인 중복성을 식별했습니다:

1. 중복된 FP4 제로(Zeros): FP4 요소 포맷(FP4-E2M1)은 부호-크기(sign-magnitude) 표현법을 사용하므로, 양의 제로와 음의 제로가 모두 존재합니다. 이 중 하나의 제로는 수치 표현에 있어 중복됩니다.
2. 중복된 블록 스케일링 부호 비트(Block Scaling Sign Bit): NVFP4의 블록 스케일링 계수는 FP8-E4M3 형식을 사용합니다. 그러나 스케일링 계수는 양수 텐서의 절대 최댓값으로부터 유도되므로 항상 양수입니다. 결과적으로 FP8 스케일링 계수의 부호 비트는 사용되지 않으며, 이는 블록당 1비트(또는 더 압축된 스케일 포맷이 가능한 가중치의 경우 2비트)의 정밀도를 낭비하는 결과를 초래합니다.

이러한 중복성은 현재의 FP4 집합 $\{ \pm 0, \pm 0.5, \pm 1, \pm 1.5, \pm 2, \pm 3, \pm 4, \pm 6 \}$이 LLM의 가중치 및 활성화 분포를 최적으로 커버할 수 없게 만듦으로써, 4비트 양자화의 정확도를 제한합니다.

2. 방법론: 중복 제로 리매핑 (RaZeR)

본 논문은 이러한 중복성을 재활용하여 메모리 풋프린트를 늘리지 않고도 양자화 정확도를 높이는 향상된 수치 포맷인 RaZeR를 제안합니다.

2.1. 스케일링 계수 중복성 활용

저자들은 먼저 블록 스케일링 계수의 비트 폭 요구 사항을 분석했습니다. Llama 및 Qwen 모델에 대한 경험적 평가를 통해, LLM 가중치가 낮은 정밀도의 스케일링 계수에 내성이 있음을 확인했습니다.

• 가중치(Weights): 블록 스케일을 표준 E4M3(8비트)에서 **E3M3(6비트)**로 줄여도 정확도 손실 없이 구현 가능하며, 이를 통해 블록당 2비트를 확보할 수 있습니다.
• 활성화(Activations): 활성화는 동적 범위가 더 크고 내성이 낮으므로, 저자들은 E4M3(유효 7비트, 1 부호 비트 중복) 형식을 유지하여 블록당 1비트를 확보합니다.

2.2. 중복된 제로의 리매핑

RaZeR는 스케일링 계수에서 확보한 비트를 사용하여 FP4 요소 표현의 중복된 제로를 대체할 **"특수 값(Special Value)"**을 인코딩하는 데 활용합니다.

• 특수 값 선택: 제로를 표현하는 대신, 중복된 FP4 인코딩을 특정 비-제로(non-zero) 값(예: $\pm 5$)으로 리매핑합니다.
• 최적화: 알고리즘은 평균 제곱 양자화 오차(mean squared quantization error)를 최소화하기 위해 사전 정의된 집합에서 각 블록에 최적의 특수 값을 선택합니다.
  • 가중치: 2개의 자유 비트를 사용하여, RaZeR는 4개의 특수 값(2개 쌍) 중에서 선택할 수 있습니다. 이 값들은 오프라인에서 사전 계산됩니다.
  • 활성화: 1개의 자유 비트를 사용하여, RaZeR는 2개의 특수 값(1개 쌍) 중에서 선택합니다. 이는 오차를 비교하기 위해 경량 온라인 양자화 단계(이중 양자화)를 필요로 하며, 양자화 시간에 2% 미만의 오버헤드를 추가합니다.
• 값 제약 조건: 하드웨어 효율성을 유지하기 위해, 특수 값은 FP4의 입도(granularity)와 일치하도록 0.5의 배수로 제한됩니다. 경험적 분석 결과, $\pm 5$가 가장 큰 FP4 표현 가능 값($\pm 4$ 및 $\pm 6$) 사이의 간극을 메워주는 최적의 특수 값 쌍인 것으로 나타났습니다.

2.3. 구현

• GPU 커널: 저자들은 NVIDIA Blackwell GPU를 위한 고성능 가중치 전용(weight-only) 및 가중치-활성화(weight-activation) GEMM 커널을 구현했습니다. 이들은 기존 텐서 코어 내에서 리매핑 로직을 처리하기 위해 투 패스(two-pass) 방식을 사용하며, 작은 배치 사이즈에 대해 스레드 블록 분할을 최적화하기 위해 오토 튜닝 전략을 채택합니다.
• 하드웨어 설계: RaZeR를 네이티브로 지원하는 수정된 NVFP4 텐서 코어를 제안합니다. 이 설계는 MAC 연산을 수행하기 전에 오프셋 레지스터를 사용하여 메타데이터 비트로부터 특수 값을 재구성하는 가중치 및 활성화 디코더를 포함합니다.

3. 주요 기여

1. RaZeR 포맷: 기존 하드웨어가 지원하는 포맷의 구조적 중복성을 활용하여 적응형 특수 값을 도입함으로써, 동일한 메모리 풋프린트 내에서 양자화 정확도를 개선한 향상된 NVFP4 포맷.
2. 효율적인 GPU 커널: Blackwell GPU에서 기존의 4비트 커널(예: Marlin, AWQ)과 대등하거나 더 나은 성능을 달하는 가중치 전용 및 가중치-활성화 추론 커널 구현.
3. 하드웨어 아키텍처: 최소한의 실리콘 오버헤드로 RaZeR를 네이티브로 지원하는 수정된 텐서 코어 설계.
4. 포괄적인 평가: 다양한 모델 크기(Llama, Qwen) 및 양자화 설정에 대해 RaZeR의 우수성을 입증하는 광범위한 벤치마크.

4. 실험 결과

RaZeR를 NVFP4, FourOverSix, MR-GPTQ, NF4를 포함한 최신 기술들과 비교 평가했습니다.

• 퍼플렉시티(Perplexity) 감소:
  • 네이티브 NVFP4 대비, RaZeR는 평균 퍼플렉시티 손실을 34.6%(가중치 전용) 및 31.2%(가중치-활성화) 감소시켰습니다.
  • 최신 기술인 FourOverSix와 비교했을 때, RaZeR는 평균 퍼플렉시티 손실을 29.2%(가중치 전용) 및 23.3%(가중치-활성화) 감소시켰습니다.
• 제로샷 정확도: RaZeR는 테스트된 모든 모델에서 기준 NVFP4 포맷보다 평균 제로샷 작업 정확도를 0.63% 향상시켰습니다.
• 추론 작업: GSM8K 및 MMLU 작업에서, RaZeR은 가중치-활성화 설정에서 최근의 NVFP4 기반 알고리즘(MR-GPTQ, FourOverSix)보다 최대 4.47% 높은 격차로 우수한 성능을 보였습니다.
• 하드웨어 효율성:
  • 면적/전력: TSMC 28nm 공정에서의 합성 결과, RaZeR 텐서 코어는 기준 NVFP4 코어 대비 3.7%의 면적 및 13.5%의 전력 오버헤드만을 발생시킵니다. MAC 유닛이 전체 가속기 설계에서 차지하는 비중이 작다는 점을 고려할 때, 전체 칩 오버헤드는 각각 0.37% 면적 및 1.35% 전력으로 추정됩니다.
  • 처리량(Throughput): Blackwell GPU에서 RaZeR 커널은 최고 수준의 싱글 배치 디코딩 속도를 달agi하며, 중간에서 큰 규모의 배치 사이즈에서는 다른 가중치 전용 커널들을 크게 압도합니다.

5. 의의 및 주장

본 논문은 알고리즘적 혁신이 완전히 새로운 복잡한 데이터 타입을 요구하는 것이 아니라, 기존 하드웨어 지원 포맷의 구조적 중복성을 활용함으로써 달성될 수 있음을 보여줌으로써, RaZeR가 NVFP4의 한계를 밀어붙이는 중요한 진전임을 주장합니다.

주요 주장은 다음과 같습니다:

• RaZeR는 NVFP4의 한계를 극복하여, 메모리 사용량을 늘리지 않고도 현재의 최첨단 4비트 방식보다 높은 정확도를 달s성합니다.
• 이 접근 방식은 현재 하드웨어(소프트웨어 커널을 통해) 및 미래 하드웨어(제안된 텐서 코어 수정을 통해) 모두에 즉시 배포 가능합니다.
• 최소한의 하드웨어 오버헤드(1% 미만의 총 칩 면적)는 차세대 가속기에 대한 RaZeR의 채택 가능성을 매우 높게 만듭니다.
• 더 효율적인 양자화를 통해 LLM 배포의 운영 비용과 에너지 소비를 줄임으로써, 본 연구는 AI 시스템에 대한 접근성을 높이는 데 기여합니다.

저자들은 자신들의 연구가 NVFP4 표준을 LLM 텐서 분포에 더 적합하도록 정교화하는 데 중점을 두고 있으며, 이를 통해 이전에는 표준 FP4 또는 정수 포맷으로는 도달할 수 없었던 "손실에 가까운(near-lossless)" 4비트 양자화로 가는 경로를 제공한다고 강조합니다.