🤖 machine learning

XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference

XFP 는 사용자 지정 품질 임계값에 기반하여 코드북 매개변수를 자동으로 결정하고 희소성 있는 이상치를 효과적으로 분리하여 높은 처리량과 정확도를 달성함과 동시에 품질 중심의"H-Process"반복을 통해 대규모 모델이 제한된 메모리 내에 수용되도록 하는 LLM 추론을 위한 동적이며 보정 불필요한 가중치 양자화 방법입니다.

원저자: Thomas Witt

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thomas Witt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 3,970 억 개의 레고 조각으로 이루어진 성 (거대 AI 모델) 을 작은 배낭 (일반 워크스테이션 컴퓨터) 에 넣으려 한다고 상상해 보세요.

보통은 그 성을 넣기 위해 벽돌을 작은 균일한 먼지로 부수려 합니다 (표준 압축). 하지만 이렇게 하면 성이 망가집니다. 세부 사항이 흐려지고 AI 는 실수를 하기 시작합니다.

XFP는 그 성을 담는 더 똑똑한 새로운 방법입니다. 모든 것을 부수는 대신 '품질 우선' 접근법을 사용합니다. 간단한 비유를 통해 작동 원리를 설명해 드리겠습니다.

1. '비트 너비' 대신 '품질 바닥선'

옛날 방식에서는 컴퓨터에게 이렇게 지시합니다. "이 벽돌 하나당 4 비트로 포장해." 컴퓨터는 최선을 다하지만, 벽돌 모양이 기이하면 결과가 나빠집니다.

XFP 는 이를 뒤집습니다. 컴퓨터에게 이렇게 말합니다. "이 성이 원본과 최소 96% 는 비슷하게 보이게 해."
그러면 컴퓨터가 나머지를 스스로 판단합니다. "알겠어, 96% 품질을 유지하려면 이 특정 부분에 실제로 몇 비트가 필요하지?"

어떤 부분에서는 2 비트만 필요할 수도 있습니다.
다른 부분에서는 4 비트가 필요할 수도 있습니다.
모든 것에 적용되는 일률적인 규칙을 강요하지 않습니다.

2. '이상치' 문제 (거대 벽돌)

레고 성에서 99% 의 벽돌은 작고 평범하지만, 1% 는 거대하고 무겁고 모양이 기이한 벽돌이라고 상상해 보세요.

옛날 방법: 작은 상자에 맞추기 위해 거대 벽돌을 억지로 으깹니다. 이로 인해 상자 전체가 왜곡되어 작은 벽돌도 나빠 보입니다.
XFP 방법: *"저 거대하고 기이한 벽돌들은 꺼내서 별도의 특수 주머니에 넣어보자."*라고 말합니다.
- 특수 주머니는 거대 벽돌들을 원래의 고품질 형태로 보관합니다 (약간의 공간을 더 쓰지만, 필요한 소수에게만 해당됩니다).
- 메인 상자는 이제 압축하기 쉬운 99% 의 평범한 벽돌만 담습니다.

3. '맞춤형 사전' (코드북)

모든 단어가 같은 길이를 갖는 표준 사전을 사용하는 대신, XFP 는 AI 의 각 레이어마다 맞춤형 사전을 학습합니다.

성의 특정 방에 있는 벽돌들을 살펴보고 어떤 모양이 가장 자주 나타나는지 정확히 학습합니다.
그 모양들만 담은 작은 목록 (코드북) 을 만듭니다.
그런 다음 벽돌 전체를 저장하는 대신, 그 목록에서 해당 모양을 가리키는 작은 숫자 (인덱스) 만 저장합니다.
그 목록이 그 특정 방을 위해 맞춤 제작되었기 때문에 효율성이 매우 뛰어납니다.

4. 두 가지 규칙 (엄격 vs 관대)

AI 에는 서로 다른 유형의 방들이 있습니다.

'엄격한' 방들: (세부 사항에 주의를 기울이는 어텐션 메커니즘과 같은 곳). XFP 는 여기서 매우 신중합니다. 고품질 사전을 사용하고 특수 주머니에 더 많은 거대 벽돌을 보관합니다.
'관대한' 방들: (전문가 역할을 하는 '라우팅된 전문가'들과 같은 곳). 이 방들은 더 유연합니다. XFP 는 이 부분에서는 더 작고 거친 사전을 사용합니다. 왜냐하면 AI 의 이 부분들은 깨지지 않고도 더 많이 으깨질 수 있기 때문입니다.

이를 통해 XFP 는 AI 의 두뇌를 망가뜨리지 않고 막대한 공간을 절약할 수 있습니다.

5. 'H-프로세스' (꽉 끼는 압박)

이 논문은 보통 담을 수 없는 3,970 억 파라미터 모델을 두 개의 표준 그래픽 카드에 넣는 특정 과제를 설명합니다.

그들은 H-프로세스라는 과정을 사용했습니다.
이를 '골리디락스' 게임처럼 생각하세요. 그들은 '엄격한' 규칙과 '관대한' 규칙을 계속 조정했습니다.
- 규칙을 너무 엄격하게 하면 모델이 배낭에 들어가지 않습니다 (메모리 부족).
- 규칙을 너무 관대하게 하면 AI 가 망가진 말을 하기 시작합니다 (불합리한 출력).
그들은 모델이 완벽하게 들어가고, 빠르게 실행되며, 여전히 좋은 답변을 주는 '딱 알맞은' 설정 (H1.5) 을 찾았습니다.

결과

속도: 고성능 워크스테이션 컴퓨터에서 XFP 는 1,220 억 모델의 경우 현재 가장 우수한 표준 방법 (Marlin INT4) 보다 49% 더 빠릅니다.
품질: AI 의 지능을 원본 압축 해제 버전과 거의 동일하게 유지합니다.
접근성: 고가의 데이터 센터 슈퍼컴퓨터 없이도 연구자들이 표준 고성능 데스크톱 컴퓨터에서 거대 AI 모델을 실행할 수 있게 합니다.

간단히 말해: XFP 는 모든 것을 균일한 상자에 강제로 넣지 않는 똑똑한 포장 시스템입니다. 기이하고 무거운 물건들은 분리하고, 나머지를 위해 맞춤형 사전을 학습하며, 유지하려는 품질의 양을 사용자가 결정하면 자동으로 가장 효율적으로 모두 담는 방법을 찾아냅니다.

기술 요약: XFP – 품질 목표 적응형 코드북 양자화

1. 문제 제기

본 논문은 워크스테이션급 하드웨어 (예: NVIDIA RTX PRO 6000 Blackwell) 에 대규모 혼합 전문가 (MoE) 모델을 배포할 때 현재 대규모 언어 모델 (LLM) 양자화 전략이 가진 한계를 다룹니다. 저자들은 기존 접근법에서 세 가지 구조적 문제를 식별했습니다:

이상치 (Outlier) 문제: 트랜스포머 가중치 행렬은 heavy-tailed 분포를 보입니다. 균일 선형 양자화 (INT-N) 또는 고정 로그 코드북 (NVFP4 등) 은 극단적인 이상치를 수용해야 하므로, 단일 스케일 인자가 가중치의 밀집된 중앙 대다수 영역에 대한 해상도를 저하시키게 됩니다.
MoE 이질성 문제: MoE 모델 내의 서로 다른 구성 요소 (어텐션, 공유 전문가, 라우팅된 전문가) 는 고유한 가중치 분포를 가집니다. 실험적으로 라우팅된 전문가는 어텐션 레이어보다 거친 양자화에 더 잘 견딥니다. 단일 글로벌 품질 바닥 또는 비트 너비는 이러한 비대칭성을 활용하지 못합니다.
코드북 저장 문제: 채널별 학습된 코드북은 GPU 의 공유 메모리 (SMEM) 를 상당량 소모합니다. 워크스테이션급 GPU(CTA 당 99KB SMEM) 에서는 이로 인해 활성화 행 캐시 크기가 제한되어 'split-K' 연산을 강요하며, 이는 지연 시간을 증가시키고 단일 스트림으로 배포 가능한 최대 모델 크기를 제한합니다.

또한, 논문은 NVIDIA 의 NVFP4 포맷이 데이터센터용 Blackwell 칩 (SM100 이상) 에서 하드웨어 가속 처리량을 제공하지만, 워크스테이션 하드웨어 (SM120/121) 에서는 이 경로가 사용 불가능하거나 불완전하여, 운영자에게 특정 가중치 분포를 무시하는 포맷만 남긴다고 지적합니다.

2. 방법론: XFP 프레임워크

XFP 는 기존의 양자화 워크플로우를 반전시킵니다. 운영자가 목표 비트 너비를 선택하고 그로 인한 품질 손실을 수용하는 대신, 운영자는 채널별 코사인 유사도를 기반으로 **재구성 품질 바닥 (reconstruction quality floors)**을 지정합니다. XFP 는 그런 다음 각 레이어에 필요한 코드북 크기, 이상치 예산, 그리고 패킹 전략을 자동으로 결정합니다.

핵심 메커니즘

희소 이상치 분리:
가중치는 희소 고정밀 잔차와 밀집된 대다수 (bulk) 로 분해됩니다.
- 이상치는 $|w - \mu| > k\sigma$ 인 가중치로 정의되며 (기본값 $k=4.0$ , 가중치의 2% 로 제한),
- 이러한 이상치는 원래 위치에 희소 fp16 행렬로 저장됩니다.
- 나머지 "대다수" 가중치는 그룹 평균으로 대체된 후 양자화됩니다.
적응형 학습 코드북:
대다수 분포는 Lloyd 반복을 통한 그룹별 학습된 코드북으로 양자화됩니다.
- V2 모드 (채널별): 출력 채널당 하나의 독립적인 fp16 코드북을 저장합니다. 비트 너비 $N \in \{2, 3, 4, 5, 6\}$ 를 지원합니다.
- V2a 모드 (공유 라이브러리): 레이어당 $L$ 개의 코드북으로 구성된 작은 라이브러리 (기본값 $L=32$ ) 를 저장합니다. 각 가중치 그룹은 가장 잘 맞는 라이브러리 항목을 할당받습니다. 이는 SMEM 사용량을 $O(\text{output\_dim})$ 에서 상수인 약 1KB 로 줄여 워크스테이션 GPU 에서 더 큰 컨텍스트 윈도우를 가능하게 합니다.
품질 목표 자동 선택 (이중 임계값):
시스템은 비트 너비 선택을 주도하기 위해 두 가지 다른 코사인 유사도 임계값을 사용합니다:
- 엄격한 바닥 ( $\tau_{strict}$ ): 어텐션 및 공유 전문가 프로젝션에 적용됩니다.
- 유연한 바닥 ( $\tau_{lazy}$ ): 라우팅된 전문가 MoE 경로에 적용됩니다.
- 알고리즘은 후보 비트 너비 ( $N$ ) 를 반복하며 관련 임계값을 만족하는 최소 $N$ 을 선택합니다. 이를 통해 라우팅된 전문가는 더 거친 양자화 (예: $N=2$ ) 를 사용하는 반면, 어텐션 레이어는 더 정밀한 양자화 (예: $N=4$ ) 를 수동 개입 없이 사용할 수 있습니다.
퓨즈드 디코드 커널:
커스텀 커널은 네 가지 연산을 융합합니다: 인덱스 언패킹, 코드북에서 수집, 희소 이상치 산포, 그리고 GEMM 수행. 이는 네이티브 bf16으로 작동하며 SMEM 에 활성화 행을 캐싱하여 전역 메모리 대역폭 사용을 최소화합니다.

3. 주요 기여

논문은 세 가지 주요 기여를 제시합니다:

(C1) XFP 양자화기: "H-Process"(제약된 압축 반복) 하에서 Qwen3.5-122B 에서 약 3.97 비트, Qwen3.5-397B 에서 약 3.4 비트의 유효 비트 너비에 수렴하는 동적, 품질 목표 양자화기입니다. 헤시안 계산, 보정 데이터, 수동 비트 너비 선택이 필요하지 않습니다.
(C2) 통합 엔진을 갖춘 이중 저장 모드: 두 가지 저장 모드 (V2 및 V2a) 가 단일 자동 선택 프론트엔드와 퓨즈드 디코드 커널을 공유합니다. 이는 NVFP4 텐서 코어에 의존하지 않고 워크스테이션 GPU 에서 30B~397B 파라미터 범위를 커버합니다.
(C3) H-Process: 두 코사인 임계값에 대한 품질 주도 반복으로, 512 개의 라우팅된 전문가/레이어를 가진 397B Qwen3.5-A17B 모델을 2×96GB VRAM 에 성공적으로 적합시켰습니다. 이는 전문가 가지치기를 피하면서 전체 전문가 군집을 유지한 채 약 3.4 비트의 유효 비트를 달성합니다.

4. 실험 결과

실험은 Qwen3.5 및 GLM-4.7-Flash 모델을 사용하여 워크스테이션급 하드웨어 (RTX PRO 6000 Blackwell, DGX Spark) 에서 수행되었습니다.

Qwen3.5-122B-A10B (V2 모드):
- TP=2 에서 초당 138 토큰의 단일 스트림 디코드를 달성했습니다.
- TP=1 에서 Marlin INT4 (AutoRound) 보다 49% 빠릅니다.
- 4 비트 기준과 비교 가능한 94.49% GSM8K 엄격 일치 (3 시드) 를 유지했습니다.
- 유효 비트 너비: 약 3.97.
Qwen3.5-397B-A17B (H-Process, V2 모드):
- 2×96GB GPU 에서 성공적으로 배포되었습니다.
- 긴 출력 디코드에서 초당 100.9 토큰을 달성했습니다.
- 전체 1,319 문제 세트 (단일 시드) 에서 66.72% GSM8K 엄격 일치를 달성했습니다.
- 유효 비트 너비: 약 3.4.
- REAP(전문가 가지치기) 와의 비교: XFP+H 는 모든 전문가를 유지하며 가지치기된 INT4(33~44%) 보다 높은 정확도 (66.72%) 를 달성했고, 메모리 풋프린트는 더 낮거나 비슷했습니다.
V2a 모드 프로브:
- 메모리 제약 시나리오에서 공유 라이브러리 접근 방식을 검증하기 위해 Qwen3.5-122B 에서 Marlin INT4 대비 +47% 의 처리량 향상을 입증했습니다.

5. 중요성 및 주장

본 논문은 XFP 를 단순한 양자화 포맷이 아닌 **가전 제품급 배포 (appliance-class deployment)**를 위한 메커니즘으로 위치시킵니다. 그 중요성은 다음과 같습니다:

워크플로우 반전: 운영자의 역할을 비트 너비 선택에서 품질 제약 정의로 전환하여 시스템이 모델 이질성에 자동으로 적응하도록 합니다.
워크스테이션 실현 가능성: 데이터센터 전용 텐서 코어 지원 (NVFP4) 이나 전문가 가지치기 없이 소비자/워크스테이션 하드웨어 (96GB GPU) 에서 최대 397B 파라미터의 대규모 MoE 모델 배포를 가능하게 합니다.
품질 주도 압축: MoE 모델의 경우 서로 다른 구성 요소가 양자화 허용도에 큰 차이를 보이므로, 고정 비트 너비보다 "품질"(코사인 유사도) 이 더 효과적인 지향 지표임을 입증합니다.
하드웨어 독립성: 전용 양자화 경로 (NVFP4) 가 사용 불가능하거나 불완전한 하드웨어에서 소프트웨어 정의 처리량 우위를 제공하며, 토큰당 읽는 바이트 수를 줄여 가장 최적화된 INT4 커널 (Marlin) 보다 우수한 성능을 발휘합니다.

저자들은 명시적으로 트레이드오프가 그룹별 코드북 오버헤드 및 인코딩 시간 Lloyd 반복에 있음을 밝히며, 이는 메모리 바운드 워크로드의 경우 워크스테이션 계층에서 XFP 를 선호하게 하지만, 이 선택은 보편적인 벤치마크 판정이 아닌 배포 결정으로 남아있다고 명시합니다.