🤖 AI

ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs

ARCQuant는 증강된 잔차 채널을 통해 NVFP4 양자화를 강화함으로써 대규모 언어 모델의 최첨단 정확도를 달성하고 상당한 추론 속도 향상을 실현하는 새로운 프레임워크로, 이는 하드웨어 통합 정밀도를 유지하면서 표준 GEMM 커널을 활용하여 양자화 오차를 효과적으로 보정합니다.

원저자: Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Peng Zhang, Xindian Ma

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Peng Zhang, Xindian Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거대하고 믿을 수 없을 정도로 상세한 지식의 도서관(거대 언어 모델, LLM)이 있다고 상상해 보세요. 이 도서관을 작은 배낭(당신의 컴퓨터 메모리)에 담고 빠르게 실행하기 위해서는 책들을 줄여야 합니다. 이 과정을 **양자화(quantization)**라고 부릅니다.

보통은 책을 8비트 "페이퍼백"으로 요약하여 크기를 줄일 수 있습니다. 하지만 훨씬 더 작고 빠르게 만들기 위해, 연구자들은 이 책들을 아주 작은 4비트 "엽서"로 줄이려고 노력하고 있습니다.

하지만 문제가 하나 있습니다. 이 도서관의 어떤 페이지들은 거대하고 극적인 문단(이를 아웃라이어/outliers라고 부릅니다)을 가지고 있는데, 이것들은 작은 엽서에 잘 들어맞지 않습니다. 만약 이들을 억지로 구겨 넣으려 한다면, 페이지 전체가 왜곡되어 이야기가 말이 안 되게 됩니다.

기존 솔루션의 문제점

과학자들은 이를 해결하기 위해 두 가지 주요 방법을 시도했지만, 둘 다 결함이 있습니다:

"셔플(Shuffle)" 방식: 방이 너무 어질러져 있어서 큰 소파를 구석에 맞추기 위해 가구들을 이리저리 옮기는 것과 같습니다. 소파는 구석에 들어가겠지만, 이제 방 전체는 혼란스러워졌습니다. AI 용어로 말하자면, 이 "회전(rotation)" 방식은 큰 숫자들을 주변으로 퍼뜨려 버려, 새로운 컴퓨터 칩(NVIDIA의 Blackwell 아키텍처)이 빠르게 작동하는 데 필요한 깔끔하고 조직적인 블록 구조를 망가뜨립니다.
"혼합 크기(Mixed-Size)" 방식: 큰 소파는 커다란 상자(고정밀)에 담고, 작은 의자들은 작은 상자(저정밀)에 담는 것과 같습니다. 문제는 당신의 배달 트럭(컴퓨터 하드웨어)이 한 번에 한 가지 크기의 상자만 운반하도록 설계되었다는 점입니다. 크기를 섞으면 트럭이 멈춰서 기어를 바꿔야 하므로 속도가 느려집니다.

해결책: ARCQuant (잔여 배낭)

이 논문의 저자들(천진대학교 연구진)은 ARCQuant라고 불리는 새로운 방법을 제안합니다. 가구를 섞거나 다양한 크기의 상자를 사용하는 대신, 그들은 영리한 트릭을 사용합니다: 바로 **증강 잔여 채널(Augmented Residual Channel)**입니다.

다음은 비유를 통한 설명입니다:

당신이 여행을 위해 캐리어(데이터)를 싸고 있다고 상상해 보세요.

주요 품목: 당신에게는 크고 부피가 큰 겨울 코트(아웃라이어 데이터)가 있습니다.
문제: 캐리어가 너무 작아서 코트를 평평하게 펼쳐 넣을 수 없습니다.
기존 방식: 코트를 억지로 밀어 넣어 찌그러뜨리거나(정확도 손실), 두 번째 서로 다른 크기의 캐리어를 삽니다(혼합 정밀도). 하지만 항공사(하드웨어)는 효율적으로 체크인할 수 있도록 한 가지 크기의 짐만 허용합니다.
ARCQuant 방식: 코트를 아주 단단하게 접은 다음, 캐리어 옆에 붙은 특별하고 얇은 "잔여(residual)" 주머니에 넣습니다.
- 메인 캐리어는 나머지 옷들을 완벽하게 담습니다.
  로, 얇은 주머니는 코트에서 찌그러진 부분의 세부 사항을 담습니다.
- 결정적으로: 항공사(컴퓨터 하드웨어)는 이 전체를 하나의 통합된 캐리어로 인식합니다. 그들은 멈춰서 기어를 바꿀 필요가 없습니다. 그저 하나의 단위로 전체를 처리할 뿐입니다.

간단한 원리 설명

문제 식별: 시스템은 데이터를 스캔하여 "부피가 큰 코트"(4비트에 담기에는 너무 큰 아웃라이어 숫자들)를 찾아냅니다.
분리 및 저장: 이 큰 숫자들을 추출하여, 만약 이들이 찌그러졌을 때 무엇을 잃게 될지 계산한 후, 그 "잃어버린 차이"(잔여값)를 특별한 추가 열에 저장합니다.
통합 패킹: 메인 데이터와 "차이" 데이터를 컴퓨터 칩이 완벽하게 이해할 수 있는 하나의 표준 형식으로 함께 묶습니다.
마법 같은 수학: 컴퓨터가 캐리어를 읽을 때, 메인 부분과 "차이" 부분을 즉시 다시 합칩니다. 이 모든 과정이 한 번에 이루어지기 때문에 매우 빠릅니다.

논문의 주장

연구진은 인기 있는 AI 모델(LLaMA, Qwen 등)을 최신 NVIDIA 그래픽 카드(RTX 5090 및 PRO 6000)를 사용하여 테스트했습니다.

정확도: 그들의 방식은 매우 뛰어나서, AI는 압축되지 않은 원래의 전체 버전과 거의 동일하게 성능을 발휘합니다. 현재 사용 가능한 모든 4비트 방식보다 우수합니다.
속도: 데이터 형식을 전환하도록 강제하지 않기 때문에, 표준 고정밀 버전보다 최대 3배 더 빠르게 실행됩니다.
효율성: "부피가 큰 코트"를 해결하기 위해 추가적인 수학 연산을 수행함에도 불구하고, 메모리를 적게 사용하며 컴퓨터의 속도를 늦추지 않습니다.

요약하자면

ARCQuant는 AI를 위한 스마트한 짐 싸기 시스템과 같습니다. 작은 상자에 담기에 너무 큰 물건을 찾아내어, 그것을 특별한 얇은 층으로 감싼 뒤 메인 박스에 부착합니다. 이렇게 하면 AI는 똑똑함과 정확성을 유지하면서도, 컴퓨터 하드웨어가 아무런 문제 없이 처리할 수 있는 더 작고 빠른 패키지에 담길 수 있습니다.

기술 요약: ARCQuant

문제 정의
대규모 언어 모델(LLM)의 배포는 메모리 대역폭과 연산 지연 시간에 의해 점점 더 제약을 받고 있습니다. 사후 학습 양자화(Post-Training Quantization, PTQ)가 표준적인 최적화 기법이지만, 모델의 충실도(fidelity)를 유지하면서 공격적인 4비트 가중치 및 4비트 활성화(W4A4) 양자화를 달행하는 것은 여전히 매우 어려운 과제입니다. 최근의 하드웨어 발전, 특히 NVIDIA Blackwell 아키텍처는 미세한(fine-grained) 마이크로스케일링 포맷인 NVFP4에 대한 네이티브 지원을 도입했습니다. 그러나 기존의 PTQ 전략은 이러한 포맷에 적합하지 않습니다:

회전 기반 방법론(예: Hadamard 변환)은 이상치(outlier)의 크기를 차원 전체로 재분배하는데, 이는 NVFP4의 고유한 특성인 미세한 블록 격리(block isolation)를 방해하고 국소적 동적 범위(local dynamic range)를 팽창시킵니다.
혼합 정밀도 접근 방식(예: Atom, MicroMix)은 민감한 채널을 더 높은 정밀도(INT8/FP16)로 보존하려고 시도합니다. 그러나 이는 통합 정밀도 연산을 요구하는 하드웨어 요구 사항을 위반합니다. NVFP4는 블록 크기 16을 요구하는 반면, 더 높은 정밀도의 포맷은 종종 32를 사용하므로, 구조적 불일치를 초래하여 최적화된 Tensor Core 명령어를 사용하는 것을 방해하고 처리량을 저하시킵니다.

방법론: ARCQuant
이러한 알고리즘 및 하드웨어 장벽을 해결하기 위해, 저자들은 ARCQuant(Augmented Residual Channels Quantization)를 제안합니다. 핵심 혁신은 엄격하게 통합된 NVFP4 데이터 경로를 유지하면서 증강 잔차(augmented residual) 메커니즘을 통해 양자화 오차를 보상하는 프레임워크입니다.

적응형 이상치 식별(Adaptive Outlier Identification): 캘리브레이션 데이터를 사용하여 지배적인 이상치 채널을 식별합니다. 절대 최댓값을 기준으로 채널을 재정렬하고, 대상 NVFP4(E2M1 가수)와 참조 FP8 포맷 간의 정밀도 격차가 유의미한 상위- $S$ 서브셋을 선택합니다.
2단계 양자화(Dual-Stage Quantization):
- 주요 단계(Primary Stage): 입력 활성화 행렬을 재정렬하고 표준 블록 단위 NVFP4 양자화를 수행합니다.
- 잔차 단계(Residual Stage): 식별된 이상치 채널에 대해, 방법론은 잔차(원래 값과 주 양자화 값 사이의 차이)를 계산합니다. 이 잔차들은 별도의 두 번째 NVFP4 채널 세트로 양자화됩니다.
증강 행렬 곱셈(Augmented Matrix Multiplication): 양자화된 잔차는 축소 차원( $K$ )을 따라 주 양자화된 활성화와 결합됩니다. 마찬가지로, 그에 대응하는 가중치들도 이 증강에 맞춰 복제됩니다.
통합 GEMM 실행(Unified GEMM Execution): 전체 과정은 확장된 단일 행렬 곱셈 연산 $(N, K_{in} + S, M)$ 으로 매핑됩니다. 이를 통해 보상 과정이 하드웨어 데이터 경로를 수정하거나 혼합 정밀도 명령어를 요구하지 않고도, 표준적이고 고도로 최적화된 CUTLASS GEMM 커널을 사용하여 실행될 수 있습니다. 누적의 선형성 덕분에 주 연산과 잔차 보정이 고정밀 출력 어큐뮬레이터(accumulator)로 직접 합산됩니다.
커널 구현: 저자들은 채널 재정렬, RMSNorm, 주 양자화 및 잔차 양자화를 통합하는 퓨즈드(fused) CUDA 커널을 구현했습니다. 이는 지연 시간을 최소화하고 GEMM을 위한 인터리브드(interleaved) 채널 레이아웃으로 데이터를 출력합니다.

주요 기여

최초의 NVFP4 최적화 PTQ 프레임워크: ARCQuant는 혼합 정밀도 하드웨어 제약을 우회하기 위해 증강 잔차 채널을 활용하도록 설계된 최초의 NVFP4 전용 프레임워크이며, 엄격한 W4A4 제약 내에서 W4A8 수준의 정확도를 달성합니다.
이론적 오차 범위 분석: 저자들은 이들의 2단계 NVFP4 메커니즘의 최악의 경우 오차 범위가 표준 단일 단계 MXFP8과 유사함을 보여주는 엄격한 분석을 제공합니다. 구체적으로, 2단계 프로세스의 정렬 오버헤드( $\approx 1.266$ )는 MXFP8( $< 2$ )보다 낮으며, 이는 정밀도 격차를 메우는 것을 이론적으로 검증합니다.
고성능 구현: 논문은 복잡한 잔차 누적을 표준 GEMM 호출로 매핑하는 커스텀 커널의 구현을 상세히 설명하며, 이를 통해 Blackwell 아키텍처에서의 이식성과 효율성을 보장합니다.

실험 결과
LLaMA 3.1 및 Qwen2.5 모델 제품군(7B에서 70B 범위)에 대해 광범위한 실험을 수행하였으며, NVIDIA RTX 5090 및 RTX PRO 6000 GPU에서 평가되었습니다.

정확도: ARCQuant는 기존의 NVFP4 적응 전략(RTN, SmoothQuant, QuaRot, MicroMix 포함)보다 일관되게 우수한 성능을 보였습니다. LLaMA 3.1-8B 및 Qwen2.5-7B에서 퍼플렉시티(perplexity)와 MMLU 점수 측면에서 W4A8 베이스라인을 능가하며, 풀 FP16 정밀도와의 격차를 효과적으로 좁혔습니다. Qwen2.5-32B에서는 거의 손실 없는 압축을 달성했습니다.
NVFP4 특이사항: 성능 저하를 일으켰던 회전 기반 방법론과 달리, ARCQuant는 블록 격리를 방해하지 않으면서 이상치 오차를 성공적으로 억제했습니다.
효율성: FP16 대비 상당한 속도 향상(Llama 3.1-8B 기준 RTX 5090에서 최대 3.5배)과 메모리 감소(1.5배~2.8배)를 달성했습니다. 잔차 증강으로 인한 오버헤드는 미미하며(총 지연 시간의 약 4.9%), W4A8 및 MXFP8 대안보다 처리량 측면에서 월등히 뛰어납니다.
일반화 가능성: 이 접근 방식은 다양한 모델 크기(70B 밀집 및 8x7B MoE 아키텍처 포함)에 걸쳐 견고함을 입증하였으며, INT4 및 MXFP4 포맷으로의 확장성을 보여줍니다.

의의 및 주장
본 논문은 ARCQuant가 블록 격리나 하드웨어 균일성을 해치지 않으면서 이상치 문제를 해결함으로써, 효율적인 LLM 추론을 위한 확장 가능하고 하드웨어 친화적인 경로를 제공한다고 주장합니다. 저자들은 "최소한의 연산 차원을 희생하여 더 높은 충실도를 얻는다"는 원칙을 강조하며, 차세대 하드웨어에서 공격적인 4비트 양자화를 사용하면서도 높은 정밀도의 포맷과 같은 정확도를 유지할 수 있게 합니다. 이 연구는 현재 PTQ 전략의 한계를 극려하기 위해 NVIDIA Blackwell 아키텍처의 특정 역량을 활용하는 실질적인 솔루션으로 제시됩니다.