🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

이 논문은 학습 가능한 양자화 스케일을 하드웨어 제약으로부터 분리하기 위해 결합 완화 스케일링(Coupled-Relaxation Scaling)을 채택하고, 더 미세한 가중치 적응을 위해 이중 입도 스케일링(Dual-Granularity Scaling)을 사용하여 추가적인 추론 오버헤드 없이 최첨단 성능을 달達成하는, 대규모 언어 모델의 FP4 정확도를 향상시키는 사후 학습 양자화 프레임워크인 FOCUS를 소개한다.

원저자: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 지식의 도서관을 아주 작고 휴대 가능한 배낭에 담으려 한다고 상상해 보세요. 이것이 바로 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 초지능형 컴퓨터 뇌인 '대규모 언어 모델(LLM)'이 매일 겪는 고군분투입니다. 문제는 이 뇌들이 너무 거대해서 엄청난 양의 메모리와 전력을 필요로 하며, 이로 인해 일상적인 기기에서 사용하기에는 비용이 많이 들고 속도가 느리다는 점입니다. 이를 해결하기 위해 과학자들은 '양자화(quantization)'라는 기술을 사용합니다. 이것은 마치 고화질 4K 영화를 오래된 스마트폰에 맞게 저해상도 형식으로 변환하는 것과 같습니다. 목표는 정보의 핵심(plot)을 잃지 않으면서 데이터를 축소하는 것입니다. 최근에는 현대적인 컴퓨터 칩에서 지원되는 'FP4'라는 새로운 초소형 형식이 등장하여 모델을 훨씬 더 작게 줄일 수 있음을 약속했습니다. 하지만 함정이 있습니다. 데이터를 이렇게 작게 압축하면 모델이 무언가를 '망각'하거나 혼란을 느껴 정확도가 떨어질 수 있다는 점입니다. 큰 질문은 이것입니다: 어떻게 하면 지능을 망가뜨리지 않고 모델을 이 작은 크기로 줄일 수 있을까요?

이 논문은 바로 그 문제를 해결하기 위한 영리하고 새로운 방법인 FOCUS를 소개합니다. 연구진은 기존의 모델 축소 방식이 너무 경직되어 있다는 사실을 깨달았습니다. 옷을 짐 가방에 싸는 상황을 상상해 보세요. 기존의 규칙은 다음과 같습니다: "당신은 반드시 똑같이 생긴 작은 미리 제작된 상자들을 사용하여 옷을 싸야 하며, 나중에 짐을 풀 때도 반드시 동일한 상자들을 사용해야 합니다." 논문은 이것이 어리석다고 주장합니다. 옷을 보관할 때는 작은 상자를 사용해야 하겠지만(그것이 배낭에 들어가는 방식이니까요), 처음에 옷을 어떻게 접을지 결정할 때까지 똑같은 작은 상자를 사용할 필요는 없다는 것입니다. 당신은 먼저 커다란 유연한 줄자를 사용하여 짐 싸는 계획을 세운 다음, 그 결과를 작은 상자에 딱 맞춰 넣을 수 있습니다.

FOCUS는 이러한 통찰력을 활용하여 FP4라는 아주 작은 형식에 맞춰 모델을 준비하는 과정을 개선합니다. 이 방식은 두 가지 주요 기술을 도입합니다:

결합 완화 스케일링 (Coupled-Relaxation Scaling, CRS): 이것은 '유연한 줄자'입니다. 기존 방식에서는 컴퓨터가 숫자를 줄이기로 결정할 때 매우 거친 저정밀도 자를 사용해야 했고, 다시 합칠 때도 그 거친 자를 사용해야 했습니다. FOCUS는 이렇게 말합니다. "숫자를 줄이는 계산을 할 때는 아주 정밀한 전체 크기의 자를 사용하고, 그 다음에 그 결과를 거친 상자에 꾹 눌러 담자." 이를 통해 컴퓨터는 작은 형식의 규칙을 어기지 않으면서도 데이터를 훨씬 더 잘 압축하는 방법을 찾을 수 있습니다.
이중 입도 스케일링 (Dual-Granularity Scaling, DGS): 이것은 더 작은 항목들을 채우는 것에 관한 것입니다. 기존 방식은 32개의 숫자 묶음을 하나의 큰 덩어리로 취급하여 모든 숫자에 하나의 자를 적용했습니다. 하지만 만약 그 그룹 안에 아주 큰 숫자와 아주 작은 숫자가 섞여 있다면 어떨까요? FOCUS는 이 큰 그룹을 더 작은 하위 그룹으로 나누고(마치 큰 피자를 조각내는 것처럼), 각 조각마다 고유한 맞춤형 자를 부여합니다. 이를 통해 컴퓨터는 모든 것을 하나의 규격화된 상자에 강제로 맞추는 대신, 데이터의 세부 사항에 적응할 수 있습니다.

결과는 인상적입니다. 연구진이 Qwen이나 LLaMA와 같은 여러 다양한 AI 모델에 대해 FOCUS를 테스트했을 때, 이 방식은 다른 모든 방법보다 일관되게 뛰어난 성능을 보였습니다. 예를 들어, Qwen3-4B 모델의 경우, FOCUS는 NVFP4 형식을 사용할 때 원래 모델 정확도의 **98.2%**를 회복했고, MXFP4로는 **96.2%**를 회복했습니다. 이는 기존 기술들이 종종 90%나 94%를 유지하는 데 어려움을 겪었던 것과 비교하면 상당한 도약입니다.

결정적으로, 논문은 FOCUS가 모델을 더 느리게 만들거나 사용하기 어렵게 만들지 않는다는 점을 보여줍니다. 컴퓨터가 모델을 준비하는 과정(학습 또는 보정 단계)에서 추가적인 계산을 수행함에도 불구하고, 최종 모델은 다른 모든 FP4 모델만큼 빠르게 실행됩니다. Qwen3-4B 모델을 준비하는 데 단일 고성능 GPU 한 대를 사용하여 약 19분이 소는데, 이는 경쟁하는 일부 방법들보다 오히려 더 빠릅니다. 연구진은 이것이 '사후 학습(post-training)' 방식임을 강조합니다. 즉, 모델을 처음부터 다시 가르칠 필요 없이, 단지 짐을 싸는 지침(packing instructions)만 미세하게 조정하면 된다는 뜻입니다.

요약하자면, FOCUS는 축소하는 '방법'에 대한 규칙을 완화함으로써(최종 저장 형식은 엄격하게 유지하면서), 거대한 AI의 두뇌를 지능을 잃지 않고도 아주 작은 공간에 담을 수 있다는 것을 시사합니다. 이것은 마치 셔츠를 완벽하게 접기 위해 큰 테이블을 사용할 수 있지만, 결국 보관은 작은 서랍에 해야 한다는 사실을 깨닫는 것과 같습니다. 이 논문은 이러한 접근 방식이 기존의 경직된 방식보다 더 효과적임을 증명하며, 현재는 감당할 수 없는 기기에서도 강력한 AI를 실행할 수 있는 길을 제시합니다.

기술 요약: FOCUS – 결합 완화(Coupled-Relaxation) 및 이중 입도(Dual-Granularity) 스케일링을 통한 FP4 최적화

문제 정의

대규모 언어 모델(LLM)은 방대한 파라미터 수로 인해 배포 시 상당한 도전 과제에 직면해 있으며, 이는 효율적인 압축 기술을 필요로 합니다. 사후 학습 양자화(Post-Training Quantization, PTQ)가 표준적인 접근법으로 자리 잡았지만, FP4(MXFP4 및 NVFP4와 같은)와 같은 4비트 부동 소수점 형식으로 양자화를 밀어붙이는 것은 여전히 어렵습니다. 이러한 형식들은 현대적인 가속기(예: NVIDIA Blackwell)에서 블록 단위 스케일링 방식(예: 32개 또는 16개의 값을 공유하는 저정밀도 스케일)을 통해 네이티브 하드웨어 지원을 제공합니다.

그러나 FP4 정밀도에서 모델 정확도를 유지하는 것은 지속적인 병목 현상입니다. 기존 방법들의 결정적인 한계는 양자화 스케일( $S_q$ )과 역양자화 스케일( $S_{dq}$ ) 사이의 **강한 결합(tight coupling)**입니다. 기존 방식들은 두 스케일 모두가 동일한 이산적(discrete) 저정밀도 하드웨어 형식(예: MXFP4를 위한 E8M0)과 동일한 블록 입도(granularity)를 따르도록 강제합니다. 이는 다음과 같은 이유로 최적이 아닙니다:

중복된 제약: 역양자화 스케일( $S_{dq}$ )만이 추론 중에 저장되고 사용되며, 따라서 하드웨어 제약을 준수해야 합니다. 반면, 양자화 스케일( $S_q$ )은 오프라인 양자화 과정에서 최적의 FP4 가중치 할당을 결정하기 위해서만 사용되며, 이후에는 폐기되므로 반드시 하드웨어 제약을 따를 필요가 없습니다.
이산적 최적화 공간: $S_q$ 를 이산적인 저정밀도 형식으로 강제함으로써, 기존 방법들은 최적의 가중치 할당을 찾기 위한 경사 기반 학습(gradient-based learning)의 최적화 지형을 제한합니다.
입도 불일치(Granularity Mismatch): 단일 블록 수준의 스케일은 블록 내의 국소적인 가중치 변화를 포착하지 못하여 양자화 오차를 유발합니다.

방법론

저자들은 FP4 정확도를 최적화하면서 추론 오버헤드를 도입하지 않고도 양자화 스케일의 "자유도"를 활용하는 PTQ 프레임워크인 FOCUS를 제안합니다. 이 프레임워크는 **정밀도(Precision)**와 **입도(Granularity)**라는 두 가지 핵심 차원에서 작동합니다.

1. 베이스라인: 엔드 투 엔드 스케일 학습

저자들은 먼저 모델 가중치를 고정하고, 지식 증류 손실(KL-Top)을 사용하여 블록 단위 스케일을 엔드 투 엔드로 학습하는 베이스라인을 구축합니다. 전통적인 PTQ와 달리, 이 베이스라인은 비미분 가능한 양자화 연산을 처리하기 위해 Straight-Through Estimator(STE)를 사용하여 경사 하강법으로 스케일을 최적화합니다. 그러나 이 베이스라인은 여전히 $S_q = S_{dq}$ 를 강제하여 강한 결합을 유지합니다.

2. 결합 완화 스케일링 (Coupled-Relaxation Scaling, CRS)

정밀도 제약 문제를 해결하기 위해, FOCUS는 학습 가능한 풀 정밀도 계수 $c_i$ 를 도입하여 양자화 스케일을 하드웨어 규격 형식으로부터 분리하는 **결합 완화 스케일링(CRS)**을 도입합니다.

메커니즘: CRS는 학습 가능한 풀 정밀도 계수 $c_i$ 를 도입하여 양자화 스케일을 하드웨어 준수 형식(E4M3 또는 E8M0로 양자화된 $S_{dq}$ )으로부터 분리합니다.
공식: 양자화 스케일은 $S_q = S_{dq} \cdot c_i$ 로 정의됩니다. 여기서 $S_{dq}$ 는 하드웨어 준수 스케일이며, $c_i$ 는 1로 초기화된 학습 가능한 풀 정밀도(FP16) 파라미터입니다.
효과: 이는 강한 결합을 완화하여, $S_q$ 의 최적화를 이산적인 저정밀도 공간에서 연속적인 풀 정밀도 공간으로 격상시킵니다. 이를 통해 모델은 $S_{dq}$ 가 하드웨어 요구 사항을 준수하도록 보장하면서도 더 나은 FP4 가중치 할당을 찾을 수 있습니다. 계수 $c_i$ 는 훈련 후 폐기됩니다.

3. 이중 입도 스케일링 (Dual-Granularity Scaling, DGS)

입도 제약 문제를 해결하기 위해, FOCUS는 **이중 입도 스케일링(DGS)**을 도입합니다.

메커니즘: DGS는 각 하드웨어 블록(MXFP4의 경우 32, NVFP4의 경우 16)을 더 작은 서브 블록(예: 크기 8)으로 세분화합니다. 각 서브 블록에는 독립적인 풀 정밀도 완화 계수 $c_k$ 가 할당됩니다.
공식: 서브 블록 $k$ 에 대한 양자화는 $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ 가 되며, 이때 역양자화 스케일 $S_{dq}$ 는 전체 블록에 걸쳐 공유됩니다.
효과: 이를 통해 양자화 스케일이 역양자화 스케일보다 더 미세한 입도로 작동할 수 있게 하여, 단일 블록 수준의 스케일로는 놓칠 수 있는 블록 내 가중치의 국소적 변화를 포착할 수 있습니다. CRS와 마찬가지로, 이 계수들은 훈련 후 폐기됩니다.

4. 배포 및 호환성

FOCUS는 추론 오버헤드를 발생시키거나 프레임워크 수정을 요구하는 구조적 변환(예: Hadamard 회전)에 의존하지 않습니다. 최종 배포되는 모델은 엄격하게 표준 FP4 가중치와 하드웨어 준수 역양자화 스케일로 구성되어, 기존 추론 엔진과 원활한 호환성을 보장하며 추가적인 추론 비용이 발생하지 않습니다.

주요 기여

통찰력 식별: 본 논문은 양자화 스케일은 역양자화 스케일과 달리 하드웨어 제약으로부터 자유롭다는 점을 식별하고, 정밀도와 입도 모두에서 이 자유도를 활용할 것을 제안합니다.
결합 완화 스케일링 (CRS): 양자화 스케일에 학습 가능한 풀 정밀도 계수를 도입하여 양자화 및 역양자화 스케일 간의 결합을 완화하고, 연속적인 경사 기반 최적화를 가능하게 하는 기술입니다.
이중 입도 스케일링 (DGS): 서브 블록 수준에서 양자화 스케일을 할당하여, 블록 단위 스케일링이 표현할 수 없는 블록 내 가중치 변화를 포착하는 방법입니다.
최첨단 성능 (SOTA): 광범-한 실험을 통해 FOCUS가 여러 LLM 제품군(Qwen, LLaMA)에서 MXFP4 및 NVFP4 형식 모두에 대해 추론 오버헤드 없이 SOTA FP4 정확도를 달라는 것을 입증했습니다.

실험 결과

저자들은 다섯 가지 LLM(Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B)을 대상으로 WikiText2, C4 및 5가지 제로샷 추론 벤치마크(ARC, HellaSwag, PIQA, Winogrande)에서 FOCUS를 평가했습니다.

정확도 회복: NVFP4 환경의 Qwen3-4B에서 FOCUS는 FP16 제로샷 정확도의 **98.2%**를 회복하며, RTN, GPTQ, MR-GPTQ, 4over6, RaZeR와 같은 베이스라인을 크게 앞질렀습니다.
Perplexity (혼란도): FOCUS는 거의 모든 설정에서 가장 낮은 Perplexity를 달s합니다. Qwen3-8B의 경우, WikiText2(NVFP4)에서 9.47의 Perplexity에 도달하여 FP16 베이스라인인 9.73에 거의 근접했습니다.
추론 능력: Chain-of-thought 작업(GSM8K, MMLU)에서 FOCUS는 경쟁 방법들을 일관되적으로 능가하며, 다른 FP4 양자화 방식들보다 다단계 추론 능력을 더 잘 보존합니다.
효율성: 양자화 과정이 매우 가볍습니다. 단일 NVIDIA H20 GPU에서 Qwen3-4B를 양자화하는 데 19분이 소요되었으며, 이는 이전 SOTA 방식인 MR-GPTQ보다 34% 빠른 속도입니다.

의의 및 주장

본 논문은 양자화 스케일의 역할을 재고함으로써 FP4 양자화의 패러다임 전환을 나타낸다고 주장합니다. 양자화 스케일은 저장될 필요가 없으며 하드웨어 제약을 따를 필요도 없다는 점을 인식함으로써, 저자들은 미개척된 중요한 최적화 공간을 열었습니다.

이 연구의 의의는 추론 오버헤드 제로 및 원활한 하드웨어 호환성을 유지하면서 FP4 추론을 위한 최첨단 정확도를 달성했다는 데 있습니다. 구조적 변환을 통해 계산 비용을 추가하거나 프레임워크 적응을 요구하는 방법들과 달리, FOCUS는 순수하게 스케일 최적화 공간 내에서 작동합니다. 저자들은 자신들의 접근 방식이 FP4와 풀 정밀도(FP16) 모델 사이의 성능 격차를 효과적으로 메워, 고효율 W4A4 추론을 실제 배포에 더욱 유용하게 만든다고 주장합니다.