🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

이 논문은 비대칭 양자화 인식 훈련(asymmetric quantization-aware training)과 잔차 활성화 보상(residual activation compensation)을 통해 활성화 오차를 해결함으로써 Mixture-of-Experts 모델을 위한 NVFP4 강화 학습을 안정화하는 양방향 양자화 오차 정렬 방법인 QUADS를 제안하며, 이를 통해 FP8 대비 대폭 향상된 처리량을 달성함과 동시에 BF16 수준의 정확도를 구현한다.

원저자: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

게시일 2026-07-20

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능형 로봇에게 수학 문제나 코드 작성과 같은 복잡한 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 로봇이 정말 잘하게 되기 위해서, 로봇은 단순히 정답을 암기하는 것이 아니라, 수천 가지의 서로 다른 해결책을 시도해 보고, 무엇이 효과적이었는지에 대한 피드백을 받은 다음, 다음에 더 잘할 수 있도록 자신의 뇌를 조정하며 연습합니다. 이 과정을 강화 학습(Reinforcement Learning)이라고 부릅니다. 하지만 여기에는 함정이 있습니다. 로봇이 '생각'하고 배우는 부분(훈련기)은 정답을 '생성'하는 부분(롤아웃 엔진)과 종종 분리되어 있습니다. 학습이 제대로 이루어지려면 이 두 부분이 정확히 같은 언어로 대화해야 합니다. 만약 훈련기는 고화질(4K 영화와 같은)로 생각하는데, 생성기는 저해상도의 픽셀이 깨진 버전(8비트 게임과 같은)으로 말하도록 강요받는다면, 로봇은 혼란에 빠집니다. 행동의 '중요도'가 흐릿함에 의해 왜곡되기 때문에 로봇은 실수를 하기 시작합니다. 이 불일치는 거대한 문제이며, 로봇이 똑똑해지는 속도를 늦추어 학습하는 데 엄청난 시간을 소요하게 만듭니다.

이제 우리가 로봇을 더 빠르게 생각하게 만들고 싶다고 상상해 봅시다. 우리는 로봇의 뇌를 훨씬 더 작게 줄여서, "NVFP4"라는 초저해상도 포맷을 사용할 수도 있습니다. 이것은 마치 현재의 표준보다 훨씬 더 빠른, 아주 거친 자갈들로 만들어진 비포장도로 위에서 초고속 레이스카를 운전하는 것과 같습니다. 이것은 믿기 힘들 정도로 빠를 것을 약속하지만, 자갈이 너무 거칠어서 자동차의 바퀴(로봇의 논리)가 미끄러지고 통제력을 잃기 시작합니다. 로봇은 학습하려고 노력하지만, 거친 트랙 때문에 단 몇 바퀴만 돌아도 사고가 납니다. 큰 질문은 이것입니다. 이 초고속의 거친 트랙을 로봇이 충돌하지 않고 작동하게 만들 수 있을까요?

이것이 바로 이 논문의 연구자들이 해결하고자 했던 문제입니다. 그들은 단순히 로봇을 이 거친 트랙 위에 올려놓는 것만으로는 훈련 약 150단계 이내에 처참하게 실패한다는 것을 발견했습니다. 로бо트의 자신감 점수(로그 확률)가 너무 심하게 어긋나면서 학습이 완전히 중단되는 것입니다. 그들은 주의 깊은 실험을 통해 왜 이런 일이 발생하는지 알아냈습니다. 문제는 로봇의 저장된 지식인 '가중치(weights)'가 아니라, 바로 '활성화 값(activations)'—즉, 로봇이 생각하는 동안 실시간으로 만들어내는 신선한 계산들—에 있었습니다. 트랙이 너무 거칠기 때문에(NVFP4), 이 신선한 계산들은 훈련기가 가중치만을 보고는 수정할 수 없는 방식으로 왜곡됩니다.

이를 해결하기 위해, 팀은 QUADS(양측 간 양자화 오차 정렬, QUantization-error Alignment across Dual Sides)라고 불리는 영리한 2단계 전략을 발명했습니다. 이것은 훈련기와 생성기 사이의 춤과 같습니다. 훈련기 측에서는 "비대칭 양자화 인식 훈련(Asymmetric Quantization-Aware Training)"이라는 특별한 기술을 사용합니다. 훈련기에게 생성기의 거친 언어를 억지로 배우게 하는 대신, 훈련기의 '생각'(활성화 값)은 고화질로 유지하되 '기억'(가중치)은 생성기의 거친 포맷에 맞추도록 강제합니다. 이렇게 하면 훈련기는 가중치를 볼 때 생성기가 무엇을 보고 있는지 정확히 알 수 있어 혼란을 방지할 수 있습니다.

하지만 그것만으로는 충분하지 않았습니다. 생성기는 여데도 새로운 생각을 계산할 때 거친 자갈 위에서 여전히 비틀거리고 있었습니다. 그래서 생성기 측에는 "잔차 활성화 보정(Residual Activation Compensation)"을 추가했습니다. 생성기가 거친 트랙 위를 걷다가, "어라, 이 특정 자갈 때문에 발이 미끄러지네!"라고 깨닫는 상황을 상상해 보세요. 경주를 멈추고 트랙 전체를 고치는 대신, 생성기는 전체 경주를 매우 빠르게 유지하면서도, 그 미끄러운 부분에 대해서만 아주 빠르고 짧은 교정 동작을 취합니다. 그들은 계산 중 가장 미끄러지기 쉬운 부분("고잔차 채널")을 식별해 냈고, 나머지 경주는 매우 빠르게 유지하면서도 그 부분에 작은 추가적인 힘을 주어 궤도를 유지하게 했습니다.

결과는 인상적입니다. 이 이중적인 춤을 사용함으로써, 로봇은 단순히 거친 트랙에서 살아남은 것을 넘어, 마치 매끄러운 고화질 트랙 위를 달리는 것과 거의 비슷한 성능을 보여주었습니다. 테스트 결과, 이 새로운 방법은 아무런 도움 없이 거친 트랙을 사용했을 때보다 성공률을 약 21.5포인트 향상시켰습니다. 더욱 놀라운 점은, 이 방법이 기존의 표준 방식보다 약 16% 더 빠르게 달리면서도 그 속도 이점을 그대로 유지했다는 것입니다. 이 논문은 거친 트랙이 그 자체로는 위험하지만, 적절한 정렬과 미끄러운 지점에 대한 약간의 추가적인 보정이 있다면, 우리가 이 초고속 저정밀도 AI 모델들을 마침내 안정적으로 작동시킬 수 있다는 것을 보여줍니다.

기술 요약: QUADS - 양자화 오차 정렬을 통한 MoE용 NVFP4 강화 학습 안정화

1. 문제 정의

Mixture-of-Experts (MoE) 대규모 언어 모델(LLM)을 위한 강화 학습(RL)은 결정적인 병목 현상에 직면해 있습니다: 롤아웃 생성(rollout generation)이 전체 엔드 투 엔드 실행 시간의 70% 이상을 소비한다는 점입니다. 이를 가속화하기 위해 연구자들은 저정밀도 추론을 탐색해 왔으며, FP8은 처리량과 훈련-추론 간 불일치 사이의 균형을 맞추는 안정적인 베이스라인 역할을 해왔습니다. 그러나 NVIDIA의 Blackwell 아키텍처는 BF16 대비 최대 ~4배, FP8 대비 ~2배의 GEMM 처리량을 제공하는 네이티브 W4A4(4비트 가중치, 4비트 활성화) 포맷인 NVFP4를 도입했습니다.

본 논문은 NVFP4 W4A4 롤아웃을 BF16 훈련에 직접 적용할 경우 즉각적인 불안정성이 발생함을 확인했습니다. 실험에 따르면, 단순한 NVFP4 RL은 약 150 단계의 훈련 후 급격히 붕괴되었는데, 이는 롤아웃과 트레이너 로그 확률(log-probability) 사이의 격차가 급격히 커지면서 중요도 샘플링(importance sampling) 보정이 무력화되고 보상 붕괴(reward collapse)로 이어지는 현상으로 나타났습니다. 핵심 과제는 FP4의 거친 E2M1 그리드(부호당 8개의 양수 표현 레벨만 존재)가 FP8보다 수치적 편향(numerical bias)을 훨씬 더 심하게 증폭시켜, 표준적인 중요도 샘플링 보정만으로는 불충분하게 만든다는 점입니다.

2. 방법론: QUADS

저자들은 훈련-추론 간의 불일치 원인을 해결하기 위해 설계된 프레임워크인 **양측 간 양자화 오차 정렬(QUantization-error Alignment across Dual Sides, QUADS)**을 제안합니다. 이 방법론은 로그 확률 차이( $\delta_t$ )를 가중치 오차( $\delta^{weight}_t$ ), 활성화 오차( $\delta^{act}_t$ ), 그리고 수치적 경로 차이( $\delta^{num}_t$ )로 분해하는 상세한 오차 분석에 근거합니다.

2.1 오차 분석 및 진단

통제된 절제 실험(ablation)을 통해 저자들은 활성화 양자화가 가중치 양자화가 아닌, 불안정성의 지배적인 원인임을 밝혀냈습니다.

가중치(Weights): 추론 엔진과 훈련 엔진 간에 동기화될 수 있습니다. 가중치는 복제되므로, 트레이너 측에 동일한 양자화-역양자화(QDQ) 경로를 적용하면 가중치로 인한 불일치를 효과적으로 제거할 수 있습니다.
활성화(Activations): 추론 중에 온라인으로 재계산됩니다. 거친 E2M1 그리드는 상당한 양자화 오차( $\Delta X_q$ )를 유발하며, 이는 인하여 엔진 간의 고유한 드리프트( $\eta$ )에 의해 더욱 악화됩니다. 트레이너에서 가중치와 활성화를 모두 가짜 양자화(fake-quantize)하는 대칭형 W4A4 양자화 인식 훈련(QAT)은 드리프트를 줄이는 대신 오히려 증폭시키기 때문에 실패합니다.

2.2 양측 정렬 전략 (Dual-Side Alignment Strategy)

QUADS는 다음 두 가지 상호 보완적인 구성 요소를 통해 이러한 비대칭성을 해결합니다.

A. 비대칭 양자화 인식 훈련 (트레이너 측)
저자들은 대칭형 W4A4 QAT 대신 비대칭 W4A16 QAT를 제안합니다.

가중치: 롤아웃 엔진의 양자화 경로와 일치하도록 트레이너 측에서 NVFP4(W4)로 가짜 양자화합니다.
활성화: 트레이너 측에서는 BF16(A16) 상태를 유지합니다.
근거: 이는 트레이너가 온라인 추론 활성화와 정렬될 수 없는 추가적인 활성화 양자화 오차를 도입하는 것을 방지합니다. 옵티마이저는 BF16 마스터 가중치를 업데이트하지만, 모든 순전파(forward pass) 과정에서 롤아웃에서 사용되는 이산화된 가중치를 보게 됨으로써 $\delta^{weight}_t$ 를 제거하면서도 $\delta^{act}_t$ 를 증폭시키지 않습니다.

B. 잔차 활성화 보상 (롤아웃 측)
트레이너에서 해결할 수 없는 나머지 활성화 오차( $\delta^{act}_t$ )를 다루기 위해, 롤아웃 엔진은 타겟팅된 보정을 수행합니다.

메커니즘: FP4 양자화 오차가 가장 큰 "고잔차(high-residual)" 채널을 식별합니다. 이 특정 채널들에 대해 **2차 패스 양자화(second-pass quantization)**를 적용하여 잔차 보정 항( $\Delta X_q$ )을 계산하고 이를 양자화된 출력에 다시 더합니다.
구현: 바이너리 채널 마스크를 사용하여 잔차 크기에 따라 상위 $k\%$ (예: 50%)의 채널을 선택합니다. 이 보정은 연산 오버헤드를 최소화하기 위해 융합된(fused) Triton 커널을 통해 구현되며, 대부분의 계산에 대해 네이티브 W4A4 GEMM 처리량을 보존합니다.
목표: 이는 롤아웃 출력과 BF16 참조값 사이의 거리를 줄여, 전체 BF16 추론으로 되돌아가지 않고도 로그 확률 격차를 좁힙니다.

3. 주요 기여

NVFP4 RL 실패 진단: 본 논문은 단순한 NVFP4 W4A4 RL에서 로그 확률 발산과 보상 붕괴의 주요 동인이 가중치가 아닌 활성화 양자화임을 실증적으로 입증했습니다.
비대칭 QAT 스킴: 가중치는 FP4로 가짜 양자화하면서 활성화는 BF16을 유지하여, 활성화 드리프트를 악화시키지 않고 가중치 경로를 효과적으로 정렬하는 훈련 측 전략을 도입했습니다.
잔차 활성화 보상: 고오차 활성화 채널을 타겟팅하는 2차 패스 보상을 통해, 네이티브 W4A4 처리량을 유지하면서도 활성화로 인한 불일치를 완화하는 롤아웃 측 기술을 제시했습니다.
실증적 검증: QUADS 파이프라인이 Blackwell 하드웨어에서 안정적인 풀 파라미터 MoE GRPO 훈련을 가능하게 하여 BF16 수준의 정확도를 달성함을 입증했습니다.

4. 실험 결과

실험은 Blackwell GPU를 사용하여 수학적 추론 및 코드 생성 작업에 대해 GRPO로 훈련된 25B 파라미터 MoE 모델(활성 전문가 2.8B)을 대상으로 수행되었습니다.

정확도: QUADS 파이프라인은 네 개의 홀드아웃 벤치마크(AIME 2024/25, HMMT 2025, LiveCodeBench)에서 평균 72.86%의 pass@1을 달성했습니다. 이는 **73.15%**를 달성한 전체 BF16 베이스라인과 일치하며, 단순 NVFP4 RL(51.37%) 및 FP8 RL(72.88%)을 크게 상회하는 수치입니다.
안정성: 단순 NVFP4 RL이 약 150 단계 후에 붕괴된 반면, QUADS는 BF16과 유사한 안정적인 훈련 곡선을 유지했습니다. 최대 단계별 로그 확률 격차는 약 1.3(단순 방식)에서 ~0.86(QUADS)으로 감소하여, BF16에서 관찰된 불가피한 엔진 드리프트 하한선인 ~0.74에 근접했습니다.
처리량: QUADS는 FP8 대비 약 16% 높은 롤아웃 처리량을 제공했습니다. 잔차 보상이 일반적인 W4A4 대비 약 5~9%의 오버헤드를 추가했음에도 불구하고, FP8 대비 순 속도 향상은 여전히 상당했습니다.
절제 연구(Ablation Studies):
- 잔차 보상을 제거할 경우(W4A16 QAT만 적용), 훈련은 안정화되었으나 BF16과의 눈에 띄는 정확도 격차가 남았습니다.
- 대칭형 W4A4 QAT(트레이너에서 가중치와 활성화를 모두 양자화)는 비대칭 방식보다 더 큰 불일치를 초래하여, 트레이너의 활성화를 BF16으로 유지하는 것이 필수적임을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 QUADS가 Blackwell 하드웨어에서 네이티브 W4A4 FP4 GEMM을 사용하는 안정적인 풀 파라미터 MoE RL 훈련을 가능하게 하는 첫 번째 방법이라고 주장합니다.

그 의의는 FP4 E2M1 그리드의 극단적인 거칠기에 특화된 "양자화 오차 정렬" 문제를 해결했다는 데 있습니다. 가중치와 활성화가 근본적으로 다른 정렬 전략(동기화 vs. 온라인 보상)을 필요로 한다는 점을 인식함으로써, 저자들은 BF16 수준의 모델 성능을 희생하지 않으면서도 FP4의 막대한 처리량 이점을 활용할 수 있음을 보여주었습니다. 이 연구는 적절한 양측 정렬이 있다면, NVFP4가 RL 워크로드에서 FP8의 강력한 고처리량 대안으로서, ~16%의 처리량 우위를 확보하면서도 BF16 수준의 성능을 유지할 수 있음을 입증합니다.