🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

본 논문은 max-window 스케일 추정 전략과 BF16 워밍업 일정을 도입하여 HiF8 W8A8 양자화 인식 학습에서 amax 포화 및 치명적 망각이라는 두 가지 고유한 실패 모드를 식별하고 해결함으로써 OpenPangu-Embedded-1B 모델에서 거의 손실 없는 성능을 달성합니다.

원저자: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 수년 동안 방대한 도서관의 책들을 암기해 온 천재적이고 독서량이 풍부한 사서 (AI 모델) 가 있다고 가정해 봅시다. 이제 이 거대한 도서관을 축소하여 도서관 안의 모든 이야기와 사실을 잃지 않은 채 작은 휴대용 배낭 (저전력 장치) 에 들어갈 수 있도록 만들고자 합니다. 이 과정을 **양자화 (Quantization)**라고 합니다.

이 논문은 연구자들이 10 억 개의 매개변수를 가진 AI 모델을 새로운 압축 형식인 HiF8(고정밀 부동소수점 8 비트) 을 사용하여 축소하려는 구체적인 실험을 설명합니다. HiF8 은 나머지 부분을 압축하면서도 가장 중요한 세부 사항을 선명하게 유지하는 '스마트 압축'으로 생각할 수 있습니다.

그러나 연구자들은 단순히 도서관을 축소하는 것만으로는 부족하다는 사실을 발견했습니다. 훈련 과정이 이론상 완벽해 보였음에도 불구하고 모델의 기억력을 망칠 수 있는 두 가지 숨겨진 '함정'이 존재한다는 것을 발견한 것입니다.

다음은 그들의 여정을 쉽게 설명한 내용입니다:

두 가지 숨겨진 함정

1. '맹점' 함정 (Amax 포화)
상상해 보세요. 사서가 책장 위에 책을 정리하려는데, 서랍이 약간 너무 짧은 자를 사용하고 있습니다.

문제: AI 는 압축의 척도를 설정하기 위해 자신이 보는 '가장 큰' 또는 '가장 큰' 숫자를 알아야 합니다. 연구자들은 **지연 텐서 스케일링 (Delayed Tensor Scaling, DTS)**이라는 방법을 사용했습니다. 이는 사서가 이전 책을 보고 현재 책의 크기를 추측하는 것과 같습니다.
실패: 현재 책이 갑자기 거대해지면 (데이터의 '스파이크'), 사서의 추측 (이전 책 기반) 은 너무 작아집니다. 그 결과 책이 책장 가장자리에서 '잘리거나' 잘립니다.
교묘함: AI 의 내부 '성적표'(훈련 손실) 는 이런 일이 발생하고 있음을 보여주지 않았습니다. 마치 사서가 "나는 잘 정리하고 있어!"라고 말하면서 비밀리에 책의 페이지를 찢어내는 것과 같았습니다. 피해는 나중에 사서의 지식을 특정 퀴즈 (ARC 또는 MMLU 등) 로 테스트했을 때만 드러났습니다.

2. '너무 열성적인 학생' 함정 (재앙적 망각)
상상해 보세요. 사서가 새로운 책들에서 새로운 이야기를 배우는 데 너무 열성적이어서 공간을 마련하기 위해 기억 속의 고전들을 지우기 시작합니다.

문제: 연구자들은 모델에 '학습률'(학습 속도) 을 너무 공격적으로 설정하여 가르쳤습니다.
실패: 모델이 새로운 데이터를 너무 빠르게 학습하여 원래 훈련 중에 배운 상식과 사실을 완전히 잊어버렸습니다.
교묘함: 이는 압축 없이도 발생했습니다. 만약 이 높은 속도로 모델을 단순히 정상적으로 훈련시켰더라도 여전히 모든 것을 잊어버렸을 것입니다. 하지만 그들은 모델을 압축하고 있었기 때문에 실패의 원인을 속도가 아닌 압축 탓으로 돌렸습니다.

해결책: 두 가지 부분으로 이루어진 수정

연구자들은 이러한 함정을 어떻게 해결할지 파악하기 위해 여덟 가지 다른 실험을 수행했습니다. 그들은 하나만 수정하는 것만으로는 부족하며, 두 가지를 동시에 수정해야 한다는 사실을 발견했습니다.

수정 #1: '안전망' (최대 윈도우 전략)
'맹점'을 막기 위해 그들은 사서가 책 크기를 추측하는 방식을 변경했습니다.

단순히 이전 책만 보는 대신, 사서에게 지난 64 권의 책 중 가장 큰 책을 보라고 지시했습니다.
이는 '보수적인' 접근 방식입니다. 책장을 엄격하게 필요한 것보다 약간 더 크게 만듭니다 (조금 지나치게 보수적). 하지만 어떤 책도 잘리지 않도록 보장합니다. 이 작은 '추가 공간'은 실제로 모델이 안정적으로 유지되도록 도와주며, 부드러운 정규화제 역할을 합니다.

수정 #2: '냉각' (워밍업과 느린 학습)
'너무 열성적인 학생'을 막기 위해 그들은 훈련 일정을 변경했습니다.

워밍업: 처음 500 단계 동안 모델을 전혀 압축하지 않았습니다. 대신 모델이 전체 고품질 형식 (BF16) 으로 새로운 데이터에 익숙해지도록 했습니다. 이는 '배낭' 압축이 적용되기 전에 모델이 안정적인 상태로 정착할 수 있게 했습니다.
감속: 그들은 학습 속도를 극적으로 늦췄습니다 (학습률 낮춤). 이는 모델이 새로운 데이터로 인해 기존에 가치 있는 지식을 필사적으로 덮어쓰는 것을 방지했습니다.

결과

이 두 가지 수정을 결합했을 때, 결과는 **거의 손실 없음 (near-lossless)**이었습니다.

압축된 모델 (HiF8) 은 압축되지 않은 전체 크기 모델과 거의 정확히 동일한 성능을 발휘했습니다.
어려운 퀴즈에서의 성능 저하는 미미했습니다 (대부분의 경우 0.5% 미만).
결정적으로, 그들은 '안전망'만 사용하고 '너무 열성적인' 속도를 유지하면 모델이 여전히 실패한다는 것을 증명했습니다. 반대로 속도를 늦추더라도 '맹점' 자를 유지하면 실패했습니다. 두 가지 수정 모두 필수적이었습니다.

작동하지 않은 것 (그 이유)

마지막 책만 보기: 책들이 잘리게 되었습니다.
추측을 부드럽게 하기: 과거의 책들을 평균화해 보았지만, 데이터가 예측 불가능하게 변했을 때 실패했습니다.
현재 책을 즉시 확인하기: 이는 데이터를 두 번 확인해야 하므로 너무 느렸고, 책장 크기가 너무 많이 요동쳐 모델을 혼란스럽게 만들었습니다.
고속 훈련: 압축 없이도 이 방식은 모델이 모든 것을 잊게 만들었습니다.

결론

이 논문은 스마트한 AI 모델을 축소할 때, 작동 여부를 확인하기 위해 단순히 '훈련 점수'만 보면 안 된다는 것을 가르쳐 줍니다. 데이터를 측정하는 방식(잘림을 피하기 위해) 과 학습시키는 속도(망각을 피하기 위해) 에 주의해야 합니다. 데이터 크기에 대한 '안전망'과 '천천히 꾸준히'인 학습 속도를 사용하면, 거대한 두뇌를 정신을 잃지 않은 채 작은 배낭에 넣을 수 있습니다.

기술 요약: HiF8 W8A8 양자화 인식 학습을 위한 근손실 (Near-Lossless) 최대 윈도우 스케일 추정

문제 정의

리소스가 제한된 환경에서 대규모 언어 모델 (LLM) 을 배포하려면 HiF8(High-precision Float 8) 과 같은 8 비트 부동 소수점 (FP8) 포맷을 사용한 공격적인 양자화가 필요합니다. 양자화 인식 학습 (QAT) 은 사전 학습된 모델을 저비트 표현에 적응시키려는 것이지만, 교차 엔트로피 손실과 같은 표준 학습 지표로는 보이지 않는 미묘한 실패 모드를 도입합니다.

특히, 사전 학습된 모델에 QAT 를 적용하는 것은 사전 학습된 지식을 보존하면서 내부 표현을 양자화 노이즈에 적응시키는 복잡한 절충을 수반합니다. 저자들은 표준 학습 손실이 종종 성능 저하를 신호하지 못하여 HiF8 W8A8 QAT 에서 두 가지 구별되고 직교하는 실패 모드가 발생한다고 지적합니다:

$A_{max}$ 포화 (Saturation): 지연 텐서 스케일링 (DTS) 의 시간적 지연으로 인해 발생합니다. 여기서 추정된 스케일 인자는 과거 데이터에 기반합니다. 현재 단계의 실제 활성화 최대값이 예측된 스케일을 초과하면 값이 잘리게 되어 순전파 활성화가 손상되지만, Straight-Through Estimator (STE) 는 잘림이 발생한 것처럼 오해하여 그래디언트를 전달합니다.
파괴적 망각 (Catastrophic Forgetting): 지속적인 사전 학습 중 과도하게 공격적인 학습률로 인해 발생하며, 양자화 방식과 무관하게 사전 학습된 상식 지식을 덮어씁니다.

방법론

본 연구는 OpenPangu-Embedded-1B(10 억 파라미터) 모델을 HiF8 W8A8포맷으로 사용하여 수행되었습니다. 방법론은 성능 저하의 원인을 분리하기 위해 8 가지 통제된 실험을 통한 체계적인 조사를 포함합니다.

양자화 구성

포맷: HiF8 은 값의 크기에 따라 계단식 가수부 정밀도를 사용합니다 ( $|x| \le 8$ 인 경우 3 비트, $|x| \le 128$ 인 경우 2 비트, 그보다 큰 값은 1 비트).
모듈 선택: 효율성과 안정성의 균형을 맞추기 위해, 중간 21 개 Transformer 블록의 MLP 레이어 (게이트, 업, 다운 프로젝션) 만 양자화합니다. 어텐션 프로젝션, 임베딩, 레이어 노름, 그리고 경계 블록 (첫 3 개와 마지막 2 개) 은 아웃라이어 처리 및 출력 정밀도를 유지하기 위해 BF16 으로 유지됩니다.
학습 프로토콜: 실험은 FineWeb 데이터셋을 사용하며, 전역 배치 크기는 1024, 시퀀스 길이는 1024 로 10,000 스텝 동안 수행됩니다.

실험 변수

조사의 핵심은 다양한 $A_{max}$ 추정 알고리즘과 학습률을 비교하는 것입니다:

$A_{max}$ 알고리즘:
- 가장 최근 (DTS): 이전 단계의 최대값을 사용합니다.
- 지수 이동 평균 (DTS): 이동 평균을 사용합니다.
- 최대 윈도우 (DTS): 64 스텝 히스토리 윈도우 내의 최대값을 사용합니다.
- 현재 텐서 스케일링 (CTS): 현재 단계에서 최대값을 계산합니다 (두 번째 순전파가 필요함).
학습률: 실험에서는 $10^{-4}$ (초기에 BF16 베이스라인에 안전하다고 간주됨) 과 $10^{-5}$ 를 테스트했습니다.
워밍업: 양자화를 활성화하기 전에 가중치를 안정화하고 $A_{max}$ 히스토리를 채우기 위해 후속 실험에서 500 스텝 BF16 워밍업 단계를 도입했습니다.

주요 기여

본 논문은 실패 모드의 분리를 기반으로 네 가지 주요 기여를 합니다:

직교하는 실패 모드의 식별: 저자들은 HiF8 QAT 의 벤치마크 저하가 $A_{max}$ 포화 (양자화 특정 문제) 와 파괴적 망각 (학습 역학 문제) 이라는 두 가지 독립적인 원천에서 비롯됨을 입증합니다. 중요한 점은 둘 다 학습 손실만으로는 감지할 수 없으며, 하류 평가에서만 나타난다는 것입니다.
보수적인 최대 윈도우 전략: $A_{max}$ 포화를 해결하기 위해, 논문은 표준 알고리즘을 64 스텝 히스토리 윈도우에 걸친 **최대 알고리즘 (max-algorithm)**으로 대체할 것을 제안합니다. 이는 관찰 윈도우 내의 모든 단계에 대해 스케일로 인한 포화에 대한 확실한 보장을 제공합니다. 약간의 과도한 보수는 유익한 정규화 역할을 합니다.
이중 단계 학습 프로토콜: 파괴적 망각을 완화하기 위해 저자들은 500 스텝 BF16 워밍업을 followed by $10^{-5}$ 로 감소된 학습률로 QAT 를 수행하는 프로토콜을 도입합니다. 워밍업은 모델이 안정적인 가중치 영역에 도달하고 $A_{max}$ 히스토리를 대표적인 값으로 채우도록 보장하며, 낮은 학습률은 사전 학습된 지식을 덮어쓰는 것을 방지합니다.
종합적인 실패 분석: 본 연구는 이전 접근 방식이 실패한 이유를 문서화합니다:
- 가장 최근 (Most-Recent): 1 스텝 지연 포화에 시달립니다.
- 지수 이동 평균 (Exponential Smoothing): 비단조적 활성화 역학 하에서 실패합니다.
- CTS (Current Tensor Scaling): 안정적인 표현을 손상시키는 스텝별 변동을 도입합니다.
- 높은 학습률 ( $10^{-4}$ ): 양자화와 무관하게 상당한 망각을 유발합니다.

결과

최종 구성 (최대 윈도우 알고리즘 + 500 스텝 워밍업 + $lr=10^{-5}$ ) 은 동일한 학습률로 학습된 매칭된 BF16 베이스라인과 비교하여 근손실 양자화를 달성합니다:

MMLU: 0.43% 감소 (43.17% 대 베이스라인 43.36%).
HellaSwag: 0.58% 감소.
ARC-Challenge: 0.22% 감소.
학습 손실: 10,000 스텝 동안 HiF8 QAT 와 BF16 베이스라인 간의 평균 오차 비율 (APE) 은 불과 **0.11%**입니다.

특히, 실험은 어느 하나의 수정만으로는 충분하지 않음을 보여주었습니다. $lr=10^{-4}$ 에서 최대 알고리즘을 사용해도 망각으로 인해 ARC 작업에서 약 3% 감소가 발생했습니다. 반대로, 표준 가장 최근 알고리즘과 $lr=10^{-5}$ 를 사용하면 여전히 포화에 시달리게 됩니다.

중요성과 주장

본 논문은 사전 학습된 모델에 대한 성공적인 HiF8 QAT 를 위해서는 스케일 안정성과 학습 역학 간의 상호작용을 동시에 해결해야 한다고 주장합니다. 이 작업의 중요성은 다음과 같습니다:

"보이지 않는" 실패 진단: 표준 학습 손실이 QAT 품질에 대한 불충분한 지표임을 강조합니다. 이는 하류 벤치마크에서만 나타나는 포화와 망각을 가리기 때문입니다.
강건한 솔루션 제공: 보수적인 $A_{max}$ 추정 전략과 낮은 학습률 및 워밍업을 결합하면 10 억 파라미터 모델에 대해 주요 벤치마크에서 1% 미만의 감소 (근손실 성능) 를 달성할 수 있음을 입증합니다.
설계 축 명확화: $A_{max}$ 알고리즘 선택과 학습률이 고립된 하이퍼파라미터가 아닌, 상호 의존적인 중요한 설계 축임을 확립합니다.

저자들은 현재 구성이 10 억 파라미터 모델에 효과적이지만, 향후 연구는 레이어별 학습률, 적응형 워밍업, 그리고 잔여 격차를 더 좁히기 위한 고정밀 레이어 수 증가 등을 탐구할 수 있다고 결론지었습니다.