기술 요약: 1 억 미만 파라미터 양자화 인식 학습에서 스케줄 × 비트 너비 경계 매핑

1. 문제 제기

본 논문은 1 억 미만 파라미터 디코더 언어 모델에서 양자화 인식 학습 (QAT) 에 대한 최적의 학습률 (LR) 스케줄이 목표 비트 너비에 의존하는지 여부를 조사합니다. 실무자 커뮤니티의 일반적인 직관은 공격적인 가중치 양자화 (예: INT6, INT4) 가 학습 후기 단계를 불안정하게 만들어, 정밀도 (FP16) 학습에 비해 더 긴 '웜다운 (warmdown)' 단계가 필요하다고 제안합니다. 이것이 사실이라면 QAT 파이프라인은 정밀도별 별도의 하이퍼파라미터 튜닝이 필요할 것입니다. 그렇지 않다면, FP16 에서 튜닝된 단일 스케줄이 비트 너비 간에 이전되어 배포를 단순화할 수 있습니다.

본 연구는 양자화가 0 단계부터 활성화되는 '초기화부터의 QAT(from-initialisation QAT)'에 초점을 맞추며, 이는 지속적인 QAT 나 학습 후 양자화 (PTQ) 방법과 구별됩니다. 목표는 다양한 모델 크기 (3M~350M) 와 정밀도 (FP16, INT8, INT6, INT4) 에 걸쳐 LR 스케줄 (특히 웜다운 비율) 과 비트 너비 간의 상호작용을 매핑하는 것입니다.

2. 방법론

이 연구는 엄격한 2 단계 요인 실험 설계를 채택하여 총 1,345 개의 실험 셀을 구성했으며, 각 실행당 4 개의 H100 GPU 를 사용하여 MareNostrum 5 ACC 슈퍼컴퓨터에서 수행되었습니다.

모델 및 아키텍처

• 아키텍처: MobileLLM 기반의 디코더 전용 트랜스포머 패밀리 (깊고 얇은 구조, GQA, RMSNorm, ReLU2, U-net 스킵 연결).
• 크기: 2 단계는 15M, 30M, 50M, 100M 파라미터를 다룹니다. 5 단계는 이를 5M, 8M, 175M, 250M, 350M 및 더 작은 INT4 전용 크기 (3M, 10M) 로 확장합니다.
• 데이터: FineWeb 10B 코퍼스 (8192 어휘, SentencePiece BPE).
• QAT 구현: 0 단계부터 활성화된 스트레이트 스루 추정기 (STE) 를 사용한 페이크 양자화. INT8, INT6(INT8 공간에서 4 의 배수로 반올림), INT4(16 의 배수로 반올림) 에 대해 채널별 대칭 균일 양자화를 사용합니다.

실험 설계

• 2 단계 (720 개 셀): **비트 너비 (FP16, INT8, INT6) × 웜다운 비율 (0%, 10%, 33%, 50%) × LR 크기 (0.5 배, 1 배, 2 배) × 모델 크기 (4 개 크기) × 시드 (5)**를 완전히 교차한 그리드를 테스트합니다. 각 실행은 9,000 회 반복으로 진행됩니다.
• 5 단계 (625 개 셀): 2 단계 결과의 견고성을 테스트하기 위한 7 가지 제거 연구:
  • D1 (옵티마이저): Muon 을 AdamW 로 대체.
  • D2 (학습 길이): 학습을 27k 및 81k 회 반복으로 확장.
  • D3 (스케줄 형태): 선형 웜다운을 반코사인 (half-cosine) 으로 대체.
  • D4 (크기 확장): 스케일링 법칙을 검증하기 위해 홀드아웃 크기 (5M~350M) 테스트.
  • D5 및 D6 (INT4): 15M100M 에 걸쳐 INT4 를 스윕하고 3M10M 까지 확장.
  • M2 (메커니즘 프로브): '그리드 스냅핑 (grid-snapping)' 가설을 테스트하기 위해 가중치 대 양자화 그리드 거리의 고빈도 스냅샷.

지표

• 주요 지표: 압축 측면에서 직접적인 해석 가능성을 위해 검증 비트/바이트 (BPB) 를 사용.
• 통계적 접근: 시드 수준 분산을 최소화하기 위해 시드별 짝지어진 차이를 사용하여 페널티와 유의성을 계산.

3. 주요 기여 및 결과

A. FP16/INT8/INT6 에 대한 영 (Null) 결과

주요 가설인 "INT6 는 FP16/INT8 과 다른 스케줄이 필요하다"는 가설은 기각되었습니다.

• 최적 웜다운: 테스트된 모든 크기 (15M~100M) 와 비트 너비 (FP16, INT8, INT6) 에서 최적의 웜다운 비율은 일관되게 **33%(wd33)**입니다.
• 견고성: 이 영 (null) 결과는 다음에서 유효합니다:
  • 옵티마이저: Muon 과 AdamW 모두.
  • 스케줄 형태: 선형 및 반코사인 웜다운 모두.
  • 학습 길이: 9k 에서 81k 회 반복까지.
  • LR 크기: 0.5 배에서 2 배까지.
• 시사점: 실무자는 FP16 에서 LR 스케줄을 한 번 튜닝한 후 변경 없이 1 억 미만 모델의 INT8 및 INT6 QAT 에 적용할 수 있습니다.

B. INT6 페널티 스케일링 법칙

스케줄은 비트 너비와 무관하지만, 양자화의 비용 (INT6 대 FP16) 은 예측 가능한 패턴을 따릅니다:

• 로그 - 선형 스케일링: INT6 페널티는 모델 크기에 따라 로그 - 선형적으로 감소합니다 (기울기 ≈ -0.89 mBPB/log-M).
• 예측 정확도: 2 단계 크기 (15M~100M) 에 대한 피팅은 5 개의 홀드아웃 5 단계 크기 (5M, 8M, 175M, 250M, 350M) 에 대한 INT6 페널티를 95% 예측 구간 내에서 성공적으로 예측했습니다 (5/5).
• 학습 길이 의존성: 최적 스케줄 (wd33) 이 변함없음에도 불구하고, 절대적인 INT6 페널티는 학습 길이에 따라 증가합니다 (예: 30M 에서 9k 회 반복 시 +3.0 mBPB 에서 81k 회 반복 시 +6.5 mBPB 로 증가).

C. INT4 경계 및 체제 전환

INT4 의 거동은 더 높은 정밀도와 현저히 다르며, 부드러운 경사가 아닌 날카로운 전환을 보여줍니다:

• 50M 이상: 50M 및 100M 에서 wd33 이 결정적으로 최적입니다 (짝지어진 z ≈ 12~15; 10 개의 시드 중 10 개가 wd33 선호).
• 50M 미만: 3M 에서 30M 까지의 6 개 크기에서 어떤 개별 크기도 통계적으로 유의미한 스케줄 선호도를 보이지 않습니다. 평균 페널티는 시드 수준 노이즈 내에서 진동하며, wd10 이 더 나은지 wd33 이 더 나은지에 대한 합의가 없습니다.
• 전환점: "노이즈 지배 체제 (50M 미만)"에서 "결정적인 wd33 체제 (50M 이상)"로의 전환은 30M 와 50M 사이에서 발생합니다. 이 전환은 절대적인 INT4 품질 페널티가 가장 급격히 감소하는 시점과 일치합니다.

D. 메커니즘 조사 (그리드 스냅핑)

본 논문은 FP16/INT8/INT6 에 대한 스케줄 영 (null) 결과가 INT6 가중치가 학습 초기에 양자화 그리드에 "스냅 (snap)"되어 웜다운 단계에서 수정할 불안정성이 남지 않기 때문이라는 가설을 테스트합니다.

• 결과: 이 메커니즘은 기각되었습니다. 웜다운 전 측정을 보면 INT6-QAT 가중치는 FP16 가중치와 거의 동일한 거리 (비율 ≈ 1.04) 에서 INT6 그리드와 떨어져 있습니다. 비트 너비 무관성은 그리드로의 조기 수렴 때문이 아닙니다.

4. 중요성 및 실무 권장 사항

본 논문은 소형 언어 모델의 QAT 에 대한 일반적인 가정에 대한 데이터 기반의 수정을 제공합니다:

1. 스케줄 이전성: INT8 또는 INT6 를 사용하는 1 억 미만 모델의 경우, LR 스케줄은 비트 너비에 따라 재튜닝할 필요가 없습니다. FP16 에 최적화된 스케줄이 이러한 양자화 버전에도 최적입니다.
2. INT4 전략:
   • ≥50M 모델의 경우 표준 wd33스케줄을 사용하십시오.
   • <50M 모델의 경우 웜다운 비율 선택은 사실상 "노이즈" 상태입니다. wd33 이 여전히 방어 가능한 기본값이지만, 어떤 특정 대안 (예: wd10) 이 일관되게 더 우수하다는 통계적으로 유의미한 증거는 없습니다.
3. 옵티마이저 선택: 이 규모에서 Muon은 LR 재보정 후에도 모든 크기에서 AdamW 보다 33~42 mBPB 더 우수합니다.
4. 비용 인식: 스케줄은 불변이지만, INT6 의 절대적 성능 비용은 학습 길이에 따라 증가합니다. 확장된 반복 (예: 81k) 으로 학습하는 실무자는 표준 체제에 비해 더 큰 INT6 페널티 (30M 에서 약 6.5 mBPB) 를 예산에 반영해야 합니다.

본 연구는 1 억 미만 체제에서 FP16/INT8/INT6 에 대한 스케줄과 비트 너비 간의 상호작용이 부재하며, 50M 미만 INT4 에서만 날카로운 체제 전환으로 나타난다는 결론을 내립니다. FP16/INT8/INT6 무관성의 근본 메커니즘은 '그리드 스냅핑' 가설이 배제됨에 따라 여전히 열린 질문으로 남아 있습니다.