Finer is Better (with the Right Scaling)

기술 요약: 미세할수록 더 좋습니다 (적절한 스케일링과 함께)

문제 제기
데이터센터 및 엣지 아키텍처에서의 대규모 언어 모델 (LLM) 배포는 메모리 및 대역폭 병목 현상을 완화하기 위해 초저정밀도 포맷 (4 비트 이하) 에 점점 더 의존하고 있습니다. 마이크로스케일링은 데이터의 작은 블록 (예: 크기 16 또는 32) 에 개별 스케일링 인자를 적용하여 이러한 환경에서 모델 품질을 유지하는 핵심 기법입니다. 그러나 최근 문헌 [1] 에서 확인된 역설은 더 작은 블록 크기가 양자화 오차를 낮춘다는 직관적 기대와 모순됩니다. 구체적으로, E4M3 스케일링 인자를 사용하는 표준 절대 최대값 (abs-max) 스케일링을 사용할 때, 블록 크기를 줄이면 역설적으로 모델 품질이 저하되어 평균 제곱 오차 (MSE) 가 증가하고 하류 작업의 퍼플렉시티가 높아집니다. 본 논문은 이 현상의 근본적인 메커니즘을 조사하여 이것이 미세한 세분화의 고유한 한계인지, 아니면 해결 가능한 알고리즘적 문제인지를 규명합니다.

방법론
저자들은 수치 분석과 전체 모델 평가를 결합한 2 단계 조사를 수행했습니다:

1. 수치 연구: 저자들은 FP4(OCP E2M1) 를 데이터용으로, E4M3 을 스케일링 인자용으로 사용하여 다양한 블록 크기 (4, 8, 16, 32) 에 따른 양자화 동작을 분석했습니다. 이론적 MSE 동작을 격리하기 위해 정규 분포를 샘플링했습니다.
2. 스케일링 전략: 본 연구는 여러 스케일링 방법론을 평가했습니다:
   • 표준 Abs-Max: 블록 내 절대 최대값을 스케일로 사용하며, 이를 E4M3 포맷에서 표현 가능한 가장 가까운 값으로 반올림하는 기준 방법입니다.
   • Prevent-Zero: 블록 내 모든 값이 0 으로 붕괴되는 것을 방지하기 위해 스케일링 인자를 0 이 아닌 가장 작은 표현 가능한 값 ($\epsilon_{SF}$) 으로 클램핑하는 수정 사항입니다.
   • 4-over-6: 특정 블록의 MSE 를 최소화하기 위해 FP4 범위 내 두 개의 가장 큰 표현 가능한 값 (4.0 과 6.0) 중 하나를 스케일링 인자로 선택하는 알고리즘적 개입 [2] 으로, 양자화 기하학을 효과적으로 적응시킵니다.
   • 무차별 대입 검색 (Brute-Force Search): 모든 가능한 스케일링 인자를 검색하여 이론적 최소 MSE 를 찾는 최적의 기준선으로, 성능의 상한을 확립합니다.
   • 계층적 스케일링: 텐서별 전역 스케일과 로컬 블록 스케일을 포함하는 2 단계 프로세스입니다.
3. 하류 평가: 제안된 전략은 네 가지 서로 다른 LLM(Granite-3.3-8B, Llama-3.1-8B, DeepSeek-LLM-7B-Base, Qwen2.5-14B) 의 가중치 및 활성화 양자화 (특히 MLP 레이어) 에 적용되었습니다. 성능은 비양자화 기준선에 대한 퍼플렉시티 차이로 측정되었습니다.

주요 발견 및 결과
본 연구는 더 작은 블록 크기로 관찰된 저하가 미세한 세분화의 고유한 결함이 아니라, FP4(E2M1) 포맷의 거친 상위 양자화 버킷과 상호작용하는 두꺼운 꼬리 텐서 분포의 결과임을 확인했습니다.

• 영역 A(매우 작은 스케일): 표준 abs-max 스케일링은 스케일링 인자가 0 으로 언더플로우되는 경우가 빈번하여 MSE 에 급격한 피크를 생성합니다. Prevent-Zero 조정은 스케일을 가장 작은 양의 값으로 강제함으로써 이러한 지역적 오차를 완전히 제거합니다.
• 영역 B(중간 스케일): 0 방지 조치에도 불구하고, 더 작은 블록이 더 높은 MSE 를 낳는 역설적 반전이 지속됩니다. 이는 블록 내 최대값이 종종 거친 E4M3 그리드와 잘 정렬되지 않아 가장 큰 크기 버킷 (6.0) 에서 과도한 클리핑이 발생하기 때문입니다. 4-over-6 방법론은 4.0 과 6.0 스케일링 인자 사이를 적응적으로 선택함으로써 이를 해결하며, 값들이 FP4 범위의 더 균일한 부분에 적합하도록 하고 강한 클리핑을 피합니다.
• 최적 기준선: 무차별 대입 검색은 이상적인 스케일링 인자가 선택될 때 블록 크기가 감소함에 따라 MSE 가 엄격하게 개선됨을 확인하여, "미세할수록 더 좋다"는 명제가 이론적으로 타당함을 입증했습니다.
• 모델별 동작: 하류 LLM 평가에서 DeepSeek 와 Qwen 과 같은 모델은 더 작은 블록 크기로 퍼플렉시티가 개선되는 직관적인 행동을 보였습니다. 반면, Granite 과 Llama 는 표준 스케일링 하에서 블록 크기 4 와 8 에서 역설적인 저하를 나타냈습니다.
  • Prevent-Zero를 적용하면 지역적 개선이 이루어지지만, Granite 과 Llama 의 U 자형 퍼플렉시티 곡선을 완전히 해결하지는 못합니다.
  • 4-over-6을 적용하면 퍼플렉시티 격차가 크게 감소합니다 (예: 블록 크기 4 에서 Llama 의 격차를 0.725 에서 0.270 으로 감소). 이를 통해 역설이 효과적으로 제거됩니다.
  • 포맷 상호 호환성: 본 논문은 표준 E4M3 스케일링 인자를 계층적 스케일링 및 4-over-6 전략과 결합하여 사용하면 UE5M3 과 같은 커스텀 와이드 지수 포맷을 사용하는 것과 비교 가능한 결과를 얻을 수 있음을 보여줍니다. UE5M3 은 본질적으로 더 넓은 절대 범위를 제공하지만, 알고리즘적 레시피 (E4M3 + 4-over-6 + 계층적) 는 유사한 품질 개선을 달성합니다.

의의 및 주장
저자들은 저하가 블록 크기 자체가 아니라 텐서 분포와 양자화 기하학 사이의 특정 상호작용에 의해 주도됨을 입증함으로써 "블록 크기 역설"을 완전히 해결했다고 주장합니다.

• 알고리즘적 해결: 이 연구는 올바른 알고리즘적 레시피 (특히 4-over-6 및 계층적 스케일링) 를 적용하면 표준 하드웨어 준수 포맷 (예: OCP E4M3) 이 커스텀 와이드 지수 포맷 (예: UE5M3) 과 동등한 성능을 달성할 수 있음을 확립했습니다.
• 하드웨어 트레이드오프: 본 논문은 트레이드오프를 강조합니다. UE5M3 은 계층적 스케일링 없이 더 큰 유연성을 제공하지만, 4-over-6 알고리즘은 블록당 두 번의 양자화 및 MSE 계산이 필요한 계산 오버헤드를 수반합니다. 이 오버헤드는 오프라인 가중치 양자화에는 허용 가능하지만, 동적 활성화 양자화에는 prohibitive(부적절) 할 수 있습니다.
• 향후 방향: 저자들은 현재 휴리스틱이 무차별 대입 검색으로 확립된 이론적 최소 MSE 에 미치지 못한다고 지적하며, 최적 스케일 선택 알고리즘의 설계가 향후 연구의 핵심 영역임을 강조합니다.

결론적으로, 본 논문은 올바른 스케일링 전략을 통해 미세한 마이크로스케일링 세분화의 이론적 이점을 실제로 실현할 수 있으며, 다양한 LLM 아키텍처 전반에 걸쳐 견고한 하류 퍼플렉시티 개선을 가능하게 한다고 주장합니다.