OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

기술 요약: OffQ – 오프셋(Offsetting)을 통한 LLM 양자화의 구조적 이상치 제어

문제 정의
저비트 양자화(예: 4비트)는 메모리 점유율과 연산 비용을 줄임으로써 자원이 제한된 하드웨어에 대규모 언어 모델(LLM)을 배포하는 데 필수적입니다. 그러나 가중치, 활성화 함수(activation), KV-캐시를 동시에 저비트로 양자화하는 것(W4A4KV4)은 여전히 큰 과제로 남아 있습니다. 주요 장애물은 **활성화 이상치(activation outliers)**의 존재입니다. 이는 특정 채널에서 발생하는 희소하고 극단적으로 큰 값들로, 동적 범위(dynamic range)를 지배합니다. 이러한 이상치는 양자화 스킴이 전체 범위를 수용하기 위해 거친 단계 크기(step size)를 사용하게 만들어, 결과적으로 대부분의 활성화 분포에서 큰 반올림 오차를 발생시키고 심각한 성능 저하를 초득합니다. 회전 기반 방식(예: QuaRot, SpinQuant)은 활성화 에너지를 재분배하여 이상치 완화 효과를 개선했지만, 생성된 분포가 여전히 높은 분산을 유지하는 경우가 많아 신뢰할 수 있는 W4A4KV4 양자화를 어렵게 만듭니다. 혼합 정밀도(mixed-precision) 방식이나 비균등 양자화와 같은 기존 대안들은 실행의 이질성, 복잡한 커널, 또는 하드웨어 호환성 문제를 야기합니다.

방법론: OffQ
저자들은 혼합 정밀도 구성 요소, 비균등 양자화 레벨, 또는 계산 비용이 많이 드는 역전파 기반의 회전 학습에 의존하지 않고 구조적 활성화 이상치를 완화하도록 설계된 사후 훈련 양자화(PTQ) 방법인 OffQ를 제안합니다. 이 방법은 세 가지 핵심 단계를 통해 작동합니다:

1. Top-1 PCA를 통한 집중(Concentration):
   본 방법은 LLM의 활성화 이상치가 레이어, 토큰 ID, 시퀀스 위치 전반에 걸쳐 동일한 방향을 공유하는 뚜렷한 저차원 구조를 가진다는 관찰에 기반합니다. 이를 활용하기 위해 OffQ는 Top-1 PCA 절차를 사용합니다:

• 모든 토큰을 공분산 추정에 사용하는 대신(이는 일반적인 토큰들에 의해 방해받을 수 있음), 캘리브레이션 데이터셋에서 각 시퀀스당 $L_\infty$ 노름(norm)이 가장 큰 단일 토큰만을 선택합니다.
• 이 극단적인 토큰들로 형성된 공분산 행렬의 주 고유벡터(leading eigenvector)를 계산합니다.
• 이 고유벡터 행렬을 사용하여 활성화를 회전시킴으로써, 지배적인 이상치 분산을 첫 번째 채널(또는 몇 개의 채널)로 집중시키고 나머지 채널들을 이상치가 거의 없는 상태로 만듭니다.

2. 오프세팅을 통한 흡수(Absorption via Offsetting - Hadamard Rotation):
   이상치가 특정 채널로 집중되면, OffQ는 이를 흡수하기 위해 특화된 **Hadam드 회전(Hadamard rotation)**을 적용합니다:

• 첫 번째 행이 모두 1로 구성된($H_{1,:} = [1, 1, \dots, 1]$) 부분적 무작위 하다마드 행렬 $H$를 구축합니다.
• 이 회전을 이상치가 집중된 활성화에 적용하면, 이상치 채널의 값을 그룹 내의 모든 채널로 균등하게 재분배합니다.
• 수학적으로, 이는 이상치의 크기를 그룹 내 모든 채널에 더해지는 **상수 오프셋(constant offset)**으로 변환합니다.
• 이 오프셋은 이후 비대칭 양자화의 **제로 포인트(zero-point, $z$)**에 흡수됩니다. 결과적으로 남은 활성화 값들은 표준 편차가 감소한 평탄한 분포를 보이게 되어, 표준 저비트 균등 양자화에 매우 적합해집니다.

3. 그룹 단위 구현(Group-Wise Implementation):
   여러 개의 이상치 채널을 처리하기 위해, 채널을 그룹으로 분할합니다. 각 그룹 내에서 최상위 이상치 채널을 식별하고 이를 회전시켜 그룹 단위의 오프셋을 생성합니다. 이를 통해 각 그룹이 특정 이상치 에너지를 흡수할 수 있는 고유의 스케일과 제로 포인트를 갖는 그룹별 비대칭 양자화를 사용할 수 있습니다.

주요 기여

1. 구조적 이상치 식별: 본 논문은 LLM의 활성화 이상치가 레이어와 토큰 간에 공유되는 저차원 구조를 가지고 있으며, 이를 타겟팅된 Top-1 PCA 접근법을 통해 격리할 수 있음을 밝혀냈습니다.
2. OffQ 프레임워크: Top-1 PCA를 통한 이상치 집중과, 이상치를 양자화 제로 포인트로 변환하는 하다마드 기반 오프세팅 기술을 결합한 새로운 PTQ 방법을 제시합니다. 이를 통해 표준 균등 그리드 및 균등 정밀도 행렬을 사용하는 효과적인 W4A4KV4 양자화를 가능하게 합니다.
3. 성능 및 효율성: OffQ는 혼합 정밀도 실행의 오버헤드나 복잡한 학습된 회전 없이도 4비트 양자화에서 최첨단(SOTA) 정확도를 달립하며, 엔드 투 엔드 저비트 추론의 단순성을 유지합니다.

실험 결과
다양한 LLM 아키텍처(Llama 2, Llama 3, Llama 3.2, Qwen 2.5 시리즈)와 벤치마크(WikiText 퍼플렉시티 및 ARC-e, ARC-c, BoolQ, HellaSwag 등의 0-shot 정확도)를 대상으로 광범로한 실험이 수행되었습니다.

• 베이스라인 대비 우월성: OffQ는 회전 기반 방식(QuaRot, SpinQuant, DFRot, KurTail) 및 혼합 정밀도 방식(ResQ, QUIK)을 포함한 최첨단 베이스라인들을 일관되게 능가했습니다.
• W4A4KV4 강건성: 가중치 전용 방식(GPTQ)과 혼합 정밀도 방식이 W4A4KV4 설정에서 심각한 성능 저하를 겪은 반면, OffQ는 16비트 베이스라인에 근접한 퍼플렉시티와 정확도를 유지했습니다. 예를 들어, Llama 3-8B에서 OffQ는 6.98의 PPL을 기록하여 SpinQuant(7.4) 및 QuaRot(7.8)보다 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies): 연구를 통해 Top-1 선택 전략이 정확한 이상치 부공간(subspace) 식별에 결정적이며, 표준 PCA보다 우수함을 확인했습니다. 또한, 채널의 **정렬된 그룹화(sorted grouping)**가 지그재그 그룹화보다 효과적이며, 그룹 크기는 128일 때 성능과 메타데이터 오버헤드 사이의 최적의 균형을 제공함을 확인했습니다.

의의 및 주장
본 논문은 OffQ가 4비트 양자화를 활성화 이상치로부터 강건하게 만드는 실용적이고 효율적인 메커니즘을 제공한다고 주장합니다. "스파이크형" 이상치 문제를 관리 가능한 "오프셋" 문제로 변환함으로써, OffQ는 배포 친화적인 균등 하드웨어를 사용하여 신뢰할 수 있는 W4A4KV4 양자화를 가능하게 합니다. 저자들은 이 접근 방식이 모델의 정확도를 희생하거나 복잡한 이질적 실행 파이프라인을 요구하지 않고도, 비용 민감도가 높고 자원이 제한된 환경(예: 엣지 디바이스)에 LLM을 배포하는 것을 용이하게 한다고 강조합니다. 이 방법은 향후 다른 고급 양자화 전략과 결합될 수 있는 보완적 기술로 제시되었으나, 현재의 결과만으로도 독립적인 솔루션으로서 충분한 강점을 입증하였습니다.