기술 요약: LLM 양자화에서의 등가성 환상 (The Illusion of Equivalency in LLM Quantization)

문제 정의

사후 학습 양자화(Post-training quantization, PTQ)는 매개변수와 활성화 함수의 수치 정밀도를 낮춤으로써 자원이 제한된 환경에서 대규모 언어 모델(LLM)을 배포하기 위해 사용하는 표준 기술이다. 그러나 현재의 평가 방식은 정확도(accuracy)나 퍼플렉시티(perplexity)와 같은 집계 지표에 거의 전적으로 의존하고 있다. 저자들은 이러한 지표들이 양자화로 인해 유발된 행동적 변화를 포착하지 못한다고 주장한다. 구체적으로, 유사한 정확도나 퍼플렉시티 점수를 가진 모델이라 할지라도 개별 예시에 대한 예측에서는 상당한 발산(divergence)을 보일 수 있다. 이는 양자화된 모델이 기저 모델과 기능적으로 동일해 보이는 '등가성의 환상'을 만들어내며, 실제로는 근본적인 구조적 왜곡과 결정 수준의 불일치가 존재함에도 불구하고 이를 가린다.

방법론

본 연구는 사후 학습 양자화를 모델 매개변수에 작용하는 연산자 패밀리(operator family)로 공식화하고, 이것이 내부 어텐션 가중치와 결정 행동에 미치는 공동의 영향을 분석한다. 연구는 두 단계의 분석적 접근 방식을 채택한다:

1. 구조적 분석 (Structural Analysis): 저자들은 양자화를 어텐션 투영 행렬($W^Q, W^K, W^V, W^O$)에 작용하는 구조적 연산자로 취급한다. 이들은 다음과 같은 지표를 사용하여 구조적 편차를 정량화한다:

   • 통계적 기능량 (Statistical Functional): 가중치 분포에서 계산된 모멘트(평균, 표준편차, 왜도, 첨도).
   • 분포적 발산 (Distributional Divergence): 기저 벡터와 역양자화된 가중치 벡터 사이의 코사인 유사도(Cosine similarity), 유클리드 거리(Euclidean distance), 콜모고로프-스미르노프(Kolmogorov–KS) 통계량, 그리고 쿨백-라이블러(KL) 발산.
   • 입도 (Granularity): 분석은 모델 수준(모든 블록에 걸쳐 집계됨)과 레이어 수준(Q, K, V, O 투영 분리) 모두에서 수행된다.

2. 행동 평가 (Behavioral Evaluation): 본 연구는 결정 수준의 지표인 **정답 일치도 (Correctness Agreement, CA)**를 도입한다. CA는 기저 모델과 양자화된 변형 모델이 모두 정답을 맞힌 예시의 비율로 정의된다. 집계된 정확도와 달리, CA는 두 모델이 모두 틀린 경우를 제외하고 정답을 맞힌 결정들의 중첩(overlap)을 측정한다.

실험 설정:

• 모델: Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1, Llama-3.1-8B.
• 양자화 스킴: llama.cpp를 통해 구현되었으며, 레거시 방식(Q8_0, Q5_0, Q4_0)과 K-양자화 방식(Q6_K부터 Q2_K까지)을 포함한다.
• 데이터셋: 퍼플렉시티 측정을 위한 WikiText-2 및 C4; 다운스트림 제로샷 태스크 성능 측정을 위한 HellaSwag, Winogrande, ARC.

주요 기여

1. 연산자로서의 양자화 공식화: 본 연구는 PTQ를 변환 $T_c(\theta)$로 모델링하고, 이것이 어텐션 투영 가중치와 결정 행동에 미치는 공동 효과를 연구한다.
2. 통계 및 발산 기반 민감도 분석: 저자들은 통계적 모멘트와 분포적 거리를 사용하여 레이어별 구조적 드리프트(drift)를 정량화하는 프레임워크를 제안하며, 이를 통해 낮은 비트 폭에서의 비선형적 임계점(breakpoints)을 밝혀낸다.
3. 정답 일치도 (CA) 도입: 집계된 정확도 및 퍼플렉시티를 보완하며, 기저 모델과 양자화된 모델 간의 정답 예측 일치성을 측정하는 새로운 지표를 제시한다.
4. 포괄적인 경험적 조사: 저자들이 아는 바로는, 8비트에서 2비트에 이르기까지 레거시 및 K-양자화 스킴 모두를 가로지르는 통제된 연구로서, 블록 수준의 어텐션 투영 드리프트와 결정 행동 변화 사이의 관계를 연결한 첫 번째 연구이다.

실험 결과

1. 통계적 및 구조적 왜곡

• 높음/중간 비트 폭 (8-bit ~ 5-bit): 양자화는 통계적 특성(0에 가까운 왜도, 안정적인 첨도, 기준 표준편차)을 대체로 보존한다. 레거시 양자화(예: Q5_0)는 최소한의 구조적 영향을 보인다.
• 낮은 비트 폭 (4-bit ~ 2-bit): 공격적인 양자화, 특히 Q3_K 및 Q2_K는 뚜렷한 왜곡을 유발한다. 여기에는 증가된 왜도, 감소된 첨도, 체계적인 평균 이동, 그리고 높은 분산이 포함된다.
• 레이어 민감도: 쿼리 (Query, Q) 및 키 (Key, K) 투영은 값 (Value, V) 및 출력 (Output, O) 투영보다 양자화에 더 민감하다. 공격적인 압축(Q3_K, Q2_K) 하에서 Q와 K 레이어는 휘발적인 왜도와 붕괴되는 첨도를 보이는 반면, V와 O는 가장 낮은 비트 폭까지 상대적으로 안정적이다.
• 발산 지표: 코사인 유사도는 점진적으로 저하되는 반면, KL 발산과 KS 통계량은 낮은 비트 폭에서 급격히 증가하며, 이는 가중치 질량(weight mass)의 상당한 재분포를 나타낸다.

2. 행동 평가

• 퍼플렉시티 및 정확도: 이러한 표면적 지표들은 적절한 양자화(예: Q4_K, Q5_K) 하에서 안정적으로 유지되거나 비단조적(non-monotonic)인 행동을 보인다. 어떤 경우에는 낮은 비트 폭(예: Q3_K)이 퍼플렉시티를 더 낮게 만들기도 하지만, 이것이 행동적 일관성을 보장하지는 않는다.
• 정답 일치도 (CA): CA는 집계된 정확도보다 일관되게 낮으며, 정밀도가 떨어짐에 따라 감소한다. 정확도가 유지되는 것처럼 보일 때조차, 기저 모델과 양자화된 모델 사이의 정답 예측 중첩은 급격히 떨어진다. 이는 양자화가 단순히 정답의 총 개수를 유지할 수는 있어도, 모델이 어떤 예시를 맞히는지에 대한 결정 로직을 변화시킨다는 것을 의미한다.

의의 및 주장

본 논문은 전통적인 성능 지표와 양자화된 모델의 실제 행동적 충실도(behavioral fidelity) 사이의 근본적인 단절을 폭로한다고 주장한다.

• 등가성의 환상: 저자들은 높은 정확도나 낮은 퍼플렉시티가 양자화된 모델이 기저 모델의 결정 로직을 보존한다는 것을 보장하지 않음을 입증한다. 모델은 성능이 우수한 것처럼 보일 수 있지만, 구체적인 예측에서는 근본적으로 다를 수 있다.
• 비선형 임계점: 본 연구는 구조적 무결성이 붕괴되는 특정 임계치를 식별한다. Q4_K는 "안전한" 양자화의 상한선으로, Q3_K는 상당한 퇴보의 시작점으로, Q2_K는 구조적 및 행동적 일관성이 심각하게 훼손되는 붕괴 영역으로 정의된다.
• 구성 요소의 취약성: 연구 결과는 Q 및 K 투영이 저비트 양자화의 주요 병목 지점임을 강조하며, 이는 향후 양자화 전략이 (예: Q/K의 정밀도는 보존하면서 V/O를 압축하는 방식과 같이) 적응형 정밀도 할당을 고려해야 함을 시사한다.
• 평가 패러다임의 전환: 이 작업은 평가를 집계 지표 너머로 확장할 것을 촉구하며, 양자화된 모델이 단순히 통계적으로 유사한 것이 아니라 기저 모델과 행동적으로 정렬되어 있는지 확인하기 위해 행동적 평가(CA와 같은)와 구조적 분석을 사용할 것을 권고한다.