기술 요약: ARCHead

문제 정의

GPTQ, AWQ, bitsandbytes와 같은 사후 훈련 양자화(PTQ) 방식이 트랜스포머 블록을 4비트 이하로 성공적으로 압축해 왔지만, 실제 배포 파이프라인에서는 최종 언어 모델링 헤드(LM-head)를 완전 정밀도(BF16 또는 FP16)로 유지하는 경우가 많습니다. 이 헤드는 은닉 상태(hidden states)를 어휘 로짓(vocabulary logits)으로 매핑하며, 거대한 밀집 텐서(dense tensor)가 될 수 있습니다. 예를 들어, Qwen3-8B-Base에서 BF16 출력 프로젝션은 약 1.18 GB를 차지하며, 블록 양자화 이후 남은 가장 큰 밀집 파라미터 중 하나가 됩니다.

이 헤드에 표준 저비트 양자화를 적용하면 품질이 저하되는데, 이는 해당 방식이 은닉 상태의 비등방성(anisotropic) 분포를 고려하지 않고 가중치 공간의 재구성 오차(프로베니우스 노름)만을 최소화하기 때문입니다. 자주 활성화되는 방향에서의 작은 오차는 많은 어휘 로짓을 크게 교란할 수 있는 반면, 비활성 방향에서의 더 큰 오차는 영향이 미미할 수 있습니다. 결과적으로, 헤드에 대한 표준 INT4 양자화는 상당한 퍼플렉시티(perplexity) 저하를 초래합니다 (예: 밀집 헤드의 1.000 대비 Qwen3-8B-Base의 상대적 PPL 1.151).

방법론: ARCHead

저자들은 밀집한 복사본을 유지하지 않고도 밀집 BF16 헤드를 대체하도록 설계된 특화된 팩킹(packed) LM-헤드 압축 방식인 ARCHead(Activation-Metric Residual Correction)를 제안합니다. 이 방법은 헤드를 세 가지 구성 요소로 분해합니다:

1. 양자화된 저계수 코어(Quantized Low-Rank Core): 헤드는 먼저 저계수 인수분해($A_c B_c$)와 그룹별 부호 있는 INT4 잔차($Q_{SC4}$)로 근사됩니다. 이는 압축된 코어 표현을 형성합니다.
2. 활성화 메트릭 변환(Activation-Metric Transform): 모든 차원을 동일하게 취급하는 표준 방식과 달리, ARCHead는 캘리브레이션 데이터($H$)를 사용하여 활성화 기하학을 추정합니다. 이 방식은 댐핑된 공분산 행렬 $C_\lambda = H^\top H / N + \lambda \bar{c} I$를 구축하고 메트릭 변환 $T_p = Q \Lambda^p Q^\top$를 도출합니다. 이 변환은 자주 활성화되는 방향을 강조하도록 오차 공간의 가중치를 재설정합니다.
3. 저계수 잔차 교정(Low-Rank Residual Correction): 양자화된 코어에 의해 남겨진 잔차 오차($E = W - W_d$)는 $T_p$에 의해 변환됩니다. 이 변환된 잔차에 대해 rank-$r_r$ 절단 SVD(truncated SVD)를 수행하여, 활성화 유도 메트릭 내에서 최적의 저계수 교정($A_w B_w$)을 찾습니다. 그 후 인자들은 양자화(INT8)되어 팩킹됩니다.

이론적 근거: 본 논문은 고정된 양자화 코어와 가역적인 메트릭 변환이 주어졌을 때, 도출된 저계수 교정이 해당 유도된 활성화 메트릭(경험적 로짓 MSE의 댐핑된 형태) 내에서 최적의 rank-$r$ 근사임을 증명합니다. 이 최적성은 최종 인자 양자화 이전에 성립합니다.

구현: 최종 모듈은 팩킹된 양자화 코어, 스케일이 포함된 INT4 잔차, 그리고 INT8 교정 인자만을 저장합니다. 원래의 밀집 BF16 행렬은 구축 후 폐기됩니다. 추론 계산은 $\hat{Y} = H W_d^\top + (H B_w^\top) A_w^\top$로 인수분해되어, 밀집 행렬을 재구성하는 과정을 피합니다.

주요 기여

• 활성화 메트릭 공식화: 저자들은 활성화 유도 메트릭을 사용한 출력 헤드 압축 방식을 공식화하였으며, ARCHead 교정이 고정된 코어에 대해 이 특정 메트릭에서 최적의 rank-$r$ 근사를 제공함을 입증했습니다.
• 팩킹된 표현(Packed Representation): 5개 모델 제품군에 대해 대응하는 BF16 헤드의 2527% 수준인 상태 사전(state-dictionary) 풋프린트를 개발하여, 3.73.9배의 지속적인 저장 용량 감소를 달 achievement 했습니다.
• 품질 보존: ARCHead는 저장 용량에 맞춘 표준 Group INT4 양자화와 관련된 상당한 품질 손실을 방지합니다. 이는 다양한 아키텍처에 걸쳐 일반화될 수 있으며, 기존 블록 양자화기(AWK, bitsandbytes)가 남긴 밀집 헤드를 최소한의 추가 손실로 압축할 수 있습니다.
• 종합적 평가: 본 연구는 로짓 충실도, 다운스트림 정확도, 캘리브레이션 민감도, 구축 시간 및 생성 처리량을 평가하며, 지속적인 파라미터 저장 용량과 백엔드 의존적 런타임 피크 메모를 명확히 구분합니다.

실험 결과

방법론은 Qwen3-8B-Base, Gemma-4-E4B, VibeThinker-3B를 포함한 모델들에 대해 평가되었습니다.

• 저장 효율성: Qwen3-8B-Base에서 ARCHead는 헤드 저장 용량을 1187 MB(BF16)에서 304 MB(3.9배 압축)로 줄였습니다.
• 퍼플렉시티: Qwen3-8B-Base에서 ARCHead는 1.007의 상대적 퍼플렉시티를 달성하여, 밀집 BF16 헤드(1.000)에 거의 근접했습니다. 반면, 저장 용량이 일치하는 표준 Group INT4는 1.151, SVD8+INT4는 1.211을 기록했습니다.
• 하이브리드 배포: AWQ 또는 bitsandbytes NF4가 남긴 BF16 헤드를 대체할 때, ARCHead는 교차 엔트로피 손실에 단 0.006–0.007만을 추가하며, 처리량 변화는 2% 미만이었습니다.
• GPTQ 스타일 헤드와의 비교: 동일한 캘리브레이션 예산을 사용하는 GPTQ 스타일의 INT4 헤드 양자화기와 비교했을 때, ARCHead는 더 낮은 평균 상대 퍼플렉시티와 로짓 MSE를 달성하여 다양한 토큰 예산에서 GPTQ의 저하를 3349% 줄였습니다. 또한 헤드 구축 속도가 2.362.58배 더 빠릅니다.
• 충실도: ARCHead는 위치의 **93.05%**에서 밀집 top-1 토큰을 보존하며, 이는 표준 INT4 베이스라인의 약 76% 일치율을 크게 상회하는 성능입니다.
• 처리량: 생성 처리량은 측정된 모든 구성에서 2% 미만으로 변화하여, 유의미한 추론 병목 현상이 없음을 나타냈습니다.

의의 및 주장

본 논문은 ARCHead를 기존 블록 양자화기의 대체재가 아닌 보완적 솔루션으로 포지셔닝합니다. 핵심적인 의의는 LLM 배포의 구체적인 간극을 해결하는 데 있습니다: 즉, 트랜스포머 블록이 압축된 후에도 남아 있는 크고 밀집하며 종종 양자화되지 않은 출력 프로젝션 문제입니다.

저자들은 ARCHead가 실용적인 품질-저장 용량 트레이드오프를 제공하여, 표준 INT4와 유사한 저장 풋프린트를 가지면서도 품질 지표는 전체 정밀도 헤드와 거의 구별할 수 없는 수준으로 밀집 프로젝션 레이어를 압축할 수 있다고 주장합니다. 이들은 자신들의 메모리 관련 주장이 런타임 피크 메모리(활성화 및 KV 캐시 포함)와 구별되는 지속적 파라미터 저장(직렬화된 상태 사전) 및 로드 타임 메모리에 국한됨을 강조합니다.

연구의 범위는 다음과 같은 점을 인정하며 다소 제한적입니다:

• 이 방식은 출력 헤드에 특화되어 있으며, MLP나 어텐션 가중치를 압축하지 않습니다.
• 혜택은 어휘 프로젝션이 밀집하고 표준 저비트 양자화에 민감한 경우(예: Qwen)에 가장 두드러지며, Gemma-4-E4B와 같은 모델은 이미 표준 INT4에서 강력한 성능을 보입니다.
• "조건부 최적성"은 고정된 코어에 대한 양자화되지 않은 교정에 적용됩니다. 엔드 투 엔드 양자화 모듈은 이 이상적인 상태의 근사치입니다.
• 다운스트림 평가는 HellaSwag, TruthfulQA, WinoGrande와 같은 샌니티 체크(sanity checks)로 제한되며, 모든 모델 능력이나 안전 속성을 보존한다고 주장하지 않습니다.