기술 요약: LLM의 거대 스파이크(Massive Spikes)는 편향 벡터(Bias Vectors)이다

문제 정의

대규모 언어 모델(LLM)은 효율적인 양자화를 위해 계산 및 메모리 제약을 극복해야 하는 과제에 직면해 있다. 그러나 활성화 양자화(activation quantization)의 효용성은 **거대 스파이크(Massive Spikes)**에 의해 심각하게 저해된다. 이 스파이크는 특정 채널과 특정 토큰 의미론(흔히 저의미적 "싱크(sink)" 토큰)에 국한되어 나타나는 극단적인 활성화 값이다. 이들은 일반적인 값보다 수십 배 더 커서 동적 범위(dynamic range)를 확장시키며, 특히 정적 per-tensor 방식에서 치명적인 양자화 오류를 유발한다.

기존 연구들은 이러한 스파이크를 고차원 스칼라 편향 또는 "이상치(outliers)"로 규정해 왔으나(Sun et al., 2024; An et al., 2025), 기존의 완화 전략은 이를 단순한 수치적 이상 현상으로 취급하거나 이산적 텍스트 모달리티에 국한된 휴리스틱(예: 특정 토큰에 접두사 추가)에 의존하는 한계가 있다. 이러한 스파이크의 근본적인 기하학적 메커니즘과 모델 행동에 미치는 역할은 여전히 충분히 탐구되지 않았으며, 이는 일반화되고 견고한 양자화 프레임워크 개발을 제한하고 있다.

방법론: 편향 벡터 가설 (The Bias Vector Hypothesis)

본 연구는 거대 스파이크에 대한 이해를 진전시키기 위해 편향 벡터 가설을 제안한다. 저자들은 스파이크가 단순히 스칼라 편향이 아니라, 모델 아키텍처에 내재된 **경직되고 구조적인 벡터 편향(rigid, structural vector biases)**의 스칼라 중간체라고 주장한다.

1. 기하학적 특성 규명

메커니즘 분석을 통해, 본 논문은 RMSNorm 이후의 스파이크를 유발하는 토큰(싱크 토큰)들이 샘플 간 분산이 거의 없는 상수 형태의 경직된 벡터($\hat{x}_{sink} \to b$)로 수렴함을 입증한다. 이는 변동성이 큰 의미론적 토큰과는 구별되는 특징이다.

• 어텐션 싱크 메커니즘 (Attention Sink Mechanism): 투영 가중치($W^K$ 및 $W^Q$)가 상호작용하여 이 편향 벡터를 격리한다. $W^K$는 대조적 증폭기(contrastive amplifier) 역할을 하여 싱크 키(sink key)를 의미론적 키들과 분리하며, $W^Q$는 모든 의미론적 쿼리를 이 격리된 싱크 키로 정렬시켜 전역적 끌개(global attractor)를 형성한다.
• 밸류 상태 드레인 (Value-State Drain): 밸류 투영 행렬($W^V$)은 편향 벡터를 스펙트럼 영공간(spectral null-space)으로 투영한다. 결과적으로 생성된 밸류 벡터는 0에 가까워지며($v_{sink} \approx 0$), 이를 통해 싱크 토큰이 잔차 스트림(residual stream)에 의미론적 업데이트를 제공하지 않도록 하여 실질적인 "no-op(무작위 동작)" 연산을 가능하게 한다.
• 회전 안정성 (Rotational Stability): 모델은 회전 위치 임베딩(RoPE) 섭동에 맞서 이러한 경직된 구조를 능동적으로 보존한다. 이는 편향을 "회전 안정 구역(zones of rotational stability)"에 국지화함으로써 달성된다. 구체적으로, 회전 각도가 감쇠하는 저주파 대역(높은 채널 인덱스)과 일관된 채널 쌍(인덱스 $i$와 $i + d/2$)을 활용하여 회전에도 불구하고 크기의 강건성을 유지한다.

2. INSERTQUANT 프레임워크

싱크 토큰이 동적인 의미론적 콘텐츠가 아닌 정적인 구조적 편향으로 기능한다는 통찰을 바탕으로, 저자들은 INSERTQUANT라는 사후 학습 양자화(PTQ) 프레임works를 제안한다.

• 클램프 (Clamp): 경량 캘리브레이션 단계를 통해 싱크 토큰을 식별하고, 행렬 곱셈에 들어가기 전에 이를 0으로 외과적으로 클램핑(clamping)한다. 이를 통해 활성화 스트림에서 거대 스파이크를 제거하여, 남은 활성화 값들을 엄격히 스파이크가 없는 양자화 친화적인 상태로 만든다.
• 인서트 (Insert): 클램핑된 토큰의 기능적 역할을 복구하기 위해, 캘리브레이션에서 도출된 평균 $K$ 및 $V$ 벡터인 **템플릿 벡터(template vectors)**를 어텐션 메커니즘 입력에 직접 주입한다.
• 일반화: 특정 토큰 정체(예: <BOS>)에 의존하는 접두사 기반 방식과 달리, INSERTQUANT는 임베딩 공간에서 작동하므로 이산적 토큰 정의가 없는 비전 트랜스포머(ViT)와 같은 다른 모달리티로도 일반화가 가능하다.

주요 기여

1. 편향 벡터 가설: 본 논문은 거대 스파이크가 경직된 편향 벡터의 스칼라 중간체임을 확립한다. 스파이크의 크기는 변동할 수 있지만, 정규화된 방향은 불변하며 구조적 모델 구성 요소로서 기능함을 입증한다.
2. 메커니즘 분석: 저자들은 편향 벡터가 어떻게 어텐션 싱크와 밸류 상태 드레인을 유도하는지에 대한 정량적 기하학적 분석을 제공한다. 또한 투영 가중치($W^K, W^Q, W^V$)와의 상호작용을 상세히 설명하고, 회전 안정 구역(저주파 대역 및 일관된 쌍)에서의 편향 벡터 국지화가 구조적 보존의 증거임을 밝힌다.
3. INSERTQUANT 프레임워크: 스파이크의 체계적인 특성을 이용하는 최초의 PTQ 프레임워크를 도입한다. 구조적 편향을 콘텐츠 토큰으로부터 분리함으로써, 별도의 미세 조정 없이도 LLM과 ViT 모두에서 높은 충실도의 저비트 양자화를 달もの한다.

실험 결과

저자들은 여러 LLM(LLaMA-3.2-3B, LLaMA-2-7B/70B, Mistral-7B-v0.3)과 비전 트랜스포머(CLIP ViT-L, DINOv2 ViT-L/B)에서 INSERTQUANT를 평가한다.

• 언어 모델: 4비트 가중치/활성화/KV-캐시 정적 설정($W4A4sKV4$)에서, INSERTQUANT는 PrefixQuant와 같은 최신 기법들과 성능 면에서 대등한 결과를 보인다. 예를 들어, LLaMA-2-7B에서 INSERTQUANT는 **60.26%**의 상식 추론(CSR) 정확도와 6.31의 WikiText-2 퍼플렉시티를 달성하여, PrefixQuant(60.17% / 6.21)와 유사한 성능을 보였으며 RTN 및 회전 기반 베이스라인을 크게 상회했다.
• 비전 트랜스포머: INSERTQUANT는 ViT로 성공적으로 일반화된다. $W8A8sKV8$ 설정에서 RTN 베이스라인이 DINOv2 ViT-B에 대해 **6.00%**의 정확도로 붕괴되는 반면, INSERTQUANT는 **74.10%**의 정확도를 유지한다.
• 시스템 오버헤드: 이 프레임워크는 저장된 템플릿 벡터의 크기가 매우 작기 때문에 무시할 만한 지연 시간 오버헤드(4.69%)와 최소한의 메모리 오버헤드(13.5GB 모델 기준 0.007% 증가)만을 발생시킨다.

의의 및 주장

본 논문은 효과적인 양자화를 위해서는 LLM이 "no-op" 연산을 수행하기 위해 스파이크를 어떻게 활용하는지에 대한 메커니즘적 이해가 필요하다고 주장한다. 거대 스파이크를 수치적 이상치가 아닌 구조적 벡터 수준의 특징으로 재정의함으로써, 저자들은 이러한 아티팩트가 외과적으로 제거되고 기능적으로 복구될 수 있음을 보여준다.

본 연구의 의의는 다음과 같다:

1. 모델 이해의 심화: 스파키의 결정론적이고 경직된 성격과 RoPE와의 기하학적 조율을 밝혀냄으로써, 이를 단순한 스칼라 해석을 넘어 발전시켰다.
2. 통합된 양자화 솔루션: 텍스트 모달리티를 초월하는 프레임워크를 구축하여, 휴리스틱한 토큰 정체에 의존하지 않고 다양한 아키텍처(LLM 및 ViT)를 양자화할 수 있는 견고한 솔루션을 제공한다.
3. 하드웨어 효율성: 스파이크가 없는 순수한 활성화 공간을 가능하게 함으로써, 기존의 정적 per-tensor 양자화 방식으로는 도달하기 어려웠던 견고한 저비트 추론(예: 4비트)을 용이하게 한다.

저자들은 이론적 보증에 대해서는 겸허한 태도를 유지하며, 메커니즘적 해석과 경험적 증거를 제공하지만, 왜 훈련 과정이 본질적으로 이 특정 기하학적 해로 수렴하는지에 대한 이론적 증명을 제공하지는 않는다고 명시했다. 또한, 이러한 스파이크를 자연스럽게 억제하도록 설계된 아키텍처적 수정이 적용된 모델에는 이 방법이 불필요할 수 있음을 인정한다.