ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 배포를 위해 사후 학습 양자화 (Post-Training Quantization, PTQ) 가 필수적이지만, 활성화 (Activation) 채널에 존재하는 극단적인 아웃라이어 (Outlier) 가 저비트 (예: W4A4, W3A3) 양자화 시 심각한 오차를 유발하는 것이 주요 병목 현상입니다. 이를 해결하기 위해 제안된 회전 기반 (Rotation-based) 양자화 방법들은 두 가지 상충되는 접근법으로 나뉩니다.

1. 전역 회전 (Global Rotation, 예: SpinQuant): 모든 레이어에 동일한 회전 행렬을 적용합니다.
   • 장점: 활성화 회전 행렬을 가중치에 오프라인으로 융합 (Fusion) 할 수 있어 추론 시 오버헤드가 거의 없습니다.
   • 단점: 모든 레이어가 하나의 기저 (Basis) 를 공유해야 하므로, 레이어별 고유한 아웃라이어 패턴을 효과적으로 처리하지 못해 표현력 (Expressivity) 이 제한됩니다.
2. 레이어별 변환 (Layer-wise Transformation): 각 레이어마다 고유한 회전 행렬을 학습합니다.
   • 장점: 레이어별 아웃라이어 패턴에 맞춰 최적화되어 정확도가 높습니다.
   • 단점: 레이어 간 기저 불일치 (Basis Mismatch) 로 인해 활성화 회전 행렬을 가중치에 융합할 수 없습니다. 이로 인해 추론 시 추가적인 온라인 계산이 필수적으로 발생하여 심각한 오버헤드를 초래합니다.

핵심 문제: 높은 정확도 (레이어별 적응) 와 높은 효율성 (오프라인 융합) 을 동시에 달성하는 방법의 부재.

---

2. 제안 방법론 (Methodology: ReSpinQuant)

저자들은 ReSpinQuant를 제안하여 위 상충 관계를 해결합니다. 핵심 아이디어는 "레이어별 전체 크기 회전 행렬을 학습하여 표현력을 극대화하되, 잔차 연결 (Residual Connection) 의 기저 불일치 문제를 저차원 부분공간 (Subspace) 회전 근사로 해결하여 효율성을 유지하는 것" 입니다.

2.1. 전체 아키텍처 및 오프라인 가중치 융합

• 레이어별 회전 할당: 각 Transformer 레이어 (MHSA, FFN) 의 입력/출력 및 내부 단계마다 고유한 학습 가능한 직교 행렬 ($R_i$) 을 할당합니다.
• 가중치 융합 (Offline Weight Merging): 회전 행렬을 이전 레이어의 출력 가중치에 수학적으로 흡수시킵니다.
  • 예: $W_{new} = R_{out}^T W R_{in}$
  • 이를 통해 주요 계산 경로 (Linear Layer) 는 표준 선형 레이어와 동일하게 유지되어 추론 시 추가 계산이 발생하지 않습니다.

2.2. 부분공간 잔차 회전 근사 (Subspace Residual Rotation Approximation)

레이어별 회전을 적용할 때 발생하는 잔차 연결 ($x_{out} = x_{in} + Block(x_{in})$) 의 기저 불일치 문제를 해결하기 위해 제안된 핵심 기술입니다.

• 실증적 관찰: Cayley 옵티마이저로 학습된 회전 행렬은 초기화 (Hadamard 행렬) 와 크게 벗어나지 않으며, 잔차 변환 행렬 $T = R_{out}^T R_{in}$ 은 단위 행렬 (Identity) 에 매우 가깝습니다. 즉, 오차 (Basis Mismatch) 는 저랭크 (Low-rank) 특성을 가집니다.
• 근사 과정:
  1. 주성분 식별: $T - I$에 대해 특이값 분해 (SVD) 를 수행하여 기저 불일치가 집중된 주된 방향 (Principal Directions) 을 찾습니다.
  2. 부분공간 투영: 전체 $D \times D$ 차원의 회전 대신, 주요 오차가 발생하는 저차원 부분공간 (Rank $r$) 만을 추출합니다.
  3. 계산 효율화: 입력 벡터를 저차원 부분공간으로 투영 ($Q^T x$) 하고, 여기서 회전 ($\hat{R}_{sub}$) 을 적용한 후 원래 차원으로 복원 ($Q$) 합니다.
  • 복잡도 감소: 기존 $O(D^2)$ 의 밀집 행렬 곱셈을 $O(D)$ (또는 $O(rD)$) 로 줄여, 추가적인 온라인 계산 오버헤드를 최소화합니다.

---

3. 주요 기여 (Key Contributions)

1. ReSpinQuant 프레임워크: 오프라인 가중치 융합을 통해 효율성을 유지하면서도, 전체 크기 (Full-size) 의 레이어별 회전 행렬을 사용하여 표현력을 극대화하는 새로운 양자화 프레임워크를 제시했습니다.
2. 실증적 분석: Cayley 옵티마이저로 학습된 회전 행렬이 초기화 상태와 매우 근접하며, 레이어 간 불일치가 저랭크 특성을 가진다는 사실을 발견하여 부분공간 근사의 타당성을 입증했습니다.
3. 효율성: 온라인 오버헤드를 저랭크 부분공간으로 제한함으로써, 계산 비용을 무시할 수준으로 낮추면서도 레이어별 적응의 이점을 모두 취했습니다.
4. SOTA 성능: W4A4 및 W3A3 양자화 설정에서 기존 전역 회전 방법 (SpinQuant) 을 능가하고, 계산 비용이 높은 레이어별 방법 (FlatQuant 등) 과 유사하거나 더 높은 정확도를 달성했습니다.

---

4. 실험 결과 (Results)

• 모델: LLaMA-2 (7B, 13B), LLaMA-3 (8B), LLaMA-3.2 (1B, 3B) 에서 평가.
• W4A4 양자화:
  • LLaMA-3 8B 기준, Perplexity (PPL) 가 7.24 로 기존 SpinQuant (7.50) 및 QuaRot (7.82) 보다 우수했습니다.
  • 4 비트 3B 모델이 16 비트 1B 모델보다 더 좋은 성능을 내는 등, 고품질 양자화가 모델 효율의 파레토 프론티어를 확장함을 보였습니다.
• W3A3 양자화 (극저비트):
  • 기존 방법들이 불안정해지는 3 비트 환경에서도 ReSpinQuant 는 안정적으로 작동했습니다.
  • LLaMA-3.2 1B 에서 PPL 을 69.70 에서 49.90 으로 대폭 개선했습니다.
• 효율성 분석:
  • 학습 파라미터: 표현력을 위해 $10.91$ 억 개의 파라미터를 학습하지만, 대부분 가중치에 융합됩니다.
  • 온라인 파라미터: 추론 시 추가적인 파라미터는 약 840 만 개 (모델 크기의 0.1%) 에 불과합니다.
  • 계산 오버헤드: 추가 MACs 는 약 32.3M 로, 전체 연산량의 약 0.2% 에 해당합니다.
  • 지연 시간 (Latency): H100 GPU 에서 SpinQuant 와 비교 시 TTIT(토큰 생성 지연) 증가폭이 약 1.7% 에 불과하여 실질적인 효율성을 입증했습니다.

---

5. 의의 및 결론 (Significance)

ReSpinQuant 는 LLM 양자화 분야에서 '정확도'와 '효율성'의 트레이드오프를 성공적으로 해소한 획기적인 방법론입니다.

• 기술적 혁신: 레이어별 적응의 이점을 살리면서 오프라인 가중치 융합을 가능하게 하여, 별도의 하드웨어 최적화 없이도 고성능 저비트 추론을 가능하게 합니다.
• 실용성: 소비자 등급 하드웨어나 엣지 디바이스에서도 W4A4, W3A3 수준의 고품질 LLM 추론을 가능하게 하여 AI 의 민주화와 Green AI(탄소 배출 감소) 에 기여합니다.
• 미래 전망: 저자들은 전용 하드웨어 커널 구현을 통해 지연 시간을 더욱 단축할 수 있으며, 향후 더 큰 규모의 모델로 확장 가능성을 열어두었습니다.

결론적으로 ReSpinQuant 는 계산 비용이 큰 레이어별 변환 방법의 정확도와 전역 회전 방법의 효율성을 모두 결합한 최적의 균형점을 제시하며, 차세대 LLM 양자화 표준으로 자리 잡을 잠재력을 가지고 있습니다.