SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

기술 요약: SVD-Surgeon

문제 정의
대규모 언어 모델(LLM)은 거대한 메모리 및 계산 요구사항으로 인해 배포에 상당한 장벽을 마주하고 있습니다. 저차원 분해(Low-Rank Decomposition)인 특이값 분해(SVD)는 가중치 행렬 $\theta = U\Sigma V^\top$를 절단된 랭크 $r$로 근사함으로써 하드웨어 친화적인 압축 전략을 제공하지만, 가장 작은 특이값을 단순히 잘라내는 방식은 최적이 아닌 경우가 많습니다. 기존의 SVD 기반 방법들은 주로 가중치를 어떻게 인수분해할 것인가(예: 데이터 화이트닝 또는 중요도 재가중치 부여)와 어떤 성분을 버릴 것인가에 집중합니다. 그러나 이러한 방법들은 절단으로 인해 발생하는 정보 손실을 보상하기 위해 남은 성분들을 어떻게 복구할 것인지에 대해서는 간과하는 경우가 많습니다.

방법론: SVD-Surgeon
본 논문은 Optimal Brain Surgeon (OBS) 프레임워크를 특이값 기저(singular-value basis)로 확장하여 적용한 학습이 필요 없는(training-free) 방법론인 SVD-Surgeon을 소개합니다. 기존의 접근 방식들이 원본 가중치나 특정 인수분해 방식에서 작동하는 것과 달리, SVD-Surgeon은 특이값($\sigma_i$) 자체를 최적화해야 할 파라미터로 취급합니다.

1. 2차 손실 모델링 (Second-Order Loss Modeling):
   본 방법은 모델이 손실 최소점 근처에 있다고 가정합니다. 특이값의 변화($\delta \sigma$)에 따른 손실 변화($\delta L$)를 2차 테일러 전개를 사용하여 다음과 같이 모델링합니다:
   $$\delta L \approx \frac{1}{2} \delta \sigma^\top \bar{H} \delta \sigma$$
   여기서 $\bar{H}$는 $\ell \times \ell$ 크기의 컴팩트한 헤시안(Hessian) 행렬($\ell = \min(m, n)$)이며, 전체 가중치 공간의 헤시안을 특이값 공간으로 투영하여 유도됩니다. 결정적으로, 이 유도 과정은 $U$와 $V$가 직교(orthonormal)한다고 가정하지 않으므로, 다양한 클래스의 SVD 압축기에 적용될 수 있습니다.

2. 피셔 근사 (Fisher Approximation):
   2차 미분을 직접 계산하는 것을 피하기 위해, 헤시안 $\bar{H}$를 경험적 피셔 정보 행렬(empirical Fisher information matrix)을 사용하여 근사합니다. 이는 캘리브레이션 그래디언트($G_n = \partial L_n / \partial \theta$)를 특이값 기저로 투영하여 효율적으로 계산됩니다:
   $$\bar{H} = \frac{1}{N} \sum_{n=1}^N \bar{g}_n \bar{g}_n^\top, \quad \text{단, } \bar{g}_n = \text{diag}(U^\top G_n V)$$
   이를 통해 1차 정보만을 사용하여 전체 헤시안을 구성할 수 있습니다.

3. 폐쇄형 보상 (Closed-Form Compensation):
   제거할 특이값 집합($\sigma_C$)과 유지할 특이값 집합($\sigma_S$)이 주어졌을 때, SVD-Surgeon은 손실 증가를 최소화하는 최적의 업데이트 $\delta \sigma_S$를 구합니다. 절단에 의한 섭동을 $\delta \sigma_C = -\sigma_C$로 설정하고 $\delta \sigma_S$에 대해 제약 없는 목적 함수를 최소화함으로써, 다음과 같은 폐쇄형 업데이트 식을 도출합니다:
   $$\delta \sigma_S^\star = \bar{H}_{SS}^{-1} \bar{H}_{SC} \sigma_C$$
   이 업데이트는 제거된 값들로 인해 발생하는 손실을 흡수하도록 유지된 특이값들을 조정하며, 경사 하강법 기반의 최적화나 사후 학습 미세 조정(post-training fine-tuning) 없이 단 한 번의 단계로 분해 과정을 "외과적으로" 복구합니다.

4. 돌출도 기반 프루닝 (Saliency-Based Pruning):
   동일한 분석을 통해, 다른 값들을 최적으로 수정했을 때 해당 특이값이 제거됨으로써 발생하는 손실을 나타내는 각 특이값의 돌출도(saliency) 점수를 얻을 수 있습니다:
   $$\text{Saliency}_i = \frac{\sigma_i^2}{2 [\bar{H}^{-1}]_{ii}}$$
   이는 단순한 크기 기반 프루닝보다 원칙적이고 손실을 고려한 대안을 제공합니다.

5. 변형 모델 (Variants):

• 업데이트 전용 (Update-only, U): 호스트 압축기(예: 상위 $r$개의 특이값 유지)로부터 프루닝 세트를 상속받아 보상을 적용합니다.
• 선택 및 업데이트 (Select-and-update, S): 돌출도 점수를 사용하여 어떤 값을 제거할지 결정한 후 보상을 적용합니다.

주요 기여

• 프레임워크 확장: 본 논문은 Optimal Brain Surgeon 프레임워크를 특이값 기저로 가져와, 절단으로 인한 손실을 2차 항까지 보상하는 학습이 필요 없는 폐쇄형 업데이트를 유도했습니다.
• 범용성: 유도 과정에서 $U$와 $V$의 직교성을 가정하지 않기 때문에, SVD-Surgeon은 기존의 다양한 SVD 기반 압축기에 적용 가능한 교정 레이어 역할을 수행할 수 있습니다.
• 돌출도 지표: 단순한 크기 임계값보다 우수한, 손실을 고려한 돌출도 지표를 도입하여 어떤 특이값을 제거할지 결정합니다.

실험 결과
저자들은 SVD-LLM(선도적인 SVD 기반 압축 방법) 위에 SVD-Surgeon을 계층적으로 적용하여 평가를 진행했습니다.

• 모델: OPT 제품군 (1.3B, 2.7B, 6.7B) 및 LLaMA-2-7B.
• 지표: WikiText-2 및 C4 데이터셋에 대한 퍼플렉시티(Perplexity).
• 성능: SVD-Surgeon은 모든 모델과 압축 비율에 대해 퍼플렉시티-압축 트레이드오프를 개선했습니다. 특히, 단순 절단 시 성능 저하가 심하게 발생하는 공격적인 압축(높은 프루닝 비율) 상황에서 이득이 가장 컸습니다.
• 효율성: 이 방법은 캘리브레이션 세트를 사용하여 단 한 번의 패스로 작동하며, 경사 기반 최적화나 미세 조정을 요구하지 않습니다.

의의 및 주장
본 논문은 SVD-Surgeon을 기존 SVD 압축기 위에 "얹어서 사용할 수 있는" 모듈형 강화 도구로 포지셔닝합니다. 이 방법의 주요 의의는 가중치를 어떻게 분해할 것인가에서 절단 후 분해를 어떻게 복구할 것인가로 초점을 전환했다는 점에 있습니다. 특이값을 파라미터로 취급하고 2차 최적화를 적용함으로써, 공격적인 압축 과정에서 일반적으로 손실되는 모델 용량을 회복합니다. 저자들은 이것이 추가적인 계산 오버헤드 없이 압축 단계에서 즉시 적용 가능한 학습이 필요 없는(training-free) 솔루션임을 강조합니다. 사후 학습 미세 조정(post-training fine-tuning)은 이와 별개로 병행 가능하지만, SVD-Surgeon은 압축 단계 직후의 성능을 극대화하는 것을 목표로 합니다.