SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

기술 요약: SigmaScale

문제 정의

대규모 언어 모델(LLM)은 매개변수를 수십억 또는 수천억 개로 확장함으로써 놀라운 성능을 달lem 성취했지만, 이러한 성장은 높은 추론 전력 소비로 인해 기술적 접근성과 환경적 영향 측면에서 상당한 장벽을 생성합니다. 양자화(quantization), 가지치기(pruning), 지식 증류(knowledge distillation)와 같은 모델 압축 기술이 존재하지만, 많은 기술이 특수 하드웨어나 복잡한 재학습 파이프라인을 요구합니다. 저계수 분해(low-rank decomposition), 특히 절단된 특이값 분해(Trunced SVD)는 가중치 행렬 $W$를 저계수 행렬들의 곱으로 근사함으로써 하드웨어에 구애받나지 않는 대안을 제공합니다.

그러나 표준 SVD는 LLM의 맥락에서 두 가지 주요 한계에 직면합니다:

1. 분석적 최적성 결여: 에카르트-영-미르스키스키(Eckart–Young–Mirsky) 정리는 프로베니우스 노름 $||W - W'||_F$을 최소화하는 최적의 분석적 해를 제공합니다. 그러나 이러한 구조적 최소화는 신경망 가중치의 활성화 아웃라이어(activation outliers)나 네트워크의 기능적 동작을 무시하기 때문에 신경망 가중치에 대해 성능이 저하되는 경우가 많습니다.
2. 최적화의 어려움: 나이브(Naïve) SVD는 계산 비용이 높으며($O(n^3)$), 미분값이 불안정하여 경사 하강법 기반의 최적화 루틴에 통합하기 어렵습니다. 또한, 스케일링 행렬을 통해 SVD를 개선하려는 이전 방법들(예: 활성화 아웃라이어를 흡수하기 위한 방법)은 이러한 변환을 직접 학습하기보다는 분석적 유도(예: 활성화 공분산의 촐레스키 분해)에 의존합니다.

방법론: SigmaScale

저자들은 절단된 SVD 기반 압축을 돕기 위해 보조 스케일링 행렬 $S$를 학습하는 방법인 SigmaScale을 제안합니다. SigmaScale는 분석적 유도 대신, 활성화 인지 손실(activation-aware loss) 하에서 경사 하강법을 통해 스케일링 행렬을 최적화함으로써 분석적 유도 대신 이를 수행합니다.

파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 민감도 탐색(Sensitivity Probing): 압축 전, 이 방법은 전역적인 목표 압축 비율을 달성하면서 퍼플렉서티(perplexity) 증가를 최소화하기 위해 각 레이어 및 모듈(MLP 및 어텐션)에 대한 최적의 절단 랭크(truncation ranks)를 결정합니다. 이는 ASVD와 유사한 이진 탐색 알고리즘을 활용합니다.
2. 학습된 스케일링 행렬:
   • 가중치 행렬 $W \in \mathbb{R}^{m \times n}$에 대하여, 두 벡터 $d_r \in \mathbb{R}^m$와 $d_c \in \mathbb{R}^n$를 스케일링된 가우시안 분포로부터 초기화합니다.
   • 이 벡터들은 지수 함수를 통해 양의 대각 스케일링 행렬을 정의합니다: $S_r = \text{diag}(\exp(d_r))$ 및 $S_c = \text{diag}(\exp(d_c))$.
   • 가중치 행렬을 스케일링($S_r W S_c$)하고, 절단된 SVD를 수행하여 랭크-$k$ 인자들을 얻은 후, 압축된 행렬 $W'$을 재구성하기 위해 역스케일링을 적용합니다.
   • 매개변수 $d_r$과 $d_c$는 다음과 같은 활성화 인지 손실 함수를 최소화하도록 최적화됩니다:
     $$L_F = \frac{1}{mn} ||WX - W'X||_F^2$$
     여기서 $X$는 캘리브레이션 세트로부터의 활성화를 나타냅니다. 이는 압축이 단순히 구조가 아닌 모델의 기능을 보존하도록 보장합니다.
   • 참고: SVD의 불안정한 미분을 처리하기 위해, 훈련 루프는 NaN 값을 방지하기 위해 특이값 차이가 0에 가까워지는 업데이트 단계를 건너뜁니다.
3. 압축 후 미세 조정(Post-Compression Fine-Tuning): 압축 후, 모델은 가중치를 재정렬하기 위해 미세 조정을 거칩니다. 저자들은 가중치 재정렬을 위해 **지도 미세 조정(SFT)**과 압축되지 않은 교사 모델을 사용하는 **지식 증류(KD)**를 비교합니다.

주요 기여

1. 스케일링 매개변수 학습: 저자들이 아는 바로는, 분석적 유도에서 벗어나 SVD 압축 성능을 구체적으로 향상시키기 위해 행 및 열 방향 스케일링 행렬 $S$의 매개변수를 학습하는 첫 번째 연구입니다.
2. 성능 회복 분석: 본 논문은 SVD 기반 압축 맥락에서 성능 회복을 위한 KD와 SFT의 비교 분석을 제공하며, 다양한 압축 후 데이터셋을 활용합니다.
3. 커스텀 데이터셋: 저자들은 가중치 재정렬 실험을 위한 변동성을 도입하기 위해 Llama 3.1-8B Instruction 출력을 사용하여 생성된 커스텀 Alpaca 데이터셋 변형을 소개합니다.

결과 및 분석

실험은 다양한 압축 비율(0.90x, 0.75x, 0.50x 유지)에 대해 Llama 3.1 8B Instruct 및 Qwen3-8B 모델을 대상으로 수행되었습니다.

• 경쟁력: SigmaScale은 최신 SVD 기반 방법들(SVD-LLM, ASVD+)과 경쟁할 만한 수준입니다.
  • 0.90x 유지 시, SigmaScale은 두 모델 모두에서 SVD-LLM보다 퍼플렉서티를 실질적으로 개선하며 대부분의 제로샷 벤치마크 성능을 회복합니다.
  • 0.75x 유지 시, SigmaScale은 일반적으로 여러 제로샷 벤치마크를 개선하지만, 퍼플렉서티 이득은 미미합니다.
  • 0.50x 유지 시, 특히 Llama 3.1의 경우 성능이 급격히 저하됩니다. 저자들은 이 방법이 학습된 스케일링이 버려진 특이 방향(singular directions)을 보상할 수 있을 만큼 유지된 부분 공간(subspace)이 충분히 클 때 가장 효과적이라고 언급합니다. 즉, 극단적인 저계수 압축을 위한 완전한 해결책은 아닙니다.
• KD vs. SFT: KD가 회복에 더 우수하다는 일부 기존 문헌의 주장과 달리, 저자들의 결과는 특정 설정에서 SigmaScale에 대한 KD의 주요한 개선을 보여주지 않습니다.
• 내재적 랭크 감소: 저자들은 최적화 과정 중 특이값($\Sigma$)의 "유효 랭크 엔트로피(effective rank entropy)"를 분석합니다. 그들은 압축 손실의 감소와 유효 랭크 엔트로피의 감소 사이에 강한 상관관계(약 0.81–0.92)가 있음을 관찰했습니다. 이는 학습된 스케일링이 가중치 행렬의 유효 내재 랭크를 낮추어 압축 제약 조건에 더 잘 부합하게 함을 시사합니다.

의의 및 한계점

본 논문은 SigmaScale을 특히 완만한~중간 정도의 압축 영역에서 LLM 추론 비용을 줄이는 데 필요한 애플리케이션을 위한 유효한 옵션으로 포지셔닝합니다. 학습된 활성화 인지 변환을 통해 개별 모델 가중치의 구조에 적응함으로써, 분석적 방법보다 더 유연한 저계수 압축 경로를 제공합니다.

저자들은 다음과 같은 몇 가지 한계를 명시적으로 인정합니다:

• 계산 비용: 이 방법은 스케일링 행렬 훈련 중에 여전히 매 업데이트 단계마다 SVD를 계산해야 하므로 $O(n^3)$ 복잡도를 유지하며, 더 빠른 근사 SVD 대안을 탐구하지 않았습니다.
• 극단적 압축: 이 방법은 공격적인 압축(예: 0.50x) 하에서 크게 저하되며, 이는 이 방법이 극단적인 압축을 위한 해결책이라기보다 유지된 랭크 범위 내에서 절단 품질을 개선하기 위한 메커니즘임을 나타냅니다.
• 평가 범위: 평가는 퍼플렉서티와 특정 제로샷 벤치마크에 국한되어 있으며, 긴 형태의 생성(long-form generation)이나 코딩 작업에 미치는 영향은 탐구되지 않았습니다.
• 캘리브레이션 데이터: 서로 다른 캘리브레이션 분포에 대한 견고성이 공식적으로 검증되지 않았으며, Wikitext 사용은 이전 베이스라인과의 일관성을 위해 선택된 차선책임이 언급되었습니다.