기술 요약: 희소 텐서 분해를 통한 세밀한 매개변수 공유 (FiPS)

문제 제기

대규모 신경망, 특히 트랜스포머는 최첨단 성능을 달성하지만, 그 거대한 규모로 인해 리소스가 제한된 장치에 배포하는 데 상당한 장벽에 직면해 있습니다. 양자화, 증류, 텐서 분해 등 다양한 압축 기술이 존재하지만, 트랜스포머 모델의 경우 층 간 매개변수 공유는 상대적으로 미탐구된 영역으로 남아 있습니다. 기존 방법들은 종종 전체 블록을 공유하거나 (예: ALBERT), 이는 표현 능력을 제한하며, 공유를 위해 밀집 계수에 의존하거나 이는 압축 효율성을 제한합니다. 따라서 매개변수 수를 획기적으로 줄이면서도 높은 표현 유연성과 최소한의 정확도 손실을 유지하는 방법이 필요합니다.

방법론: 세밀한 매개변수 공유 (FiPS)

FiPS 는 블록 간 매개변수 공유, 저랭크 분해, 그리고 희소성을 단일 최적화 과정으로 결합하여 트랜스포머 멀티레이어 퍼셉트론 (MLP) 을 압축하도록 설계된 통합 프레임워크입니다.

핵심 메커니즘

이 방법은 트랜스포머 MLP 가 동일한 모양의 완전 연결 (FC) 레이어를 가진 반복적이고 동질적인 블록으로 구성되어 있다는 관찰에 기반합니다. 각 레이어에 대해 독립적인 가중치를 학습하는 대신, FiPS 는 다음과 같이 작동합니다:

1. $N$개의 트랜스포머 블록 그룹에서 가중치 행렬 ($W_1, \dots, W_N$) 을 출력 차원 ("긴 축") 을 따라 연결합니다.
2. 이 연결된 텐서를 공유 기저 $U \in \mathbb{R}^{d \times r}$와 레이어별 희소 투영 행렬 $V_i \in \mathbb{R}^{r \times p}$로 분해합니다.
3. 원래 가중치를 $W'_i = U V_i$로 재구성합니다.

주요 기술 구성 요소

• 초기화: 공유 기저 $U$와 투영 행렬 $V_i$는 연결된 가중치의 **절단된 특이값 분해 (SVD)**를 통해 초기화됩니다. 목표 랭크 $r$이 모델 차원 $d$를 초과하는 경우 (높은 매개변수 예산으로 인해), "하이브리드 초기화"가 사용됩니다: $U$의 새로운 차원은 0 으로 설정되고, $V$의 해당 차원은 점진적 학습을 허용하기 위해 감쇠 인자 $\tau$로 스케일링된 상위 특이 벡터에서 유도됩니다.
• 희소성 유도: 이 논문의 중요한 통찰은 투영 행렬 $V$에 희소성을 부과하는 것이 필수적이라는 점입니다. 밀집 계수를 사용하는 방법과 달리, FiPS 는 $V$에서 저크기 값을 가지치기합니다. 최적의 희소성 수준은 특히 더 큰 인자 행렬에 적용될 때 약 **75%**인 것으로 밝혀졌습니다.
• 최적화 전략:
  1. 공유 초기화: 연결된 가중치의 SVD 분해.
  2. 국소 오차 최소화: 작은 보정 데이터셋을 사용하여 원래 및 압축된 활성화 간의 $\ell_2$ 재구성 오차를 최소화하도록 $U$와 $V_i$를 최적화합니다. **점진적 크기 가지치기 (GMP)**를 통해 희소성이 부과됩니다.
  3. 전역 오차 최소화 (선택 사항): 더 높은 압축 비율에서 성능을 회복하기 위한 동적 희소 훈련 (RigL) 을 사용하는 엔드 투 엔드 파인튜닝 단계.
• 그룹화 전략: 이 논문은 인접한 레이어가 가장 많은 중복성을 공유한다고 규명했습니다. 최적의 성능은 연속된 블록을 그룹화 (예: DeiT-B 의 경우 4 개 그룹) 하고 LLM 의 경우 "테이퍼링" 그룹화 전략 (네트워크 양 끝에서는 작은 그룹, 중간에서는 큰 그룹) 을 사용하여 달성됩니다.

주요 기여

1. 블록 간 공유의 체계적 분석: 저자들은 공유 세밀도, 연결 방식, 희소성 패턴을 체계적으로 탐색하여 긴 축 연결과 투영 인자에 대한 희소성이 가장 낮은 재구성 오차를 산출함을 확인했습니다.
2. FiPS 알고리즘: SVD 를 통해 초기화되고 공유 기저와 희소하며 레이어별 투영을 공동으로 최적화하는 새로운 알고리즘입니다. 이는 기저가 아닌 투영 인자에 희소성을 결합하여 저랭크 분해와 독특하게 결합합니다.
3. 최첨단 압축 결과:
   • 비전 트랜스포머 (ViT): ImageNet-1k 에서 DeiT-B 와 Swin-L 을 **33%**까지 압축하며 1% 미만의 Top-1 정확도 손실을 달성합니다. 파인튜닝을 통해 압축률은 **57%**에 달합니다.
   • 대규모 언어 모델 (LLM): Llama-7B 와 Llama-3.1-8B 를 **20%**까지 압축하여 기존 SVD 기반 베이스라인 (ASVD, SVD-LLM, SVD-LLM V2) 보다 퍼플렉시티 및 하류 벤치마크에서 더 나은 성능을 보입니다.
   • 양자화 시너지: 양자화 인식 훈련 (QAT) 과 결합될 때, Gemma-2-2B 의 3 비트 FiPS 는 2 비트 QAT 단독과 동일한 8 배 압축을 달성하지만 훨씬 낮은 퍼플렉시티 (35.43 대 41.86) 를 보입니다.
4. 하드웨어 효율성: 이 방법은 구조화된 희소성 (예: 2:4 패턴) 을 지원하여 측정 가능한 추론 속도 향상 (NVIDIA A4000 에서 1.31 배) 과 메모리 감소 (최대 VRAM 0.79 배) 를 가능하게 하며, 이는 상당한 정확도 저하 없이 이루어집니다.

결과

• ViT 성능: ImageNet-1k 에서 FiPS 는 다양한 매개변수 예산 (10%~75%) 에서 적응형 원자 특징 모방 (AAFM) 과 전역 특징 모방 (GFM) 과 같은 베이스라인을 일관되게 능가합니다. 예를 들어, 40% 매개변수 예산에서 FiPS 는 DeiT-B 에서 81.69% 정확도를 달성하여 GFM(81.28%) 을 능가하는데, 이는 GFM 이 더 높은 계산 비용을 요구함에도 불구하고 가능합니다.
• LLM 성능: WikiText-2 및 C4 데이터셋에서 FiPS 는 20% 압축 시 인자 분해 기반 방법 중 가장 낮은 퍼플렉시티를 달성합니다. 또한 CIFAR-100, Flowers102 및 기타 비전 벤치마크에서 GFM 보다 우수한 전이 학습 능력을 보여줍니다.
• 절대 연구: 이 논문은 다음을 확인합니다:
  • 투영 행렬 $V$의 희소성이 결정적이며, 밀집 베이스라인은 낮은 매개변수 예산에서 붕괴됩니다.
  • SVD 초기화가 무작위 초기화보다 우월합니다.
  • 전역 가지치기 (레이어 간에 매개변수를 적응적으로 할당) 가 국소 가지치기보다 더 나은 결과를 산출합니다.
  • 투영 행렬에 대한 75% 희소성 수준이 최적입니다.

중요성 및 주장

이 논문은 세밀한 매개변수 공유를 트랜스포머 MLP 압축을 위한 실용적이고 효과적인 접근법으로 확립합니다. 저자들은 FiPS 가 양자화 인식 훈련 (QAT) 과 LoRA 와 같은 다른 압축 기술과 직교한다고 주장하며, 이는 추가적인 개선을 위해 그것들과 결합될 수 있음을 의미합니다.

중요성은 공유 기저와 희소하며 학습 가능한 투영으로 수행될 경우, 레이어 간 매개변수를 공유하는 것이 표현 능력을 희생할 필요가 없음을 입증하는 데 있습니다. 이 접근법은 기존 전략에 대한 경쟁력 있는 대안을 제공하여, 최소한의 성능 손실로 상당한 압축 (ViT 에서 최대 57%, LLM 에서 20%) 을 달성함으로써 리소스가 제한된 장치에 대규모 모델을 배포하는 것을 용이하게 합니다. 이 방법은 증류나 보조 감독 신호에 의존하지 않고 블록별 재구성 오차 최소화에 의존한다는 점에서 특히 주목할 만합니다.