기술 요약: CORP - 트랜스포머를 위한 폐형 일회성 표현 보존 구조 가지치기

1. 문제 제기

트랜스포머 기반 모델은 최첨단 성능을 달성하지만, 계산 및 메모리 비용이 과도하여 리소스가 제한된 하드웨어에서의 배포를 방해합니다. 구조 가지치기 (전체 차원 또는 하위 구조 제거) 는 실질적인 속도 향상을 제공하지만, 대부분의 기존 방법은 재학습, 반복적 최적화, 또는 레이블이 지정된 데이터와 그래디언트에 대한 접근을 필요로 합니다. 엄격한 학습 후 배포 시나리오에서는 이러한 자원이 종종 사용 불가능합니다.

이러한 제약 조건 하에서 단순한 일회성 구조 가지치기는 실패합니다. 채널이나 어텐션 차원을 제거하면 층 전체에 걸쳐 누적되는 체계적인 표현 오류가 발생하여, 중간 정도의 희소성 수준에서도 급격한 정확도 붕괴를 초래하기 때문입니다. 저자들은 이러한 실패가 단순히 중요도 순위의 질 때문이 아니라, 제거된 구성 요소에 대한 명시적인 오류 복구 부재에 기인한다고 주장합니다.

2. 방법론: CORP

저자들은 CORP(Closed-Form One-Shot Representation-Preserving Structured Pruning, 폐형 일회성 표현 보존 구조 가지치기) 를 제안합니다. 이는 가지치기를 표현 복구 문제로 재정의하는 프레임워크입니다. CORP 는 레이블, 그래디언트, 또는 미세 조정이 필요 없이 소량의 레이블이 없는 보정 데이터세트만을 활용하여 작동합니다.

핵심 철학

가지치기를 단순히 선택 작업으로만 보는 대신, CORP 는 제거된 구성 요소를 유지된 구성 요소의 아핀 함수 (affine function) 로 모델링합니다. 보정 데이터세트에 대한 폐형 릿지 회귀 (closed-form ridge regression) 해를 유도하여 누락된 기여도를 추정하고, 이러한 보상을 나머지 층의 가중치에 직접 통합합니다. 이를 통해 반복적 최적화나 추가 추론 모듈 없이도 층의 출력 분포를 보존합니다.

기술 구성 요소

이 방법은 트랜스포머의 두 가지 주요 구조를 대상으로 합니다:

A. MLP 채널 가지치기

입력 $x$가 유지된 ($x_S$) 채널과 가지치기된 ($x_P$) 채널로 분할된 $y = Wx + b$로 정의된 MLP 층의 경우:

1. 모델링: 가지치기된 활성화 $x_P$는 유지된 활성화의 아핀 함수로 근사됩니다: $x_P \approx Bx_S + c$.
2. 폐형 해: 매개변수 $(B, c)$는 보정 데이터세트 $D$에 대한 릿지 회귀를 통해 유도됩니다:
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   여기서 $\Sigma$는 활성화의 공분산 행렬을 나타냅니다.
3. 가중치 통합: 보상이 나머지 가중치에 통합됩니다:
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   이는 원래 출력의 재구성 오류를 최소화하는 축소된 차원의 표준 선형 층을 생성합니다.

B. 어텐션 차원 가지치기 (쿼리/키)

자기 어텐션의 경우, CORP 는 복잡한 결합 문제를 피하기 위해 값 (Value, $V$) 프로젝션을 intact(유지) 하고 쿼리 ($Q$) 및 키 ($K$) 프로젝션의 차원을 가지치기합니다.

1. 로그이트 복구: 원래 어텐션 로그이트는 $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$입니다. 누락된 로그이트 항 $Q_P K_P^\top$은 유지된 부분 공간을 사용하여 근사됩니다: $Q_P K_P^\top \approx Q_S M K_S^\top$. 여기서 $M$은 작은 보상 행렬입니다.
2. 폐형 해: $M$은 보정 데이터세트에 대한 릿지 회귀 문제를 해결함으로써 추정되며, 실베스터 방정식 또는 벡터화된 선형 시스템으로 공식화됩니다:
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. 가중치 통합: 행렬 $I + M$은 SVD($U\Sigma V^\top$) 를 통해 인수분해되어 쿼리 및 키 프로젝션에 통합됩니다:
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

순위 전략

보상 전에 CORP 는 간단한 데이터 기반 지표를 사용하여 제거할 채널/차원을 순위 매깁니다:

• MLP: 활성화 에너지 ($E_i = E[x_i^2]$) 와 가중치 크기 ($|W_{:,i}|^2$) 의 결합 지표.
• 어텐션: 예상 로그이트 에너지 ($s_j = E[\|q_j\|^2 \|k_j\|^2]$).
  가장 낮은 점수를 가진 채널이 가지치기됩니다.

3. 주요 기여

1. 가지치기 재정의: 저자들은 일회성 가지치기의 초점을 순수한 "순위 매기기"에서 "표현 복구"로 전환하여, 정확도 보존을 위해 보상이 결정적임을 입증했습니다.
2. 폐형 프레임워크: CORP 는 그래디언트, 레이블, 또는 미세 조정이 필요 없는 MLP 채널 및 Q/K 어텐션 차원 가지치기를 위한 통합된 폐형 해를 제공합니다.
3. 통합 보상: 이전 연구가 블록의 출력만 보상할 수 있었던 것과 달리, CORP 는 층별 표현 복구를 수행하며 어텐션 차원에 대한 특정 로그이트 공간 보상을 도입하여 모든 수정 사항을 축소된 프로젝션에 직접 통합합니다.

4. 실험 결과

실험은 ImageNet(DeiT 및 ViT 모델), WikiText-2(OPT-1.3B), 그리고 하위 작업 (NYU Depth V2 및 ADE20k 의 DINOv2) 에서 수행되었습니다.

• 정확도 보존:

  • DeiT-Huge: MLP 및 어텐션 구조 모두의 50% 가지치기 후 83.27% Top-1 정확도를 달성했습니다 (기초선인 84.97% 에서 약 1.7% 감소).
  • 확장성: 더 큰 모델 (예: DeiT-Huge) 은 더 작은 모델 (예: DeiT-Tiny) 에 비해 공격적인 희소성 하에서도 더 강한 중복성과 더 나은 정확도 유지를 보입니다.
  • 비교: CORP 는 GRAIL, SNOWS, VBP 와 같은 최첨단 방법보다 우수하거나 이를 능가합니다. 예를 들어, 50% MLP 희소성을 가진 DeiT-Base 에서 CORP 는 72.0% Top-1 을 달성한 반면, GRAIL 은 68.6%, VBP 는 66.4% 를 기록했습니다.
  • 미세 조정 없음: CORP 는 그래디언트 업데이트 없이도 소수 샷 특징 모방 미세 조정을 사용하는 DC-ViT 의 성능과 일치합니다.

• 효율성 향상:

  • DeiT-Huge: 50% 희소성에서 파라미터와 FLOPs 가 약 40–45% 감소하여 NVIDIA RTX 3090 에서 1.6 배 처리량 속도 향상을 달성했습니다.
  • OPT-1.3B: MLP 및 어텐션 구조의 30% 가지치기로 FLOPs 는 27.2%, 파라미터는 25.0% 감소했으며, 퍼플렉시티는 소폭 증가했습니다 (공동 가지치기의 경우 14.60 에서 25.41 로).
  • 하위 작업: DINOv2 에서 50% 백본 가지치기는 깊이 추정 (DINOv2-Huge 의 경우 RMSE 가 0.3308 에서 0.3167 로 개선됨) 및 분할의 하위 작업 성능을 보존했습니다.

• 보정 효율성:

  • 이 방법은 보정 데이터세트 크기에 강건하며, 더 큰 모델도 작은 보정 데이터세트 (예: 1000 개 샘플) 로도 안정적으로 유지됩니다.
  • 런타임 분석에 따르면 보정이 비용을 지배하며, 순위 매기기와 폐형 보상은 무시할 수 있는 오버헤드만 추가합니다.

5. 중요성과 주장

이 논문은 CORP 가 구조 가지치기를 표현 복구 문제로 취급함으로써 엄격한 일회성 학습 후 환경에서 효과적으로 수행될 수 있음을 보여준다고 주장합니다. 주요 중요성은 다음과 같습니다:

• 실용적 배포 가능성: 레이블이나 그래디언트가 부족하여 재학습이 불가능한 하드웨어에서 압축을 가능하게 합니다.
• 이론적 통찰: 가산 구성 요소를 제거함으로써 발생하는 "체계적 오류"가 정확도 붕괴의 주된 원인임을 강조하며, 복잡한 최적화 없이 간단한 아핀/로그이트 보상으로 이러한 오류를 복구할 수 있음을 보여줍니다.
• 광범위한 적용성: 이 방법은 비전 모델 (DeiT, ViT, DINOv2) 과 언어 모델 (OPT) 전반에 걸쳐 강력한 결과를 보여주어, 두 모달리티 모두에서 MLP 및 어텐션 표현에 강한 중복성이 있음을 시사합니다.

저자들은 다음과 같은 한계를 겸손하게 지적합니다: 독립적인 모듈 보상에 대한 가정 (교차 모듈 상호작용 무시), 균일한 희소성 비율의 사용, 그리고 양자화 - 가지치기 조합에 대한 최적화 부재. 또한 보정 데이터와 배포 데이터 간의 강한 분포 변화 하에서는 성능이 저하될 수 있다고 명시합니다.