1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 배포는 방대한 파라미터 수로 인해 계산 비용과 메모리 요구 사항이 커서 현실적으로 어렵습니다. 이를 해결하기 위해 **구조적 가지치기 (Structured Pruning)**가 주목받고 있으며, 특히 전체 레이어를 제거하는 **레이어 단위 가지치기 (Layer-wise Pruning)**는 채널 단위 가지치기보다 구현이 간단하고 엔드 - 투 - 엔드 가속화에 유리합니다.

그러나 기존 레이어 단위 가지치기 방법들의 주요 한계점은 다음과 같습니다:

• 지식 손실 (Knowledge Loss): 중요도가 낮다고 판단된 레이어를 단순히 제거하면, 해당 레이어에 저장된 가치 있는 지식도 함께 손실됩니다.
• 재학습 비용 (Retraining Overhead): 가지치기로 인한 성능 저하를 보상하기 위해 방대한 데이터와 계산 자원을 이용한 재학습 (Fine-tuning) 이 필수적입니다.
• 비효율적인 지식 분포: 기존 방법은 단순히 레이어의 중요도를 평가하여 제거하는 순차적 과정을 따르며, 제거될 레이어의 지식을 보존된 레이어로 이동시키는 메커니즘이 부재합니다.

2. 제안 방법론: TRSP (Two-Stage Regularization-Based Structured Pruning)

저자들은 지식 손실을 최소화하고 재학습 없이 모델을 압축하기 위해 TRSP를 제안합니다. 이 방법은 가지치기 전에 **2 단계 정규화 (Two-Stage Regularization)**를 수행하여 지식 분포를 재구성합니다.

핵심 단계:

1. 데이터 준비: WikiText-2, Alpaca 등 표준 벤치마크에서 소량의 데이터 (예: 128 개 시퀀스) 만을 샘플링합니다. 이는 계산 오버헤드를 크게 줄여줍니다.
2. 1 단계 정규화 (Layer Weight Learning):
   • 각 Transformer 레이어의 출력에 학습 가능한 가중치 $S[i]$를 곱합니다.
   • 손실 함수에 레이어 가중치들의 $\ell_1$-norm 을 정규화 항으로 추가하여, 가중치를 점진적으로 학습시킵니다.
   • 목적: 각 레이어의 중요도를 학습하고, 가장 중요도가 낮은 레이어를 식별하여 제거할 준비를 합니다.
   • 전략: $\ell_1$-norm 이 미분 불가능하므로, 보조 변수를 도입하여 제약 최적화 문제로 변환한 후 역전파 (Backpropagation) 를 통해 학습합니다.
3. 2 단계 정규화 (Knowledge Transfer):
   • 1 단계에서 중요도가 낮게 평가된 레이어 (제거 대상) 에 대해 추가 정규화를 적용합니다.
   • 메커니즘: 제거 대상 레이어의 입력 ($X_{in}$) 과 출력 ($X_{out}$) 의 차이에 $\ell_1$ 또는 $\ell_2$-norm 정규화를 적용합니다.
   • 효과: 이는 제거 대상 레이어가 입력을 거의 변화시키지 않는 **항등 함수 (Identity Function)**가 되도록 유도합니다. 결과적으로 해당 레이어에 저장된 중요한 지식이 나머지 보존된 레이어로 자연스럽게 이전 (Transfer) 됩니다.
4. 가지치기 (Pruning):
   • 정규화 과정을 거친 후, 가중치가 가장 낮고 지식이 이전된 레이어들을 직접 제거합니다.
   • 재학습 불필요: 이 과정을 거친 모델은 추가적인 재학습 (Retraining) 없이도 높은 성능을 유지합니다.

3. 주요 기여 (Key Contributions)

• 지식 보존 (Retention of Knowledge): 2 단계 정규화를 통해 가지치기 전 지식 분포를 재구성함으로써, 레이어 제거 시 발생하는 지식 손실을 효과적으로 완화합니다.
• 재학습 불필요 (Retraining-Free): 기존 방법들이 필수적으로 요구하는 비용이 큰 재학습 단계 없이, 가지치기 후에도 우수한 성능을 유지합니다.
• 효율성 (Effectiveness & Efficiency): 생성 작업 (Generation) 과 제로샷 (Zero-shot) 작업 모두에서 기존 강력한 레이어 가지치기 방법들 (SLEB, ShortGPT, LaCo 등) 을 능가하는 성능을 보이며, 모델 크기를 줄임과 동시에 엔드 - 투 - 엔드 가속화를 실현합니다.
• 최소 비용 (Minimal Cost): 정규화에 필요한 데이터 양이 매우 적고, 가지치기 후 재학습이 필요하지 않아 전체적인 컴퓨팅 비용을 획기적으로 절감합니다.

4. 실험 결과 (Results)

저자들은 Phi-2, OPT, LLaMA2, LLaMA3 등 다양한 모델에서 TRSP 를 검증했습니다.

• 성능 비교:
  • LLaMA2-7B (25% 가지치기): TRSP 는 기존 최상위 방법인 ShortGPT 대비 Perplexity(PPL) 가 20% 낮아졌으며, 평균 정확도는 밀집 모델 (Dense) 대비 불과 1% 만 감소했습니다.
  • OPT-13B (25% 가지치기): 평균 정확도가 밀집 모델 대비 1% 만 하락하는 등 뛰어난 성능 유지력을 보였습니다.
  • LLaMA2-13B: 25% 가지치기 시 PPL 5.82 를 기록하여 다른 가지치기 방법들보다 우월한 성능을 입증했습니다.
• 가속화 (Acceleration):
  • OPT-13B (50% 가지치기): 처리량 (Throughput) 은 75% 증가, 지연 시간 (Latency) 은 46% 감소했습니다.
  • LLaMA2-13B (50% 가지치기): 처리량 71% 증가, 지연 시간 45% 감소를 달성했습니다.
• 강건성 (Robustness): 가지치기 비율이 20% 에서 60% 까지 변할 때에도 TRSP 는 다른 방법들보다 낮은 PPL 을 유지하며, 다양한 데이터셋 (Alpaca, C4 등) 에서도 일관된 성능을 보였습니다.
• 비용 절감: 기존 방법들은 재학습 데이터가 8,000 개 이상 필요할 때 TRSP 는 4,000 개 이하의 데이터로도 더 좋은 성능을 내며, 재학습이 아예 필요 없는 TRSP 는 가장 효율적입니다.

5. 의의 및 결론 (Significance)

TRSP 는 LLM 의 구조적 가지치기 분야에서 중요한 패러다임 전환을 제시합니다.

1. 지식 이동 메커니즘: 단순히 "중요하지 않은 레이어를 제거"하는 것을 넘어, "제거될 레이어의 지식을 보존된 레이어로 이동시킨 후 제거"하는 전략을 통해 지식 손실 문제를 근본적으로 해결했습니다.
2. 실용적 배포: 재학습 비용과 데이터 의존성을 크게 낮춰, 리소스가 제한된 환경에서도 고품질 LLM 을 효율적으로 배포할 수 있는 길을 열었습니다.
3. 확장성: LLaMA-2-70B 와 같은 초대규모 모델에서도 기존 방법들을 압도하는 성능을 보여주어, 다양한 규모의 모델에 적용 가능한 확장성을 입증했습니다.

결론적으로, TRSP 는 LLM 의 경량화 과정에서 발생하는 성능 저하와 재학습 비용을 동시에 해결하는 혁신적인 구조적 가지치기 프레임워크로 평가됩니다.