ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning

이 논문은 SparseGPT 의 사전 정의된 가지치기 순서의 한계를 극복하기 위해 가지치기 손실 크기에 따라 가중치와 블록을 재배열하는 'ROSE'를 제안하여, 다양한 대규모 언어 모델에서 기존 방법보다 더 정확한 원샷 가지치기 성능을 달성함을 보여줍니다.

핵심

🌹 ROSE: 거대한 AI 를 다듬는 '지혜로운 가지치기'

안녕하세요! 오늘 소개해 드릴 논문은 거대 언어 모델 (LLM, 예를 들어 ChatGPT 같은 AI) 을 더 가볍고 빠르게 만드는 새로운 기술인 ROSE에 대한 이야기입니다.

이걸 이해하기 위해 먼저 AI 모델을 거대한 정원이라고 상상해 보세요.

1. 문제: 왜 가지치기가 필요할까요?

거대한 AI 모델은 수백 억 개의 '파라미터 (가중치)'로 이루어져 있습니다. 이는 마치 수만 그루의 나무가 빽빽하게 자란 정원과 같습니다.

• 문제: 이 정원을 그대로 유지하면 전기도 많이 먹고, 컴퓨터가 무거워져서 일반 스마트폰이나 노트북에서는 돌릴 수 없습니다.
• 해결책: 불필요한 나뭇잎 (중요하지 않은 파라미터) 을 잘라내어 정원을 가볍게 만드는 **'가지치기 (Pruning)'**를 해야 합니다.

2. 기존 방식 (SparseGPT) 의 한계: "왼쪽부터 무작정 자르기"

기존에 가장 유명한 가지치기 방법인 SparseGPT는 정원을 다듬을 때 아주 똑똑한 방법을 썼습니다.

• 방법: "어떤 나뭇잎을 자르면 정원의 모양이 가장 덜 망가질까?"를 수학적으로 계산해서 잘라냈습니다.
• 하지만: 이 방법은 왼쪽에서 오른쪽으로 순서대로 무조건 자르는 방식을 썼습니다.
• 비유: 마치 정원사가 "왼쪽부터 시작해서 무작정 자르다가, 나중에 '정원의 핵심을 이루는 무거운 나뭇가지'가 발견되면 이미 늦어버린 상황"입니다. 나중에 중요한 가지를 자르면, 이미 잘린 다른 가지들이 그 충격을 보상해 줄 수 없어서 정원의 모양이 일그러지게 됩니다.

논문에서는 특히 **세로 줄무늬 (Columnar pattern)**가 있는 부분에서 이 문제가 심각하다고 발견했습니다. 마치 나무 줄기처럼 특정 방향으로 뭉쳐 있는 중요한 가지들이 있는데, 순서대로 자르다 보면 그걸 놓치는 것입니다.

3. ROSE 의 해결책: "가장 위험한 가지부터 먼저 자르기"

이 논문이 제안한 ROSE는 이 문제를 해결하기 위해 '순서를 바꾸는' 지혜를 더했습니다.

ROSE 의 핵심 아이디어:

"정원을 다듬을 때, 가장 많이 흔들릴 것 같은 (오류가 날 것 같은) 가지를 가장 먼저 잘라내어, 나중에 그 충격을 보상해 줄 수 있는 다른 가지들을 남겨두자!"

이를 위해 ROSE 는 세 가지 단계로 작동합니다:

① 미리 시험해보기 (Pre-pruning)

실제로 자르기 전에, "어떤 가지를 자르면 정원이 가장 크게 흔들릴까?"를 미리 시뮬레이션해 봅니다.

• 비유: 정원사가 가위질을 하기 전에, "이 가지를 자르면 전체 나무가 쓰러질까?"를 살짝 흔들어 보고 점수를 매기는 것입니다.

② 두 단계 재배열 (Two-level Reordering)

점수가 매겨진 가지들을 다시 정렬합니다.

1. 작은 그룹 내 재배열: 작은 덩어리 (블록) 안에서 가장 위험한 가지를 먼저 자를 수 있도록 순서를 바꿉니다.
2. 큰 그룹 재배열: 큰 덩어리 (블록) 들 사이에서도 가장 위험한 덩어리를 먼저 처리하도록 순서를 바꿉니다.

• 비유: "가장 무거운 돌을 먼저 들어 올려서, 나중에 다른 돌로 그 무게를 지탱할 수 있도록 준비하는 것"과 같습니다.

③ 자동으로 찾기 (Columnar Layer Identification)

ROSE 는 정원의 어떤 부분이 '세로 줄무늬'처럼 중요한 가지가 뭉쳐 있는지 자동으로 감지합니다. 그런 부분에만 이 지능적인 순서 변경을 적용하고, 나머지는 기존 방식을 그대로 써서 시간을 아낍니다.

4. 결과: 더 작고, 더 똑똑한 AI

이 방법을 적용한 결과, 기존 방식 (SparseGPT) 보다 훨씬 더 많은 가지 (파라미터) 를 잘라내면서도 정원의 모양 (AI 의 성능) 이 거의 변하지 않았습니다.

• 실제 성과: LLaMA, Mistral 같은 최신 AI 모델에서 테스트했을 때, 기존 방법보다 성능이 더 좋았고, 특히 80% 이상을 잘라내는 극단적인 상황에서도 AI 가 여전히 똑똑하게 작동했습니다.
• 속도: 순서를 바꾸는 작업이 추가되었지만, 그 시간은 매우 짧아 전체적인 처리 속도는 거의 변하지 않았습니다.

📝 한 줄 요약

ROSE는 거대한 AI 모델을 다듬을 때, **"무작정 왼쪽부터 자르지 말고, 가장 위험한 부분부터 먼저 잘라내어 나중에 그 충격을 보상할 수 있도록 순서를 지혜롭게 바꾼다"**는 새로운 가지치기 기술입니다.

이 기술 덕분에 우리는 더 가볍고 빠른 AI 를 언제 어디서나 사용할 수 있게 될 것입니다! 🌱✨

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 배포 효율성을 높이기 위해 모델 경량화 기법 중 하나인 프루닝 (Pruning) 이 널리 사용되고 있습니다. 특히, 재학습 없이 한 번에 가중치를 제거하는 One-shot Pruning 기법 중 SparseGPT 는 2 차 미분 정보 (Hessian) 를 활용하여 높은 정확도를 유지하며 가중치를 제거하는 선두 주자입니다.

그러나 SparseGPT 는 고정된 왼쪽에서 오른쪽 (left-to-right) 순서로 블록 단위의 가중치를 프루닝합니다. 이 방식은 다음과 같은 한계를 가집니다:

• 열 패턴 (Columnar Pattern) 문제: LLM 의 일부 레이어 (특히 Self-attention 의 출력 프로젝션 레이어) 는 입력 채널 방향으로 가중치 분포가 특정 열 (column) 블록에 집중되는 '열 패턴'을 보입니다.
• 부적절한 제거 순서: SparseGPT 의 고정된 순서는 이러한 열 패턴을 고려하지 않아, 제거 시 오차 (pruning error) 가 큰 가중치를 나중에 제거하게 됩니다.
• 보상 능력 저하: SparseGPT 는 제거된 가중치의 오차를 남은 가중치들의 조합으로 보상합니다. 오차가 큰 가중치를 나중에 제거하면, 이를 보정할 수 있는 남은 가중치들이 이미 줄어들어 최종 재구성 오차 (reconstruction error) 가 급격히 증가합니다.

2. 제안 방법: ROSE (Methodology)

저자들은 프루닝 순서가 최종 모델 성능에 결정적인 영향을 미친다는 점을 발견하고, 이를 해결하기 위해 ROSE (Reordered SparseGPT) 를 제안합니다. ROSE 는 SparseGPT 프레임워크를 기반으로 하되, 프루닝 순서를 최적화하는 두 단계의 재배열 (Reordering) 전략을 도입합니다.

핵심 단계

1. 사전 프루닝 (Pre-pruning) 및 손실 추정:

   • 실제 프루닝을 수행하기 전에, 초기 가중치의 중요도 (Magnitude × Activation, Wanda 방식) 를 기반으로 제거될 가능성이 높은 가중치들을 식별합니다.
   • 이를 통해 각 열 (column) 과 블록 (block) 단위의 잠재적 프루닝 손실 (pruning loss) 을 추정합니다.

2. 이중 수준 재배열 (Two-level Reordering):

   • 열 재배열 (Column Reordering): 각 블록 내에서, 추정된 손실이 큰 열부터 작은 순서대로 정렬합니다.
   • 블록 재배열 (Block Reordering): 전체 모델에서, 손실이 큰 블록부터 작은 순서대로 정렬합니다.
   • 원리: 오차가 큰 가중치를 가장 먼저 제거함으로써, 오차 보상을 위해 사용할 수 있는 남은 가중치 (adjustable parameters) 를 최대한 많이 확보합니다.

3. 열 패턴 레이어 자동 식별 (Columnar Layer Identification):

   • 모든 레이어에 재배열을 적용하는 것은 비효율적일 수 있으므로, 열 패턴이 존재하는 레이어만 식별하여 적용합니다.
   • 블록 손실의 상대적 범위 (Relative Range of Block Loss, $R_{rel}$) 를 지표로 사용합니다.
     • $R_{rel} = \frac{\max(L^{(k)}) - \min(L^{(k)})}{\text{mean}(L^{(k)})}$
   • 이 값이 임계값 (논문에서는 0.5) 을 초과하면 해당 레이어를 '열 패턴 레이어'로 간주하고 재배열을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 프루닝 순서의 중요성 규명: SparseGPT 기반의 One-shot 프루닝에서 정확도를 결정짓는 핵심 요소가 프루닝 순서임을 최초로 규명하고 이를 체계적으로 연구했습니다.
2. 최적화된 프루닝 순서 제안: 열 패턴을 보이는 레이어에 대해 손실이 큰 가중치를 우선적으로 제거하는 ROSE 알고리즘을 개발했습니다.
3. 자동 식별 메커니즘: 블록 손실의 변동 범위를 기반으로 열 패턴 레이어를 자동으로 식별하는 지표를 제안하여, 전 모델에 대한 적응형 재배열 전략을 가능하게 했습니다.

4. 실험 결과 (Results)

저자들은 LLaMA2 (7B/13B/70B), LLaMA3 (8B), Mistral-7B 등 다양한 최신 LLM 에서 ROSE 를 평가했습니다.

• 재구성 오차 (Reconstruction Error):
  • ROSE 는 SparseGPT 를 포함한 기존 방법들 (Magnitude, Wanda, DSnoT, OATS) 보다 모든 희소도 (Sparsity) 수준에서 더 낮은 재구성 오차를 기록했습니다.
  • 특히 고희소도 (예: 80~90%) 환경에서 오차 감소 효과가 두드러졌습니다.
• 벤치마크 성능 (Perplexity & Zero-shot Tasks):
  • Perplexity: WikiText-2 데이터셋에서 ROSE 는 SparseGPT 보다 낮은 Perplexity 를 달성했습니다. (예: LLaMA3-8B, 80% 희소도에서 Perplexity 를 203.45 → 172.14 로 대폭 개선).
  • Zero-shot 태스크: BoolQ, WinoGrande, ARC 등 7 가지 일반 상식 태스크에서 ROSE 가 SparseGPT 보다 평균적으로 더 높은 정확도를 보였습니다. 특히 LLaMA2-7B 기준 ARC-Challenge/Easy 태스크에서 1.5% 이상 우위를 보였습니다.
• 반구조화 프루닝 (Semi-structured Pruning):
  • 2:4 및 4:8 패턴의 반구조화 프루닝에서도 ROSE 가 SparseGPT 보다 우월한 성능을 입증했습니다.
• 연산 비용:
  • ROSE 는 SparseGPT 대비 프루닝 손실 계산 및 재배열 단계가 추가되지만, 전체 프루닝 시간은 LLaMA2-7B 기준 4.76 분에서 5.15 분으로 매우 미미하게만 증가하여 실용성이 높습니다. 추론 가속화 (Inference Acceleration) 측면에서도 기존 SparseGPT 와 유사한 성능을 유지합니다.

5. 의의 및 결론 (Significance)

ROSE 는 대규모 언어 모델의 One-shot 프루닝 분야에서 프루닝 순서 최적화라는 새로운 관점을 제시했습니다. 기존의 고정된 순서 방식이 가진 한계를 극복하여, 오차가 큰 가중치를 먼저 제거함으로써 보상 능력을 극대화하는 원리를 증명했습니다.

이 연구는 재학습 없이도 고품질의 경량화 모델을 생성할 수 있는 효율적인 방법을 제공하며, 특히 열 패턴을 가진 레이어가 많은 현대적 LLM 아키텍처에서 모델의 성능 저하를 최소화하는 데 중요한 기여를 합니다. 또한, 재배열 과정이 추론 시 추가적인 오버헤드를 발생시키지 않아 실제 배포 환경에서도 즉시 적용 가능한 실용적인 솔루션입니다.