Deterministic Differentiable Structured Pruning for Large Language Models

이 논문은 확률적 요소를 제거하고 결정론적 부드러운 대상을 직접 최적화하여 훈련 - 테스트 불일치를 줄이고 수렴 속도를 높이며 대규모 언어 모델의 구조적 가지치기 성능을 향상시킨 '결정론적 미분 가능 가지치기 (DDP)' 방법을 제안합니다.

핵심

거대한 언어 모델의 '필요 없는 짐'을 덜어주는 새로운 방법: DDP

이 논문은 거대한 인공지능 (LLM) 을 더 가볍고 빠르게 만들 수 있는 새로운 pruning(가지치기) 기술을 소개합니다. 마치 거대한 도서관에서 읽지 않는 책을 버려서 공간을 확보하는 것과 비슷하지만, 기존 방법들보다 훨씬 똑똑하고 정확하게 작동합니다.

이 기술의 핵심을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: 거대한 AI 는 너무 무겁고 비쌉니다

현재의 거대 언어 모델 (LLM) 은 엄청난 양의 지식과 능력을 가지고 있지만, 그 크기가 너무 커서 실행하려면 슈퍼컴퓨터 같은 고가의 장비와 전기가 필요합니다.

• 비유: 마치 거대한 10 층짜리 빌딩을 운영하는 것과 같습니다. 모든 층 (레이어) 과 모든 방 (뉴런) 을 다 유지하려면 관리 비용이 천문학적으로 듭니다. 우리는 "어떤 층이나 방은 실제로 거의 쓰이지 않으니 없애도 되지 않을까?"라고 생각합니다.

2. 기존 방법의 한계: "주사위를 굴리는" 방식

기존의 가지치기 기술들은 AI 의 각 부분을 '유지'할지 '삭제'할지 결정할 때 **주사위 (무작위성)**를 사용했습니다.

• 비유: 빌딩 관리자가 "이 방은 쓸모없을 것 같아"라고 생각할 때, 동전 던지기로 결정합니다.
  • 문제 1 (훈련과 실제의 불일치): 훈련할 때는 동전 던지기를 하지만, 실제 빌딩을 운영할 때는 동전을 던질 수 없습니다. 그래서 "아, 훈련할 때는 50% 확률로 썼는데, 실제론 100% 쓰거나 0% 쓰게 하니까 결과가 달라지네?"라는 혼란이 생깁니다.
  • 문제 2 (정밀도 부족): 동전 던지기는 '유지'와 '삭제'만 0 과 1 로 딱딱하게 나눕니다. 하지만 "이 방은 아주 조금만 쓰면 되는데?"라는 미묘한 조절이 불가능합니다.

3. 이 논문의 해결책: DDP (결정론적 미분 가능한 가지치기)

이 논문이 제안한 **DDP(Deterministic Differentiable Pruning)**는 주사위나 동전을 버리고, 정확한 계산과 점진적인 조절을 사용합니다.

핵심 아이디어 3 가지

① 주사위 없이, 확실한 계산으로 (Deterministic)

• 비유: 이제 동전 던지기를 하지 않습니다. 대신 **"이 방의 사용 빈도를 0.01 씩씩 정밀하게 계산"**합니다.
• 훈련할 때나 실제 사용할 때나 동일한 기준을 적용하므로, 훈련 결과와 실제 성능이 딱 맞아떨어집니다.

② 점진적인 '스무스' 조절 (Soft Surrogate)

• 비유: 방을 갑자기 '폐쇄'하거나 '개방'하는 게 아니라, 커튼을 서서히 내리는 방식입니다.
  • 처음에는 커튼을 살짝 (10%) 내리고, 훈련이 진행될수록 더 많이 (50%, 90%) 내립니다.
  • AI 는 이 과정에서 "어떤 방이 정말 필요 없는지"를 스스로 학습하게 됩니다. 마지막에 커튼이 완전히 닫히면 (0%) 그 방은 완전히 사라집니다.
• 이 방식은 AI 가 "아, 이 부분은 아주 조금만 쓰면 되겠구나"라고 미묘한 차이를 이해하게 해줍니다.

③ '이중 역할'을 하는 스마트한 관리자

• 비유: AI 는 두 가지 역할을 동시에 합니다.
  1. 실제 운영자: 현재는 모든 방을 열어두고 일을 시킵니다 (학습 중).
  2. 평가자: "이 방은 실제로는 거의 쓰이지 않으니, 나중에 치울 준비를 해라"라고 점수를 매깁니다.
• 이 두 가지 정보를 분리해서 처리하기 때문에, AI 는 학습을 방해받지 않으면서도 불필요한 부분을 찾아낼 수 있습니다.

4. 결과: 더 가볍고, 더 똑똑해짐

이 방법을 적용한 결과, 다음과 같은 놀라운 성과가 나왔습니다.

• 성능 유지: 빌딩의 20%~50% 를 없애도, AI 의 지능 (정답률) 은 거의 떨어지지 않았습니다. (기존 방법들은 20% 만 잘라내도 성능이 뚝 떨어졌습니다.)
• 속도 향상: 불필요한 층과 방을 없애니, 빌딩을 돌아다니는 시간이 훨씬 빨라졌습니다. 실제 서버에서 실행했을 때 속도가 1.5 배에서 2 배까지 빨라졌습니다.
• 적용 범위: 작은 모델부터 수십 조 개의 파라미터를 가진 초대형 모델 (Qwen3 등) 까지 모두 잘 작동했습니다.

5. 요약: 왜 이것이 중요한가요?

이 기술은 **"AI 를 더 가볍게 만드는 것"**이 단순히 '삭제'하는 게 아니라, **"어떤 부분이 진짜 중요한지 AI 스스로가 정밀하게 찾아내게 하는 과정"**임을 보여줍니다.

• 과거: "동전 던져서 불필요한 것 버리기" (성능 떨어짐, 불안정함)
• 현재 (DDP): "정밀한 저울로 무게를 재서, 정말 가벼운 것만 골라내기" (성능 유지, 안정적, 빠름)

이제 우리는 고가의 장비 없이도, 일반 스마트폰이나 개인용 컴퓨터에서도 거대하고 똑똑한 AI 를 더 빠르게 구동할 수 있는 길이 열렸습니다. 마치 거대한 도서관에서 불필요한 책만 깔끔하게 정리해서, 필요한 책만 빠르게 찾아볼 수 있게 만든 것과 같습니다.

기술 요약

논문 제목: 대규모 언어 모델을 위한 결정론적 미분 가능 구조화 가지치기 (Deterministic Differentiable Structured Pruning for Large Language Models)

이 논문은 대규모 언어 모델 (LLM) 의 추론 비용과 리소스 요구량을 줄이기 위해 제안된 새로운 구조화 가지치기 (Structured Pruning) 방법론인 **DDP (Deterministic Differentiable Pruning)**를 소개합니다. 기존 방법들의 한계를 극복하고, 더 높은 성능과 빠른 수렴을 달성하는 데 중점을 둡니다.

---

1. 문제 정의 (Problem)

LLM 을 대규모로 배포하는 것은 막대한 계산 자원과 메모리를 요구합니다. 이를 해결하기 위해 구조화 가지치기 (Attention 헤드, MLP 채널 등 전체 아키텍처 구성 요소를 제거) 가 주목받고 있습니다. 그러나 기존 접근법에는 다음과 같은 주요 문제점이 있었습니다:

• 확률적 접근의 한계: 기존 미분 가능한 가지치기 방법들은 $\ell_0$ 노름의 불연속성을 해결하기 위해 확률적 Hard-Concrete Relaxation을 주로 사용했습니다. 이는 학습 시 마스킹 (Masking) 을 확률적으로 샘플링하게 만듭니다.
• 학습 - 테스트 불일치 (Train-Test Mismatch): 학습 중에는 확률적 가중치를 사용하지만, 배포 시에는 결정론적 (Deterministic) 인 이진 마스크가 필요합니다. 이 전환 과정에서 성능 저하와 불안정한 가지치기 비율이 발생할 수 있습니다.
• 표현력 제한: 확률적 방법은 마스크 값을 0 과 1 에 가까운 유계 (bounded) 범위로 제한하여, 최적의 가지치기 패턴을 탐색하는 데 있어 표현력이 부족할 수 있습니다.
• 비효율적인 학습: 일부 방법은 가중치 전체를 미세 조정하거나 (Fine-tuning), 대규모 데이터가 필요하여 계산 비용이 매우 높습니다.

2. 방법론 (Methodology: DDP)

저자들은 **DDP (Deterministic Differentiable Pruning)**를 제안하여 위 문제들을 해결합니다. DDP 는 가중치 업데이트 없이 마스크 변수만 최적화하는 '마스크 전용 (Mask-only)' 프레임워크입니다.

핵심 기술적 요소:

1. 결정론적 소프트 서로게이트 (Deterministic Soft Surrogate):

   • 기존 확률적 샘플링을 제거하고, ReLU 게이트를 사용하여 전방 전달 (Forward Pass) 에서 마스크를 결정론적으로 생성합니다 ($m = \text{ReLU}(z)$).
   • $\ell_0$ 노름의 미분 불가능성을 해결하기 위해, **어닐링 (Annealing)**된 부드러운 서로게이트 함수를 도입합니다. 이는 학습 초기에는 부드러운 시그모이드 형태에서 시작하여, 학습이 진행됨에 따라 날카로운 $\ell_0$ 함수로 점진적으로 변합니다.

2. 확장된 마스크 표현력 (Expanded Mask Expressiveness):

   • 전방 전달 마스크 ($m$) 와 정규화를 위한 유지 점수 (Retention Score, $s$) 를 **분리 (Decouple)**합니다.
   • 전방 전달 시에는 $[0, \infty)$ 범위의 연속적인 값을 사용하여 구성 요소의 기여도를 유연하게 조절할 수 있게 하며, 정규화 목적의 점수 $s$는 $[0, 1]$ 범위로 매핑되어 가지치기 비율을 제어합니다.

3. 이진화 손실 (Binarization Loss):

   • 마스크 값이 명확하게 0 또는 1 로 수렴하도록 유도하기 위해 추가적인 이진화 정규화 항 ($L_{bin}$) 을 도입합니다. 이는 모호한 값을 줄이고 수렴 속도를 높입니다.

4. 증분 라그랑주 방법 (Augmented Lagrangian Method, ALM):

   • 목표하는 가지치기 비율 (Sparsity Budget) 을 만족시키기 위해 ALM 을 사용하여 제약 조건을 최적화 문제에 통합합니다.

5. 지식 증류 (Knowledge Distillation):

   • 원본 모델 (Teacher) 과 가지치기된 모델 (Student) 간의 KL 발산을 최소화하여, 가지치기 과정에서 모델의 능력을 보존합니다.

3. 주요 기여 (Key Contributions)

• 확률성 제거: 학습과 추론 간의 불일치를 제거하고, 더 빠른 수렴 속도를 달성하는 결정론적 최적화 프레임워크를 제안했습니다.
• 가중치 고정 (Mask-only Optimization): 사전 학습된 가중치는 고정하고 마스크만 학습하므로, 전체 모델을 미세 조정하는 것보다 훨씬 적은 계산 자원 (약 3 천만 토큰 수준) 으로 고품질의 가지치기 패턴을 찾을 수 있습니다.
• 표현력 향상: 마스크 값을 이진 범위로 제한하지 않고 확장하여 더 정교한 구조적 희소성 패턴을 발견할 수 있게 했습니다.
• 확장성: 밀집 (Dense) 모델과 전문가 혼합 (MoE) 모델 모두에 적용 가능하며, 수십 억 파라미터 규모의 모델 (Qwen3-32B 등) 에서도 효과적으로 작동함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 다양한 벤치마크 (WikiText-2, C4, Zero-shot 평가 등) 에서 DDP 를 검증했습니다.

• 성능 우위:
  • Dense Models (LLaMA-7B/13B 등): 20% 및 50% 가지치기 비율에서 기존 최첨단 방법 (LoRAPrune, SlimLLM 등) 보다 평균 정확도가 더 높고 (예: LLaMA-7B 20% 가지치기 시 평균 정확도 64.13% 달성), 퍼플렉시티 (Perplexity) 가 낮았습니다.
  • MoE Models (DeepSeekMoE-16B, Qwen3-30B-A3B): MoE 모델에서도 모든 가지치기 비율에서 최상의 성능을 보였습니다. 특히 60% 가지치기 시 기존 최강 베이스라인 대비 평균 정확도가 6.6 포인트 더 높았습니다.
• 실제 배포 속도 향상:
  • vLLM 을 사용한 엔드 - 투 - 엔드 추론 테스트에서, RTX 5090 에서 LLaMA-7B 를 50% 가지치기 시 2.20 배의 처리량 (Throughput) 향상을 달성했습니다.
  • MoE 모델 (Qwen3-30B-A3B) 에서도 60% 가지치기 시 1.51 배의 속도 향상을 확인했습니다.
• 수렴 효율성:
  • 약 3 천만 토큰의 학습 데이터로 빠르게 수렴하며, 6 천만 토큰 내에서는 성능이 포화되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 구조화 가지치기 분야에서 확률적 근사법에서 결정론적 최적화로의 전환을 주도합니다.

• 실용성: 학습 - 테스트 불일치를 해결하여 실제 배포 환경에서 안정적인 성능을 보장합니다.
• 비용 효율성: 전체 모델 재학습 없이 마스크만 최적화하여, 기존 방법 대비 훨씬 적은 계산 비용으로 고품질 압축을 가능하게 합니다.
• 범용성: Dense 모델과 MoE 모델 모두에 적용 가능하며, 다양한 크기의 모델에서 일관된 성능 향상을 보여줍니다.

결론적으로, DDP 는 대규모 언어 모델의 배포 장벽을 낮추고, 효율적인 추론을 위한 강력한 도구로 자리 잡을 것으로 기대됩니다.