당신에게 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 거대하고 아주 똑똑한 로봇 뇌가 있다고 상상해 보세요. 과학자들은 이것을 거대 언어 모델(LLM)이라고 부릅니다. 이 뇌들은 정말 놀랍지만, 마치 깨어나기 위해 성 하나 분량의 황금을 필요로 하는 드래곤처럼 엄청나게 무겁고 전기를 갈구합니다. 너무 크기 때문에 들고 다니거나 일반 컴퓨터에서 실행하기가 어렵습니다. 이를 해결하기 위해 연구자들은 이 뇌들을 "축소"하려고 노력해 왔습니다. 한 가지 인기 있는 방법은 "가지치기(pruning)"라고 불리는 것입니다. 가지치기를 분재 나무를 다듬는 것에 비유해 보세요. 나무가 여전히 똑같이 보이고 똑같이 작동하기를 바라며, 필요 없는 가지들을 잘라내어 나무를 더 작고 빠르게 만드는 것입니다. 하지만 여기 까다로운 부분이 있습니다. 모든 가지가 다 똑같지는 않다는 점입니다. 어떤 가지는 나무의 형태를 유지하는 데 필수적이지만, 어떤 것들은 그저 여분의 잎사귀일 뿐입니다. 만약 잘못된 가지를 자르면 나무는 죽고 맙니다. 만약 올바른 가지를 자른다면, 당신은 여전히 열매를 맺는 작고 빠른 나무를 얻게 될 것입니다. 큰 문제는, 내부의 천재성을 죽이지 않고 정확히 어떤 가지를 잘라야 할지 어떻게 아느냐는 것입니다.
여기에 디지털 자연주의자처럼 완벽하고 작은 뇌를 진화시키려는 새로운 방법인 DarwinLM이 등장했습니다. 이 방식은 단순히 어떤 부분을 자를지 추측하는 대신, 자연이 가장 적합한 동물을 선택하는 방식에서 영감을 얻은 과정을 통해 모델이 스스로 "진화"하도록 합니다. 연구자들은 거대한 모델에서 시작하여, 각기 다른 절단 패턴을 가진 약간씩 다른 "자손" 버전들을 많이 만들어냅니다. 그런 다음, 이 자손들이 여전히 빠르게 달리고 명확하게 생각할 수 있는지 확인하기 위해 짧고 가벼운 훈련 테스트, 즉 단거리 경주를 치르게 합니다. 승자들은 다음 세대를 만들기 위해 살아남고, 패자들은 버려집니다. 이 순환 과정은 모델이 크기와 지능 사이의 완벽한 균형을 찾을 때까지 천천히 반복됩니다. 논문은 이러한 진화적 접근 방식이 단순히 모든 부분에서 균등하게 깎아내는 것(예를 들어 모든 층에서 동일한 양을 잘라내는 것)보다 훨씬 더 낫다는 것을 보여줍니다. 실제로 DarwinLM은 Llama-2와 Llama-3.1 같은 모델들을 지능을 거의 그대로 유지하면서 절반 크기로 줄일 수 있으며, 이전 방식들보다 훨씬 적은 훈련 데이터만을 사용합니다. 예를 들어, 다른 유명한 방식이 작은 모델을 훈련하는 데 500억 개의 단어가 필요했던 반면, DarwinLM은 단 100억 개만으로도 더 나은 결과를 달 achievement 했습니다. 심지어 이 방식은 복잡한 "전문가 혼합(Mixture of Experts)" 모델에도 작동하여, 근육을 잃지 않고도 지방을 걷어낼 수 있음을 증명하며 강력한 AI를 일상적인 기기에서도 사용할 수 있게 만듭니다.
기술 요약: DarwinLM
문제 정의 대규모 언어 모델(LLM)은 상당한 성공을 거두었으나, 실시간 애플리케이션 배포를 저해하는 막대한 계산 비용 문제에 직면해 있습니다. 구조적 프루닝(Structured pruning)은 모델을 압축하여 범용 하드웨어에서 엔드 투 엔드 속도 향상을 제공하는 해결책을 제시하지만, 기존 방법들은 다음과 같은 두 가지 결정적인 요인을 간과하는 경우가 많습니다:
비균일 민감도(Non-uniform Sensitivity): 모델의 각 구성 요소(레이어, 어텐션 헤드, MLP 차원)는 프루닝에 대해 서로 다른 민감도를 보입니다. 균일한 압축은 종종 성능 붕괴를 초래합니다.
압축 후 학습(Post-Compression Training): 프러닝 방법은 단순히 유능한 하위 구조를 식별하는 것을 넘어, 해당 구조가 압축 후 미세 조정(fine-tuning)을 통해 성능을 회복할 수 있는 상태여야 합니다. ZipLM과 같은 기존 방식은 로컬 레이어별 오차나 원샷(one-shot) 성능을 최적화하는 데 집중하는데, 이는 다운스트림 태스크의 성능이나 미세 조정 회복력과 반드시 일치하지 않습니다.
방법론 저자들은 최적의 비균일 희소성 할당(non-uniform sparsity allocations)을 찾기 위해 진화적 탐색 과정을 활용하는 학습 인지형 구조적 프러닝 방법인 DarwinLM을 제안합니다. 이 파이프라인은 두 가지 주요 단계로 구성됩니다:
학습 인지형 선택을 포함한 진화적 탐색:
초기화: 탐색은 2차 정보(Optimal Brain Surgeon 공식)를 사용한 원샷 구조적 프러닝을 통해 생성된 "부모(parent)" 모델로부터 시작됩니다.
변이(Mutation): 각 세대에서 알고리즘은 부모 모델을 복사하고 "레벨 스위치(level switch)" 변이를 적용하여 "자손(offspring)" 모델을 생성합니다. 이는 전역 목표 희소성 또는 속도 향상 제약을 유지하면서 서브 블록 간의 희소성 수준을 이동시키는 과정(예: 한 레이어의 희소성을 높이는 동시에 다른 레이어의 희소성을 낮춤)을 포함합니다.
학습 인지형 선택: 핵심 혁신은 선택 과정에 경량 미세 조정을 통합한 것입니다. 자손 모델을 단순히 원샷 지표(작은 캘리브레이션 세트에 대한 KL-divergence 등)로 선택하는 대신, 이 방법은 점진적으로 늘어나는 토큰 예산(예: 10K → 50K → 200K 토큰)에 따라 학습하는 다단계 선택 프로세스를 채택합니다. 성능이 낮은 모델은 각 단계에서 제거됩니다. 이를 통해 선택된 가장 "적합한(fittest)" 모델은 단순히 정적인 상태에서 정확한 것이 아니라, 지속적인 학습 후에도 견고하고 회복력이 뛰어난 모델임을 보장합니다.
종료: 탐색이 수렴하면, 최종 후보 모델은 최종 평가 전 더 광범위한 미세 조정 단계(예: 10B 토큰)를 거칩니다.
프러닝된 레이어 데이터베이스:
효율적인 탐색을 돕기 위해, 다양한 이산화된 희소성 수준에서의 희소 서브 블록(MLP 및 어텐션 모듈) 데이터베이스를 사전 계산합니다.
어텐션 모듈의 경우, 프러닝은 헤드 단위로 수행됩니다. MLP의 경우, 차원은 32의 배수로 프러닝됩니다.
Group-Query Attention (GQA) 모델의 경우, K와 V 행렬을 직접 프러닝하지 않고, 계산 호환성을 유지하기 위해 순전파(forward pass) 중에 해당하는 헤드를 제거합니다.
MoE 아키텍처로의 확장:
이 방법은 Mixture-of-Experts (MoE) 모델(예: Qwen3-30B-A3B)로 확장되었습니다. 이 설정에서 탐색은 MoE 블록 전체에 걸쳐 균일한 희소성을 유지하면서 전문가(expert) MLP 내의 희소성을 최적화합니다. 어텐션 모듈는 전문가가 대부분의 파라미터를 포함하므로 일반적으로 프러닝하지 않습니다.
주요 기여
학습 인지형 진화적 탐색: DarwinLM은 단순한 원샷 정확도 최적화를 넘어, 미세 조정 중 모델의 성능 회복 능력을 명시적으로 고려하는 새로운 진화적 프레임워크를 도입했습니다.
비균일 구조적 프러닝: 이 방법은 모델의 각 레이어가 가진 다양한 민감도를 활용하여, 정확도 손실 없이 더 높은 압축률을 달기 위한 LLM의 세밀한 비균일 압축을 가능하게 합니다.
MoE 적응: 본 연구는 MoE 아키텍처를 대상으로 한 비균일 구조적 프러닝의 첫 번째 탐색이며, 복잡한 전문가 기반 모델에서도 구조적 희소성이 효과적임을 입증했습니다.
효율성: 탐색 과정은 매우 효율적이어서 4대의 소비자급 GPU에서 약 8시간 만에 완료되며, 최종 미세 조정 단계는 표준 클러스터에서 약 반나절 정도 소요됩니다.
실험 결과 저자들은 Llama-2-7B, Llama-3.1-8B, Qwen-2.5-14B-Instruct, Qwen3-30B-A3B (MoE)를 통해 DarwinLM을 검증했습니다.
성능: DarwinLM은 원샷 구조적 프러닝에서 최첨단(SOTA) 성능을 달ей합니다. 예를 들어, Llama-3.1-8B를 절반 크기로 프러닝했을 때, 기존의 최선책인 ZipLM보다 평균 제로샷 정확도가 5.9% 더 높았습니다.
데이터 효율성: 이 방법은 회복에 필요한 학습 예산을 크게 줄입니다. DarwinLM은 50B 토큰을 사용하는 ShearedLlama보다 훨씬 적은 10B 토큰만을 필요로 하면서도 ShearedLlama를 능가합니다. 동일한 10B 토큰 설정에서도 DarwinLM은 ShearedLlama보다 우수한 성능을 보입니다.
MoE 결과: Qwen3-30B-A3B 모델에서 DarwinLM은 10B 토큰 미세 조정 후에도 원래 모델 정확도의 90% 이상을 유지하는 16B-A2B 변형 모델을 생성합니다.
하드웨어 효율성: 프러닝된 모델은 직접적인 속도 향상과 메모리 감소를 보여줍니다. 예를 들어, 2.7B DarwinLM 모델은 L40s GPU에서 7B 밀집(dense) 베이스라인 대비 1.98배의 처리량(throughput)을 달성하고 2.43배 적은 메모리를 사용합니다.
비교: 이 방법은 다양한 희소성 수준에서 균일 프러닝 베이스라인 및 다른 구조적 프러닝 방법들(ShortGPT, Shortened-Llama, EvoPress 포함)보다 우수한 성능을 보였으며, 특히 다른 방법들이 급격히 성능이 저하되는 높은 압축률 구간에서 더욱 두드러졌습니다.
의의 본 논문은 DarwinLM이 구조적 탐색과 사후 학습 회복 사이의 간극을 메움으로써 LLM 압축 분야의 중요한 진전을 이루었다고 주장합니다. 비균일 구조적 프러닝이 방대한 재학습 예산 없이도 밀집 및 MoE 아키텍처 모두에 효과적으로 적용될 수 있음을 입증함으로써, 본 연구는 고성능 압축을 위해 반드시 대규모의 재학습 예산이 필요하다는 통념에 도전합니다. 저자들은 DarwinLM을 정확도를 희생하지 않으면서 효율적인 LLM 배포를 가능하게 하는 실용적이고 하드웨어 불가지론적인(hardware-agnostic) 솔루션으로 포지셔닝합니다.