🤖 machine learning

Compressing LLMs with MoP: Mixture of Pruners

이 논문은 LLaMA 및 LLaVA 모델 전반에서 정확도와 지연 시간 감소 측면에서 기존의 단일 차원 방식들을 능가하는, 깊이(depth)와 너비(width) 프루닝을 통합한 반복적 프레임워크인 MoP(Mixture of Pruners)를 소개한다.

원저자: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jorda

게시일 2026-07-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 무거운 도서관을 배낭에 담아 옮기려 한다고 상상해 보세요. 이 도서관에는 인류 지식의 총합이 담겨 있으며, 오직 가장 똑똑한 컴퓨터들만이 읽을 수 있는 매우 복잡한 언어로 쓰여 있습니다. 이러한 '도서관'들을 거대 언어 모델(LLM)이라고 부릅니다. 이들은 이야기를 쓰고, 수학 문제를 풀고, 심지어 친구처럼 대화를 나누는 데에도 매우 뛰어납니다. 하지만 한 가지 문제가 있습니다. 이들은 너무나 거대하고 무거워서, 단 한 문장을 읽기 위해서도 엄청난 양의 전기와 초고속 컴퓨터가 필요합니다. 만약 여러분이 일반적인 노트북이나 스마트폰에서 이들을 사용하고 싶다면, 너무 느리고 무거워서 들고 다니기 어려울 것입니다.

이를 해결하기 위해 과학자들은 중요한 책들을 버리지 않으면서도 이 도서관들을 더 작게 만드는 방법을 연구해 왔습니다. 그 방법 중 하나가 바로 '가지치기(pruning)'입니다. 가지치기를 정원 가꾸기에 비유해 보세요. 여러분에게 거대하고 무성하게 자란 덤불(거대한 컴퓨터 모델)이 있고, 이를 깔끔하고 작은 모양으로 다듬고 싶다고 가정해 봅시다. 여러분은 덤불 전체를 잘라낼 수도 있고(덤불을 짧게 만들기), 혹은 가지에서 잎사귀만 솎아낼 수도 있습니다(덤불을 가늘게 만들기). 오랫동안 정원사들은 둘 중 하나를 선택해야만 했습니다. 가지 전체를 잘라내거나, 아니면 가지에서 잎사귀만 솎아내거나 말이죠. 둘 다 동시에 할 수는 없었습니다. 문제는, 어떤 방식이 덤불을 건강하게 유지하면서도 열매를 맺을 수 있게 하면서 크기를 줄일 수 있느냐는 것이었습니다.

이 논문은 MoP라고 불리는 새로운 정원 도구를 소개합니다. MoP는 **혼합 가지치기(Mixture of Pruner)**의 약자입니다. 단 하나의 방법만을 선택하는 대신, MoP는 매 단계마다 두 가지 방법을 모두 시도하는 똑똑하고 반복적인 정원사입니다. 여러분이 덤불을 다듬고 있다고 상상해 보세요. 매번 자를 때마다 MoP는 두 가지 질문을 던집니다. "만약 이 가지 전체를 잘라낸다면 덤불이 어떻게 보일까?", 그리고 "만약 이 가지에서 잎사귀만 솎아낸다면 어떻게 보일까?" 그러고 나서 원래의 건강한 식물과 가장 비슷하게 유지되는 버전을 선택합니다. MoP는 덤불이 여러분의 배낭에 들어갈 만큼 작아질 때까지 가지를 치는 것과 잎을 솎아내는 것을 번갈아 가며 이 과정을 반복합니다.

연구진은 이 방법을 LLaMA-2 및 LLaMA-3와 같은 세계에서 가장 똑똑한 컴퓨터 뇌들에 테스트했습니다. 그 결과, MoP는 단일 방법만을 사용하는 것보다 이 모델들을 축소하는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 모델을 40% 축소했을 때(모델 크기를 40% 줄였을 때), MoP는 경쟁 모델들과 대등한 지능을 유지하면서도 훨씬 더 빠르게 작동하게 만들었습니다. 실제로 모델이 질문에 답하는 속도가 39% 더 빨라졌습니다. 더욱 놀라운 점은, 사진을 보고 텍스트를 읽을 수 있는 모델(LLaVA-1.5라고 불림)에도 이 방법을 적용했다는 것입니다. 연구진은 텍스트로만 축소된 모델을 학습시켰음에도 불구하고(사진 없이), 해당 모델이 이전만큼이나 사진을 잘 이해할 수 있다는 것을 발견했습니다. 이는 두 가지 가지치기 전략을 혼합하는 것이, 모델이 매우 작아지더라도 길을 잃지 않고 더 작고, 빠르며, 똑똑한 컴퓨터 뇌를 만들어낸다는 것을 시사합니다.

기술 요약: MoP(Mixture of Pruners): LLM 압축 기술

문제 정의
대규모 언어 모델(LLM)은 상당한 계산 수요에 직면해 있으며, 성능 저하 없이 파라미터 수를 줄이고 추론을 가속화하는 방법이 필요합니다. 모델 프러닝(Pruning)은 효과적인 전략이지만, 기존 방식들은 대개 단일 차원에 집중합니다. 즉, 깊이 프러닝(전체 트랜스포머 레이어 제거) 또는 너비 프러닝(어텐션 헤드나 MLP 뉴런과 같은 내부 구성 요소 제거) 중 하나를 선택합니다. 깊이 프러닝은 순차적 연산을 줄여 추론 가속화 측면에서 우수하며, 너비 프러닝은 중복된 구조를 더 세밀하게 선택할 수 있어 다운스트림 태스크 성능을 더 잘 보존할 수 있습니다. 본 논문은 기존 문헌에서 이러한 상호 보완적인 강점들이 결합되지 못하고 분리되어 있어, 압축률, 정확도, 지연 시간(latency) 사이의 최적의 절충안을 찾는 데 한계가 있음을 지적합니다.

방법론: Mixture of Pruners (MoP)
저자들은 깊이와 너비 프러닝을 하나의 응집된 전략으로 통합하는 반복적 프레임워크인 MoP를 제안합니다. 핵심 메커니즘은 다음과 같이 작동합니다:

반복적 경로 선택 (Iterative Path Selection): 각 반복 단계에서 MoP는 프러닝 경로를 진행하기 위해 두 가지 후보 모델을 생성합니다.
- 깊이 후보 (Depth Candidate): 하나의 완전한 트랜스포머 레이어를 제거합니다 (기존 문헌의 연구 결과에 따라 마지막 두 개 레이어는 보존하기 위해 뒤에서 세 번째 레이어를 제거함).
- 너비 후보 (Width Candidate): 레이어 전반에 걸쳐 어텐션 헤드와 MLP 뉴런을 프러닝하여 깊이 단계에서 제거된 레이어와 동일한 수의 파라미터를 제거합니다.
파라미터 매칭 (Parameter Matching): 공정한 비교를 위해, 너비 프러닝 단계는 단일 레이어 제거 시와 동일한 수의 파라미터를 제거하도록 조정됩니다. 이를 위해 저자들은 AMP(Activation Magnitude Pruning) 기준을 사용하여 정밀한 제어를 달exam합니다.
평가 및 선택 (Evaluation and Selection): 두 후보 모델은 훈련 데이터의 일부를 사용하여 짧은 복구 미세 조정(recovery fine-tuning) 단계를 거칩니다. 그 후, 코사인 유사도(Cosine Similarity), KL 발산(Kullback-Leibler divergence), 퍼플렉시티(Perplexity, PPL) 등의 지표를 사용하여 원래의 미프러닝 모델과 후보 모델을 비교하는 **경로 기준(Path Criterion, $P$ )**을 통해 점수를 매깁니다. 원래 모델과의 편차가 가장 적은(점수가 가장 가까운) 후보가 다음 반복의 기반이 됩니다.
최종 복구 (Final Recovery): 목표 압축률에 도달하면, 최종 프러닝된 모델은 전체 훈련 데이터셋을 사용하여 완전한 복구 미세 조정을 거칩니다.

이 프레임워크는 모듈형으로 설계되어, 너비와 깊이에 대한 서로 다른 프러닝 기준 및 다양한 경로 선택 전략의 통합이 가능합니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 강조합니다:

통합 프레임워크: MoP는 깊이 프러닝의 레이어 제거를 통한 지연 시간 이점과 너비 프러닝의 세밀한 선택성을 효과적으로 결합합니다.
모듈성: 다양한 프러닝 기준의 조합을 수용할 수 있도록 설계되어, 향에 최신 방법론의 통합이 용이합니다.
다양한 프러닝 체계: 양방향으로 제거를 분산함으로써, MoP는 단일 차원을 고갈시키지 않고도 더 높은 압축률을 달성합니다.
멀티모달 확장: 텍스트에만 집중된 대부분의 프러닝 문헌과 달리, 저자들은 언어 전용(LLaMA) 및 멀티모달(LLaVA) 아키텍처 모두에서 MoP를 테스트했습니다.
시각적 작업을 위한 텍스트 전용 복구: 저자들은 프러닝된 시각-언어 모델에서 텍스트 전용 데이터셋(Alpaca)을 사용한 복구 미세 조정이 놀랍게도 시각적 벤치마크 성능을 회복할 수 있음을 관찰했습니다.

결과
저자들은 LLaMA-2 7B, LLaMA-3 8B, LLaVA-1.5 7B를 대상으로 MoP를 평가했습니다:

정확도: LLaMA-2 및 LLaMA-3에서 MoP는 20%, 30%, 40% 압축률에 걸쳐 경쟁적인 구조적 프러닝 방법들(예: SliceGPT, AmoebaLLM, PruneNet)보다 일관되게 우수한 성능을 보였습니다. 특히, 무작위 경로 선택을 사용한 MoP의 "최악의 시드(worst-seed)" 성능조차도 경쟁 모델들의 평균 성능을 상회하는 경우가 많았는데, 이는 경로 선택의 변동성에 대한 MoP의 견고함을 나타냅니다.
지연 시간 (Latency): MoP는 구조적 프러닝을 실제 속도 향상으로 연결합니다. 40% 압축 시, NVIDIA RTX 4090에서 엔드 투 엔드 지연 시간을 39% 감소시켰습니다 (1.63배 가속). 30% 압축 시에는 1.38배의 가속을 달성하여, 유사한 이득을 얻기 위해 더 공격적인 압축(예: 50%)이 필요한 다른 방법들보다 뛰어난 성능을 보였습니다.
멀티모달 성능: LLaVA-1.5에서 MoP는 중요한 추론 능력을 유지합니다. 40% 압축 시, 모델은 평균 예측 능력의 약 78%를 유지합니다. 결정적으로, 본 연구는 텍스트 전용 데이터(Alpaca)를 통한 미세 조정이 시각적 작업(ScienceQA, VizWiz)에 대한 성능을 효과적으로 회복한다는 것을 입증했으며, 저자들은 이를 새로운 발견이라고 언급했습니다.

의의 및 주장
본 논문은 MoP가 단일 축 접근 방식의 구조적 경직성을 극 정도로 극복함으로써 구조적 프러닝의 새로운 지평을 열었다고 주장합니다. 하이브리드 전략은 탁월한 탄력성을 제공하여, 불리한 경로 선택 상황에서도 최상위 수준의 정확도를 보장합니다. 저자들은 이 접근 방식이 효율적인 LLM을 위한 최첨단 기술을 발전시킬 뿐만 아니라, 멀티모달 도메인에서 하이브리드 너비-깊이 프러닝의 실행 가능성을 검증한다고 강조합니다. 또한, 프러닝된 시각-언어 모델에서 텍스트 전용 복구 미세 조정만으로 충분하다는 발견은, 값비싼 멀티모달 복구 데이터셋의 필요성을 줄여 압축된 멀티모달 시스템을 배포하는 데 더 효율적인 경로를 제시합니다.

유사한 논문