🤖 machine learning

Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

이 논문은 매개변수 효율적 어댑터를 활용한 경량 미세 조정이 Mixture-of-Experts 모델에서 저민감도 전문가를 효과적으로 식별하고 제거할 수 있음을 입증하며, 다양한 작업에 걸쳐 경쟁력 있는 정확도를 유지하면서도 상당한 메모리 및 지연 시간을 절감함을 보여준다.

원저자: Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: 왜 더 똑똑한 AI 두뇌가 필요한가

거대한 지식의 도서관을 가지고 있다고 상상해 보세요. 하지만 질문을 던질 때마다 사서가 답을 찾기 위해 서가에서 모든 책을 꺼내야 한다면 어떨까요? 그것은 믿을 수 없을 정도로 느릴 것이고 엄청난 공간을 차지할 것입니다. 이것이 바로 최신 기술이자 가장 강력한 인공지능 모델들이 직면한 문제입니다. "Mixture-of-Experts"(MoE)라고 불리는 이 모델들은 전문가 팀처럼 설계되었습니다. 하나의 거대한 뇌가 모든 일을 하는 대신, 여러 개의 작은 "전문가" 뇌를 가지고 있습니다. 질문을 하면, 스마트한 "라우터(router)"가 특정 작업에 필요한 몇 명의 전문가가 누구인지 결정하고 나머지는 무시합니다. 이는 AI가 '생각'하는 속도를 빠르게 만들지만, 한 가지 문제가 있습니다. AI를 실행하려면 사용되지 않는 전문가를 포함하여 모든 전문가를 컴퓨터 메모리에 계속 유지해야 한다는 점입니다. 이는 마치 100명의 요리사를 고용했지만 한 번에 두 명만 요리하게 하면서도, 여전히 100명 모두에게 월세를 내고 앞치마를 제공해야 하는 것과 같습니다.

과학자들이 던지는 핵심 질문은 이것입니다: AI가 요리하는 법을 잊어버리게 만들지 않으면서, 공간과 비용을 아끼기 위해 필요 없는 전문가들을 해고할 수 있을까? 보통 누가 해고되어야 할지 결정하는 것은 악몽과 같습니다. 만약 그냥 추측한다면, AI는 수학을 하거나 이야기를 쓰는 능력을 잃을 수도 있습니다. 만약 전체 AI를 학습시켜 누가 해고되어야 할지 배우게 하려 한다면, 그 비용과 시간이 너무 많이 들어서 자원을 절약하려는 목적 자체가 무색해집니다. 이 논문은 어떤 전문가가 정말 필수적이고 어떤 전문가가 그저 공간만 차지하고 있는지 알아낼 저렴하고 빠른 방법이 있는지 묻으며 그 간극을 파고듭니다.

발견: 저활용된 전문가를 찾아내는 빠른 "스트레스 테스트"

이 논문의 연구진은 이러한 AI 팀에서 "저활용된" 전문가를 식별하는 영리하고 저비용의 트릭을 찾아냈습니다. 전체 AI를 학습시키는 대신(이는 전체 팀이 한 달 동안 연습하게 하는 것과 같습니다), 그들은 아주 작고 효율적인 "어댑터(adapter)"—즉, 아주 짧은 시간 동안 몇 가지만 변경하는 가벼운 훈련 매뉴얼—를 사용했습니다. 그들은 이 매뉴얼을 AI의 "라우터"(의사결정자)에 적용하고, 라우터의 선호도가 얼마나 변하는지 관찰했습니다.

여기에 마법이 있습니다. 이 빠른 테스트 동안 라우터의 선호도가 가장 적게 변한 전문가들이 바로 AI가 실제로 필요로 하지 않는 전문가들이었습니다. 라우터의 선호도가 많이 변한 전문가들이 AI가 헤비하게 의존하는 전문가들이었습니다. 이 "변화가 없는" 전문가들을 해고함으로써, 그들은 AI의 성능을 거의 비슷하게 유지하면서도 메모리 사용량을 거의 절반(49%)으로 줄이고 속도를 37% 높일 수 있었습니다.

그들이 어떻게 했고 무엇을 발견했는가:
연구팀은 이 방법을 Mixtral-8×7B라는 유명한 AI 모델에 테스트했습니다. 그들은 LoRA(Low-Rank Adaptation)라는 방법을 사용했지만, 이를 오직 라우터 가중치에만 적용하여 모델 파라미터의 단 0.002%만을 학습시켰습니다. 이는 팀 전체를 한 달간 부트 캠프에 보내는 대신, 5분간의 짧은 격려 연설을 하는 것과 같습니다.

결과: 이 "라우터 민감도" 테스트를 바탕으로 전문가 절반을 제거했을 때, AI는 어려운 추론 테스트(MMLU-Pro)에서 27.54%의 정확도를 유지했습니다.
비교: 만약 그들이 무작위로 전문가를 해고했다면, 정확도는 약 16%로 폭락했을 것입니다. 만약 그들이 가장 작은 "가중치"(흔히 쓰이는 추측 방식)를 가진 전문가를 해고했더라도 마찬가지로 폭락했을 것입니다. 하지만 그들의 방법은 AI의 지능을 유지했습니다.
비용: 메모리는 24.2 GB에서 12.3 GB로 떨어졌고, 각 단어를 생성하는 데 걸리는 시간도 크게 줄었습니다.

그들이 배제한 것들:
논문은 이러한 전문가를 찾기 위해 전체 AI를 학습시킬 필요가 없다는 것을 명시적으로 보여줍니다. 사실, 전체를 학습시키는 것은 이 특정 작업에 있어 시간 낭비입니다. 또한, 훈련 매뉴얼을 전체 AI에 걸쳐 적용하는 것(라우터, 어텐션, 그리고 전문가 뇌를 동시에 학습시키는 것)은 오히려 신호를 악화시킨다는 것을 발견했습니다. 이는 마치 최고의 요리사를 찾기 위해 주방 전체가 동시에 요리하게 만드는 것과 같습니다. 소음이 신호를 덮어버립니다. 가장 좋은 결과는 아주 작은 학습 노력을 오직 라우터에만 집중했을 때 나왔습니다.

얼마나 확신하는가?
저자들은 이 측정값들에 대해 매우 확신하고 있습니다. 그들은 이 방법을 다양한 모델(Qwen1.5-MoE 포함)과 다양한 작업(수학 등)에 테스트했습니다. 모든 경우에 "라우터 민감도" 방법은 유효했지만, 무작위 프루닝(pruning)은 AI를 한 자릿수 정확도로 붕괴시켰습니다. 그들은 결과를 여러 번 측정하여 경향성이 일관됨을 확인했습니다. 그들은 단순히 추측한 것이 아니라 수치를 계산했으며, 데이터는 갑작스러운 붕괴가 아닌, 전문가를 제거함에 따라 성능이 꾸준하고 예측 가능하게 감소한다는 것을 보여주었습니다. 이는 이 방법이 실제 사용에 있어 신뢰할 수 있음을 시사합니다.

핵가져갈 점:
이 논문은 거대한 AI 모델을 망가뜨리지 않고도 더 작고 빠르게 만들 수 있다는 것을 증명합니다. 단지 "의사결정자"에게 아주 짧고 빠른 자극을 주고, 어떤 전문가가 깨어나고 어떤 전문가가 잠들어 있는지를 보면 됩니다. 잠들어 있는 전문가들이 바로 당신이 안전하게 내보낼 수 있는 사람들입니다. 이는 세계에서 가장 똑똑한 컴퓨터들의 군살을 빼는 실용적이고 저렴하며 놀라울 정도로 효과적인 방법입니다.

기술 요약: 경량 미세 조정을 통한 라우터 민감도 측정이 MoE 모델의 가지치기 가능한 전문가 식별에 미치는 영향

문제 정의

혼합 전문가(Mixture-of-Experts, MoE) 모델은 파라미터 수와 토큰당 연산량을 분리함으로써, 거대 파라미터 규모(예: 46.7B 파라미터를 가진 Mixtral-8×7B)를 유지하면서도 효율적인 추론을 가능하게 합니다. 그러나 모든 전문가가 메모리에 상주해야 하므로 배포 시 메모리 비용이 제약 요소로 작용합니다. 전문가 전체를 제거하는 방식인 '전문가 가지치기(Expert pruning)'는 메모리와 지연 시간을 줄이는 직접적인 해결책을 제공합니다.

핵심 과제는 성능의 치명적인 저하 없이 어떤 전문가를 제거할지 식별하는 것입니다. 기존의 휴리스틱(예: 가중치 크기, 활성화 빈도)은 기능적 역할이나 기여도를 무시하기 때문에 종종 실패합니다. 최근 Chowdhury 등의 연구[3]는 테스트 정확도를 보존하기 위해 미세 조정 중 라우터 가중치가 가장 적게 변하는 전문가를 가지치기한다는 증명 가능한 효과적인 기준을 제안했습니다. 그러나 이 보증은 **전체 미세 조정(Full fine-tuning)**에 의존하는데, 이는 대규모 MoE 모델 규모에서 계산 비용이 너무 커서 이를 통해 얻는 배포 절감액보다 더 많은 비용을 발생시킵니다. 본 논문은 이 "라우터 민감도" 신호를 **매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)**을 통해 이끌어내어, 대규모 모델에서도 이 기준을 실용적으로 만들 수 있는지 조사합니다.

방법론

저자들은 PEFT가 최종 모델을 생성하기 위한 학습 기술이 아니라, 가지치기 가능한 전문가를 식별하기 위한 측정 도구로서 작동하는 "원샷(one-shot)" 가지치기 프레임워크를 제안합니다.

측정으로서의 적응(Adaptation as Measurement): 모델은 매개변수 효율적 어댑터를 사용하여 짧은 미세 조정 과정을 거칩니다. 목표는 오직 태스크에 대한 라우터의 행동 변화를 측정 가능한 수준으로 유도하는 것입니다.
민감도 점수 산출(Sensitivity Scoring):
- 가중치 기반 (라우터 언프리즈/Unfrozen): 라우터 가중치를 업데이트하는 방식(예: 라우터에 LoRA 적용)의 경우, 점수 $s_e$ 는 전문가 게이트 벡터의 $\ell_2$ 노름 변화량입니다: $s_e = |\|w_e^{(T)}\|_2 - \|w_e^{(0)}\|_2|$ . 변화량이 가장 작은 전문가를 가지치기합니다.
- 로짓 기반 (라우터 프리즈/Frozen): 라우터 가중치를 고정하는 방식(예: IA3, Houlsby 어댑터)의 경우, 점수는 홀드아웃 배치에 대한 해당 전문가의 라우터 로짓 변화량의 제곱평균제곱근입니다: $s_e^{logit} = \frac{1}{\sqrt{N}} \|\Delta L_{:,e}\|_2$ .
가지치기 절차: 전문가는 레이어별로 독립적으로 순위가 매겨지고 제거됩니다. 이 과정은 구조적(체크포인트에서 파라미터를 삭제)이며 원샷 방식입니다(이후 재학습이나 증류를 수행하지 않음). 랭킹 산정 후 어댑터는 폐기됩니다.
실험 변수: 본 연구는 다음을 체계적으로 변화시키며 조사합니다:
- 대상 모듈: 어댑터를 라우터에만 부착하는 경우 vs 라우터 + 어텐션 + 전문가 가중치에 부착하는 경우.
- 어댑터 랭크(Rank): Loماً 랭크( $r \in \{2, 4, 8, 16\}$ )의 변화.
- 섭동 기하학(Perturbation Geometry): 가산적 저계수 업데이트(LoRA), 승법적 재스케일링(IA3), 비제약적 가산 잔차(Houlsby) 간의 비교.
모델 및 벤치마크: 주요 평가는 Mixtral-8×7B-Instruct를 대상으로 하며, MMLU-Pro(추론 중심 벤치마크)를 사용합니다. 전이성(Transferability)은 Qwen1.5-MoE(수학적 추론) 및 기타 벤치마크(GSM8K, ARC-Challenge, BIG-Bench Hard, BoolQ)를 통해 테스트됩니다.

주요 기여

대규모 모델에서의 라우터 민감도 검증: 본 연구는 시각 분류에서 명령어 튜닝된 모델로 확장하여, 추론 벤치마크에서 평가된 MoE 언어 모델에 대해 Chowdhury 등의 [3] 라우터 노름 변화 기준을 검증한 첫 사례를 제공합니다.
전체 미세 조정으로부터의 분리: 본 논문은 가지치기 신호가 전체 미세 조정을 요구하지 않음을 입증합니다. 라우터 전용 LoRA는 약 **0.002%**의 파라미터(랭크 8에서 구체적으로 0.0022%)만을 훈련함으로써 성공적으로 신호를 복구합니다. 어댑터를 다른 모듈으로 확장하면 신호 품질이 저하됩니다.
적응 기하학의 특성화: 연구는 섭동의 "기하학"이 신호 충실도에 미치는 영향을 격리하여 분석합니다:
- 제약 vs 비제약: 제약된 섭동(라우터에 LoRA 적용, IA3)이 비제약적 가산 섭동(Houlsby)보다 더 나은 순위를 제공합니다.
- 직접적 vs 간접적: 라우터 가중치에 전혀 쓰지 않는 방식(IA3)이 섭동이 제약되어 있다면 쓰는 방식(LoRA)과 유사한 성능을 보입니다.
랭크 민감도: LoRA 랭크가 높아질수록 가지치기 신호의 충실도는 단조 증가하지만, 수확 체감의 법칙이 나타납니다. 랭크 8이 대부분의 가용 신호를 포착합니다.
태스크 조건화: 신호는 적응 코퍼스에 따라 조건화됩니다. 일반적인 코퍼스로 적응하면 광범위한 능력이 보존되는 반면, 특정 도메인(예: 수학)에 적응하면 도메인 특화 전문가가 보호됩니다.
경험적 베이스라인: 본 논문은 Mixtral에 대한 최초의 MMLU-Pro 및 BIG-Bench Hard 평가를 제공하며, 라우터 가이드 가지치기가 보여주는 준선형 감소 곡선을 제시하여 크기 기반 또는 무작위 가지치기에서 나타나는 파멸적 붕괴와 대조합니다.

결과

신호 품질: Mixtral-8×7B-Instruct에서 LoRA를 라우터로 제한했을 때(랭크 8에서 0.0022% 파라미터 훈련), 전문가 50% 제거 후에도 **27.54%**의 MMLU-Pro 정확도를 달성했습니다. 이는 모든 모듈을 적응시킨 경우(24.42%)보다 우수하며, 크기 기반(15.88%) 또는 무작위(16.31%) 가지치기를 크게 상회합니다.
감소 특성: 라우터 가이드 가지치기는 전문가가 제거됨에 따라 정확도에서 **준선형 감소(quasi-linear decay)**를 보이며, 이는 압축 비용을 예측 가능하게 만듭니다. 반면, 크기 기반 및 무작위 가지치기는 한두 명의 전문가를 제거한 직후 급격히 붕괴합니다.
전이성: Qwen1.5-MoE(수학에 대해 전체 미세 조정됨)에서 라우터 민감도는 50% 가지치기 시 11개 수학 벤치마크에서 **49.7%**의 평균 정확도를 유지하는 반면, 무작위 가지치기는 한 자릿수(4.4%)로 급락합니다.
배포 효율성: 4개의 전문가를 가지치기(50% 감소)하면 A100 GPU에서 메모리 사용량은 49%, 토큰당 지연 시간은 37% 감소합니다. 지연 시간 및 메모리 절감 효과는 제거된 전문가 수에 따라 선형적으로 확장됩니다.
SOTA와의 비교: 25% 압축 시, 라우터 민감도는 훨씬 적은 파라미터를 훈련했음에도 불구하고 전체 활성화 통계나 미분 가능한 탐색(예: REAP, DiEP)을 사용하는 방법들과 경쟁할 만한 수준입니다.

의의 및 주장

본 논문은 경량 미세 조정을 통해 측정된 라우터 민감도가 대규모 모델에서 실용적인 전문가 가지치기를 가능하게 한다고 주장합니다.

경제적 생존력: 이 방법은 가지치기 신호를 값비싼 전체 미세 조정의 부산물에서 저렴한 PEFT의 부산물로 전환합니다. 만약 실무자가 배포를 위해 이미 PEFT를 수행하고 있다면, 가지치기 순위 산정은 한계 비용 제로로 이루어집니다.
PEFT에 대한 도구적 관점: 본 연구는 PEFT 방법을 단순한 학습 기술이 아닌 내부 모델 역학을 측정하기 위한 도구로 재정의합니다. 이는 "최상의" 학습 구성(광범위한 적응)이 종종 "최악의" 가지치기 신호 측정 구성(희석된 신호)이 된다는 점을 입증합니다.
예측 가능성: 예측 불가능한 성능 절벽을 초래하는 무작위 또는 크기 기반 가지치기와 달리, 라우터 민감도는 압축과 정확도 사이의 예측 가능한 준선형 트레이드오프를 제공하여 실무자가 압축 목표를 미리 "가격 책정"할 수 있게 합니다.
겸손함: 저자들은 이 신호가 모든 영역에서 훈련 없는 기준(training-free criteria)보다 압도적이라기보다는 경쟁력이 있는 수준임을 인정합니다. 또한 이 기준은 적응 태스크가 배포 도메인과 일치할 때 가장 효과적이며, 현재 결과는 "원샷(uncalibrated)" 상태이므로 미세한 구조에 대해 증류(distillation)나 재학습을 통한 추가 회복의 여지가 남아 있음을 언급합니다.

결론적으로, 적응을 라우터에 집중시키고 제약된 섭동 기하학을 사용함으로써, 실무자는 전체 미세 조정을 거치지 않고도 중복된 전문가를 안정적으로 식별하여 제거할 수 있으며, 이를 통해 MoE 모델의 메모리 및 지연 시간 발자국을 크게 줄일 수 있습니다.