💬 NLP

Less is MoE: Trimming Experts in Domain-Specialist Language Models

이 논문은 피셔 중요도(Fisher importance)를 사용하여 FFN 레이어 내의 작업 결정적인 중간 차원을 식별하고 제거함으로써, 범용 벤치마크에서의 성능을 유지하면서도 Mixture-of-Experts 모델의 메모리와 처리량 측면에서 상당한 이득을 가능하게 하는 압축 방법인 Fisher-MoE를 소개한다.

원저자: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 고성능 언어 모델을 간단한 토스트부터 복잡한 5코스 요리까지 어떤 종류의 식사든 만들어낼 수 있도록 설계된 거대한 주방이라고 상상해 보세요.

문제점: 집에 담기에는 너무 큰 주방

이 주방(이를 Mixture-of-Experts 또는 MoE 모델이라 부릅니다)은 수백 명의 전문 셰프(이를 "전문가"라고 부릅니다)를 보유하고 있어 매우 똑똑합니다. 여러분이 질문을 던지면, 스마트한 매니저(이를 "라우터"라고 부릅니다)가 특정 작업에 가장 적합한 몇 명의 셰프를 선발합니다.

하지만 이 주방은 너무 거대합니다. 공간(메모리)을 너무 많이 차지하고, 대기 중인 셰프가 너무 많아서 일반적인 가정(표준 컴퓨터나 스마트폰)에 넣는 것이 불가능합니다. 여러분은 맛있는 요리를 만드는 능력을 잃지 않으면서도 이 주방을 줄여야 합니다.

기존 방식: 셰프 전체를 해고하기

이전의 시도들은 마치 셰프 전체를 해고하는 것과 같았습니다.

만약 어떤 셰프가 자주 요리하지 않거나 앞치마가 작다는 이유로, 매니저들은 그들을 해고했습니다.
결과: 이는 재앙이었습니다. 비록 "최고의" 셰프들만 남겼을지라도, 여러분은 완벽한 수학 문제를 만드는 데 필요한 비밀 재료를 알고 있는 단 한 명의 사람을 실수로 해고해 버렸습니다. 갑자기 주방은 농담은 할 수 있을지 몰라도(지식), 기본적인 산수는 더 이상 할 수 없게 되었습니다. 시스템 전체가 무너진 것입니다.

새로운 발견: 문제는 셰프가 아니라 칼이다

이 논문의 저자들은 놀라운 사실을 발견했습니다: 문제는 어떤 셰프를 남기느냐가 아니라, 그들이 사용하는 구체적인 도구가 무엇인가 하는 점입니다.

모든 셰프의 작업대 안에는 수천 개의 작은 도구들(이를 "중간 차원"이라고 부릅니다)이 있습니다.

대부분의 도구는 그저 먼지만 쌓인 채 놓여 있습니다.
하지만 아주 소수의 특정 도구들은 절대적으로 중요합니다. 예를 들어, 어떤 특정한 "칼"은 주방이 수학 문제를 풀 수 있게 해주는 유일한 도구일 수 있고, 또 다른 "숟가락"은 코드를 작성하는 데 필수적일 수 있습니다.

기존의 방식은 어떤 셰프가 "먼지 쌓인 숟가락"을 사용한다는 이유로 그 셰프의 작업대 전체를 버리는 것과 같았습니다. 그 셰프가 동시에 "중요한 수학용 칼"을 들고 있다는 사실을 깨닫지 못한 채 말이죠.

해결책: "Fisher-MoE" (정밀한 메스)

저자들은 Fisher-MoE라고 불리는 새로운 방법을 제안합니다. 셰프를 해고하는 대신, 그들은 특별한 스캐너(이를 Fisher Importance라고 부릅니다)를 사용하여 주방의 모든 도구를 살펴봅니다.

스캐너: 특정 도구를 제거했을 때 주방의 성능이 얼마나 떨어지는지를 측정합니다.
- 비유: 주방의 모든 칼을 테스트한다고 상상해 보세요. "칼 A"를 제거해도 주방은 여전히 토스트를 만들 수 있습니다. 하지만 "칼 B"를 제거하면 주방은 더 이상 토마토를 썰 수 없습니다. 스캐너는 "칼 B"가 결정적이라는 것을 식별해 냅니다.
다듬기: 그들은 아무도 해고하지 않습니다. 대신, 작업대를 물리적으로 축소합니다. 그들은 "먼지 쌓인 숟가락"과 "사용되지 않는 뒤집개"(점수가 낮은 도구들)를 제거하지만, "결정적인 칼"(점수가 높은 도구들)은 그대로 유지합니다.
결과: 그들은 주방을 50% 축소할 수 있었습니다(도구의 절반을 제거함). 그럼에도 불구하고 주방은 거의 완벽하게 작동합니다.
- 여전히 어려운 수학 문제를 풀 수 있습니다.
- 여전히 코드를 작성할 수 있습니다.
- 여전히 상식을 대답할 수 있습니다.
- 보너스: 주방이 더 작아졌기 때문에 더 빠르게 요리하며(21% 더 빠름), 훨씬 작은 공간에 들어갑니다(45% 적은 메모리).

이것이 왜 중요한가

무차별적이지 않은 정밀함: 기존의 방식이 망치(사람 전체를 해고하는 것)였다면, 이 새로운 방식은 메스(도구의 쓸모없는 부분만 제거하는 것)입니다.
"수학"의 미스터리: 연구진은 만약 135만 개 중 단 12개의 특정 도구만 제거하더라도, 주방이 다른 모든 것은 기억하면서도 즉시 수학을 하는 법을 잊어버린다는 것을 발견했습니다. 이는 복잡한 기술이 모델 전체에 고르게 퍼져 있는 것이 아니라, 아주 작고 구체적인 구석에 숨겨져 있다는 것을 증명합니다.
호환성: 이 축소 방법은 다른 공간 절약 기술("양자화")과도 완벽하게 호환됩니다. 즉, 모델을 망가뜨리지 않고도 훨씬 더 작게 줄일 수 있다는 뜻입니다.

요약하자면

이 논문은 다음과 같이 말합니다: 전문가를 해고하지 말고, 그들의 도구 상이를 다듬으세요. 스마트한 스캐너를 사용하여 전문가 내부의 쓸모없는 "도구"만을 식별하고 제거함으로써, 우리는 이 거대한 AI 모델들을 이전만큼 똑똑하게 유지하면서도 크기는 절반으로 줄이고 속도는 두 배로 빠르게 만들 수 있습니다.

기술 요약: Less is MoE: 도메인 특화 언어 모델에서의 전문가 트리밍(Trimming Experts in Domain-Specialist Language Models)

문제 정의

Mixture-of-Experts (MoE) 모델은 조건부 연산을 통해 효율적인 추론을 유지하면서 언어 모델의 용량을 확장하는 지배적인 패러다임이 되었습니다. 그러나 이들의 거대한 총 파라미터 규모는 메모리, 저장 공간 및 서빙 비용 측면에서 배포에 대한 상당한 장벽을 형성합니다.

MoE 모델을 압축하려는 기존 방식들은 일반적으로 **전문가 수준(expert level)**에서 작동하며, 활성화 빈도, 라우터 점수 또는 가중치 크기와 같은 휴리스틱 중요도 지표를 기반으로 전체 전문가를 제거하거나 병합합니다. 저자들은 이러한 방법들이 상식적 추론(commonsense reasoning)을 넘어선 일반 목적 벤치마크(예: 수학적 추론, 코드 생성 및 복잡한 추론 작업)에서 평가될 때 **치명적인 성능 붕덕(catastrophic performance collapse)**을 겪는다는 점을 관찰했습니다. 논문은 이러한 실패가 두 가지 요인에서 기인한다고 가설을 세웁니다:

부정확한 중요도 지표: 기존의 휴리스틱은 파라미터의 중요도를 정확하게 추정하지 못합니다.
조잡한 입도(Coarse Granularity): 전문가 수준에서의 압축은 능력이 특정 전문가에 국한되어 있다고 가정합니다. 실제로 본 논문은 능력이 모든 전문가에 분산되어 있지만, Feed-Forward Networks (FFNs) 내의 **일부 중간 차원(intermediate dimensions)**에 집중되어 있다고 주장합니다. 전체 전문가를 제거하면 중복된 차원과 중요한 차원을 동시에 버리게 됩니다.

방법론

1. 중요도 귀속: 경험적 피셔 정보(Empirical Fisher Information)

저자들은 파라미터 순위를 매기기 위한 더 우수한 지표로 **경험적 피셔 정보(Empirical Fisher Information)**를 사용할 것을 제안합니다. 활성화 비율, 라우터 점수 또는 가중치 크기와 달리, 피셔 정보는 특정 파라미터의 변화에 대한 모델의 예측 분포 민감도를 측정합니다.

유도: 이 방법은 캘리브레이션 데이터셋으로부터 얻은 그라운드 트루스 데이터를 사용하여 피셔 정보 행렬( $F_\theta$ )을 근사합니다. $W^{gate}_i, W^{up}_i, W^{down}_i$ 를 가진 MoE 전문가 $E_i$ 에 대해, 각 중간 차원 $j$ 에 대한 피셔 점수가 계산됩니다.
입도(Granularity): 저자들은 이 스코어링을 전문가 또는 라우터 수준이 아닌 중간 차원 수준( $W^{gate}/W^{up}$ 의 행 및 $W^{down}$ 의 열)으로 확장합니다.
검증: 경험적 증거에 따르면 피셔 정보가 모든 베이스라인보다 우수한 성능을 보입니다. 결정적으로, 피셔 점수에 의해 "상위"로 식별된 약 135만 개의 중간 차원 중 단 12개만을 제거해도 수학적 추론 성능(GSM8K/MATH)이 거의 제로에 가깝게 붕괴되는 반면, 사실적 지식은 대체로 보존됩니다. 이는 피셔 정보가 매우 작은 집합의 태스크 크리티컬한 차원을 성공적으로 식별해 낸다는 것을 확인시켜 줍니다.

2. 압축 전략: Fisher-MoE

귀속 분석을 바탕으로, 저자들은 전문가를 완전히 제거하는 대신 각 전문가의 FFN 내부에서 작동하는 미세한 압축 방법인 Fisher-MoE를 제안합니다.

메커니즘: 각 전문가에 대해 중간 차원들을 피셔 점수에 따라 순위를 매깁니다. 가장 낮은 점수를 받은 부분(예: 50%)은 가중치 행렬( $W^{gate}, W^{up}, W^{down}$ )의 크기를 조정함으로써 물리적으로 제거됩니다.
할당 규칙: 논문은 세 가지 예산 할당 전략을 탐구합니다:
- IntDim-E: 각 전문가 내에서 상위 $(1-p)$ 차원을 유지합니다.
- IntDim-L: 한 레이어 내의 모든 전문가에 걸쳐 차원을 풀링하고 레이어당 상위 $(1-p)$ 를 유지합니다.
- IntDim-G: 모델 전체에 걸쳐 차원을 풀링하고 전역적으로 상위 $(1-p)$ 를 유지합니다.
보존: 이 접근 방식은 모델의 라우팅 동작과 토큰당 활성 전문가의 수를 보존하지만, 활성 전문가의 내부 차원( $d_{ff}$ )을 줄입니다.

주요 기여

구조적 통찰: 본 논문은 MoE 모델의 능력이 전문가 수준에 국한되지 않고, 모든 전문가에 분산된 소수의 중간 차원에 집중되어 있다는 구조적 특성을 식별했습니다. 이는 전문가 수준 압축이 실패하는 이유를 설명합니다.
귀속 도구로서의 피셔 중요도: 저자들은 중간 차원을 귀속 가능한 단위로 정의하고, 경험적 피셔 정보가 활성화, 라우터 및 크기 기반 지표보다 우수한, 크리티컬한 차원과 중복된 차원을 구별하는 강력한 도구임을 입증했습니다.
Fisher-MoE 알고리즘: 피셔 순위에 따라 FFN 행렬을 물리적으로 재조정하는 미세한 압축 방법을 제안합니다. 이 방법은 전문가 수준의 프루닝(pruning)에서 나타나는 치명적인 실패 없이 높은 압축률을 달est합니다.

결과

저자들은 Qwen1.5-MoE-A2.7B, OLMoE-1B-7B, 그리고 더 큰 프런티어 모델(Qwen3-30B-A3B, Qwen3.5-35B-A3B)에 대해 8가지 일반 목적 벤치마크(지식, 코드, 추론, 수학)에서 Fisher-MoE를 평가했습니다.

성능 보존: 50% MoE 압축 비율(라우팅된 FFN 파라미터의 50% 제거)에서:
- 전문가 수준 방법(피셔 점수를 사용하더라도)은 GSM8K, HumanEval, MATH에서 치명적인 하락을 겪습니다.
- **Fisher-MoE (IntDim-E)**는 다운스트림 성능을 보존하여, 전문가 수준의 방법이 상실하는 수학 및 코드 추론 능력을 유지합니다. 일부 사례(예: CEval, MultiArith)에서는 압축되지 않은 베이스 모델과 일치하거나 약간 상회하는 성능을 보입니다.
- 스케일링: 이러한 이점은 더 큰 모델(30B+ 파라미터)과 긴 Chain-of-Thought (CoT) 추론 작업에서도 유지됩니다.
사후 학습 회복: 도메인 데이터에 대한 지도 미세 조정(SFT)을 수행했을 때, Fisher-MoE는 압축되지 않은 Base + SFT의 상한선과 경쟁할 수 있는 수준으로 성능을 회복하는 반면, 전문가 수준의 방법은 여전히 크게 저하된 상태로 남습니다.
배포 효율성:
- 메모리: 가중치 메모리를 약 45% 감소시킵니다.
- 처리량: H100 GPU에서 추론 처리량을 21% 개선(1.21배 속도 향상)합니다.
- KV 캐시: 확보된 VRAM을 통해 KV 캐시 예산을 33.7% 증가시켜 요청 수용 능력을 높입니다.
호환성: Fisher-MoE는 4비트 양자화(AWQ)와 효과적으로 결합되어, 양자화 민감도를 증폭시키지 않으면서 배포 규모를 원래 크기의 약 1/8로 더욱 줄일 수 있습니다.
일반화: 수학 캘리브레이션 피셔 점수(GSM8K)를 사용하여 압축된 모델은 도메인 외 작업(지식, 코드, 추론)에서도 강력한 성능을 유지하며, 이는 방법론이 캘리브레이션 도메인에 과적합되지 않음을 나타냅니다.

의의 및 주장

본 논문은 **중간 차원 입도(intermediate dimension granularity)**가 MoE 모델의 압축과 능력 분석 모두에 있어 유효한 단위라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

압축 입도의 재정의: MoE 압축이 반드시 전문가 수준에서 이루어져야 한다는 기존의 가정을 반박하며, 복잡한 추론 능력을 보존하기 위해서는 전문가 내부의 미세한 트리밍이 필요함을 입증했습니다.
우월한 귀속: 경험적 피셔 정보가 MoE 모델 내부 어디에 능력이 "살고 있는지" 이해하는 데 핵심적인 도구임을 확립하였으며, 크리티컬한 파라미터가 희소하고 분산되어 있음을 밝혀냈습니다.
실질적 배포: 수학 및 코드 생성과 같은 고위험 작업에 필요한 성능을 희생하지 않으면서, 대규모 MoE 모델을 현저히 줄어든 메모리 및 레이턴시 요구사항으로 배포할 수 있는 실질적인 경로를 제공합니다.

저자들은 제한 사항으로, 계산상의 제약으로 인해 100B+ 파라미터 백본을 탐구하지 않았으며, 다양한 코퍼스에 대한 광범위한 사후 학습 회복 연구를 수행하여 압축되지 않은 모델과의 잔여 격차를 완전히 규명하지 못했음을 언급했습니다. 이는 향후 연구 과제로 식별되었습니다.