🤖 machine learning

Uncovering Intra-expert Activation Sparsity for Efficient Mixture-of-Expert Model Execution

본 논문은 기존 사전 학습된 전문가 혼합 (MoE) 모델이 본질적으로 상당한 전문가 내부 활성화 희소성을 지니고 있음을 밝히며, 이를 vLLM 실행 파이프라인을 수정하여 비활성 뉴런 연산을 건너뛰도록 함으로써 모델 재학습이나 매개변수 수정 없이 MoE 레이어 실행에서 최대 2.5 배, 엔드투엔드에서 1.2 배의 속도 향상을 달성할 수 있음을 보여줍니다.

원저자: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jongseok Park, Sunga Kim, Zhenyu Gu, Ion Stoica, Alvin Cheung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 아이디어: AI 속의 "잠자는 거인" 찾기

수백 명의 전문 셰프 (전문가, Experts) 를 보유한 거대하고 고급스러운 레스토랑 주방 (AI 모델) 을 상상해 보세요. 표준적인 "전문가 혼합 (Mixture of Experts, MoE)" 방식에서는 고객이 요리를 주문하면 수석 셰프 (라우터, Router) 가 해당 주문을 처리할 몇몇 특정 전문가만 선택합니다. 예를 들어, 주문이 "매운 카레"라면 라우터는 "매운맛 전문가"와 "카레 전문가"를 깨우지만, "디저트 전문가"와 "빵 전문가"는 잠자게 둡니다.

이 방식은 모든 주문마다 100 명의 셰프 모두를 가동하지 않기 때문에 이미 효율적입니다. 하지만 이 논문의 연구자들은 새로운 질문을 던졌습니다. "셰프가 깨어 있고 일하고 있을지라도, 그들이 모든 에너지를 사용하고 있을까?"

그들은 깨어 있는 셰프조차 대부분 아무것도 하지 않고 서 있는 경우가 많다는 것을 발견했습니다. 그들은 단일 전문가 내에서 최대 90% 의 뉴런(AI 의 개별 뇌 세포) 이 주어진 입력에 대해 사실상 "잠자고" 있거나 0 을 출력한다는 사실을 발견했습니다.

문제: 셰프를 더 많이 추가할 수 없는 이유

과거에는 AI 를 더 빠르게 만들기 위해 연구자들이 더 많은 셰프를 추가하고 적은 수의 셰프만 깨우는 방식으로 주방을 더 효율화하려 했습니다 (전문가 간 희소성 증가). 하지만 이는 매우 어려워지고 있습니다.

훈련의 어려움: 셰프가 너무 많고 깨우는 셰프가 적으면 주방이 혼란스러워집니다. 일부 셰프는 모든 일을 맡게 되고 (부하 불균형), 다른 셰프들은 전혀 훈련받지 못해 쓸모없게 됩니다 (전문가 붕괴).
한계: 모델을 망치지 않고는 "누가 일할지" 선택을 더 효율적으로 만드는 데 한계에 부딪히고 있습니다.

해결책: "게으른 셰프" 전략

셰프를 더 적게 고르려 하기보다, 저자들은 개별 셰프를 더 효율적으로 만들기로 결정했습니다. 그들은 셰프가 일하고 있을지라도 모든 도구를 사용할 필요는 없다는 사실을 깨달았습니다.

비유:
장인 (전문가) 이 의자를 만드는 상황을 상상해 보세요.

옛 방식: 장인은 망치와 나사못만 필요할지라도, 공구 Shed 에 있는 모든 망치, 톱, 나사못을 집어 듭니다. 그들은 작업 현장으로 공구 Shed 전체를 운반합니다.
새로운 방식 (이 논문): 장인은 작업을 보고 망치와 나사못만 필요하다는 것을 깨닫고, 톱과 나머지 도구 90% 는 Shed 에 남겨둡니다. 그들은 필요한 것만 운반합니다.

연구자들은 기존에 사전 훈련된 AI 모델 (Qwen, Llama, DeepSeek 등) 에서 이러한 "게으른" 행동이 이미 자연스럽게 발생하고 있음을 발견했습니다. 모델 내부의 수학 연산이 대부분의 작업을 자연스럽게 0 으로 만들었습니다. 그들은 단지 컴퓨터에게 그 낭비되는 작업을 건너뛰게 하도록 가르쳐야 했습니다.

실행 방법: "건너뛰기 목록 (Skip-List)" 시스템

팀은 vLLM 이라는 인기 있는 고속 AI 엔진 (음식을 주방에서 고객에게 전달하는 배달 서비스라고 생각하세요) 을 가져와 업그레이드했습니다.

확인: "셰프"가 요리를 시작하기 전에 시스템이 실제로 필요한 도구 (뉴런) 가 무엇인지 빠르게 확인합니다.
건너뛰기: 도구가 필요하지 않다면 (값이 너무 낮다면), 시스템은 그것을 메모리에 로드하거나 사용하려고 시도조차 하지 않습니다. 문자 그대로 계산을 건너뜁니다.
결과: 그들은 소프트웨어에 특별한 "고속 차선"을 구축했습니다. 주문 건수가 적을 때 (조용한 점심 시간과 같은 경우), 시스템은 이 고속 차선을 사용하여 무거운 작업을 건너뜁니다. 주방이 매우 바쁠 때 (거대한 저녁 시간과 같은 경우), 안정성을 유지하기 위해 표준적인 무거운 작업 모드로 전환합니다.

발견한 점 (결과)

그들은 10 억 개 파라미터의 작은 모델부터 4,000 억 개 파라미터의 거대 모델에 이르기까지 여덟 가지 다른 거대 AI 모델을 테스트했습니다.

정확도: 전문가 내부의 작업을 최대 **90%**까지 건너뛸 수 있었으며, AI 는 여전히 95% 의 확률로 정답을 맞췄습니다. 마치 레시피의 재료를 90% 건너뛰어도 요리가 여전히 95% 만큼 맛있다는 것과 같습니다.
속도:
- AI 의 특정 "요리" 부분 (MoE 레이어) 에서는 최대 2.5 배의 속도 향상을 보였습니다.
- 전체 시스템 (종단 간) 에서는 1.2 배의 속도 향상을 보였습니다.
하드웨어: 속도 향상은 소비자용 게이밍 그래픽 카드와 같은 작고 덜 강력한 그래픽 카드에서 가장 극적으로 나타났으며, 이는 더 저렴한 하드웨어에서 거대 AI 모델을 실행할 수 있는 훌륭한 방법임을 입증했습니다.

주의점 (한계)

논문은 한계를 솔직하게 인정합니다.

문지기: 시스템은 건너뛸 수 있기 전에 어떤 도구가 필요한지 확인해야 합니다. 이 "확인" 작업은 시간이 걸리며 아직은 건너뛸 수 없습니다. 셰프들이 모든 도구를 사용하지 않더라도, 매니저가 여전히 주방을 돌아다니며 셰프들에게 어떤 도구를 집어야 할지 말해줘야 하는 것과 같습니다.
배치 크기: 속도 향상은 AI 가 한 번에 몇 개의 요청을 처리할 때 가장 좋습니다. 수천 개의 요청을 동시에 처리하면 "확인" 오버헤드가 병목 현상이 되어 속도 향상이 감소합니다.

요약

이 논문은 새로운 유형의 AI 를 발명하거나 처음부터 새로운 모델을 훈련시킨 것이 아닙니다. 대신 그들은 기존에 존재하는 강력한 AI 모델을 살펴보고, **"이 모델들은 '활발'할지라도 이미 많은 불필요한 작업을 하고 있구나"**라고 깨달았습니다.

이 낭비되는 노력을 인식하고 단순히 건너뛰는 시스템을 구축함으로써, 그들은 이러한 거대 AI 모델들이 특히 비싸지 않은 하드웨어에서 훨씬 더 빠르고 효율적으로 실행되도록 만들었습니다. 이는 현재 세대의 AI 모델을 실행하는 것을 더 실용적으로 만드는 "스마트 건너뛰기" 기술입니다.

기술 요약: 효율적인 전문가 혼합 모델 실행을 위한 전문가 내부 활성화 희소성 규명

문제 제기
전문가 혼합 (MoE) 아키텍처는 희소 전문가 활성화에서 비롯된 계산 효율성 덕분에 최첨단 대규모 언어 모델 (LLM) 의 표준이 되었습니다. 그러나 더 미세한 전문가 세분화 (전문가 간 희소성) 를 통해 희소성을 더욱 높이는 것은 전문가 붕괴, 부하 불균형, 표현 붕괴와 같은 근본적인 훈련 장애에 직면해 있습니다. 이러한 문제들로 인해 모델 품질이나 훈련 안정성을 훼손하지 않으면서 활성화된 전문가의 비율을 줄이는 것이 점점 더 어려워지고 있습니다. 따라서 아키텍처 변경이나 재훈련에 의존하지 않는 희소성의 보완적 차원을 탐구할 필요가 있습니다.

방법론
저자들은 사전 훈련된 MoE 모델 내 개별 전문가의 활성화에 존재하는 희소성 차원인 전문가 내부 활성화 희소성을 조사합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

실증 분석: 연구는 1B 에서 400B 파라미터에 이르는 8 개의 상용 MoE 모델 (Granite, OLMoE, DeepSeek-V2, GPT-OSS, Qwen3.5, Llama-4 변형 포함) 을 분석합니다. 저자들은 활성화된 전문가 내에서 가장 낮은 점수의 뉴런 활성화를 점진적으로 0 으로 설정하면서 벤치마크 정확도 (ARC-Challenge, ARC-Easy, HellaSwag, Winogrande, TruthfulQA) 를 측정합니다. 이때 라우터에 의해 선택된 '라우팅된 전문가'와 항상 활성화된 '공유 전문가'를 구분합니다.
희소성 특성 관찰: 분석 결과, MoE FFN 계층의 활성화 출력은 긴 꼬리 분포를 따르는 것으로 나타났습니다. 상당수의 뉴런이 거의 0 에 가까운 활성화를 생성하므로, 정확도 손실을 최소화하면서 상당한 희소성 (최대 90%) 을 달성할 수 있습니다. 연구에 따르면 공유 전문가 뉴런은 라우팅된 전문가 뉴런에 비해 정확도에 대한 뉴런당 영향력이 더 큽니다. Qwen3.5-122B-A10B 와 같은 대규모 모델에서는 모든 공유 전문가 뉴런을 활성화 상태로 유지하면서 라우팅된 전문가 뉴런의 약 2% 만 활성화해도 모델 용량을 유지하기에 충분합니다.
vLLM 시스템 구현: 저자들은 이 희소성을 프로덕션급 추론 시스템인 vLLM에 통합합니다. 구현은 전문가 병렬성 및 기존 최적화 (HIP Graph, CUDA Graph, 커널 퓨전) 와의 호환성을 유지하면서 공유 전문가 실행 및 라우터 로직은 보존한 채 라우팅된 전문가 실행 파이프라인을 수정합니다.
- 게이트 프로젝션: 활성화 점수를 결정하기 위해 배치 행렬 곱셈 (BMM) 커널을 사용하여 밀집 방식으로 실행됩니다.
- 활성화 마스킹: 사용자 정의 Triton 커널이 단일 패스 ( $O(n)$ ) 에서 임계값 기반 마스킹을 수행하여, 상위 k 개 정렬 ( $O(n \log n)$ ) 의 계산 비용을 회피합니다.
- 퓨전 업-다운 프로젝션: 사용자 정의 희소 커널은 활성화된 뉴런에 대한 가중치만 수집하여 공유 메모리에 밀집 행렬로 패킹한 후 밀집 행렬 - 벡터 곱셈을 수행합니다. 이 접근법은 희소 접근의 불규칙성과 밀집 하드웨어 가속기의 처리량 사이의 균형을 맞춥니다.
- 동적 전환: 저지연 희소 실행과 고처리량 밀집 실행 사이의 트레이드오프를 처리하기 위해 시스템은 배치 크기에 따라 희소 및 밀집 코드 경로 간에 동적으로 전환합니다.

주요 기여

전문가 내부 희소성 발견: 이 논문은 모델 파라미터나 활성화 함수를 수정하지 않고도 기존 사전 훈련된 MoE 모델에서 상당한 전문가 내부 활성화 희소성을 쉽게 활용할 수 있음을 입증합니다.
시스템 통합: 저자들은 GPU 에서 전문가 간 및 전문가 내부 희소성을 효율적으로 활용하기 위해 vLLM MoE 실행 파이프라인을 재설계하여, 전문가 병렬성 및 그래프 캡처와 같은 프로덕션 수준의 기능을 완전히 지원합니다.
성능 평가: 이 작업은 다양한 모델 규모와 하드웨어 (AMD MI355X, NVIDIA H200, RTX4090) 에 걸쳐 포괄적인 평가를 제공하여, 이 최적화의 실용적 타당성을 확립합니다.

결과

희소성 수준: 연구는 모델이 기준선 정확도의 95% 를 유지하는 희소성 컷오프를 식별합니다. 예를 들어, 테스트된 가장 큰 모델 (Llama-4-Maverick) 은 최대 **90.8%**의 전문가 내부 희소성으로 정확도를 유지하는 반면, Granite-1B-A400M 과 같은 작은 모델은 26.5% 에서 유지합니다.
레이어 속도 향상: 전문가 내부 희소 실행은 밀집 vLLM 기준선에 비해 MoE 레이어 실행에서 최대 2.5 배의 속도 향상을 달성합니다. 속도 향상은 리소스가 제한된 하드웨어 (예: RTX4090) 와 메모리 및 계산 병목 현상이 더 심각한 대규모 모델 (Qwen3.5-122B-A10B) 에서 가장 두드러집니다.
엔드투엔드 속도 향상: 암달의 법칙 (MoE 레이어가 전체 실행 시간의 약 45% 를 차지함) 으로 인해 엔드투엔드 추론 속도 향상은 더 소극적이며, H200 에서 최대 1.2 배, MI355X 에서 1.1 배를 달성합니다. 이 이점은 지연 시간에 구애받는 워크로드 (예: 작은 배치 크기의 디코드 중심 시나리오) 에서 가장 유의미합니다.
정확도 보존: 임계값 기반 접근법은 식별된 희소성 컷오프까지 (예: Qwen3.5-35B-A3B 의 경우 85% 목표 희소성) 기준선 평균 벤치마크 점수의 95% 를 유지합니다.

의의
이 논문은 전문가 내부 활성화 희소성을 전문가 간 희소성에 대한 실용적이고 보완적인 최적화 기법으로 위치시킵니다. 이는 각 선택된 전문가의 밀집 FFN 내 내재적 중복성을 활용함으로써 전문가 간 희소성을 더 밀어붙이는 것의 한계를 해결합니다. 저자들은 이 작업이 미래의 효율적인 LLM 연구의 기초를 마련하며, 재훈련이나 아키텍처 변경 없이 대규모 MoE 모델의 서비스 비용을 절감할 수 있는 방법을 제공한다고 주장합니다. vLLM 에의 통합은 이러한 희소성이 고성능 프로덕션 시스템에서 효과적으로 활용될 수 있음을 보여주며, 이론적 희소성과 실현된 처리량 사이의 간극을 메웁니다.