MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

기술 요약: MoE2-LoRA

문제 정의

DeepSeek-V3 및 Qwen3와 같은 대규모 언어 모델(LLM)에서 Mixture-of-Experts(MoE) 아키텍처가 스케일링 효율성 덕분에 표준이 되었으나, 이러한 모델을 위한 매개변수 효율적 미세 조정(PEFT) 연구는 여전히 미진한 상태입니다. 기존의 MoE 모델용 PEFT 방법들은 크게 두 가지 범주로 나뉘며, 두 방식 모두 심각한 한계를 가집니다:

1. 정적 선택 기반의 전문가별 LoRA (Per-Expert LoRA with Static Selection): ESFT 및 DAS-LoRA와 같은 방법은 오프라인 통계에 기반하여 적응시킬 전문가의 정적인 하위 집합을 선택합니다. 이는 추론 시 활성화되지만 훈련 하위 집합에서 제외된 전문가들에 대해 **불충분한 적응(insufficient adaptation)**을 초래합니다.
2. 독립적인 MoE 스타일 LoRA (Independent MoE-style LoRA): MoELoRA 및 MoLA와 같은 방법은 LoRA를 MoE 구조와 통합하지만, 어댑터 라우팅을 기본 모델의 라우팅과 독립적으로 처리합니다. 이는 **고차원적 상호작용의 결여(lack of high-level interactions)**를 야기하며, 공동 활성화된 전문가들 사이의 협력적 역학이나 사전 학습된 기본 모델에 인코딩된 교차 계층 상호작용을 활용하지 못합니다.

핵심 과제는 일반적인 능력을 보존하면서 태스크 성능을 높이기 위해, 기본 모델의 MoE 메커니즘을 MoE 스타일의 저계수 적응(low-rank adaptation)과 어떻게 깊게 결합할 것인가 하는 점입니다.

방법론: MoE2-LoRA

저자들은 전문가 수준, 모듈 수준, 그리고 모델 수준의 적응을 통합하도록 설계된 MoE2-LoRA를 제안합니다. 이 접근 방식은 두 가지 주요 구성 요소에 의존합니다:

1. 라우팅 조건부 투영 (Routing-Conditioned Projection, RCP)

LoRA 전문가 라우팅을 처음부터 학습하거나 기본 라우터에 강제로 고정하는 대신, MoE2-LoRA는 라우팅 결정을 위한 이중 채널 입력을 도입합니다:

• 주 채널 (Primary Channel): 사전 학습된 라우팅 우선순위를 보존하기 위해 기본 라우터의 로짓($z = G(h)$)을 재사용합니다.
• 보조 채널 (Auxiliary Channel): 은닉 상태($h_c = W_h \cdot h$)의 저계수 투영을 통해 태스크 특화적인 보정을 주입합니다.

이 채널들을 결합하고 학습 가능한 행렬 $W_l$에 의해 매핑함으로써 LoRA 라우팅 확률($p_L$)을 생성합니다. 이 설계는 LoRA 전문가 선택이 기본 모델의 라우팅 구조를 바탕으로 조건화되도록 보장하는 동시에, 태스크 특화 적응을 위한 유연성을 유지합니다.

2. 글로벌 공유 LoRA 전문가 풀 (Global Shared LoRA Expert Pool)

각 레이어마다 특정 전문가 풀을 할당하여 매개변수 중복과 고립을 초래하는 기존 방법들과 달리, MoE2-LoRA는 모든 MoE 레이어에서 공유되는 단일 글로벌 풀을 유지합니다.

• 동적 이질성 (Dynamic Heterogeneity): 각 레이어는 자신만의 학습 가능한 투영 행렬($W_l$)을 통해 공유 풀에 접근하므로, 정적인 용량 제한 없이 동적으로 전문가를 선택할 수 있습니다.
• 창발적 친화성 (Emergent Affinity): 이 설계는 모델 전체의 지식 공유를 가능하게 합니다. 분석 결과, 전문가들이 공유되더라도 특정 전문가가 특정 레이어에 자연스럽게 특화되는 **창발적 레이어 친화성(emergent layer affinities)**이 나타나며, 이를 통해 수동 할당 없이도 균형 잡힌 활용도를 달성합니다.

최종적인 MoE2-LoRA 블록의 출력은 기본 MoE 출력과 글로벌 풀에서 선택된 상위-$K$개의 LoRA 전문가의 가중 합을 결합하여 생성됩니다.

주요 기여

1. 진단 및 원리: 본 논문은 현재 MoE용 PEFT 방법의 한계(불충분한 적응 및 상호작용 결여)를 규명하고, 새로운 원칙을 제안합니다: 즉, MoE 모델을 미세 조정하려면 모듈 및 모델 수준 모두에서 기본 MoE 메커니즘과 MoE 스타일의 PEFT를 깊게 결합해야 한다는 것입니다.
2. MoE2-LoRA 아키텍처: 기본 라우터 활성화를 재사용하는 RCP 모듈과 교차 레이어 학습을 촉진하는 글로벌 공유 전문가 풀을 도입했습니다.
3. 실증적 검증: 이 통합된 접근 방식이 강력한 일반 능력을 유지하면서도 최첨단(SOTA) 다운스트림 정확도를 달성함을 입증했습니다.

실험 결과

저자들은 다양한 규모와 세밀도를 가진 네 가지 MoE 백본(OLMoE-1B-7B, DeepSeek-V2-Lite, Qwen3-30B-A3B, Qwen3.5-35B-A3B)에 대해 MoE2-LoRA를 평가했습니다.

• 도메인 내 성능 (In-Domain Performance): 수학(GSM8K, MATH-500) 및 코드(MBPP, HumanEval) 벤치마크 전반에서 MoE2-LoRA는 기존 PEFT 베이스라인(MoELoRA, MoLA, DAS-LoRA 및 per-expert LoRA 포함)을 일관되게 능가했습니다. DeepSeek-V2-Lite에서 가장 강력한 PEFT 베이스라인 대비 도메인 내 평균 정확도를 +2.56 포인트 향상시켰습니다.
• 일반 능력 유지 (General Capability Retention): 태스크 적응과 일반 지식 사이의 트레이드오프를 겪는 베이스라인들과 비교하여, MoE2-LoRA는 일반 능력(MMLU, WinoGrande, ARC-Challenge 등으로 측정)을 유지하는 데 탁월한 성능을 보였습니다.
• 멀티모달 설정 (Multimodal Settings): Qwen3.5-35B-A3B를 이용한 의료 영상 실험에서, MoE2-LoRA는 도메인 내 VQA 태스크에서 최고의 정확도를 기록했으며, 일반 시각-언어 벤치마크에서 최상의 양의 전이(positive transfer)를 달성했습니다.
• 스케일링 동작 (Scaling Behavior): OLMoE 실험을 통해 MoE2-LoRA가 학습 가능한 매개변수 예산 증가에 따라 효과적으로 스케일링되는 반면, MoELoRA와 같은 베이스라인은 수익 체감(diminishing returns) 현상을 보임을 확인했습니다.

의의 및 주장

본 논문은 MoE2-LoRA가 사전 학습된 전문가 전문성과 태스크 특화 적응성을 깊게 결합하는 MoE 스타일의 저계수 적응을 사용하여 MoE 모델을 미세 조정하려는 첫 번째 시도라고 주장합니다.

이 연구의 의의는 다음과 같은 능력에 있습니다:

• 사전 지식 재사용 (Reuse Priors): 사전 학습된 라우터의 활성화 패턴을 효과적으로 활용하여 어댑터 선택을 유도함으로써, 라우팅을 처음부터 학습할 때 발생하는 불안정성을 방지합니다.
• 교차 레이어 학습 가능 (Enable Cross-Layer Learning): 글로벌 전문가 풀을 통해 전체 모델 깊이 전반에 걸친 지식 공유를 촉진하여, 레이어별 어댑터의 중복 문제를 제거합니다.
• 적응의 통합 (Unify Adaptation): MoE 아키텍처 고유의 희소 활성화(sparse activation) 및 불안정한 그래디언트 흐름 문제를 해결하며, 전문가 수준, 모듈 수준, 모델 수준의 적응을 성공적으로 통합합니다.

저자들은 기본 모델의 고유한 MoE 메커니즘을 존중함으로써, MoE2-LoRA가 기존 방법들이 달성하지 못한 높은 태스크 성능과 견고한 일반 능력 유지 사이의 균형을 달성한다고 결론짓습니다.