기술 요약: 희소 전문가 혼합(Sparse Mixture of Experts)에서의 내쉬 협상(Nash Bargaining)을 이용한 전문가 병합

문제 정의

희소 전문가 혼합(Sparse Mixture of Experts, SMoE) 아키텍처는 입력당 일부 전문가 모듈만을 활성화함으로써 신경망을 효율적으로 확장하는 핵심 기술이 되었습니다. 많은 연구가 라우팅 메커니즘(예: 부하 분산, 안정성)을 개선하는 데 집중해 온 반면, 모든 전문가 파라미터를 하나의 통합된 모델로 결합하는 전문가 병합(expert merging)—배포 또는 추론을 위한—문제는 여전히 미개척 영역으로 남아 있습니다.

기존의 병합 전략은 단순한 입력 독립적 평균이나 top-$k$ 집계와 같은 휴리스틱 가중치 체계에 의존하는 경우가 많습니다. 이러한 방법들은 전문가들 사이의 복잡한 협력 및 경쟁 역학을 간과합니다. 또한, 자연 경사(natural gradients)를 사용하여 전문가들을 정렬하는 곡률 인식 전문가 병합(Curvature-aware Merging of Experts, CAMEx) 및 그 동적 변형인 EP-CAMEx와 같은 최근 방식들은 한계를 보였습니다. 구체적으로, EP-CAMEx는 전문가 기여도 간의 협력이 부족하고 전파 과정에서의 수렴이 느리기 때문에 종종 정적 대응 모델보다 성능이 떨어지는 모습을 보입니다. 핵심 과제는 전문가 병합을 단순히 선형 평균으로 보는 것이 아니라, 다양한 전문가들의 고유한 기여를 균형 있게 조절하는 구조적 상호작용으로 해석하는 것입니다.

방법론: NAMEx

저자들은 **내쉬 협상 솔루션(Nash Bargaining Solution, NBS)**을 활용하여 전문가 병합을 게임 이론의 관점에서 재해ร해석하는 프레임워크인 **NAMEx (Nash Merging of Experts)**를 제안합니다.

1. 협상 게임으로서의 전문가 병합

저자들은 병합 과정을 전문가들 사이의 협력적-경쟁적 게임으로 프레이밍합니다.

• 플레이어: SMoE 레이어 내의 각 전문가 $i$.
• 효용 함수: $u_i(\Delta E) = \tau_i^\top \Delta E$로 정의됩니다. 여기서 $\tau_i = E_i - E_m$은 베이스 전문가 $E_m$으로부터의 편차를 나타내는 "도메인 벡터(domain-vector)"입니다. 이 벡터는 해당 전문가의 고유한 기여를 포착합니다.
• 불일치 지점(Disagreement Point): 베이스 전문가에 대한 업데이트가 없는 상태인 0으로 설정됩니다.
• 목표: 개별 이득의 곱을 불일치 지점 위에서 최대화하는 볼 $B_\epsilon$ 내의 업데이트 방향 $\Delta E$를 찾는 것입니다:
  $$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$$
  도메인 벡터들이 선형 독립이라는 가정하에, 솔루션은 도메인 벡터들의 가중 합으로 유도됩니다:
  $$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$$
  여기서 가중치 $\alpha$는 내쉬 협상 방정식 $G^\top G \alpha = 1/\alpha$를 만족하며, 이때 $G$는 도메인 벡터 행렬이고 $1/\alpha$는 원소별 역수입니다.

2. 전문가 전파와의 통합

NAMEx는 EP-CAMEx 프레임워크에 통합됩니다. 베이스 전문가 전파를 위해 고정된 경사 하강 단계(gradient descent step)를 사용하는 대신, NAMEx는 각 레이어 $l$에서 내쉬 솔루션을 사용하여 최적의 업데이트 방향 $\Delta E^{(l)}$을 계산합니다. 베이스 전문가 $E_m$은 다음과 같이 업데이트됩니다:
$$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$$
여기서 $\gamma$는 스텝 크기입니다.

3. 복소 모멘텀(Complex Momentum)

EP-CAMEx에서 관찰된 느린 수렴 문제를 해결하기 위해, 저자들은 NAMEx 프레임워크에 **복소 모멘텀(complex momentum)**을 통합합니다 (NAMEx-Momentum).

• 복소 모멘텀 버퍼 $\mu^{(j)} \in \mathbb{C}^d$는 방향성 업데이트를 누적합니다.
• 업데이트 규칙은 복소 모멘텀 계수 $\beta \in \mathbb{C}$를 포함합니다:
  $$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$$
  $$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$$
• 이론적 분석(Proposition 3.5 및 Theorem C.3)은 시스템 행렬의 스펙트럼 반지름(spectral radius)을 1 미만으로 유지할 수 있음을 보여줌으로써, 완만한 조건 하에서 선형 수렴을 보장하는 수렴성을 제공합니다.

주요 기여

1. NAMEx 프레임워크: 전문가 도메인 벡터를 효용 함수로 취급하여 공정하고 효율적인 병합 계수를 도출함으로써, 내쉬 협상 최적화 프레임워크를 전문가 전파에 통합한 새로운 전문가 병합 방법론을 제시합니다.
2. 복소 모멘텀 통합: NAMEx에 복소 모멘텀을 도입하여 수렴 속도를 높이고, 특히 적대적이거나 충돌하는 전문가 역학이 존재하는 시나리오에서 안정성을 향상시킵니다. 저자들은 NAMEx-Momentum의 수렴 속도에 대한 이론적 증명을 제공합니다.
3. 확장성 및 실증적 검증: 다양한 작업(언어 모델링, 텍스트 분류, 이미지 분류)에 걸친 NAMEx의 효과를 입증하였으며, 대규모 시스템(Qwen1.5-MoE 14B, DeepSeek-MoE 16B)으로의 확장성을 보여주었습니다.

실험 결과

저자들은 여러 벤치마크에서 NAMEx를 SMoE, CAMEx, EP-CAMEx와 같은 베이스라인과 비교 평가했습니다:

• 언어 모델링 (WikiText-103): NAMEx-Full-Mom은 소규모 및 중규모 사전 학습 모두에서 가장 낮은 검증 및 테스트 퍼플렉시티(perplexity)를 달성하여 모든 베이스라인을 능가했습니다.
• 텍스트 분류 (GLUE): T5-Base를 사용한 GLUE 벤치마크에서 NAMEx-Full-Mom은 모든 작업(SST-2, MRPC, CoLA 등)에서 최고의 결과를 얻었으며, SMoE 및 곡률 기반 방법들보다 일관된 개선을 보여주었습니다.
• 이미지 분류 (ImageNet-1k 및 강건성): Swin-MoE에서 NAMEx-Mom은 Top-1 정확도에서 모든 베이스라인을 앞질렀습니다. 결정적으로, 손상된 데이터셋(ImageNet-A, ImageNet-O, ImageNet-R)에 대해 우수한 강건성을 입증했으며, 모멘텀 변형 모델들이 가장 강력한 이득을 보였습니다.
• 대규모 모델: DeepSeek-MoE (16B) 및 Qwen1.5-MoE (14B)에 적용했을 때, NAMEx-Full은 MMLU, GSM8K, ARC 벤치마크의 제로샷(zero-shot) 및 미세 조정(SmolTalk) 설정 모두에서 EP-CAMEx와 베이스라인을 일관되게 능가했습니다.
• 절제 연구 (Ablation Studies):
  • 모멘텀: 복소 모멘텀은 실수형 모멘텀에 비해 수렴 속도와 성능을 유의미하게 향상시켰습니다.
  • 반복 횟수: 레이어당 2회의 반복으로 내쉬 시스템을 푸는 것이 효율적이고 효과적이었으며, 반복 횟수가 높아질수록 이득은 점차 감소했습니다.
  • 불일치 지점: 불일치 지점으로 0을 사용하는 것이 평균을 사용하는 것보다 더 견고하고 안정적이었습니다.

의의 및 주장

본 논문은 NAMEx가 휴리스틱한 전문가 병합에 대한 원칙적인 대안을 제공한다고 주장합니다. 전문가 간의 상호작용을 협상 게임으로 모델링함으로써, NAMEx는 전문가들 사이의 협력과 경쟁을 모두 고려하는 파레토 효율적인(Pareto-efficient) 병합 프로세스를 보장합니다. 복소 모멘텀의 통합은 동적 병합 시나리오에서의 수렴 병목 현상을 해결합니다.

저자들은 NAMEx가 다음을 수행함을 강조합니다:

• 성능 향 향상: 시각 및 언어 작업 전반에서 기존 병합 전략을 일관되게 능가합니다.
• 강건성 강화: 데이터 오염 및 분포 변화 하에서 우수한 일반화 능력을 입증합니다.
• 효과적인 확장성: 추론 비용이 변하지 않고 훈련 오버헤드가 관리 가능한 수준 내에서, 대규모 MoE 아키텍처(최대 16B 파라미터)에 대한 실행 가능성을 입증합니다.
• 이론적 근거: 순수하게 경험적인 휴리스틱을 넘어, 모멘텀이 강화된 변형 모델에 대한 수렴 보장을 제공합니다.

이 연구는 전문가 병합을 게임 이론의 관점에서 바라보는 것이 모듈형 딥러닝 시스템을 최적화하는 새로운 길을 열어줄 수 있음을 시사하며, 공정한 전문가 결합이 중요한 연합 학습(federated learning) 및 전이 학습(transfer learning) 분야에서의 잠재적 응용 가능성을 보여줍니다.