1. 문제 정의 (Problem)

현대 대규모 언어 모델 (LLM) 은 주로 전문가 혼합 (Mixture-of-Experts, MoE) 아키텍처를 사용하여 파라미터 수를 늘리면서도 추론 비용을 일정하게 유지합니다. 그러나 기존 MoE 모델에는 다음과 같은 근본적인 한계가 존재합니다.

• 과도한 전문가 전환 (High Switch Rate): 현재 MoE 모델은 거의 매 토큰 (token) 생성 시마다 활성화되는 전문가 (expert) 집합을 변경합니다. 논문에서 분석한 바에 따르면, gpt-oss-20b, gpt-oss-120b, Qwen3-Next-80B 등 주요 오픈소스 모델들의 평균 전환율은 **94%~100%**에 달합니다.
• 메모리 및 지연 시간 문제: 전문가 수가 GPU 메모리를 초과할 경우, 전문가 가중치를 호스트 메모리나 디스크로 오프로딩 (offloading) 하고 필요 시 로드해야 합니다. 매 토큰마다 전문가가 바뀌면 이러한 로드/오프로딩 작업이 빈번하게 발생하여 지연 시간 (latency) 이 급증하고 처리량 (throughput) 이 떨어집니다.
• 기존 해결책의 부족: 기존 연구들은 전문가 가지치기 (pruning) 나 캐싱/프리페칭 (prefetching) 에 의존하지만, 이는 모델의 라우팅 결정 자체를 변경하지 않아 근본적인 전환 비용을 해결하지 못합니다.

2. 방법론 (Methodology)

저자들은 강화학습의 옵션 (Options) 프레임워크를 MoE 라우팅 문제에 적용하여 **시간적으로 확장된 MoE (Temporally Extended MoE)**를 제안합니다.

핵심 아이디어: 옵션 프레임워크 적용

• 옵션 (Option) 정의: 특정 토큰 시퀀스 동안 유지되는 **전문가 마스크 (Expert Mask, 허용된 전문가 집합)**를 하나의 '옵션'으로 정의합니다.
• 컨트롤러 (Controller): 각 MoE 레이어에 경량 컨트롤러를 도입하여, 현재 상태를 관찰하고 다음 두 가지 결정을 내립니다.
  1. 종료 (Termination): 현재 전문가 집합을 계속 사용할지, 아니면 새로운 집합으로 전환할지 결정 (확률 $\beta$).
  2. 선택 (Selection): 전환이 필요할 경우, 어떤 새로운 전문가 집합을 로드할지 결정.
• 고려 비용 (Deliberation Cost, $\eta$): 전문가 전환 시 발생하는 지연 시간을 명시적인 비용 항으로 목적 함수에 포함시킵니다. 컨트롤러는 전환으로 인한 성능 향상 (기대 보상) 이 전환 비용 ($\eta$) 을 상회할 때만 전환을 수행하도록 학습됩니다.

아키텍처 및 학습

• Option-Critic 아키텍처: 옵션 크리티크 (Option-Critic) 알고리즘을 기반으로 하며, 내부 정책 (intra-option policy, LLM 자체의 토큰 생성) 과 종료 함수 (termination function) 를 동시에 최적화합니다.
• 자기 증류 (Self-Distillation): 사전 훈련된 MoE 모델 (Teacher) 을 고정하고, 컨트롤러가 적용된 모델 (Student) 이 Teacher 와 유사한 분포를 유지하도록 **역 KL 발산 (Reverse KL Divergence)**을 보상으로 사용합니다. 이를 통해 성능 저하를 최소화하면서 전환율을 낮춥니다.
• 구현: gpt-oss-20b 모델에 적용되었으며, LoRA(Low-Rank Adaptation) 를 사용하여 전문가 파라미터와 어텐션 파라미터를 미세 조정하고, 컨트롤러는 각 레이어마다 독립적으로 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 설계 철학: MoE 라우팅을 강화학습의 '시간적으로 확장된 행동 (temporally extended actions)' 문제로 재정의하여, 메모리 효율성, 훈련, 지속적 학습 (continual learning) 에 대한 새로운 관점을 제시했습니다.
2. 반마르코프 의사결정 과정 (s-MDP) 공식화: 전문가 로딩을 지연 비용이 있는 s-MDP 로 모델링하고, Option-Critic 프레임워크를 MoE 에 적용하는 구체적인 방법론을 제시했습니다.
3. 실증적 검증: 기존 사전 훈련된 모델을 대규모 재학습 없이도 경량 컨트롤러와 LoRA 만으로 변환 가능함을 보였습니다.

4. 실험 결과 (Results)

실험 설정: gpt-oss-20b 모델 (32 개 전문가, 톱 -4 라우팅) 을 대상으로 MATH, MMLU, MMMLU 벤치마크에서 평가.

• 전환율 (Switch Rate) 감소:
  • 기존 모델: 약 50%~100% (거의 매 토큰마다 전환).
  • 제안 방법 (컨트롤러 적용): 5% 미만 (심지어 1% 까지 감소).
  • 이는 전문가 집합이 수십 토큰에 걸쳐 유지됨을 의미하며, 메모리 오프로딩/로드 빈도를 획기적으로 줄입니다.
• 성능 유지:
  • MATH: 베이스 모델 (71.5%) 대비 64.0% (전환율 4.1% 조건) 달성.
  • MMLU: 베이스 모델 (79.5%) 대비 72.5% 달성.
  • MMMLU: 베이스 모델 (67.5%) 대비 59.5% 달성.
  • 기존 가지치기 (Pruning) 기반 베이스라인 (Frequency, Reconstruction, Wanda 등) 에 비해 훨씬 높은 정확도를 유지하면서도 전환율을 낮췄습니다.
• 고려 비용 ($\eta$) 의 영향: $\eta$ 값을 높일수록 전환율은 더 낮아지지만 정확도는 약간 감소하는 트레이드오프가 관찰되었습니다. 이를 통해 메모리 제약과 성능 간의 균형을 조절할 수 있습니다.
• 시각화: 생성된 토큰 시퀀스 동안 전문가 마스크가 긴 시간 동안 일정하게 유지되는 것을 확인했습니다 (Fig 6, 7).

5. 의의 및 중요성 (Significance)

• 메모리 효율적인 서비스 (Memory-Efficient Serving): GPU 메모리 부족으로 인해 대규모 MoE 모델을 배포할 때, 전문가 전환 비용을 줄여 오프로딩 오버헤드를 최소화하고 지연 시간을 획기적으로 개선할 수 있습니다.
• 훈련 및 지속적 학습:
  • Temporal Chunking: 연속된 토큰 블록에서 동일한 전문가 집합을 사용하므로, 훈련 시 비활성 전문가를 메모리에서 내보내고 활성 전문가만 로드하여 GPU 메모리 사용을 최적화할 수 있습니다.
  • 확장성: 새로운 전문가를 추가하더라도 활성화되는 전문가 수 ($\hat{k}$) 는 일정하므로, 모델 용량을 늘려도 추론 비용은 증가하지 않습니다.
• 원칙적인 접근: 단순한 휴리스틱이 아닌, 강화학습의 이론적 기반 (옵션 프레임워크) 에 근거하여 MoE 의 라우팅 전략을 체계적으로 최적화하는 길을 열었습니다.

결론적으로, 이 연구는 MoE 모델이 가진 '지속성 없는 라우팅' 문제를 해결하여, 거대한 모델 용량을 유지하면서도 제한된 하드웨어 자원 (GPU 메모리) 으로 효율적으로 서비스를 제공할 수 있는 새로운 패러다임을 제시했습니다.