Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

기술 요약: 효율적인 언어 적응을 위한 전문가 혼합 모델의 라우팅 역학 활용

문제 제기
전문가 혼합 (MoE) 모델은 희소 활성화를 통해 추론 비용을 관리 가능한 수준으로 유지하면서 방대한 매개변수 수를 유지할 수 있는 능력으로 인해 대규모 언어 모델 (LLM) 확장의 표준이 되었습니다. 그러나 다국어 환경에서 MoE 모델의 내부 라우팅 행동은 아직 충분히 탐구되지 않았습니다. 밀집형 다국어 모델이 중간 층에서는 영어를 내부 '중계 (pivot)'로 의존하고 첫 번째 및 마지막 층에는 언어별 뉴런이 존재하는 것으로 알려져 있지만, MoE 가 서로 다른 언어를 위해 어떻게 전문화된 라우팅 전략을 발전시키는지 명확하지 않습니다. 또한, 대규모 MoE 를 새로운 저자원 언어에 적응시키는 것은 계산 비용이 매우 많이 듭니다. 모듈식 구조가 이론적으로는 전문가의 하위 집합만 업데이트함으로써 매개변수 효율적인 적응을 가능하게 하지만, 다국어 라우팅 역학을 사전에 이해하지 않고는 어떤 전문가를 업데이트해야 하는지 현재로서는 알 수 없습니다.

방법론
저자들은 OLMoE-Base 모델 (층당 64 개의 전문가를 가진 디코더 전용 트랜스포머로, 상위 8 개를 선택) 을 사용하여 연속 사전 학습 중의 라우팅 역학을 조사하기 위해 통제된 연구를 수행했습니다.

1. 연속 사전 학습 설정: 영어 중심 OLMoE-Base 모델은 CulturaX 데이터셋에서 샘플링된 7 개 고자원 언어 (영어, 아랍어, 체코어, 스페인어, 핀란드어, 힌디어, 러시아어) 로 구성된 균형 잡힌 350 억 토큰 코퍼스로 지속적으로 사전 학습됩니다. 이렇게 생성된 모델은 OLMoE-M7이라고 합니다.
2. 라우팅 분석 지표: 라우팅 질량이 어떻게 분포되는지 특성화하기 위해 저자들은 다음을 분석합니다:
   • 라우터 엔트로피: 주어진 언어에 대한 전문가 활성화가 얼마나 집중되어 있는지 측정합니다. 엔트로피가 낮을수록 토큰이 소수의 전문가로 라우팅됨을 의미합니다.
   • 교차 언어 라우팅 발산 (JSD): 언어별 전문가 사용 분포 간의 제이슨-샤논 발산을 계산하여 언어 쌍 간의 라우팅 패턴이 얼마나 구별되는지 정량화합니다.
   • 어휘 중첩: 언어 쌍 간의 토큰 수준 어휘 중첩을 분석하여, 유형론적 또는 가족 기반 유사성보다 라우팅 유사성을 더 많이 주도하는지 확인합니다.
3. 적응 전략 (SSFT): 라우팅 분석에 영감을 받아 저자들은 저자원 언어 적응을 위한 **선택적 및 공유 전문가 미세 조정 (SSFT)**을 제안합니다.
   • 전문가 선택: 언어별 전문가를 식별하기 위해 '활성화 간격' (특정 전문가의 상위 두 언어 간 활성화 빈도 차이) 을 정의합니다.
   • 하이브리드 업데이트: SSFT 는 모델의 마지막 두 층만 업데이트합니다. 목표 언어에 대해 높은 활성화 간격을 가진 소수의 언어별 전문가를 선택하고, 모든 언어에서 매우 활발하게 작동하는 소수의 '공유' 전문가로 이를 보강합니다.
   • 기준선: 이 방법은 선택적 전문가 미세 조정 (SEFT, 언어별 전용), 무작위 전문가 미세 조정, 모든 전문가 미세 조정 (AEFT), 전체 모델 미세 조정 (Full-FT) 과 비교됩니다.

라우팅 역학에 대한 주요 발견

• 층별 전문화: 균형 잡힌 다국어 학습이 모델 전반에 걸쳐 언어 분리를 유도한다는 가설과 달리, 연구 결과 초기 및 중간 층에서는 라우팅이 확산되고 언어와 무관하게 유지되는 것으로 나타났습니다. 뚜렷한 언어 전문화는 주로 마지막 층에서 나타납니다.
• 어휘 중첩 대 언어 가족: 마지막 층에서 라우팅 유사성은 언어 가족, 구문, 또는 지리적 유사성보다 토큰 수준 어휘 중첩과 더 강하게 상관관계를 보입니다. 예를 들어, 힌디어와 마라티어 (높은 어휘 중첩) 는 유사한 라우팅 패턴을 보이는 반면, 영어와 네덜란드어 (공통된 가족이지만 낮은 중첩) 는 발산된 패턴을 보입니다.
• 영어 우세: 기본 모델은 영어가 지배적인 라우팅 패턴을 보입니다. 연속 사전 학습은 이러한 우세를 감소시키지만 제거하지는 않습니다. 영어 토큰은 여전히 마지막 층에서 비영어권 언어와 구별되는 라우팅 패턴을 유지합니다.

저자원 적응에 대한 결과
저자들은 6 개 저자원 언어 (카탈로니아어, 에스토니아어, 마라티어, 슬로바키아어, 우크라이나어, 우르두어) 를 고자원 앵커와 짝지어 SSFT 를 평가했습니다.

• 성능: SSFT 는 강력한 성능 - 효율성 균형을 달성합니다. MultiBLiMP 벤치마크에서 SSFT 는 평균 정확도 **83.6%**를 기록하여 SEFT(78.7%) 와 Random-SEFT(73.8%) 를 능가했습니다. 이는 훨씬 적은 수의 매개변수만 업데이트하면서도 Full-FT(90.5%) 의 성능에 근접합니다.
• 효율성: SSFT 는 모델 매개변수의 2% 미만(약 75~138M 매개변수) 만 업데이트합니다. 계산 비용 측면에서 SSFT 는 Full-FT 대비 약 10 배 적은 GPU 시간과 100 배 적은 FLOPs를 요구합니다.
• 공유 전문가: SSFT 에 공유 전문가를 포함시키는 것이 결정적입니다. 언어별 전문가만 업데이트하는 것 (SEFT) 은 더 낮은 성능을 초래하며, 단순히 언어별 전문가의 수를 늘리는 것 (SEFT-Top20) 은 하이브리드 SSFT 접근법의 성능을 따라가지 못합니다.
• 강건성: 저자들은 Full-FT 가 더 큰 데이터셋으로 학습될 때 이전에 학습된 언어에 대한 파국적 망각을 초래하는 반면, SSFT 는 파국적 망각이 적음을 지적합니다.

의의 및 주장
이 논문은 MoE 모델에서 저자원 다국어 적응을 위한 실용적인 통찰력을 제공한다고 주장합니다. MoE 에서의 언어 전문화가 마지막 층에 집중되어 있고 어휘 중첩에 의해 주도된다는 것을 입증함으로써, 저자들은 효율적인 적응을 위해 전체 모델 미세 조정이 필요하지 않음을 보여줍니다. 제안된 SSFT 전략은 이러한 역학을 활용하여 최소한의 매개변수 업데이트로 경쟁력 있는 성능을 달성합니다. 이 연구는 효과적인 적응이 새로운 언어를 위한 전문화된 전문가를 타겟팅하면서 교차 언어 안정성을 유지하기 위해 공유 전문가를 보존하는 하이브리드 접근법에 의존함을 시사합니다. 저자들은 이러한 발견이 전체 미세 조정의 계산적 부담 없이 확장 가능하고 효율적인 언어 적응을 위한 경로를 제공한다고 결론지었습니다.

한계점
저자들은 계산적 제약으로 인해 실험이 OLMoE-Base 아키텍처 (활성 1B/총 7B 매개변수) 로 제한됨을 인정합니다. 또한, 그들의 전략은 사전 학습 데이터에 가까운 친척이 없는 언어 고립체나 저자원 언어의 적용 가능성을 제한할 수 있는 상당한 어휘 중첩을 가진 고자원 '앵커' 언어의 존재에 의존한다고 지적합니다. 마지막으로, 발견된 사실은 균형 잡힌 코퍼스에 대한 연속 사전 학습에 특화된 것이며 다른 학습 체계에서는 다를 수 있습니다.