기술 요약: 혼합 전문가 (MoE) 모델의 다국어 하위 작업에 대한 라우팅 정렬 미세 조정

문제 제기

혼합 전문가 (MoE) 모델은 대규모 언어 모델 (LLM) 을 효율적으로 확장하기 위한 지배적인 패러다임이 되었습니다. 그러나 이러한 사전 훈련된 MoE 모델을 비영어권 하위 작업에 적응시키는 것은 여전히 어렵습니다. 기존 미세 조정 접근법은 MoE 모델을 단일 학습체로 취급하여 대상 언어 데이터에 표준 감독 미세 조정 (SFT) 을 적용합니다. 이 접근법은 사전 훈련 중에 발달하는 이질적인 라우팅 구조를 무시합니다.

최근 연구들은 교차 언어 라우팅 발산에서 "U 자형" 패턴을 나타냅니다: 초기 층과 후기 층은 언어에 매우 특화되어 있는 반면, 중간 층은 강력한 교차 언어 정렬을 보입니다. 이러한 정렬에도 불구하고, 모델이 비영어 입력에 대해 작업 관련 전문가를 특정하여 활성화하지 못하기 때문에 비영어권 성능이 종종 저하됩니다. 핵심 문제는 전체 모델을 재훈련하거나 희소 라우팅 역학을 무시하지 않고도 비영어권 작업의 미세 조정을 개선하기 위해 이 교차 언어 라우팅 구조를 어떻게 활용할 수 있는지에 있습니다.

방법론: RA-MoE

저자들은 모델의 중간 층에서 대상 언어 라우팅 패턴을 영어 작업 전문가 활성화 패턴과 정렬하도록 설계된 3 단계 프레임워크인 **RA-MoE (라우팅 정렬 MoE 미세 조정)**를 제안합니다.

1 단계: 병렬 데이터 구축 및 분류

이 방법은 영어 작업 예제 $(x_{en}, y_{en})$를 대상 언어 $(x_{tgt}, y_{tgt})$로 번역한 병렬 데이터셋을 구축하는 것으로 시작합니다. MoE 모델은 두 버전 모두에 대해 추론을 수행하며, 예제들은 정확도에 따라 4 가지 분류 체계로 분류됩니다:

• cc: 영어와 대상 언어 모두에서 정확함.
• ci: 영어에서는 정확하지만 대상 언어에서는 부정확함.
• ic: 영어에서는 부정확하지만 대상 언어에서는 정확함.
• ii: 둘 다 부정확함.

저자들은 ci 범주가 모델이 필요한 작업 지식 (영어에서 입증됨) 을 보유하고 있지만 라우팅 불일치로 인해 대상 언어에서 이를 적용하지 못하는 "언어 주도" 성능 격차를 나타낸다고 가정합니다.

2 단계: 중간 층 및 작업 전문가 식별

이 단계는 정렬을 위한 최적의 목표를 식별하기 위해 모델의 라우팅 행동을 분석합니다:

1. 중간 층 식별: 저자들은 층 전반에 걸쳐 영어와 대상 언어 라우팅 분포 간의 제이슨 - 샤논 (JS) 발산을 계산합니다. 그들은 U 자형 패턴을 확인하며, 발산이 최소인 연속적인 중간 층 범위 ($L_{mid}$) 를 식별합니다. 이러한 층들은 "언어 보편적 정렬 영역"으로 작용합니다.
2. 작업 전문가 식별: 이러한 중간 층 내에서 저자들은 (정확히 답변된 예제로 제한된) 영어 작업 데이터에 대한 라우팅 가중치를 일반 영어 말뭉치와 대조하여 "작업 전문가"를 식별합니다. 작업에 대해 우선적으로 활성화되는 전문가 (높은 특이성 점수) 는 목표 집합 ($E_{task}$) 으로 선택됩니다.

3 단계: 라우팅 정렬 SFT

최종 단계는 수정된 목적 함수를 사용하여 대상 언어 데이터로 모델을 미세 조정하는 것을 포함합니다:
$$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$$

• $\mathcal{L}_{CE}$: 모든 예제에 적용되는 표준 교차 엔트로피 손실.
• $\mathcal{L}_{align}$: ci 유형 예제에 선택적으로 적용되는 라우팅 정렬 손실. 이러한 예제들의 경우, 모델은 대상 언어 입력을 영어 참조와 동일한 작업 전문가를 통해 중간 층에서 라우팅하도록 장려받습니다. 손실은 $E_{task}$로 제한된 대상 언어의 재규격화된 라우팅 분포와 영어 참조 분포 간의 KL 발산으로 계산됩니다.

이 선택적 적용은 정렬 신호가 작업에 대한 유효하고 신뢰할 수 있는 참조인 영어 라우팅 패턴이 있는 경우에 기반하도록 보장합니다.

주요 기여

1. 작업 설정에서 U 자형 발산 검증: 이 논문은 교차 언어 라우팅 발산의 U 자형 패턴이 작업 특정 설정에서도 유효함을 실증적으로 검증하여, 중간 층 라우팅 발산이 언어별 작업 성능 격차를 신뢰할 수 있게 예측함을 보여줍니다.
2. 4 가지 분류 체계 및 예측자: 저자들은 교차 언어 격차를 진단하기 위한 cc/ci/ic/ii 분류 체계를 도입합니다. 작업 - 언어 쌍에서 ci 예제의 비율이 라우팅 정렬로부터의 잠재적 이익에 대한 강력한 예측 변수 (상관관계 $r=0.70$) 라는 실증적 증거를 제공합니다.
3. 작업 전문가 식별 및 정렬 목적: 영어 데이터를 사용하여 중간 층에서 작업 관련 전문가를 국소화하는 절차가 제안되었으며, 언어별 전문가 재식별이 필요 없이 교차 언어 전문가 활성화 격차를 해소하는 미세 조정 목적과 결합됩니다.
4. 교차 언어 전이성: 이 연구는 한 언어 (예: 중국어) 에서 식별된 작업 전문가가 식별 단계를 다시 실행하지 않고도 언어적으로 먼 언어 (예: 아랍어, 벵골어) 를 위한 모델 미세 조정에 전이될 수 있음을 보여줍니다. 이는 중간 층 작업 전문성이 대체로 언어에 무관함을 시사합니다.

실험 결과

저자들은 세 가지 MoE 모델 (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), 세 가지 하위 작업 (GSM8K, IFEval, MMLU), 그리고 여섯 가지 대상 언어 (아랍어, 벵골어, 중국어, 프랑스어, 일본어, 스페인어) 에 걸쳐 RA-MoE 를 평가했습니다.

• 성능 향상: RA-MoE 는 추론 시간 개입인 **라우팅 조종 (Routing Steering)**과 언어별 서브네트워크의 선택적 미세 조정인 RISE를 포함한 표준 SFT 및 강력한 기준선보다 일관되게 우수한 성과를 보였습니다.
• CI 비율과의 상관관계: 성능 향상은 ci 예제의 비율이 더 높은 작업 - 언어 쌍에서 가장 두드러졌으며, 이 방법이 지식 격차가 아닌 언어 주도 격차를 대상으로 한다는 가설을 확인시켜 주었습니다.
• 기작적 변화: 분석 결과, RA-MoE 는 표준 SFT 에 비해 중간 층 라우팅 발산을 크게 줄여 대상 언어 라우팅을 영어 참조에 더 가깝게 만들었습니다. 또한, RA-MoE 하에서 대상 언어의 작업 전문가 선택률은 더 가파르게 증가하여 더 높은 평탄도에 수렴했습니다.
• 효율성: 이 방법은 무시할 수 있는 계산 오버헤드를 초래합니다. 정렬 손실은 총 FLOPs 에 $10^{-3}\%$ 미만을 추가하며, 준비 단계 (데이터 주석 및 라우팅 프로파일링) 는 총 벽시계 시간을 최대 15% 까지 증가시키지만, 작업 전문가가 언어 간에 공유되는 경우 10% 미만으로 줄일 수 있습니다.

중요성 및 한계

이 논문은 RA-MoE 가 MoE 중간 층의 이론적 교차 언어 정렬과 실제 하위 작업 성능 사이의 격차를 해소한다고 주장합니다. 출력 확률뿐만 아니라 라우팅 패턴을 명시적으로 정렬함으로써 이 방법은 MoE 의 희소 구조를 활용하여 다국어 능력을 향상시킵니다.

저자들은 다음과 같은 특정 한계를 지적합니다:

• 영어 성능에 대한 의존성: 이 방법은 기본 모델이 강력한 영어 작업 성능을 가지고 있다고 전제합니다. 영어 라우팅 패턴이 작업 관련 정보를 포함하지 않는다면 정렬 신호는 신뢰할 수 없습니다.
• 사전 훈련 커버리지: 사전 훈련 말뭉치에서 심각하게 과소 대표된 언어의 경우, RA-MoE 는 제한된 이점을 제공합니다. 왜냐하면 병목 현상은 라우팅 불일치가 아닌 기초 언어 능력의 부재이기 때문입니다.
• 모달리티: 실험은 텍스트 전용 모델로 제한됩니다. 멀티모달 LLM 으로의 일반화는 여전히 열린 질문입니다.

이 연구는 MoE 모델의 경우 중간 층이 라우팅 정렬을 통해 작업 전문성을 언어 간에 효과적으로 전이할 수 있는 안정적이고 언어 보편적인 영역으로 작용함을 시사합니다.