Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

기술 요약: Mix-MoE: 혼합 MoE 를 통한 대규모 언어 모델의 다국어 기계 번역 성능 향상

문제 제기
대규모 언어 모델 (LLM) 은 다국어 기계 번역 (MT) 에서 강력한 능력을 보여주지만, 평행 코퍼스로 미세 조정 (fine-tuning) 할 때 **매개변수 간섭 (parameter interference)**이라는 중대한 도전 과제가 발생합니다. 번역과 같은 하위 작업을 위해 새로운 데이터로 LLM 을 미세 조정하면, 매개변수가 새로운 작업을 최적화하도록 이동하여 종종 원래의 강력한 단일 언어 이해 및 생성 능력의 저하를 초래합니다. 범용 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처나 매개변수 격리 방법과 같은 기존 접근 방식들은 번역을 지원하기 위해 사전 학습된 단일 언어 지식을 명시적으로 활용하는 작업별 설계를欠하거나, 의미 내용만을 고려하는 라우팅 메커니즘에 의존하여 텍스트의 근본적인 구조적 또는 리듬적 패턴을 간과할 수 있습니다.

방법론
저자들은 매개변수 간섭을 완화하면서 LLM 을 다국어 MT 를 위해 훈련하기 위한 Mix-MoE(혼합 혼합 전문가) 프레임워크를 제안합니다. 이 프레임워크는 밀집형 LLM 을 두 개의 구별된 전문가 그룹을 가진 희소 MoE 모델로 변환하고, 두 단계 훈련 전략을 적용합니다:

1. 전용 전문가 그룹:

   • 언어 모델 (LM) 전문가: 사전 학습 동안 학습된 단일 언어 지식을 포착하고 유지하도록 설계되었습니다. 이들은 LLM 의 원래 순방향 네트워크 (Feed-Forward Network, FFN) 계층의 가중치를 "업사이클링 (upcycling)"하여 초기화됩니다.
   • 기계 번역 (MT) 전문가: 이중 언어 번역 지식을 획득하고 저장하도록 특화되었습니다. 이들은 사전 학습된 LM 전문가로부터 초기화됩니다.
   • 모델은 언어 지식에 대한 키 - 값 메모리로 기능하는 FFN 계층을 MoE 변환의 대상으로 삼는 반면, 맥락 인식을 유지하기 위해 어텐션 (Attention) 계층은 밀집형으로 유지합니다.

2. FFT 기반 라우팅 메커니즘:

   • 전문가 간의 효과적인 상호작용을 촉진하고 다양한 언어적 단서를 포착하기 위해, 저자들은 고속 푸리에 변환 (Fast Fourier Transform, FFT) 기능으로 강화된 라우팅 메커니즘을 도입합니다.
   • 스펙트럼 특징은 FFT 를 통해 모델의 은닉 상태 (hidden states) 에서 추출되어 원래 의미 표현과 연결됩니다.
   • 별도의 라우팅 네트워크 (LM 전문가용 하나, MT 전문가용 하나) 는 이러한 확장된 표현을 사용하여 전문가를 선택합니다. 이를 통해 라우터는 의미 내용뿐만 아니라 텍스트 구조 (예: 문장 리듬, 형태론적 복잡성) 를 나타내는 주파수 영역 패턴도 고려할 수 있습니다.

3. 사전 학습 후 두 단계 전략:

   • 1 단계 (LM 전문가 훈련): 모델은 단일 언어 코퍼스로 훈련됩니다. LM 전문가와 해당 라우팅 네트워크만 업데이트됩니다. 목표는 개별 언어 구조의 표현을 정제하는 것입니다.
   • 2 단계 (MT 전문가 훈련): 모델은 평행 이중 언어 코퍼스로 훈련됩니다. 획득된 단일 언어 지식을 보존하기 위해 LM 전문가와 해당 라우터 매개변수는 **동결 (frozen)**됩니다. 번역 작업에 특화되도록 MT 전문가와 해당 라우팅 네트워크만 훈련됩니다.

주요 기여

1. Mix-MoE 아키텍처: 전용 LM 및 MT 전문가를 특징으로 하는 새로운 MoE 아키텍처로, 텍스트의 의미와 잠재적 구조적 단서를 모두 활용하는 FFT 기반 라우팅 메커니즘과 결합되었습니다.
2. 두 단계 훈련 전략: MT 전문가가 사전 학습된 지식의 혜택을 받으면서 번역에 특화될 수 있도록 맞춤화된 훈련 파이프라인으로, 단일 언어 및 이중 언어 학습 목표를 효과적으로 분리하여 매개변수 간섭을 완화합니다.
3. 실증적 검증: 제안된 방법이 여러 번역 작업 및 언어 쌍에서 최첨단 (state-of-the-art) 결과를 달성함을 보여주는 광범위한 실험.

실험 결과
저자들은 WMT 데이터셋 (핀란드어, 체코어, 독일어, 러시아어, 터키어, 에스토니아어, 중국어와 영어 간 번역 포함) 과 FLORES-200 벤치마크를 사용하여 14 개 언어 방향으로 Mix-MoE 를 평가했습니다.

• 성능: Mix-MoE 는 전체 미세 조정 (Full Fine-tuning), LoRA, LLaMA-Pro, 범용 MoE 변형 (예: MoE-LPR, LLaMA-MoE v2) 을 포함한 기준선들을 일관되게 능가했습니다. 예를 들어, DE-EN 작업에서 Mix-MoE 는 BLEU 점수 31.8 을 기록하여 두 단계 전체 미세 조정 기준선 (20.8) 을 크게 상회했습니다.
• 매개변수 간섭 완화: 제거 실험 (ablation studies) 은 전문가의 분리가 중요함을 확인시켰습니다. 2 단계에서 모든 전문가를 업데이트하는 표준 두 단계 MoE 훈련은 Mix-MoE 보다 성능이 낮았으며, 이는 LM 전문가의 특정 동결이 파국적 망각 (catastrophic forgetting) 을 방지함을 나타냅니다.
• FFT 라우팅: 무작위 투영 (Random Projection) 및 이산 코사인 변환 (DCT) 과의 비교는 FFT 에서 유도된 특징이 라우팅 효과를 크게 향상시켰음을 보여주었으며, 주파수 영역 패턴이 전문가 선택을 위한 가치 있는 구조적 단서를 제공함을 확인시켰습니다.
• 확장성: 이 방법은 더 큰 모델 (Llama3.1-8B 및 Qwen2.5-14B) 로 확장될 때 견고성과 확장성을 입증하여 전체 미세 조정 접근 방식을 일관되게 능가했습니다.

의의 및 주장
본 논문은 Mix-MoE 가 다국어 번역을 위한 LLM 미세 조정에서 매개변수 간섭이라는 중대한 과제를 해결한다고 주장합니다. 단일 언어 언어 모델링과 이중 언어 번역의 학습을 명시적으로 별도의 전문가 그룹으로 분리하고, 구조적 텍스트 패턴에 민감한 라우팅 메커니즘을 활용함으로써, 이 프레임워크는 번역 성능을 향상시키면서 LLM 의 원래 언어 능력을 성공적으로 보존합니다. 저자들은 이 작업을 효율적인 MT 훈련의 한 걸음으로 위치시키며, 거대한 매개변수 업데이트의 중복 없이 고품질 언어 이해를 유지하는 다국어 번역 시스템을 배포하기 위한 실용적인 해결책을 제시합니다.