💬 NLP

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM $\Delta$ Integration into Upcycled MoE

본 논문은 비용이 많이 드는 추가 사전 학습이나 복잡한 정렬 없이도 밀집 모델을 전문가 혼합 아키텍처로 업사이클링하고 사후 학습 파라미터 델타를 통합하여 다국어 능력을 확장함으로써 새로운 언어 습득과 원본 모델 능력 보존 사이의 균형을 효과적으로 맞추는 \method 라는 데이터 효율적 방법을 소개합니다.

원저자: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "DeltaMoE: 다국어 대형 언어 모델 (LLM) 을 위한 데이터 효율적 경로" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 풀어낸 것입니다.

큰 문제: "이중 언어 요리사"의 딜레마

세계적인 요리사(대형 언어 모델) 가 영어 요리를 만드는 데 능통하다고 상상해 보세요. 그들은 그 분야에서 놀라울 정도로 뛰어납니다. 이제 이 요리사가 헝가리어, 세르비아어, 벵골어 요리도 익히길 원한다고 가정해 봅시다.

이를 달성하는 전통적인 방법은 요리사를 장기간 거대한 요리 학교에 보내는 것 (연속 사전 학습, Continued Pre-Training) 입니다. 그들은 새로운 언어로 된 수천 권의 요리책을 공부합니다. 하지만 함정이 하나 있습니다:

"망각하는" 요리사: 새로운 언어를 너무 열심히 공부하면 원래의 영어 레시피를 잊기 시작할 수 있습니다.
"희석된" 요리사: 조심스럽게 기존 영어 지식과 새로운 지식을 섞으려 하면, 결국 둘 다 평범해집니다. 영어는 잊지 않지만, 새로운 언어도 잘 구사하지 못하게 됩니다.

이 논문에서 다루는 바로 이 "트레이드오프"입니다: 보통 새로운 언어를 잘 배우거나 기존 실력을 완벽하게 유지하거나 둘 중 하나를 선택해야 합니다. 둘 다 얻기는 거의 불가능합니다.

해결책: DeltaMoE ("전문 주방" 접근법)

저자들은 DeltaMoE라는 새로운 방법을 제안합니다. 요리사의 두뇌 전체를 재학습시켜 더 똑똑하게 만드는 대신, 그들에게 전문적인 주방 업그레이드를 제공합니다.

다음은 이를 세 가지 간단한 단계로 설명한 것입니다:

1 단계: "전문가 혼합 (Mixture of Experts)" 주방 구축 (업사이클링)

요리사의 주방이 확장된다고 상상해 보세요. 모든 일이 일어나는 하나의 큰 조리대 대신, 전문가 혼합 (MoE) 주방을 건설합니다.

원래 조리대 (동결된 전문가): 요리사는 원래의 영어 조리대를 그대로 유지합니다. 이를 잠급니다. 이곳에는 아무런 변화가 없습니다. 이를 통해 영어 레시피를 절대 잊지 않도록 보장합니다.
새로운 조리대 (학습 가능한 전문가): 새로운 언어 (헝가리어, 세르비아어, 벵골어) 를 위해 세 개의 완전히 새로운 조리대를 건설합니다.
수석 웨이터 (라우터): 그들은 똑똑한 수석 웨이터를 고용합니다. 고객이 영어 요리를 주문하면 웨이터는 그들을 원래 조리대로 보냅니다. 헝가리어 요리를 주문하면 헝가리어 조리대로 보냅니다.

요리사는 새로운 조리대에서만 학습합니다. 원래 조리대는 동결된 상태이므로 영어 실력은 완벽하게 보존됩니다.

2 단계: "델타 (Delta)" 접목 (마법 같은 전이)

이제 새로운 조리대는 음식을 잘 만들지만, 고객에게 정중하게 말하거나 복잡한 지시를 따르는 방법을 모릅니다 (이를 정렬, Alignment 라고 합니다). 보통 이를 배우려면 몇 달 동안 훈련해야 합니다.

이 논문의 기발한 트릭은 델타 병합 (Delta Merging) 입니다.

이미 고객과 대화하고 규칙을 따르는 데 능숙하지만 영어만 구사하는 다른 유명한 요리사 (사전 학습된 "지시" 모델) 가 있다고 상상해 보세요.
새로운 조리대를 처음부터 가르치는 대신, 저자들은 유명한 요리사와 원래 기본 모델 사이의 "차이점"(Delta) 을 가져옵니다. 이를 스티커 노트에 적힌 "정중함 레시피" 라고 생각하세요.
이 스티커 노트를 새로운 조리대에 붙입니다. 새로운 조리대가 원래와 같은 "반죽"으로 만들어졌기 때문에, 이 "정중함 레시피"는 즉시 작동합니다.

결과: 새로운 조리대는 이제 헝가리어 요리를 만들면서도 정중하게 대화할 수 있게 되며, 비싸고 데이터가 많이 필요한 훈련 과정을 거칠 필요가 없습니다.

왜 이것이 구식 방법보다 더 나은가

이 논문은 이 방법을 다른 방법들과 비교하여 다음과 같은 결과를 발견했습니다:

트레이드오프의 종식:
- 구식 방법 A (평균화): 기존과 새로운 기술을 섞으려 했습니다. 결과: 요리사의 영어 실력은 떨어졌고 새로운 언어 실력은 그저 평범했습니다.
- 구식 방법 B (직접 델타): 새로운 기술만 위에 붙이려 했습니다. 결과: 요리사는 새로운 언어는 잘 구사하게 되었지만 영어를 잊어버렸습니다.
- DeltaMoE: 요리사는 영어 실력이 뛰어나고(원래 조리대가 동결되었기 때문) 새로운 언어 실력도 뛰어납니다(새로운 조리대가 이를 학습하고 "정중함" 접목을 받았기 때문).
데이터 효율성:
- 다른 방법들은 모델이 새로운 언어로 정중하게 대화하는 법을 가르치기 위해 수백만 개의 예시가 필요합니다.
- DeltaMoE 는 기존 모델에서 이를 "접목"함으로써 무료로 이 능력을 얻습니다. 이는 막대한 시간과 컴퓨팅 자원을 절약해 줍니다.
확장성:
- 저자들은 언어를 3 개에서 8 개처럼 더 추가하더라도 시스템이 무너지지 않는다고 보였습니다. 수석 웨이터 (라우터) 는 단지 주문을 올바른 조리대로 보내는 법을 배우면 되며, 시스템은 안정적으로 유지됩니다.

결론

DeltaMoE는 마스터 요리사에게 전문적이고 모듈화된 주방을 제공하는 것과 같습니다.

핵심 실력을 보호하기 위해 원래 작업 공간을 변경 없이 유지합니다.
새로운 언어를 위한 새로운 작업 공간을 추가합니다.
재학습 없이 "고객 서비스 기술"을 새로운 작업 공간으로 즉시 이전합니다.

이를 통해 AI 모델은 막대한 양의 새로운 데이터가 필요하거나 원래 지능을 잃는 일 없이, 여러 새로운 언어를 유창하고 정중하게 구사할 수 있게 됩니다.

기술 요약: DeltaMoE – 다국어 LLM 을 위한 데이터 효율적 경로

1. 문제 제기

새로운 언어로 대규모 언어 모델 (LLM) 을 확장하는 것은 현재 자원 집약적인 과정입니다. 표준 파이프라인은 방대한 다국어 말뭉치에 대한 **연속 사전 학습 (CPT)**을 거친 후 복잡한 사후 학습 정렬 단계 (예: SFT 및 RL) 를 수행하는 것을 포함합니다. 이 접근법은 원본 기능의 파국적 망각을 방지하기 위해 광범위한 데이터 재연습을 요구하며, 정렬을 위해 방대한 양의 고품질 지시 데이터를 필요로 합니다.

최근의 "데이터 프리" 병합 기술은 CPT 가 강화된 모델과 기존 지시 모델을 융합하여 정렬 단계를 우회하려 시도합니다. 그러나 이러한 방법들은 중요한 트레이드오프에 직면합니다:

선형 평균화 (Model Soups): 새로 습득한 언어 지식을 희석시켜 확장된 언어에서의 이득을 제한합니다.
델타 병합: 매개변수 변화를 직접 적용하면 모델의 원본 언어 능력이 파국적으로 망각되는 경우가 많습니다.

핵심 과제는 모델의 원본 성능을 희생하지 않고 새로운 언어 및 정렬 능력을 효율적으로 습득하는 것입니다.

2. 방법론: DeltaMoE

저자들은 앞서 언급한 트레이드오프를 해결하기 위해 밀집 모델을 혼합 전문가 (MoE) 아키텍처로 업사이클링하는 2 단계 프레임워크인 DeltaMoE를 제안합니다.

1 단계: 희소 업사이클링을 통한 연속 사전 학습

밀집 베이스 모델은 원래의 순방향 네트워크 (FFN) 를 깊은 복사본으로 생성하여 "전문가"로 활용함으로써 MoE 아키텍처로 변환됩니다.

아키텍처: 모델은 $N$ 개의 전문가와 라우터로 구성됩니다. 원본 매개변수 (특히 0 번째 전문가) 는 원본 언어 지식을 위한 전용 저장소 역할을 하도록 동결됩니다.
학습: 새로운 언어 데이터에 대한 CPT 동안 새로 추가된 확장 전문가와 라우터만 업데이트됩니다.
목적: 모델은 다음 토큰 예측 (NTP) 손실을 최소화하는 동시에 전문가 간 효율적인 토큰 분배를 보장하는 로드 밸런싱 손실 (LLB) 을 사용합니다. 이를 통해 새로운 언어는 활성 전문가에 의해 학습되는 동안 원본 지식은 온전하게 유지됩니다.

2 단계: MoE 모델 병합 (델타 통합)

MoE 베이스 모델이 새로운 언어로 학습되면 정렬 능력이 부족합니다. 비용이 많이 드는 사후 학습 대신, 저자들은 잘 정렬된 밀집 지시 모델에서 매개변수 델타 ( $\Delta_{post}$ ) 를 이식합니다.

델타 계산: $\Delta_{post} = \theta_{post-trained} - \theta_{base}$ 는 지시 모델 학습 동안 획득한 정렬 지식을 나타냅니다.
구성 요소별 이식:
- 공유 매개변수: 밀집 및 MoE 아키텍처 모두에 공통인 레이어 (예: 어텐션, 임베딩) 의 경우 델타를 직접 적용합니다.
- 전문가 매개변수: FFN 레이어의 경우, 밀집 모델의 FFN 가중치에서 단일 FFN 전용 델타를 계산합니다. 그런 다음 이 델타는 MoE 아키텍처의 모든 전문가에 균일하게 적용됩니다.
근거: 이 전략은 모든 전문가가 동일한 기본 구조를 계승한다고 간주하여, 동결되거나 학습된 전문가에 저장된 특정 언어 지식을 희석시키지 않으면서 정렬 지식을 모든 전문가에 브로드캐스트할 수 있게 합니다.

3. 주요 기여

새로운 프레임워크: 무거운 사후 학습 절차 없이 언어를 확장하고 정렬 능력을 습득하기 위해 MoE 업사이클링과 정교한 델타 병합 전략을 통합한 DeltaMoE의 도입.
트레이드오프 해결: 이 방법은 지식 습득 (새로운 전문가를 통해), 지식 유지 (동결된 전문가를 통해), 정렬 전이 (델타 이식을 통해) 를 효과적으로 분리하여 기능 확장 및 원본 기능 보존 간의 갈등을 해결합니다.
일반화 가능성: 이 접근법은 다양한 베이스 모델 (Qwen2.5-7B, LLaMA-3.1-8B) 과 다양한 정렬 델타 소스 (표준 지시, Tulu3 SFT) 에서 검증되어 견고성을 입증했습니다.

4. 실험 결과

실험은 Qwen2.5-7B 와 LLaMA-3.1-8B 를 헝가리어, 세르비아어, 벵골어로 확장하는 것을 수행했으며, 일치된 데이터, FLOPs, 그리고 매개변수 수를 가진 베이스라인과 비교 평가되었습니다.

확장된 언어에서의 성능: DeltaMoE 는 State-of-the-Art (SOTA) 성능을 달성하여, 유사한 매개변수를 가진 다른 델타 기반 방법들보다 확장된 언어에서 평균 점수를 1.7 점 향상시켰습니다.
원본 능력 보존: 파국적 망각을 초래한 밀집 델타 병합과 달리, DeltaMoE 는 원본 언어 성능을 보존하여 유지 지표에서 밀집 델타 베이스라인보다 1.5 점 더 높은 성과를 거두었습니다.
효율성: 밀집 베이스라인이 MoE 학습의 FLOPs 에 맞추기 위해 두 배의 CPT 데이터로 학습되었음에도 불구하고, DeltaMoE 는 확장된 언어 성능에서 약 1.94 점의 상당한 우위를 유지했습니다.
애블레이션 연구:
- 병합 전략: MoE 아키텍처 내의 선형 평균화는 트레이드오프를 해결하지 못하여 델타 병합 접근법의 필요성을 확인시켰습니다.
- 라우터 튜닝: 최소한의 데이터 재연습 전략 (0.15B 토큰) 과 라우터 튜닝을 결합하면 DeltaMoE 가 지식 유지 측면에서 밀집 평균 베이스라인을 능가할 수 있었습니다.
- 확장성: 학습 가능한 전문가 수를 3 개 이상으로 늘리는 것은 미미한 이득만 가져와, 여러 확장된 언어에 대해 3 개의 학습 가능한 전문가로 충분함을 시사합니다.

5. 중요성 및 주장

이 논문은 DeltaMoE 가 기존 LLM 의 다국어 정렬을 확장하기 위한 실용적이고 확장 가능한 경로를 제공한다고 주장합니다. 밀집 모델을 MoE 아키텍처로 업사이클링하고 정렬 델타를 이식함으로써, 이 방법은:

새로운 언어에 대한 방대한 지시 데이터셋과 복잡한 RL 정렬 단계의 필요성을 제거합니다.
현재 병합 기술에 내재된 "망각 대 학습" 딜레마를 해결합니다.
밀집 학습 데이터를 확장하는 것에 비해 계산 오버헤드가 현저히 적으면서도 우수한 성능을 달성하는 데이터 효율적 대안을 제공합니다.

저자들은 한계를 인정하며, 평가된 언어들이 전 세계 언어 다양성을 완전히 대표하지는 않으며, 추론 시 밀집 모델에 비해 MoE 아키텍처가 단순하지 않은 계산 오버헤드를 도입한다고 지적합니다. 그러나 이 프레임워크는 효율적인 다국어 확장을 위한 견고한 솔루션으로 제시됩니다.