💬 NLP

Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

이 논문은 저자원 언어를 위한 지시형 LLM 적응을 위해 언어별 베이스 모델과 지시형 모델을 병합하여 고비용의 추가 학습 없이도 효율적으로 다국어 지시 수행 능력을 부여하는 방법을 제안하고 그 유효성을 입증합니다.

원저자: Eneko Valero, Maria Ribalta i Albado, Oscar Sainz, Naiara Perez, German Rigau

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

원저자: Eneko Valero, Maria Ribalta i Albado, Oscar Sainz, Naiara Perez, German Rigau

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 비유: "세계적인 셰프에게 지역 특색 요리를 가르치는 방법"

1. 문제 상황: "영어만 잘하는 천재 셰프"

현재 가장 유명한 대형 언어 모델 (LLM) 들은 영어를 아주 잘합니다. 마치 영어 요리만 완벽하게 해내는 천재 셰프처럼요.
하지만 바스크어, 갈리시아어, 카탈로니아어 같은 소수 언어 (저자원 언어) 를 다루려면 문제가 생깁니다.

기존 방법 (계속된 학습): 이 셰프에게 새로운 언어를 가르치려면, 그 언어로 된 방대한 요리책 (데이터) 을 읽고, 새로운 레시피 (지시어) 를 외우게 해야 합니다. 이 과정은 **엄청난 시간과 돈 (컴퓨팅 자원)**이 들며, 새로운 요리책이 나올 때마다 다시 처음부터 가르쳐야 합니다. 소수 언어를 쓰는 커뮤니티는 이런 거대한 비용을 감당하기 어렵습니다.

2. 이 논문의 해결책: "요리 실력을 합치는 마법 (모델 병합)"

이 논문은 "아니면, **그 언어를 이미 잘하는 현지 셰프 (기반 모델)**와 **지시어 (명령) 를 잘 따르는 천재 셰프 (인스트럭트 모델)**를 합쳐버리면 어떨까?"라고 묻습니다.

기존 방식: 천재 셰프가 혼자서 다시 공부하는 것 (비쌈, 느림).
이 논문의 방식: 두 셰프의 **손맛 (가중치/Weights)**을 섞어서 새로운 셰프를 만드는 것 (싸고, 빠름).

이 과정을 **"모델 병합 (Model Merging)"**이라고 합니다. 마치 두 개의 다른 향신료 병을 섞어서 새로운 맛을 내는 것과 비슷합니다.

3. 실험 내용: "イベ리아 반도의 4 개 언어로 테스트"

연구진은 바스크어, 갈리시아어, 카탈로니아어, 스페인어 등 4 개 언어로 실험을 했습니다.

준비물:
1. 해당 언어만 잘하는 기반 모델 (현지 셰프).
2. 명령을 잘 따르는 인스트럭트 모델 (천재 셰프).
과정: 이 두 모델을 수학적으로 섞어서 (병합해서) 새로운 모델을 만들었습니다.
결과:
- 성공: 새로 만든 모델은 현지 셰프처럼 그 언어를 잘 쓰면서도, 천재 셰프처럼 명령을 잘 따르는 능력을 유지했습니다.
- 효율: 새로운 모델을 처음부터 훈련시키는 데 드는 비용의 일부만 들였는데, 성능은 기존 최고 수준과 비슷하거나 더 좋았습니다.
- 다국어 능력: 여러 언어의 현지 셰프들을 한꺼번에 섞으면, 한 명의 셰프가 여러 나라 요리를 모두 해내는 다국어 모델도 만들 수 있었습니다.

4. 중요한 발견: "비율 조절이 핵심"

두 모델을 섞을 때, **누구의 손맛을 더 많이 넣을지 (가중치)**가 중요합니다.

현지 언어 비중이 너무 높으면: 명령을 잘 따르는 능력 (인스트럭트 능력) 이 떨어질 수 있습니다.
적당한 비율: 연구진은 "적당히 섞었을 때 (약 50~75% 정도)"가 가장 좋은 결과를 낸다는 것을 발견했습니다. 마치 요리할 때 소금과 설탕의 비율을 잘 맞추는 것과 같습니다.

5. 왜 이 방법이 중요한가요?

** democratization (민주화):** 거대 기업만 할 수 있었던 고비용 훈련을, 작은 연구실이나 소수 언어 커뮤니티도 저렴한 비용으로 할 수 있게 됩니다.
유지보수: 앞으로 더 강력한 '천재 셰프' 모델이 나오면, 다시 처음부터 가르칠 필요 없이, 그 새로운 모델과 현지 셰프만 섞으면 됩니다.
소수 언어 보호: 영어 중심의 AI 시대에, 바스크어나 갈리시아어 같은 소수 언어도 AI 의 혜택을 골고루 받을 수 있는 길을 열어줍니다.

📝 한 줄 요약

"영어만 잘하는 AI 에게 새로운 언어를 가르치려면, 그 언어를 잘하는 AI 와 명령을 잘 따르는 AI 를 '섞어주면' 됩니다. 이는 마치 두 명의 요리사를 합쳐 새로운 요리사를 만드는 것처럼, 훨씬 저렴하고 빠르게 다국어 AI 를 만들 수 있는 혁신적인 방법입니다."

이 논문은 소수 언어를 사용하는 커뮤니티에게 **"AI 의 세계에 합류할 수 있는 저렴하고 빠른 티켓"**을 건네준 셈입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 여전히 영어에 집중되어 있으며, 저자원 언어 (Low-resource languages) 에서는 성능이 현저히 떨어집니다. 저자원 언어의 LLM 을 적응시키기 위한 기존 접근법 (지속적 사전 학습, Continual Pre-training) 은 다음과 같은 심각한 한계가 있습니다.

높은 계산 비용: 대규모 데이터로 모델을 재학습하거나 미세 조정 (Fine-tuning) 하는 데 막대한 컴퓨팅 자원이 필요합니다.
데이터 부족: 저자원 언어 커뮤니티는 고품질의 지시 - 응답 (Instruction-Response) 쌍 데이터를 확보하기 어렵습니다.
반복적 적응의 비효율성: 더 강력한 지시형 (Instructed) 모델이 출시될 때마다, 해당 언어 커뮤니티는 매번 새로운 적응 과정을 거쳐야 하므로 기술 발전 속도를 따라가기 어렵습니다.

이러한 제약 하에서, **모델 병합 (Model Merging)**을 통해 지시형 LLM 에 새로운 언어 능력을 추가하면서도 지시 추종 (Instruction-following) 능력을 유지할 수 있는 경량화 대안이 필요합니다.

2. 방법론 (Methodology)

이 연구는 목표 언어 전용 베이스 모델과 **일반적인 지시형 모델 (Instructed Model)**을 병합하여, 새로운 언어를 지시형 모델에 전이하는 방식을 제안합니다.

기본 흐름:
1. 지속적 사전 학습 (Continued Pre-training): 타겟 언어 (바스크어, 갈리시아어, 카탈로니아어, 스페인어) 에 특화된 베이스 모델을少量의 데이터로 학습시킵니다. (기존의 Catastrophic Forgetting을 방지하기 위해 소량의 영어 데이터도 포함).
2. 모델 병합 (Model Merging): 학습된 언어 특화 베이스 모델과 기존 지시형 모델 (예: Llama 3.1 Instruct, Qwen 3 Instruct) 을 병합합니다.
3. 목표: 언어별 베이스 모델의 언어 능력과 지시형 모델의 지시 추종 능력을 동시에 갖춘 모델을 생성합니다.
병합 기법 (Merging Techniques):
연구에서는 다양한 병합 전략을 평가했습니다.
- Linear Merging: 모델 가중치의 단순 가중 평균.
- Task Arithmetic: 태스크 벡터 (Task Vector, $\theta_{task} - \theta_{base}$ ) 를 생성하여 베이스 모델에 가중합으로 추가.
- DARE (Drop And REscale): 태스크 벡터의 파라미터를 무작위로 드롭하고 스케일링하여 간섭을 줄임.
- TIES & Breadcrumbs: 파라미터의 중복 제거 및 노이즈 필터링을 통해 병합 효율성을 높이는 기법들.
실험 설정:
- 언어: 바스크어 (Basque), 갈리시아어 (Galician), 카탈로니아어 (Catalan), 스페인어 (Spanish).
- 모델: Llama 3.1 (8B), Qwen 3 (8B, 14B).
- 평가: 다중 선택 벤치마크, 기계 번역 (Machine Translation), 지시 추종 (IFEval).

3. 주요 기여 (Key Contributions)

모델 병합을 통한 언어 전이 가능성 입증: 별도의 지시 데이터 (Instruction Data) 나 반복적인 미세 조정 없이, 언어별 베이스 모델과 지시형 모델을 병합함으로써 새로운 언어에 대한 지시 추종 능력을 부여할 수 있음을 증명했습니다.
다국어 능력 확장: 여러 언어별 모델을 단일 모델에 병합하여, 하나의 LLM 이 여러 저자원 언어를 동시에 구사할 수 있음을 확인했습니다.
IBEval 벤치마크 확장: 기존 스페인어와 카탈로니아어에 한정되었던 IFEval (지시 추종 평가) 벤치마크를 바스크어와 갈리시아어로 확장하여 공개했습니다.
오픈 소스 리소스 제공: 실험에 사용된 모든 베이스 모델, 지시형 모델, 그리고 병합된 모델들을 공개했습니다.

4. 실험 결과 (Results)

성능 향상: 병합된 모델은 타겟 언어의 벤치마크 (읽기 comprehension, 상식 추론 등) 와 기계 번역 성능에서 기존 지시형 모델 (비적응형) 보다 크게 향상된 성능을 보였습니다. 특히 저자원 언어 (바스크어 등) 에서의 개선 폭이 컸습니다.
지시 추종 능력 유지: 병합 과정에서 모델이 지시 추종 능력을 상실하지 않고 유지했음을 확인했습니다. 다만, 병합 방법과 가중치 설정에 따라 지시 추종 성능은 다소 변동성이 있었습니다.
기존 방법 대비 효율성:
- 기존 최첨단 방법 (지속적 사전 학습 + 지시 미세 조정 병합, Sainz et al., 2025) 과 비교했을 때, 병합 방식은 타겟 언어에서 유사한 성능을 내면서도 다른 언어에서의 성능 저하 (Catastrophic Forgetting) 가 훨씬 적었습니다.
- 계산 비용이 훨씬 낮아, 소규모 연구 그룹에서도 최첨단 모델을 자국 언어에 적응시킬 수 있습니다.
병합 기법 비교:
- Linear와 Task Arithmetic이 전반적으로 가장 좋은 성능을 보였습니다.
- DARE나 Breadcrumbs는 기계 번역과 같은 생성 작업에서 특정 언어 (갈리시아어, 카탈로니아어) 에서 모델 붕괴 현상을 일으키는 등 일관성이 부족했습니다.
- 최적의 병합 비율 (Weight $w_i$ ) 은 언어와 모델에 따라 다르며, 일반적으로 $w_i \in [0.5, 1.0)$ 범위가 안정적입니다.

5. 의의 및 결론 (Significance)

이 연구는 저자원 언어를 위한 LLM 적응을 위한 효율적이고 확장 가능한 패러다임을 제시합니다.

계산 효율성: 고비용의 재학습 (Retraining) 없이 모델 병합만으로 언어 능력을 추가할 수 있어, 저자원 언어 커뮤니티의 진입 장벽을 낮춥니다.
유지보수 용이성: 새로운 지시형 모델이 출시될 때마다, 해당 언어 커뮤니티는 단순히 새로운 지시형 모델과 기존 언어 베이스 모델을 병합하기만 하면 되므로, 기술 발전 속도를 쉽게 따라갈 수 있습니다.
미래 방향: 모델 병합을 통해 지시 정렬 (Alignment) 을 유지하는 기술과 다양한 모델 아키텍처에서의 안정성을 연구하는 것이 향후 과제로 제시되었습니다.

결론적으로, **"Merge and Conquer"**는 저자원 언어의 LLM 생태계를 활성화하고, 효율적인 다국어 모델 구축을 위한 강력한 실용적 대안을 제시한 연구입니다.