Model Merging in the Era of Large Language Models: Methods, Applications, and Future Directions

본 논문은 FUSE(Foundations, Unification Strategies, Scenarios, Ecosystem) 분류 체계를 통해 대규모 언어 모델 시대의 모델 병합 기술의 이론적 기반, 알고리즘적 접근법, 응용 분야 및 생태계를 체계적으로 조명하고 향후 연구 방향을 제시하는 포괄적인 조사 연구입니다.

핵심

1. 모델 머징이란 무엇일까요? (비유: 레고 블록 조립)

상상해 보세요. 한 친구는 수학 천재, 다른 친구는 영어 원어민, 또 다른 친구는 코딩 고수라고 합시다.
기존 방식이라면 이 세 친구를 모두 고용해서 (모델을 각각 훈련시켜서) 함께 일하게 하거나, 아니면 이 세 친구의 지식을 모두 흡수한 새로운 슈퍼 천재를 처음부터 다시 만들어야 합니다. 하지만 이 과정은 시간도, 돈도, 전기도 엄청나게 많이 듭니다.

모델 머징은 다릅니다.
이 세 친구가 이미 **같은 부모님 (기초 모델, 예: LLaMA)**에게서 태어났다고 가정해 보세요. 각자 다른 분야를 공부해서 성장했지만, 뼈대 (기본 구조) 는 똑같습니다.
이때, 세 친구의 **머리 (모델의 가중치)**를 단순히 섞어서 하나의 새로운 두뇌를 만든다면 어떨까요?

• 결과: 별도의 추가 공부 (훈련) 없이도, 수학 + 영어 + 코딩을 모두 할 수 있는 하나의 AI 가 탄생합니다.
• 장점: 세 친구를 따로 고용할 필요도, 새 친구를 만들 필요도 없습니다. 하나의 AI로 모든 일을 처리할 수 있어 비용이 획기적으로 줄어듭니다.

이 논문은 바로 이 **"AI 모델들을 섞어서 더 똑똑하게 만드는 기술"**을 체계적으로 정리한 것입니다.

---

2. 왜 섞으면 더 잘할까요? (비유: 같은 골짜기에서 산책하기)

"왜 서로 다른 일을 배운 AI 들을 섞으면 망가지지 않을까?"라는 의문이 들 수 있습니다. 논리는 다음과 같습니다.

• 비유: 모든 AI 는 처음에 **거대한 산 (손실 함수의 지형)**의 꼭대기에서 출발합니다.
• 훈련 과정: 수학 AI 는 산의 한쪽 골짜기로, 코딩 AI 는 다른 쪽 골짜기로 내려갑니다.
• 핵심 발견: 이 논문은 놀라운 사실을 발견했습니다. 같은 부모 (기초 모델) 에서 태어난 AI 들은 비록 다른 길을 갔더라도, 결국 같은 '골짜기' 안에 머물러 있다는 것입니다.
• 결론: 두 골짜기 사이의 길은 매우 평탄합니다. 그래서 두 AI 의 가중치 (지식) 를 중간에 섞어도 (평균을 내도) 갑자기 깊은 구렁텅이 (성능 저하) 에 빠지지 않고, 오히려 두 가지 능력을 모두 갖춘 새로운 지점을 찾을 수 있습니다. 이를 **'선형 모드 연결성 (Linear Mode Connectivity)'**이라고 부릅니다.

---

3. 어떻게 섞나요? (비유: 요리 레시피)

논문은 이 모델을 섞는 다양한 '요리 레시피'들을 소개합니다.

① 단순 섞기 (Weight Averaging)

• 비유: 두 가지 스프를 50:50 로 섞는 것.
• 특징: 가장 간단하지만, 맛이 너무 강하거나 약한 재료가 있으면 전체 맛이 망가질 수 있습니다.

② 태스크 벡터 (Task Vectors) - "지식 더하기/빼기"

• 비유: "수학 능력"이라는 레시피를 따로 떼어내서, 기본 스프에 더하는 (Add) 방식입니다. 반대로 "유해한 말"이라는 레시피를 빼는 (Negation) 것도 가능합니다.
• 장점: 특정 능력만 쏙쏙 골라서 합칠 수 있어 매우 정교합니다.

③ 잡음 제거 (Sparsification - TIES, DARE)

• 비유: 두 스프를 섞을 때, 서로 충돌하는 재료 (예: 한 스프는 소금, 다른 스프는 설탕) 를 미리 걸러내고, 중요한 재료만 남긴 뒤 섞는 것입니다.
• 효과: 서로 다른 AI 들을 섞을 때 생기는 '갈등'을 줄여주어 성능을 극대화합니다.

④ 전문가 팀 (MoE - Mixture of Experts)

• 비유: 한 명에게 모든 일을 시키는 게 아니라, 수학은 수학 전문가에게, 코딩은 코딩 전문가에게 맡기는 팀을 만드는 것입니다.
• 특징: 하나의 모델 안에 여러 전문가가 숨어있고, 질문이 들어오면 가장 적합한 전문가가 대답합니다.

---

4. 어디에 쓰일까요? (비유: 만능 도구를 만드는 법)

이 기술은 실제로 어디에 쓰일까요?

1. 다재다능한 AI 만들기: 수학만 잘하는 AI 와 코딩만 잘하는 AI 를 섞어, 두 가지 모두 잘하는 만능 비서를 만듭니다.
2. 안전하고 윤리적인 AI: "유해한 말을 하지 않는 AI"와 "유능한 AI"를 섞어, 안전하면서도 똑똑한 AI를 만듭니다. (유해한 성향을 '빼기' 연산으로 제거 가능)
3. 여러 언어 한 번에: 영어 AI 와 중국어 AI 를 섞어, 둘 다 유창하게 하는 AI를 만듭니다.
4. 개인정보 보호 (연방 학습): 각자가 가진 데이터를 서버로 보내지 않고, 각자 훈련한 모델만 합쳐서 전 세계적으로 똑똑한 AI 를 만듭니다.

---

5. 앞으로의 과제와 전망

물론 아직 해결해야 할 문제들도 있습니다.

• 이론적 설명 부족: "왜 잘 섞어지는지"에 대한 완벽한 수학 이론은 아직 부족합니다. (실험적으로 잘 되지만, 왜 그런지는 아직 명확하지 않음)
• 규모의 문제: AI 가 너무 커지면 (수천억 개 파라미터), 섞는 과정이 매우 복잡하고 계산 비용이 많이 듭니다.
• 안전성: "나쁜 AI"의 능력을 빼는 게 아니라, 오히려 "나쁜 능력"이 섞여 강화될 위험도 있습니다.

미래 전망:
앞으로는 AI 를 처음부터 만드는 것보다, 기존에 있는 좋은 AI 들을 레고처럼 조립해서 새로운 기능을 만드는 시대가 올 것입니다. 이 논문은 바로 그 **레고 조립법 (FUSE Taxonomy)**을 체계적으로 정리한 매뉴얼이라고 할 수 있습니다.

---

📝 한 줄 요약

"이미 훈련된 여러 AI 모델을 별도의 추가 학습 없이, 마치 레고 블록을 조립하듯 섞어서 더 똑똑하고 다양한 능력을 가진 하나의 AI 를 만드는 기술과 그 원리를 다룬 종합 가이드입니다."

기술 요약

논문 개요: 대규모 언어 모델 (LLM) 시대의 모델 병합

이 논문은 여러 개의 신경망 모델을 추가적인 학습 (training) 없이 단일 통합 모델로 결합하는 모델 병합 (Model Merging) 기술을 대규모 언어 모델 (LLM) 시대의 핵심 패러다임으로 제시합니다. 기존 앙상블 방법이나 전체 재학습의 계산 비용 문제를 해결하면서도, 각 모델의 전문적인 능력을 유지하거나 향상시킬 수 있는 효율적인 대안을 제공합니다.

저자는 이 분야를 체계적으로 분석하기 위해 FUSE라는 새로운 분류 체계 (Taxonomy) 를 제안했습니다. 이는 **Foundations (기초 이론), Unification Strategies (통합 전략), Scenarios (적용 시나리오), Ecosystem (생태계)**의 네 가지 차원으로 구성됩니다.

---

1. 문제 제기 (Problem Statement)

• 계산 비용과 자원 효율성: 다양한 작업에 특화된 수많은 LLM 이 등장함에 따라, 각 모델을 별도로 유지하거나 앙상블 (Ensemble) 하는 것은 추론 비용 (inference cost) 과 메모리 사용량을 급증시킵니다.
• 지식 재사용의 한계: 기존 모델 병합 기술은 주로 동일한 데이터셋으로 학습된 동질적인 모델 (Checkpoint Averaging) 에 국한되었습니다. 그러나 서로 다른 작업 (예: 수학, 코딩, 의료) 에 특화된 이질적인 모델들을 결합하여 하나의 모델로 만드는 것은 여전히 어렵습니다.
• 성능 저하 (Interference): 단순히 가중치를 평균화할 경우, 서로 다른 작업 간의 파라미터 간섭 (Parameter Interference) 으로 인해 성능이 급격히 저하되거나 '재앙적 망각 (Catastrophic Forgetting)'이 발생할 수 있습니다.

---

2. 방법론 및 핵심 기술 (Methodology & Key Techniques)

논문은 모델 병합을 FUSE 프레임워크를 통해 체계적으로 분류하고 설명합니다.

A. Foundations (기초 이론: 왜 병합이 작동하는가?)

• 손실 지형 (Loss Landscape) 과 볼록성: 과매개변수화 (Overparameterization) 된 신경망은 고립된 최소점이 아닌 넓은 연결된 저손실 영역 (Connected Low-loss Regions) 을 가집니다.
• 선형 모드 연결성 (Linear Mode Connectivity): 공통된 사전 학습 (Pretrained) 초기값에서 파생된 모델들은 가중치 공간에서 선형 보간 (Linear Interpolation) 시 손실 장벽을 넘지 않고 연결됩니다. 이는 서로 다른 작업으로 미세 조정 (Fine-tuning) 된 모델들도 같은 '분지 (Basin)'에 속함을 의미합니다.
• 가중치 공간 대칭성 (Permutation Invariance): 은닉 유닛의 순서를 바꾸어도 함수는 동일하게 작동하므로, 독립적으로 학습된 모델들을 병합할 때는 은닉 유닛의 정렬 (Alignment) 이 필수적입니다.

B. Unification Strategies (통합 전략: 어떻게 병합하는가?)

논문은 병합 기법을 세 가지 주요 범주로 나눕니다.

1. 가중치 공간 평균화 및 기하학적 보간 (Weight-Space Averaging):

   • Model Soups: 여러 체크포인트를 단순 평균하거나 (Uniform Soup), 검증 성능을 기준으로 모델 선택하여 평균화 (Greedy Soup) 합니다.
   • 중요도 가중 평균 (Importance-Weighted): Fisher 정보 행렬 등을 이용해 중요한 파라미터에 더 높은 가중치를 부여합니다.
   • 기하학적 보간: 유클리드 공간이 아닌 구면 (Spherical) 보간 (SLERP) 등을 사용하여 가중치 벡터의 크기와 방향을 보존합니다.

2. 작업 벡터 연산 및 희소성 강화 (Task Vector Arithmetic & Sparsification):

   • 작업 벡터 (Task Vectors): 미세 조정된 모델과 사전 학습 모델의 차이 ($\tau = \theta_{ft} - \theta_{pre}$) 를 벡터로 정의합니다. 이를 덧셈, 뺄셈, 스케일링하여 작업을 추가하거나 제거합니다.
   • 간섭 해결 (Interference Resolution):
     • TIES-Merging: 불필요한 파라미터를 잘라내고 (Trim), 부호 (Sign) 를 다수결로 결정 (Elect) 한 후 병합하여 부호 충돌을 해결합니다.
     • DARE (Drop And REscale): 파라미터를 확률적으로 드롭하고 나머지를 스케일링하여 간섭을 줄입니다.

3. 구조적 및 정보 기반 병합 (Structured & Information-Guided):

   • Mixture-of-Experts (MoE): 여러 모델을 별도의 '전문가 (Expert)'로 유지하고, 입력에 따라 라우팅 (Routing) 하여 병합합니다. (예: PHATGOOSE, LoRA-based MoE)
   • 활성화 기반 병합: 가중치뿐만 아니라 활성화 (Activation) 패턴을 분석하여 기능적으로 유사한 구성 요소를 정렬합니다.
   • 진화적/검색 기반 최적화: 유전 알고리즘 (Evolutionary Algorithms) 이나 베이지안 최적화를 사용하여 레이어별 혼합 비율과 아키텍처를 자동으로 탐색합니다.

C. Scenarios (적용 시나리오)

• 다중 작업 학습 (Multi-Task Learning): 여러 작업 (요약, 코딩, 수학 등) 을 하나의 모델로 통합하여 일반화 성능을 향상시킵니다.
• 정렬 및 안전성 (Alignment & Safety): RLHF 나 DPO 로 학습된 모델을 병합하여 유해한 행동을 제거하거나 안전성을 강화합니다.
• 연방 학습 (Federated Learning): 데이터 프라이버시를 유지하면서 로컬 모델들을 서버에서 병합합니다.
• 도메인 특화: 의료, 법률 등 특정 도메인 지식을 유지하면서 일반 LLM 의 능력을 보존합니다.

D. Ecosystem (생태계)

• 도구: mergekit과 같은 오픈소스 툴킷이 병합 과정을 대중화했습니다.
• 벤치마크: FusionBench와 같은 평가 체계가 병합 모델의 성능을 표준화하여 측정합니다.

---

3. 주요 기여 (Key Contributions)

1. FUSE 분류 체계 제안: 모델 병합 연구를 이론적 기초, 알고리즘 전략, 적용 시나리오, 생태계 인프라의 4 가지 차원으로 체계화한 최초의 포괄적인 프레임워크를 제시했습니다.
2. 기술적 심층 분석: 단순 평균화부터 작업 벡터 연산, 희소성 기반 간섭 해결, 진화적 최적화에 이르기까지 다양한 알고리즘의 수학적 원리와 장단점을 비교 분석했습니다.
3. 응용 분야 종합: 다중 작업, 안전성 정렬, 연방 학습, 도메인 특화 등 다양한 실제 적용 사례와 그 효과를 실증적으로 검증했습니다.
4. 미래 방향 제시: 이론적 격차, 확장성 문제, 표준화 부재 등 현재의 한계를 지적하고, 자동화된 병합 시스템, 이질적 모델 병합, 동적 병합 등의 미래 연구 방향을 제시했습니다.

---

4. 결과 및 성과 (Results & Findings)

• 성능 향상: 전략적으로 병합된 모델은 개별 미세 조정 모델보다 상위 리더보드 (Open LLM Leaderboard 등) 에서 더 높은 성능을 기록하며, 때로는 개별 모델이 가지지 못했던 새로운 능력 (Emergent Capabilities) 을 보여주기도 합니다.
• 간섭 감소: TIES-Merging, DARE 와 같은 간섭 해결 기법을 적용하면, 단순 평균화보다 2~3% 이상 높은 작업 유지율 (Retention Rate) 을 달성할 수 있습니다.
• 비용 효율성: 추가 학습 없이 모델 병합을 수행함으로써, 앙상블 방법과 동일한 수준의 성능을 단일 모델 추론 비용으로 달성할 수 있습니다.
• 안전성 강화: 편향 (Bias) 이나 유해한 행동을 가진 모델의 작업 벡터를 제거 (Negation) 하거나, 안전성 모델과 병합함으로써 안전성을 유지하면서 능력을 향상시킬 수 있음이 입증되었습니다.

---

5. 의의 및 중요성 (Significance)

• AI 개발 패러다임의 전환: "하나의 거대 모델을 처음부터 학습한다"는 접근에서 "여러 전문 모델의 능력을 유연하게 조합한다"는 구성적 (Compositional) 접근으로의 전환을 주도합니다.
• 민주화와 접근성: 복잡한 학습 과정 없이도 오픈소스 모델들을 조합하여 고성능 모델을 만들 수 있게 하여, 연구자와 실무자의 진입 장벽을 낮춥니다.
• 지속 가능한 AI: 재학습에 필요한 막대한 컴퓨팅 자원과 에너지를 절약하면서도 모델의 성능과 범용성을 확장할 수 있는 지속 가능한 솔루션을 제공합니다.
• 이론과 실전의 연결: 손실 지형 (Loss Landscape) 이론과 실제 병합 알고리즘 간의 연결고리를 명확히 하여, 왜 특정 병합 기법이 작동하는지에 대한 깊은 이해를 제공합니다.

이 논문은 LLM 시대에 모델 병합이 단순한 실험적 기법을 넘어, AI 시스템 구축의 핵심 기술로 자리 잡았음을 보여주며, 향후 연구와 개발을 위한 청사진을 제시합니다.