Trade-offs in Ensembling, Merging and Routing Among Parameter-Efficient Experts

이 논문은 다중 태스크 학습을 위한 모델 융합 전략 (앙상블, 머징, 라우팅) 의 트레이드오프를 실증적으로 분석하여, 비균일 앙상블과 머징이 성능을 향상시키지만 라우팅이 가장 큰 이점을 제공하며, 클러스터링과 같은 전문가 선택 기법을 통해 라우팅의 계산 비용을 효과적으로 줄일 수 있음을 보여줍니다.

핵심

이 논문은 **"여러 명의 전문가를 어떻게 가장 잘 합쳐서 한 명의 슈퍼 전문가로 만들까?"**라는 질문에 답하는 연구입니다.

마치 요리사 팀을 상상해 보세요.
어떤 요리사 A 는 이탈리아 파스타를, 요리사 B 는 일본 스시를, 요리사 C 는 한국 불고기를 아주 잘합니다. 이제 이 세 명의 요리사를 합쳐서 **"어떤 메뉴가 들어와도 다 잘 만드는 만능 요리사"**를 만들고 싶다고 가정해 봅시다.

이 논문은 이 '만능 요리사'를 만드는 세 가지 방법을 비교하고, 어떤 방법이 가장 효율적이고 좋은지 실험으로 증명했습니다.

---

1. 세 가지 방법 (요리사 팀 합치는 법)

연구진은 세 가지 다른 방식을 시도했습니다.

① 엔셈블링 (Ensembling): "모두의 의견을 듣기"

• 방식: 손님이 "파스타를 만들어줘"라고 하면, A, B, C 세 요리사 모두 파스타를 만들어 봅니다. 그리고 그 결과물을 모두 섞어서 (가중치를 두어) 최종 접시를 냅니다.
• 장점: 아주 정확합니다. 여러 전문가의 지식을 모두 합치기 때문입니다.
• 단점: 비쌉니다. 손님이 한 명 들어와도 요리사 3 명이 모두 일해야 하므로 시간과 비용이 3 배 듭니다.

② 머징 (Merging): "레시피를 섞어 새로운 책 만들기"

• 방식: A, B, C 의 레시피 (가중치) 를 물리적으로 섞어서 새로운 요리사 D 의 레시피 책 한 권을 만듭니다. "파스타는 A 의 30%, B 의 30%, C 의 40% 를 섞어라"라고 정해두고, 이 새로운 요리사 D 가 혼자 일하게 합니다.
• 장점: 빠르고 저렴합니다. 요리사가 한 명뿐이니까요.
• 단점: 혼란이 생길 수 있습니다. 파스타 레시피와 스시 레시피를 섞으면, 파스타는 맛이 없어지고 스시는 이상해질 수 있습니다. (논문에서는 이를 '모드 연결성'이 깨진다고 표현했습니다.)

③ 라우팅 (Routing): "상황에 따라 전문가를 골라주기"

• 방식: 손님이 들어오자마자, "아, 파스타를 주문했구나!"라고 알아서 A 요리사만 불러옵니다. 스시를 주문하면 B 요리사만 부릅니다. 즉, 손님의 요청 (입력) 에 따라 가장 적합한 전문가를 실시간으로 선택합니다.
• 장점: 가장 정확하고 효율적입니다. 필요한 사람만 부르기 때문에 비용은 적게 들면서, 각자 최고의 실력을 발휘합니다.
• 단점: 손님이 누구를 부를지 결정하는 '매니저 (라우터)'를 똑똑하게 훈련시켜야 합니다.

---

2. 연구의 핵심 발견 (결과는?)

이 논문은 이 세 가지 방법을 실험해 보니 다음과 같은 결론을 내렸습니다.

1. 단순히 섞는 것 (Uniform) 은 부족하다:

   • 모든 요리사의 의견을 똑같이 섞거나 (Ensembling), 레시피를 똑같이 섞는 것 (Merging) 은 나쁘지 않지만, 더 좋은 방법이 있습니다.
   • 학습된 가중치: "파스타에는 A 의 의견이 80% 필요해, B 는 20% 만 필요해"라고 학습을 통해 비율을 조절하면 훨씬 좋아집니다.

2. 라우팅 (Routing) 이 왕이다:

   • **상황에 따라 전문가를 골라주는 방식 (라우팅)**이 가장 성능이 좋았습니다.
   • 마치 "파스타 주문엔 파스타 전문가, 스시 주문엔 스시 전문가"를 바로 부르는 것처럼, 입력 (손님의 주문) 에 따라 가장 적합한 모델을 선택하면 **신비한 오라클 (정답을 아는 신)**에 가까운 성능을 냅니다.
   • 머징 (레시피 섞기) 은 여러 작업을 섞다 보니 서로 간섭이 생겨 성능이 떨어지는 경우가 많았습니다.

3. 비용을 아끼는 지혜 (클러스터링):

   • 전문가가 256 명이나 있다면 매번 모두를 확인하거나 고르는 게 너무 힘듭니다.
   • 그래서 비슷한 요리사들끼리 **그룹 (클러스터)**을 지어 10 개로 줄였습니다. (예: 파스타 그룹, 스시 그룹, 불고기 그룹)
   • 이렇게 그룹을 나누고 그룹 대표만 고르는 방식을 쓰면, 성능은 거의 유지하면서 비용을 획기적으로 줄일 수 있었습니다.

---

3. 요약: 우리가 배운 교훈

• **모두 다 합치는 것 (Ensembling)**은 정확하지만 너무 비싸서 일상적으로 쓰기 어렵습니다.
• **레시피를 섞는 것 (Merging)**은 저렴하지만, 서로 다른 작업을 섞으면 성능이 떨어질 수 있습니다.
• **상황에 따라 골라주는 것 (Routing)**이 가장 좋습니다. 하지만 전문가가 너무 많으면 골라내는 과정이 복잡해지므로, 비슷한 전문가끼리 그룹을 지어 관리하는 것이 현실적인 해결책입니다.

한 줄 요약:

"여러 명의 전문가를 합칠 때, 단순히 다 섞거나 모두 부르는 것보다, 손님의 요청에 맞춰 가장 적합한 전문가를 골라주는 '똑똑한 매니저'를 만드는 것이 가장 효율적이고 강력한 방법입니다."

기술 요약

이 논문은 **"파라미터 효율적 전문가 (Parameter-Efficient Experts) 들의 앙상블, 병합, 라우팅 간의 트레이드오프"**를 분석한 연구입니다. 저자들은 다양한 작업에 대해 미세 조정 (fine-tuning) 된 대규모 언어 모델 (LLM) 의 라이브러리가 존재할 때, 이러한 전문가 모델들을 어떻게 최적의 방식으로 통합하여 다중 작업 학습 (Multi-task Learning) 성능을 극대화하면서도 계산 비용을 줄일 수 있는지에 대한 실증적 분석을 수행했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• 배경: HuggingFace 등에는 LoRA(Low-Rank Adaptation) 와 같은 파라미터 효율적 방법으로 다양한 작업에 대해 미세 조정된 수백 개의 LLM 전문가 모델들이 존재합니다.
• 문제: 이러한 독립적으로 훈련된 전문가 모델들을 통합하여 작업 식별자 (Task ID) 없이도 모든 작업에서 강력한 성능을 내는 단일 모델을 만드는 것이 중요합니다.
• 주요 접근법:
  1. 앙상블 (Ensembling): 각 전문가의 출력 (확률 분포) 을 결합. (추론 시 비용이 높음)
  2. 병합 (Merging): 모델의 가중치를 파라미터 공간에서 평균화하여 단일 모델 생성. (추론 비용은 낮으나 성능 저하 가능성)
  3. 라우팅 (Routing): 입력에 따라 전문가들의 가중치를 동적으로 조절하여 결합. (유연성은 높으나 학습 복잡도 존재)
• 핵심 질문: 단순한 균일 (Uniform) 방식보다 복잡한 방식이 성능 향상을 가져오는가? 라우팅의 유연성이 그 복잡성을 정당화하는가?

2. 방법론 (Methodology)

• 데이터셋: Phi-2 기반의 2.8B 파라미터 모델에서 Flan v2 의 256 개 작업에 대해 독립적으로 미세 조정된 256 개의 LoRA 전문가 모델 사용.
• 모델 축소 전략: 계산 효율성을 위해 256 개 전문가 중 **모델 기반 클러스터링 (MBC, Model-Based Clustering)**을 통해 10 개의 클러스터 전문가로 축소한 버전을 주로 사용했습니다.
• 비교 실험:
  • 앙상블: 균일 가중치 vs SGD 를 통한 학습된 가중치 (Direct Optimization) vs 지식 증류 (Distillation).
  • 병합: 균일 평균 vs SGD 를 통한 학습된 가중치 (전체 레이어 공유 vs 레이어별).
  • 라우팅: 입력 의존적 가중치 학습 (SGD 최적화) vs 기존 베이스라인 (Arrow, MBC 기반 라우팅).
• 평가 지표: 256 개 모든 작업에 대한 평균 멀티태스크 손실 (Average Multi-task Loss) 및 오라클 (Oracle, 작업 ID 를 아는 경우) 과의 비교.

3. 주요 결과 (Key Results)

A. 앙상블 (Ensembling)

• 균일 앙상블은 오라클을 제외하고 베이스라인보다 우수한 성능을 보였으며, 강력한 베이스라인이 되었습니다.
• **학습된 앙상블 (SGD 최적화)**은 균일 앙상블보다 성능이 더 향상되었으나, 추론 시 모든 모델을 실행해야 하므로 계산 비용이 매우 높습니다.
• **지식 증류 (Distillation)**는 앙상블의 성능을 단일 모델로 압축하여 추론 비용을 줄였으나, 학습 비용이 두 배로 증가하는 단점이 있습니다.

B. 병합 (Merging) 및 모드 연결성 (Mode Connectivity)

• 균일 병합은 앙상블보다 성능이 현저히 낮았습니다. 이는 단일 작업 설정에서 유효했던 '모드 연결성 (Loss Landscape 상의 모델들이 선형적으로 연결되어 있다는 가설)'이 다중 작업 설정에서는 성립하지 않을 수 있음을 시사합니다.
• **학습된 병합 (SGD 최적화)**은 균일 병합보다 성능이 좋았으나, 여전히 앙상블이나 라우팅에는 미치지 못했습니다.
• 모드 연결성 분석: 두 전문가를 선형적으로 보간 (Interpolation) 했을 때, 각 입력에 맞는 최적의 전문가를 선택하는 오라클 방식보다 보간된 모델의 성능이 낮았습니다. 이는 단순 병합의 한계를 보여줍니다.

C. 라우팅 (Routing)

• SGD 최적화 라우팅은 입력에 따라 전문가의 기여도를 동적으로 조절하여 모든 비-오라클 방법 중 가장 높은 성능을 기록했습니다.
• 라우팅은 병합과 앙상블의 장점을 결합하여, 오라클에 근접하는 성능을 달성하면서도 단일 모델 추론의 효율성을 유지합니다.
• **Arrow (기존 라우팅 베이스라인)**와 비교 시, SGD 최적화 라우팅은 라우팅 시 상위 k 개 전문가 선택 (Top-k selection) 에 덜 민감하며 더 잘 보정 (Calibrated) 된 결과를 보여줍니다.

D. 전문가 선택 및 클러스터링

• 전문가 재구성 (Refactoring): 256 개 전문가 중 약 60% 만으로도 오라클 수준의 성능을 회복할 수 있음을 발견했습니다.
• MBC 전문가 vs 개인 전문가: MBC(클러스터링 후 재학습) 는 앙상블과 병합 시 더 좋은 성능을 보였으나, Arrow 와 같은 희소 라우팅 (Sparse Routing) 에서는 개인 전문가 (Private Experts) 가 더 유리했습니다.
• 계층적 클러스터링 (Hierarchical Clustering): 재학습 없이 기존 전문가들을 클러스터 단위로 병합하고 라우팅하는 방식은 MBC 전문가 라우팅보다는 성능이 낮았지만, 다른 병합 방식보다는 우월했습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 모델 통합 전략의 체계적 비교: 다중 작업 학습 환경에서 앙상블, 병합, 라우팅의 성능과 비용 트레이드오프를 실증적으로 규명했습니다.
2. 모드 연결성의 한계 발견: 다중 작업 설정에서는 단순한 가중치 평균 (병합) 이 최적의 해법이 아니며, 작업별 미세 조정으로 인해 파라미터 공간이 분리될 수 있음을 증명했습니다.
3. 라우팅의 우월성 입증: 계산 비용을 감수하더라도 입력 의존적 라우팅이 가장 효과적임을 보였으며, 이를 위해 SGD 기반 최적화가 효과적임을 확인했습니다.
4. 효율성 제안: 모든 전문가를 사용할 필요 없이, 클러스터링이나 그리디 선택을 통해 전문가 수를 줄여도 성능을 유지할 수 있음을 보여주어 실제 적용 가능성을 높였습니다.

5. 결론

이 논문은 **라우팅 (Routing)**이 다중 작업 학습에서 가장 강력한 접근법임을 제시합니다. 특히 SGD 를 통해 입력 의존적 가중치를 학습하는 라우팅은 오라클에 근접하는 성능을 제공하며, 단순 병합이나 고정된 앙상블보다 우월합니다. 다만, 추론 비용이 중요한 상황에서는 지식 증류나 전문가 클러스터링을 통한 효율적인 하위 집합 선택이 실용적인 대안이 될 수 있습니다. 이 연구는 공개된 LoRA 전문가 라이브러리를 활용한 모듈형 LLM 시스템 구축에 중요한 통찰을 제공합니다.