An Empirical Study and Theoretical Explanation on Task-Level Model-Merging Collapse

이 논문은 모델 병합 시 발생하는 '병합 붕괴' 현상을 규명하고, 기존 연구와 달리 파라미터 공간의 충돌보다 작업 간 표현의 비호환성이 주요 원인임을 실증적으로 입증하며, 정보이론을 통해 이를 설명하는 이론적 틀을 제시합니다.

핵심

이 논문은 인공지능 (LLM) 을 다룰 때 매우 흥미롭고 중요한 발견을 하고 있습니다. 아주 쉽게 비유를 들어 설명해 드릴게요.

🍳 요리의 비유: "요리사 합작 프로젝트"

상상해 보세요. 같은 요리 학교 (기초 모델) 를 졸업한 요리사들이 각각 다른 요리를 전문으로 배웠다고 가정해 봅시다.

• A 요리사: 미슐랭 스타일 스테이크를 완벽하게 굽는 법을 배웠습니다.
• B 요리사: 복잡한 프랑스 소스를 만드는 법을 배웠습니다.
• C 요리사: 달콤한 디저트를 만드는 법을 배웠습니다.

이제 우리는 이 세 명의 요리사를 합쳐서 **"스테이크 + 소스 + 디저트"를 한 번에 다 잘하는 '슈퍼 요리사'**를 만들고 싶다고 칩시다. 이것이 바로 **'모델 병합 (Model Merging)'**입니다.

기존에는 "요리사들의 레시피 (파라미터) 를 단순히 섞으면 더 좋은 요리사가 될 거야!"라고 생각했습니다. 하지만 이 논문의 저자들은 실험을 통해 충격적인 사실을 발견했습니다.

💥 발견한 문제: "합작 실패 (Collapse)"

어떤 조합은 훌륭하게 합쳐지지만, 어떤 조합은 완전히 망가져서 아무것도 못 하게 됩니다.
예를 들어, '스테이크'와 '소스'를 합치면 훌륭하지만, '스테이크'와 '디저트'를 합치면 요리사가 정신을 잃고 아무것도 못 하게 되는 거죠. 논문에서는 이를 **'병합 붕괴 (Merging Collapse)'**라고 부릅니다.

🔍 왜 이런 일이 일어날까? (기존 생각 vs 새로운 발견)

1. 기존 생각 (잘못된 상식): "레시피가 충돌해서 그래!"
기존 연구자들은 "요리사 A 는 소금 1 스푼을 넣고, 요리사 B 는 소금 1 스푼을 빼라고 하니까 충돌이 일어나서 망한 거야"라고 생각했습니다. 즉, 숫자 (파라미터) 가 서로 반대 방향으로 움직여서 문제가 생긴다고 믿었습니다.

2. 이 논문의 새로운 발견: "요리사의 '생각'이 안 맞아서 그래!"
저자들은 실험을 통해 놀라운 사실을 발견했습니다. 숫자 (레시피) 가 충돌하는 건 중요하지 않았습니다. 진짜 문제는 요리사들이 세상을 바라보는 '시각 (표현, Representation)'이 완전히 다르면 합쳐질 수 없다는 것이었습니다.

• 비유: 스테이크 요리사는 "고기"를 "단백질"로 보고, 디저트 요리사는 "설탕"으로 봅니다. 이 두 사람이 머리를 맞대고 요리할 때, 서로의 **생각의 틀 (Hidden State)**이 너무 다르면 서로의 말을 이해하지 못하고 혼란에 빠지는 것입니다.

📐 이론적 설명: "방의 크기와 거리"

논문의 저자들은 수학 (정보 이론) 을 이용해 이를 증명했습니다.

• 비유: 각 요리사의 생각은 방 안에 있는 점들입니다. 스테이크 요리사의 생각 점들과 디저트 요리사의 생각 점들이 너무 멀리 떨어져 있다면, 그 두 점을 연결하는 중간 지점 (합쳐진 모델) 을 만들 때, 어느 한쪽의 생각도 제대로 반영할 수 없게 됩니다.
• 수학적으로 "점들 사이의 거리가 너무 멀면, 아무리 잘 섞어도 원래의 맛을 살릴 수 없다"는 한계가 있다는 것을 증명했습니다.

🛠️ 이 연구가 우리에게 주는 교훈

이 논문을 통해 우리는 다음과 같은 것을 배울 수 있습니다.

1. 단순한 섞기는 안 됩니다: 서로 다른 일을 잘하는 AI 모델들을 무작정 섞으면, 오히려 원래의 능력을 잃어버릴 수 있습니다.
2. 호환성을 먼저 확인하세요: 모델을 합치기 전에, "이 두 모델이 세상을 바라보는 시각 (표현) 이 비슷한가?"를 먼저 확인해야 합니다. 시각이 비슷한 모델끼리만 합쳐야 성공합니다.
3. 새로운 지표 제안: 저자들은 '숨겨진 상태 거리 (Hidden-state Distance)'라는 새로운 측정 도구를 개발했습니다. 이는 "두 모델이 얼마나 서로 다른 생각을 가지고 있는지"를 재는 자릿입니다. 이 자로 거리를 재서 거리가 멀면 합치지 말아야 합니다.

📝 한 줄 요약

"AI 모델들을 합칠 때, 단순히 레시피 (숫자) 를 섞는다고 좋은 결과가 나오는 게 아닙니다. 서로의 '생각 방식 (표현)'이 너무 다르면 합쳐도 망가집니다. 그래서 합치기 전에 서로의 생각이 얼마나 비슷한지 먼저 확인해야 합니다."

이 연구는 앞으로 AI 를 개발할 때, 무작정 여러 모델을 합치는 것이 아니라 어떤 모델을 합쳐야 성공할지를 예측하는 과학적인 기준을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 하위 작업에 대해 파인튜닝 (Fine-tuning) 되지만, 이를 통합하기 위해 모든 모델을 다시 학습시키는 것은 계산 비용이 매우 큽니다. 이를 해결하기 위해 모델 머지 (Model Merging) 기술이 주목받고 있으며, 이는 동일한 베이스 모델에서 파생된 여러 파인튜닝 모델의 파라미터를 통합하여 하나의 다중 능력 모델을 만드는 방법입니다.

그러나 실제 적용에서 머지 붕괴 (Merging Collapse) 현상이 관찰됩니다. 이는 개별 모델은 각자 뛰어난 성능을 보임에도 불구하고, 특정 작업 조합을 머지할 때 성능이 치명적으로 저하되는 현상입니다. 기존 연구들은 주로 파라미터 업데이트 간의 충돌 (Parameter conflicts) 이 이를 유발한다고 가정했으나, 본 논문은 이러한 가정이 머지 실패의 근본 원인을 설명하지 못한다고 지적합니다.

2. 방법론 (Methodology)

저자들은 경험적 분석과 이론적 증명 두 가지 축을 통해 문제를 접근했습니다.

• 경험적 실험 (Empirical Study):

  • 데이터셋 및 모델: GLUE 벤치마크 (8 개 작업) 와 Lots-of-LoRAs 컬렉션 (다양한 작업) 을 사용했습니다. Llama3, Qwen2.5, T5 등 다양한 아키텍처와 규모 (3B~14B) 의 모델을 대상으로 실험했습니다.
  • 머지 기법: 선형 평균 (LA), 태스크 산술 (TA), TIES, DARE, SLERP 등 5 가지 최신 머지 기법을 적용했습니다.
  • 평가 지표: 머지 손실 (Merging Loss) 을 계산하여 성능 저하 정도를 정량화했습니다.
  • 상관관계 분석: 기존에 제안된 파라미터 충돌 지표 (파라미터 부호 변화, 크기 변화 비율 등) 와 새로 제안한 히든 상태 거리 유사도 (Hidden-state Distance Similarity) 가 머지 붕괴와 얼마나 상관관계가 있는지 통계적 분석 (ANOVA, 피어슨 상관계수) 을 수행했습니다.

• 이론적 프레임워크 (Theoretical Framework):

  • 정보 이론 접근: 율 - 왜곡 이론 (Rate-Distortion Theory) 을 모델 머지에 적용했습니다.
  • LMC 가정: 선형 모드 연결성 (Linear Mode Connectivity, LMC) 가정을 기반으로, 파인튜닝된 모델들의 가중치 공간이 선형적으로 연결되어 있다고 가정했습니다.
  • 정리 (Theorem 1): $R^d$ 차원의 표현 (Representation) 에 대해, 어떤 볼록 머지 (Convex Merging) 방법으로도 달성할 수 없는 최소 왜곡 (Distortion) 의 하한을 증명했습니다. 이는 작업별 표현 클러스터의 직경 ($\Delta$) 에 의해 결정되며, 차원 ($d$) 에 의존하는 수식 ($\Delta^2 \cdot \frac{d}{2(d+1)}$) 으로 표현됩니다.

3. 주요 기여 (Key Contributions)

1. 작업 수준 표현 불일치가 머지 붕괴의 주원인임을 규명:

   • 기존 연구가 강조한 '파라미터 공간의 충돌'은 머지 실패와 거의 상관관계가 없음을 통계적으로 증명했습니다.
   • 대신, 작업 간 표현 공간 (Hidden-state Representation) 의 불일치가 머지 붕괴를 강력하게 예측한다는 사실을 발견했습니다.

2. 차원 의존적 이론적 한계 증명:

   • 정보 이론을 기반으로 한 새로운 이론적 프레임워크를 제시했습니다. 이 이론은 특정 작업 조합이 표현의 기하학적 구조상 머지가 불가능한 경우 (즉, 왜곡이 임계값을 초과하는 경우) 가 존재함을 수학적으로 증명했습니다. 이는 머지 기법의 성능과 무관하게 존재하는 근본적인 한계입니다.

3. 머지 난이도 점수 (MDS) 및 실용적 가이드라인 제안:

   • 히든 상태 거리 유사도를 기반으로 머지 난이도 점수 (Merging Difficulty Score, MDS) 를 정의했습니다.
   • MDS 가 높은 작업은 머지 시 성능 저하가 크다는 것을 실험을 통해 확인했으며, 이를 통해 머지할 작업 조합을 사전에 선별하여 붕괴를 방지하는 가이드라인을 제시했습니다.

4. 실험 결과 (Results)

• 보편적인 붕괴 현상: GLUE 및 Lots-of-LoRAs 데이터셋에서 모든 머지 기법 (LA, TA, TIES, DARE, SLERP) 이 특정 작업 조합에서 심각한 성능 저하 (최대 100% 에 가까운 손실) 를 보였습니다. 이는 특정 기법의 결함이 아니라 머지 자체의 내재적 문제임을 시사합니다.
• 작업 의존성 vs 방법 의존성: 통계 분석 결과, 머지 실패는 머지 기법의 선택보다는 어떤 작업을 조합하느냐 (Task-level) 에 훨씬 더 크게 의존했습니다. 특정 작업 (예: MRPC, WNLI) 은 어떤 기법을 쓰든 성능이 급격히 떨어졌습니다.
• 지표의 상관관계:
  • 기존 파라미터 충돌 지표들은 머지 손실과 통계적으로 유의미한 상관관계 ($p > 0.05$) 를 보이지 않았습니다.
  • 반면, 제안한 히든 상태 거리 유사도는 머지 손실과 매우 강한 음의 상관관계를 보였습니다 ($p \ll 0.05$). 표현이 서로 다른 작업일수록 머지 실패 확률이 높았습니다.
• MDS 의 유효성: MDS 가 높은 작업 그룹을 MDS 가 낮은 작업으로 교체했을 때, 머지 후 성능 저하가 현저히 감소하는 것을 확인했습니다.

5. 의의 및 중요성 (Significance)

• 패러다임 전환: 모델 머지 연구의 초점을 '파라미터 충돌 해결'에서 '작업 표현의 호환성 평가'로 전환해야 함을 시사합니다.
• 근본적 한계 규명: 어떤 머지 기법을 사용하더라도 특정 작업 조합은 머지할 수 없다는 이론적 한계를 수학적으로 증명함으로써, 무작정 머지를 시도하는 비효율성을 줄일 수 있습니다.
• 실용적 적용: MDS 와 같은 지표를 활용하여 머지 전 작업 조합을 선별함으로써, 리소스를 낭비하지 않고 안정적인 다중 작업 모델을 구축할 수 있는 실용적인 방법을 제공합니다.

결론적으로, 본 논문은 모델 머지 실패의 원인이 파라미터의 단순한 충돌이 아니라, 작업 간 표현 공간의 근본적인 불일치에 있음을 이론과 실험을 통해 입증하고, 이를 해결하기 위한 새로운 평가 지표와 가이드라인을 제시했습니다.