💬 NLP

Dynamic Model Merging Made Slim

본 논문은 비가역적 순위 할당과 데이터 없는 정제를 활용하여 기존 방법보다 훨씬 적은 매개변수로 비전, 언어, 멀티모달 작업 전반에서 뛰어난 정확도-효율성 균형을 달성하는 컴팩트한 동적 모델 병합 프레임워크인 DiDi-Merging 을 소개합니다.

원저자: Guodong Du, Wanyu Lin

게시일 2026-05-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guodong Du, Wanyu Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 요리에 탁월한 재능을 가진 마스터 셰프가 있다고 가정해 봅시다. 이 셰프에게 이탈리아, 일본, 멕시코, 인도 등 열 가지 다른 요리를 배우도록 요청합니다. 이를 위해 각 요리마다 셰프의 "전문가" 버전을 따로 훈련시킵니다. 이제 각자 고유한 메모와 기법을 가진 열 명의 셰프가 있게 됩니다.

문제점:
만약 열 가지 요리를 모두 제공하는 레스토랑을 운영하려 한다면, 열 명의 셰프를 따로 고용할 수는 없습니다. 비용이 너무 많이 들고 공간도 너무 많이 차지하기 때문입니다.

구식 방식 (정적 병합): 열 명의 셰프가 가진 모든 메모를 하나의 거대한 책으로 합치려 합니다. 하지만 메모들이 서로 모순되는 경우가 많습니다 (예: "소금을 넣으세요" 대 "소금을 넣지 마세요"). 그 결과 최종 책은 혼란스러운 난장판이 되어 셰프가 특정 요리를 잘 조리하는 방법을 잊어버리게 됩니다.
현재의 "동적" 방식: 마스터 셰프의 기본 지식을 유지하고 각 요리마다 작은 "요령지"를 추가합니다. 고객이 이탈리아 요리를 주문하면 이탈리아 요령지를 건네줍니다. 이는 잘 작동하지만, 요리가 50 가지라면 50 개의 요령지가 필요합니다. 마스터 셰프의 기본 지식이 방대하고 이를 각 요리마다 따로 유지한다면, 당신의 "주방"(저장 공간) 은 불필요하게 커지고 비용이 많이 듭니다.

새로운 해결책: DiDi-Merging
이 논문의 저자, 구둥두 (Guodong Du) 와 완위린 (Wanyu Lin) 은 이러한 셰프들을 조직하는 더 지적인 방법을 제안합니다. 이를 DiDi-Merging이라고 부르며, "슬림한 동적 주방"으로 생각할 수 있습니다.

간단한 비유를 들어 작동 원리를 설명해 보겠습니다:

1. "공유 지식" 대 "전문가 트릭"

각 작업마다 마스터 셰프의 두뇌 전체를 따로 유지하는 것 (무겁습니다) 이나 마스터 셰프를 버리고 작은 메모만 남기는 것 (품질이 떨어집니다) 대신, DiDi-Merging은 균형을 찾습니다.

모든 요리가 공유하는 공통 기술 (야채 다지기나 물 끓이기 등) 이 포함된 작고 공유된 "핵심" 책을 만듭니다.
그런 다음 각 요리의 고유한 부분 (인도 카레의 특정 향신료 블렌드 등) 을 위한 **작은 "포켓 가이드"**를 만듭니다.

2. "스마트 디머 스위치" (미분 가능 순위 할당)

이것이 이 논문의 비결입니다. 일반적으로 정보를 압축할 때는 데이터의 상위 10% 나 20% 를 잘라내는 식으로, 케이크의 윗부분을 자르는 것처럼 합니다. 이는 "일률적"인 접근 방식입니다.

DiDi-Merging은 스마트 디머 스위치를 사용합니다. 이는 모든 정보 조각을 살펴보고 *"이 정보가 이 특정 작업에 얼마나 중요한가?"*라고 묻습니다.

어떤 지식 조각이 모든 작업에 유용하다면, 디머 스위치는 이를 공유 핵심에서 밝게 유지합니다.
어떤 지식 조각이 하나의 작업에만 유용하다면, 디머 스위치는 핵심에서의 밝기를 줄이고 이를 전문가 포켓 가이드로 이동시킵니다.
결정적으로, 이 시스템은 원래 훈련 데이터를 다시 볼 필요 없이 각 부분에 얼마나 많은 "밝기"(또는 순위) 를 할당할지 정확히 학습합니다. 마치 각 방이 에너지를 낭비하지 않고 편안하게 유지되기 위해 얼마나 많은 열이 필요한지 정확히 학습하는 스마트 온도 조절 장치와 같습니다.

3. "광택" (데이터 없는 정제)

정보를 압축할 때 보통 약간의 맛을 잃게 됩니다. 이를 해결하기 위해 DiDi-Merging은 마지막 "광택" 작업을 수행합니다.

압축된 슬림 버전을 가져와 이미 가지고 있는 원래 "메모"(작업 벡터) 를 사용하여 약간 조정합니다.
이는 원래 재료 (원시 훈련 데이터) 가 필요 없이 수행됩니다. 마치 셰프가 줄인 소스를 맛보고 원래 수프 냄비가 없어도 맛을 되살리기 위해 소금 한 꼬집을 추가하는 것과 같습니다.

왜 이것이 중요한가요?
이 논문은 DiDi-Merging이 지금까지 가장 효율적인 방법이라고 주장합니다:

작은 발자국: 단일 셰프 메모의 공간의 약 1.24 배만 차지합니다. 이전 방법들은 2 배 이상의 공간이 필요했습니다.
높은 품질: 이렇게 작음에도 불구하고 원래 조리 기술의 98% 이상을 유지합니다. 맛을 잃지 않습니다.
다용도: 비전 (이미지 인식), 언어 (대화), 심지어 혼합 작업 (동영상 설명 등) 에서도 작동합니다.

요약:
DiDi-Merging은 하나의 작고 고품질의 베이스 스테이션과 모든 특정 작업용 작은 커스텀 어태치먼트를 갖춘 모듈식 주방을 구축하는 것과 같습니다. 이는 각 부분의 크기를 정확히 결정하기 위해 학습 시스템을 활용하여, 최소한의 저장 공간으로 최고의 성능을 보장하며, 원래 훈련 데이터로 다시 돌아갈 필요 없이 모든 것을 가능하게 합니다.

기술 요약: DiDi-Merging

문제 제기
모델 병합 (Model merging) 은 공동 학습이나 원본 데이터 접근 없이 파인튜닝된 모델의 재사용을 가능하게 하여, 여러 작업별 모델 배포의 높은 비용과 프라이버시 또는 컴퓨팅 제약으로 인한 다중 작업 학습의 비현실성을 해결합니다. 정적 병합은 모델을 단일 체크포인트로 융합하지만, 작업 간 간섭 (task interference) 으로 인해 고통받습니다. 동적 병합은 입력을 작업 관련 전문가 구성 요소로 라우팅하여 유연성을 개선하지만, 기존 방법들은 치명적인 저장소 병목 현상에 직면해 있습니다. 현재 동적 접근법은 두 가지 비최적의 극단으로 나뉩니다:

무거운 공유 (Heavy Shared): 작은 작업별 전문가와 함께 전체 크기의 공유 모델을 유지하는 방식 (예: TALL-Mask, EMR-Merging) 으로, 매개변수 수가 원래 모델보다 작지 않습니다.
무거운 전문가 (Heavy Expert): 공유 구성 요소를 폐기하고 모든 지식을 작업별 전문가 벡터에 저장하는 방식 (예: TSV-C, SMILE) 으로, 저장소 사용량이 작업 수에 비례하여 선형적으로 증가합니다.
두 접근법 모두 공유 지식과 작업별 용량 간의 균형을 효과적으로 맞추지 못해 과도한 저장소 오버헤드 (일반적으로 단일 파인튜닝 모델 크기의 $\ge 2\times$ 이상) 를 초래합니다.

방법론: DiDi-Merging
저자들은 가분적 차원 할당 (Differentiable Rank) 을 통한 공유 및 작업별 전문가 간 매개변수 균형을 이루는 슬림한 동적 병합 프레임워크인 DiDi-Merging(Differentiable Rank 를 사용한 동적 병합) 을 제안합니다. 이 방법은 세 단계로 운영됩니다:

저차원 분해: 작업 벡터 ( $\tau_t = \theta_t - \theta_0$ ) 는 정적 평균을 통해 얻은 공유 지식 행렬 ( $M_s$ ) 과 작업별 전문가 잔차 ( $M_t = \tau_t - M_s$ ) 로 분해됩니다. 두 행렬 모두 특이값 분해 (SVD) 를 통해 분해됩니다.
가분적 차원 최적화: 고정된 차원 할대 대신, 이 방법은 매개변수 예산 할당을 가분적 최적화 문제로 공식화합니다. 부드러운 절단 함수가 학습 가능한 연속 차원 매개변수 $r$ 에 기반하여 특이값을 재가중합니다. 목적 함수는 재구성된 작업 벡터와 원본 작업 벡터 간의 평균 제곱 오차 (Mean Squared Error) 인 작업 재구성 손실을 최소화하면서 목표 압축 비율에서의 편차를 패널티합니다. 이를 통해 모델은 원본 학습 데이터에 접근하지 않고도 공유 및 전문가 구성 요소의 차원을 공동 최적화하여 다양한 작업에는 더 많은 용량을 할당하고 유사한 작업에는 더 적은 용량을 할당할 수 있습니다.
데이터 없는 정제: 최적의 차원을 결정한 후, 절단된 저차원 매개변수는 데이터 없는 최적화 단계를 통해 정제됩니다. 저차원 LoRA 스타일 모듈 ( $A, B$ ) 이 절단된 SVD 에서 초기화되어 저장된 작업 벡터에 대한 재구성 손실을 최소화하도록 업데이트되며, 절단 중 손실된 성능을 회복합니다.

주요 기여

실패 모드 식별: 본 논문은 기존 동적 병합 방법들이 "무거운 공유" 또는 "무거운 전문가" 할당 극단으로 고통받으며, 둘 다 비최적의 정확도 - 효율성 트레이드오프로 이어진다고 특징짓습니다.
가분적 차원 할당: DiDi-Merging 은 가분적 SVD 절단 목적 함수를 통해 공유 및 작업별 전문가 차원을 공동 최적화하는 메커니즘을 도입하여, 수동 차원 튜닝이나 데이터 접근의 필요성을 제거합니다.
슬림한 동적 병합: 이 프레임워크는 저장소를 크게 줄이면서 거의 손실 없는 성능을 달성합니다. 단일 파인튜닝 모델 매개변수 수의 1.24 $\times$ 수준에서 기존 동적 베이스라인과 성능을 일치시키고, 1.4 $\times$ 수준에서는 이를 능가하여, $\ge 2\times$ 저장소가 필요한 방법들을 크게 능가합니다.

실험 결과
DiDi-Merging 은 비전, 대형 언어 모델 (LLMs), 멀티모달 대형 언어 모델 (MLLMs) 에서 평가되었습니다:

비전: 8 작업 ViT-B/32 벤치마크에서 DiDi-Merging-S(1.24 $\times$ 예산) 는 89.3% 정확도 (2.08 $\times$ 인 TSV-C 의 89.5% 대비) 로 가장 강력한 동적 베이스라인과 일치하면서 저장소의 60% 미만을 사용했습니다. 1.4 $\times$ 수준에서는 89.8% 의 최고 전체 점수를 달성했습니다.
LLMs: 네 가지 도메인에서 Llama-3.1-8B-Instruct 와 Qwen-2.5-7B-Instruct 를 병합한 결과, DiDi-Merging-L(2.0 $\times$ 예산) 은 Llama-3.1-8B 에서 기존 동적 방법보다 평균 +5.4% 더 우수한 성능을 보였으며, AlpacaEval-2 와 같은 지시 따르기 벤치마크에서 상당한 개선을 이루었습니다.
MLLMs: 멀티모달 환경 (비전, 오디오, 비디오, 포인트 클라우드) 에서 DiDi-Merging 은 슬림한 매개변수 발자국을 유지하면서 데이터 없는 동적 베이스라인 (NaiveMC, MMER) 을 일관되게 능가했습니다. 특히 공유된 교차 모달 지식을 활용하여 특정 작업에서 100% 를 초과하는 성능 유지율을 달성했습니다.
효율성: 이 방법은 modest 한 컴퓨팅 자원 (약 1.1 GB GPU 메모리) 을 요구하며, ViT-B/32 에 대한 최적화 단계에서 약 14 분 내에 실행됩니다.

의의 및 주장
본 논문은 DiDi-Merging 이 대규모 배포를 위한 실용적인 동적 모델 병합을 위한 중요한 진전이라고 주장합니다. "무거운 공유" 또는 "무거운 전문가"라는 이분법에서 벗어나 매개변수 효율성과 정확도 간의 파레토 최적 트레이드오프를 달성합니다. 저자들은 이 방법이 저장된 작업 벡터에만 의존하여 정제를 수행하는 완전한 데이터 없는 방식임을 강조하며, 이는 프라이버시를 보존하고 전문 모델 병합의 진입 장벽을 낮춥니다. 이 프레임워크는 비전, 언어, 멀티모달 도메인 전반에 적용 가능한 일반적 솔루션으로 제시되어, 여러 전체 모델을 유지하는 저장소 오버헤드나 정적 병합의 성능 저하 없이 전문가 앙상블의 배포를 가능하게 합니다.

1. "공유 지식" 대 "전문가 트릭"

2. "스마트 디머 스위치" (미분 가능 순위 할당)

3. "광택" (데이터 없는 정제)

유사한 논문