📊 statistics

Variational Model Merging for Pareto Front Estimation in Multitask Finetuning

이 논문은 유연한 비가우시안 사후 확률을 활용하여 멀티태스크 미세 조정에서 파레토 프런트의 품질과 추정치를 증명 가능한 수준으로 개선함으로써, 더 단순한 가우시안 가정에 의존하는 기존 방법들을 능가하는 새로운 베이지안 프레임워크인 변분 모델 병합(Variational Model Merging)을 제안한다.

원저자: Hugo Monzón Maldonado, Nico Daheim, Thomas Möllenhoff, Iryna Gurevych, Mohammad Emtiyaz Khan

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hugo Monzón Maldonado, Nico Daheim, Thomas Möllenhoff, Iryna Gurevych, Mohammad Emtiyaz Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세 가지 뚜렷한 맛인 매콤함, 달콤함, 새콤함을 균형 있게 조화시킨 완벽한 '퓨전' 요리를 만들려는 셰프라고 상상해 보십시오. 당신은 단순히 전체적으로 맛있는 요리가 아니라, 어느 한 맛이 다른 맛을 압도하지 않으면서도 이 세 가지 맛의 최상의 조합을 제공하는 레시피를 원합니다. 인공지능의 세계에서 이것은 **멀티태스크 파인튜닝(Multitask Finetuning)**이라고 불립니다. 당신은 똑똑한 AI 모델을 가지고 있으며, 이 모델이 세 가지 서로 다른 일(예: 고양이 인식하기, 프랑스어 번역하기, 수학 문제 풀기)을 동시에 잘 해내기를 바랍니다.

문제는 이 완벽한 '레시피'(각 작업에 대한 최적의 가중치 조합)를 찾는 것이 매우 비용이 많이 들고 시간이 오래 걸린다는 점입니다. 이는 마치 요리를 완성하기 위해 재료를 조금씩 바꾸어가며 수천 번씩 처음부터 다시 요리하여 어떤 버전이 가장 맛있는지 확인해야 하는 것과 같습니다.

이 논문은 **변분 모델 병합(Variational Model Merging)**이라는 영리한 지름길을 소개합니다. 이 방법이 어떻게 작동하는지 다음과 같이 쉬운 개념으로 나누어 설명하겠습니다.

1. 기존 방식: "평균적인 수프"

이전에는 연구자들이 세 개의 별도 모델의 "평균"을 취함으로써 최적의 조합을 추측하려고 시도했습니다. 매콤한 음식을 잘 만드는 셰프, 달콤한 음식을 잘 만드는 셰프, 그리고 새콤한 음식을 잘 만드는 셰프가 각각 있다고 상상해 보십시오. 기존 방식은 이 세 셰프의 수프를 한 숟가락씩 떠서 그릇에 섞은 뒤, 결과물이 맛있기를 바라는 것과 같았습니다.

논문은 이것이 **단순 평균화(Simple Averaging)**와 같다고 주장합니다. 이는 저렴하고 빠르지만, 결과물이 밋밋하거나 목표에서 벗어날 때가 많습니다. 이는 맛들 사이의 복잡한 화학 작력을 이해하지 못한 채 내리는 "게으른" 추측입니다.

2. 새로운 아이디어: "베이지안 레시피 북"

저자들은 **베이지안 추론(Bayesian Inference)**이라는 통계학 개념을 사용하는 더 똑똑한 방법을 제안합니다. 단순히 수프를 섞는 대신, 각 셰프의 작업물을 단순한 맛의 결과물이 아니라, 그 맛이 얼마나 정확한지에 대한 '확신도'를 포함하는 확률 지도 또는 레시피 북으로 취급합니다.

"사후 분포(The Posterior)" (레시비 북): 모델이 특정 작업을 학습할 때, 모델은 "사후 분포"를 생성합니다. 이것은 해당 작업을 제대로 수행하기 위해 모델을 조정할 수 있는 모든 가능한 방법들을 보여주는 지도라고 생각하면 됩니다.
지도 병합하기: 최종 수프를 섞는 대신, 이 새로운 방법은 이러한 **지도(Maps)**를 섞습니다. 이들은 레시피 북들을 서로 곱하여, 여러 작업 사이에서 최선의 타협점을 보여주는 새로운 결합 지도를 만들어냅니다.

3. 핵심 비결: "유연한 지도"

이 논문의 가장 큰 발견은 이 지도의 모양이 중요하다는 것입니다.

경직된 지도 (등방성 가우시안, Isotropic Gaussians): 지도가 맛이 완벽하고 둥근 원이라고 가정하는 것을 상상해 보십시오. 이는 단순하지만 종종 틀립니다. 이것이 기존의 "단순 평균화" 방식이 초래하는 결과입니다.
유연한 지도 (풀 가우시안 및 혼합 모델, Full Gaussians & Mixtures): 지도가 복잡한 모양을 포착하기 위해 늘어나거나, 찌그러지거나, 심지어 여러 개의 덩어리로 나뉠 수 있다고 상상해 보십시오. 이것이 저자들이 **변분 모델 병합(Variational Model Merging)**이라고 부르는 것입니다.

비유:
주차장이 붐빌 때 차를 세울 최적의 장소를 찾는 상황을 가정해 봅시다.

단순 평균화는 주차장 한가운데를 짐작하는 것과 같습니다. 그러다 차를 들이받을 수도 있습니다.
**헤시안 가중치 병합(Hessian-Weighted Merging)**은 빈 공간 주변에 원을 그리는 것과 같습니다. 더 낫지만, 여전히 좁은 구석은 놓칠 수 있습니다.
**변분 모델 병합 (가우시안 혼합, Mixture of Gaussians)**은 빈 주차 공간의 모양이 아무리 특이하더라도, 그 모든 공간을 완벽하게 감싸도록 유연하고 늘어나는 그물망을 그리는 것과 같습니다.

4. 결과: 더 나은 "파레토 프런트(Pareto Front)"

수학에서 **파레토 프런트(Pareto Front)**란 모든 "완벽한" 트레이드오프(절충안)의 목록을 의미합니다. 즉, '매콤함'을 더 얻기 위해 '달콤함'을 포기해야만 하는 최적의 해결책들의 집합입니다.

논문은 이 유연하고 늘어나는 지도(구체적으로는 가우시안 분포의 혼합)를 사용함으로써, 이전의 방식들보다 이 완벽한 트레이드오프 목록을 훨씬 더 정확하게 추정할 수 있다고 주장합니다.

그들은 이미지 인식(AI에게 보는 법을 가르침)과 언어 모델(AI에게 번역하는 법을 가르침)에 대해 테스트했습니다.
발견된 사실: 이 새로운 방법은 단순 평균화나 기존의 더 복잡한 방법들보다 더 나은 "레시피"(작업 조합)를 찾아냈습니다. 이 방법은 마치 수천 번씩 처음부터 다시 요리할 시간과 돈이 충분히 있는 경우의 결과에 훨씬 더 가까운 결과를 내면서도, 훨씬 적은 시간 안에 이를 수행했습니다.

요약

이 논문은 요리를 하는 새로운 방법(모델을 처음부터 학습시키는 법)을 발명한 것이 아닙니다. 대신, 남은 음식들을 더 똑똑하게 섞는 방법을 발명한 것입니다.

모델을 고정된 점이 아니라 유연한 확률적 지도로 취급하고, 고급 수학을 사용하여 이 지도들을 병합함으로써, 비용이 많이 드는 반복적인 모델 학습 과정 없이도 서로 다른 AI 기술들을 결합하는 최선의 방법을 예측할 수 있습니다. 이는 마치 세 가지 서로 다른 수프의 맛을 보고 즉석에서 완벽한 퓨전 요리를 만들기 위해 필요한 정확한 비율을 알려주는 초지능적인 수 셰프를 가진 것과 같으며, 이를 통해 수많은 요리 시간을 절약해 줍니다.

기술 요약: 다중 작업 미세 조정에서의 파레토 프런트 추정을 위한 변분 모델 병합 (Variational Model Merging for Pareto Front Estimation in Multitask Finetuning)

문제 정의

다중 작업 미세 조정(Multitask finetuning)을 수행하는 실무자들은 여러 목적 함수 간의 균형을 맞추기 위해 최적의 작업 혼합 전략(가중치 벡터 $\alpha$ )을 결정해야 합니다. 파레토 프런트(Pareto fronts)는 작업 간의 관계를 이해하고 비지배 해(non-dominated solutions)를 식별하기 위한 엄격한 프레임워크를 제공하지만, 이를 계산하는 것은 매우 비용이 많이 듭니다. 이는 다양한 가중치 설정을 평가하기 위해 수많은 독립적인 미세 조정 실행을 필요로 하며, 이러한 비용은 대규모 모델(예: LLM) 및 고차원 파라미터 공간에서 비효식적으로 증가합니다.

기존 방식들은 모델 병합(model merging)을 사용하여 파레토 프런트 추정을 위한 저렴한 대리 모델(surrogate models)을 생성함으로써 이를 완화하려고 시도합니다. 그러나 현재의 방법들은 단순 평균이나 고정된 이차 대리 함수(quadratic surrogates)에 의존하는 경우가 많으며, 이러한 병합 전략이 고품질의 파레토 추정치를 생성한다는 이론적 보장이 부족합니다. 즉, 파레토 프런트 추정의 품질을 직접적이고 증명 가능하게 개선하도록 설계된 새로운 모델 병합 방법을 명시적으로 연구한 사례가 부족합니다.

방법론: 변분 모델 병합 (Variational Model Merging)

저자들은 모델 병합과 파레토 프런트 추정을 통합하는 베이지안 프레임워크인 변분 모델 병합을 제안합니다. 핵심 통찰은 모델 병합을 각 작업별 분포를 $\alpha_t$ 승만큼 곱하여 결합 사후 분포(joint posterior)를 형성하는 분산 베이지안 계산(distributed Bayesian computation)으로 보는 것입니다.

이론적 프레임워크

사후 분포 병합 (Posterior Merging): 본 논문은 가중치가 적용된 다중 작업 손실(식 1)의 최소화 지점이 병합된 사후 분포 $p_\alpha(\theta) \propto p_0(\theta)^\gamma \prod p_t(\theta)^{\alpha_t}$ 의 최대 사후 확률(MAP) 추정치와 일치함을 입증합니다.
변분 근사 (Variational Approximation): 정확한 사후 분포는 다루기 어렵기 때문에, 저자들은 각 작업별 사후 분포 $p_t$ 와 사전 분포 $p_0$ 를 지수 가족(exponential family)에 속하는 다루기 쉬운 변분 근사치 $q_t$ 및 $q_0$ 로 대체합니다.
대리 손실 (Surrogate Losses): 병합 연산은 대리 손실 $\hat{\ell}_t(\theta) = -\log q_t(\theta)$ $\hat{ℓ}_{t} (θ) = - lo g q_{t} (θ)$ 의 가중 합을 최소화합니다. 변분 가족 $Q$ $Q$ 의 선택은 대리 함수의 표현력을 결정합니다:
- 등방성 가우시안 (Isotropic Gaussian): 단순 평균(선형 대리 함수)으로 이어지며, 이는 표준 모델 수프(model soups)나 태스크 아리스메틱(task arithmetic)과 동일합니다.
- 전체 가우시안 (Full Gaussian): 헤시안(Hessian) 정보를 포함하며, 이차 대리 함수(예: Fisher-weighted averaging)로 이어집니다.
- 가우시안 혼합 모델 (Mixture of Gaussians, MoG): 복잡한 손실 지형(loss landscape)의 기하학적 구조를 포착할 수 있는 매우 유연하고 비볼록(non-convex)인 대리 함수를 제공합니다.

주요 알고리즘 기여

저자들은 지수 가족의 혼합(Mixtures of Exponential Families)(구체적으로 가우시안 혼합)을 사용하는 실용적인 병합 전략을 도출합니다.

알고리즘 1: EM(Expectation-Maximization) 절차를 사용하여 병합된 혼합 사후 분포의 모드(mode)를 찾습니다. 이는 혼합 가중치 $\hat{\pi}_{tk}$ 와 병합된 파라미터 $\theta_\alpha$ 를 반복적으로 업데이트하는 과정을 포함합니다.
효율성: 이 방법은 초기 단일 작업 미세 조정 및 사후 분포 근사 단계를 거친 후, 추가적인 계산 비용을 거의 들이지 않고도 많은 $\alpha$ 값에 대한 파레토 프런트 추정치를 생성할 수 있게 해줍니다.
구현 변형: 논문은 단순 평균(AdamW-SG)부터 헤시안 가중 병합(IVON-Hess), 그리고 혼합 가중 병합(MultiIVON-Hess 및 SoupIVON-Hess)에 이르기까지 네 가지 특정 구현을 상세히 설명합니다.

핵심 이론적 결과

본 논문은 더 유연한 사후 분포가 반드시 더 나은 병합 방법을 생성한다는 것을 증명합니다.

진정한 최적 사후 분포 $q^*_\alpha$ 와 근사된 병합 사후 분포 $q_\alpha$ 사이의 쿨백-라이블러(KL) 발산을 통해 문제를 구성함으로써, 저자들은 변분 가족이 더 표현력이 높을수록 근사 오차가 최소화됨을 보여줍니다.
구체적으로, 만약 변분 가족 $Q_1$ 이 $Q_2$ 의 엄격한 부분 집합이라면 ( $Q_1 \subset Q_2$ ), $Q_2$ 를 사용한 병합 솔루션은 $Q_1$ 을 사용한 것보다 이론적으로 최소한 동등하거나 일반적으로 더 우수함이 보장됩니다. 이는 혼합 가중 병합(Mixture-weighted merging)이 헤시안 가중 병합이나 단순 병합보다 파레토 프런트를 추정하는 데 있어 이론적으로 더 뛰어날 것임을 시사합니다.

실험 결과

저자들은 비전 및 언어 트랜스포머(ResNet-20, ViT-B/32, RoBERTa, GEMMA-2B)를 대상으로 이미지 분류, 감성 분석, 기계 번역 등의 작업을 통해 이론을 검증했습니다.

파레토 프런트 품질: 모든 벤치마크에서 **혼합 가중 병합(Mixture-Weighted Merging)**은 헤시안 가중 병합 또는 단순 병합보다 실제 다중 작업 미세 조정 프런트에 더 가까운 파레토 프런트 추정치를 일관되게 생성했습니다.
커버리지: 유연한 사후 분포(혼합 모델)는 단순 스칼라화(scalarization)나 덜 표현력이 있는 병합 방식이 놓치는 트레이드오프 영역과 솔루션을 발견할 수 있습니다. 예를 들어, ResNet-20 실험에서 혼합 병합은 정확도를 76.9%(단순 방식)에서 87.2%로 향상시켜, 전체 다중 작업 미세 조정이 달성한 90.4%에 근접했습니다.
비용 효율성: 초기 대리 함수를 생성하는 데는 단일 작업 훈련이 필요하지만, 수백 개의 $\alpha$ 조합에 대한 파레토 프런트를 추정하는 데는 전체 다중 작업 미세 조정 스윕(sweep)에 소요되는 몇 시간 또는 며칠에 비해 단 몇 초면 충분합니다.
확장성: 이 방법은 파라미터 효율적 미세 조정(LoRA)을 사용하여 수십억 개의 파라미터를 가진 모델(GEMMA-2B)까지 확장 가능하며, 이 경우 병합에는 약 1분이 소요되어 공동 훈련(joint training)에 걸리는 17시간과 극명한 차이를 보입니다.

의의 및 주장

본 논문은 베이지안 아이디어가 딥러닝의 파레토 분석을 개선하기 위해 명시적으로 사용된 드문 사례라고 주장합니다.

이론적 공백 해소: 모델 병합에서 사후 분포 근사의 유연성을 높이는 것이 파레토 프런트 추정의 품질을 직접적으로 향상시킨다는 최초의 이론적 증명을 제공합니다.
실용적 유용성: 실무자들이 과도한 비용이 드는 전수 다중 작업 미세 조정을 수행하지 않고도 작업 간의 트레이드오프를 빠르게 탐색하고 고성능 가중치 전략을 식별할 수 있는 실용적인 레시피를 제공합니다.
독창성: 병합을 단순히 사후 도구로 사용하거나 고정된 이차 대리 함수에 의존하는 기존 연구와 달리, 본 연구는 추정 프로세스 자체를 최적화하기 위해 제1원리(first principles)로부터 도출된 새로운 범주의 병합 방법(변분 모델 병합)을 제안합니다.

저자들은 정확한 베이지안 사후 분포가 대규모 네트워크에서는 계산적으로 다루기 어렵다는 점을 인정하며, 이로 인해 발생하는 근사치(예: 대각 헤시안)가 실제 해와의 성능 격차를 유발할 수 있음을 명시했습니다. 그러나 실험 결과는 제안된 유연한 근사 방식이 기존 베이스라인들에 비해 이 격차를 유의미하게 좁힌다는 것을 보여줍니다.