🤖 machine learning

Model soups need only one ingredient

이 논문은 특이값 분해(Singular Value Decomposition)와 엔트로피 기반 유효 랭크(entropy-based effective rank)를 사용하여 단일 미세 조정된 체크포인트의 가중치를 재설정함으로써, 분포 내 정확도와 분포 외 강건성 사이의 균형을 맞추는 단순하고 데이터가 필요 없으며 하이퍼파라미터가 필요 없는 사후 처리 방식인 MonoSoup을 소개하며, 이는 Model Soups와 같은 다중 체크포인트 앙상블 기법에 대한 계산 효율적인 대안을 제공한다.

원저자: Alireza Abdollahpoorrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alireza Abdollahpoorrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "전문가"의 함정

한 명의 아주 똑똑하고 다재다능한 학생(사전 학습된 AI 모델)이 "이미지 인식"이라는 특정 주제의 전문가가 되도록 훈련시킨다고 상상해 보세요. 이를 위해 학생에게 방대한 양의 이미지 교과서를 공부하게 합니다(파인튜닝).

장점: 이 학생은 사진 속의 고양이, 강아지, 자동차를 식별하는 데 매우 뛰어난 실력을 갖추게 됩니다.
단급: 하지만 이 특정 교과서에 너무 몰두한 나머지, 이상한 조명, 손으로 그린 스케치, 혹은 특이한 각도에서 찍은 사진 등을 인식하는 법을 잊어버리게 됩니다. 너무 전문화된 나머지 일반적인 상식을 잃어버린 것입니다.

AI 세계에서는 이를 **과도한 전문화(Over-specialization)**라고 부릅니다. 모델은 훈련 중에 본 데이터(In-Distribution)에는 훌륭하게 작동하지만, 새로운 실제 세상의 변형(Out-of-Distribution)에는 처참하게 실패합니다.

기존의 해결책: "모델 수프(Model Soup)"

이전에는 연구자들이 이 문제를 해결하기 위해, 서로 약간씩 다른 학습 습관을 가진 수십 명의 학생들을 훈련시키는 방법을 시도했습니다. 그런 다음, 그들의 최종 시험 답안을 모두 모아 평균을 내어 하나의 "슈퍼 학생"을 만들어냈습니다.

비유: 50명의 서로 다른 요리사가 파스타 만드는 법을 배웠는데, 각자 조금씩 다른 레시피를 사용한다고 상상해 보세요. 이들의 소스를 한 커다란 냄비에 모두 섞어서 하나의 큰 "모델 수프"를 만듭니다. 그 결과물은 단순히 '요리사 #1'의 레시피를 좋아하는 사람들뿐만 아니라, 거의 모든 사람에게 맛있는 소스가 됩니다.
문제점: 이는 엄청나게 비용이 많이 듭니다. 50개의 거대한 모델을 각각 훈련시키고, 저장하고, 관리해야 하기 때문입니다. 이는 마치 하나의 수프 냄비를 만들기 위해 50개의 서로 다른 주방이 필요한 것과 같습니다.

새로운 해결책: MonoSoup (한 가지 재료)

이 논문의 저자들은 이렇게 질문했습니다. *"우리가 그 큰 수프 냄비의 이점을 단 한 명의 요리사만으로 얻을 수 있을까?"*

그들은 그렇다고 답했습니다. 그들은 MonoSoup라고 불리는 방법을 발명했습니다. 50명의 요리사를 필요로 하는 대신, 단 한 명의 훈련된 모델을 가져와 그 뇌에 "외과적 편집"을 수행합니다.

MonoSoup의 작동 원리 (비유)

모델의 뇌를 책들이 가득한 도서관이라고 상상해 보세요. 모델이 새로운 작업(예: 고양이 인식)을 배울 때, 모델은 이 책들의 여백에 새로운 메모를 적습니다.

"고에너지" 메모: 이것은 크고 굵으며 자신감 넘치는 메모입니다. "고양이는 뾰족한 귀를 가졌다!"와 같이 말이죠. 이것은 모델이 특정 테스트에서 좋은 성적을 내기 위해 배운 구체적인 규칙들입니다.
"저에너지" 메모: 이것은 배경에 흐릿하게 적힌 작은 메모들입니다. "고양이는 보통 털이 있다"라거나 "고양이는 특정한 방식으로 움직인다"와 같은 내용일 수 있습니다 있습니다. 이 메모들은 조용하고 덜 중요해 보이지만, 사실 모델의 일반적인 상식을 담고 있습니다.

과거의 실수:
이전에 사람들이 모델을 단순화하려고 했을 때, 그들은 이 "흐릿한 메모(저에너지 부분)"를 단순한 노이즈라고 생각하여 버리곤 했습니다. 이 논문은 이 흐릿한 메모들이 사실 견고함(robustness)을 위한 비법 소스라고 주장합니다. 만약 이들을 버린다면, 모델은 오직 시험 문제만 알 뿐 실제 세상에서는 실패하는 로봇이 되어버립니다.

MonoSoup의 마법:
MonoSoup는 수학적 도구(SVD라고 불림)를 사용하여 "큰 소리의 메모"와 "작은 소리의 메모"를 분리합니다.

모델이 특정 작업에 능숙하도록 "큰 소리의 메모"를 유지합니다.
하지만 "작은 소리의 메모"를 그냥 버리지 않습니다. 대신, 그것들을 정교하게 **재조정(re-weighting)**합니다. 특정 작업 기술을 가리지 않으면서도, 모델에게 일반적인 지식을 상기시킬 수 있을 만큼만 이 작은 메모들의 볼륨을 높여줍니다.

이는 너무 열심히 공부한 학생에게, 새로운 내용을 잊어버리게 만들지 않으면서도 "이봐, 몇 년 전에 배웠던 기초적인 것들도 잊지 마"라고 속삭여 주는 것과 같습니다.

이것이 왜 중요한가

추가 훈련 불필 없이: 50개의 모델을 훈련시킬 필요가 없습니다. 이미 가지고 있는 가장 좋은 모델 하나를 가져와서 이 "편집" 과정을 실행하기만 하면 됩니다.
데이터 불필요: 이 방법은 작동하기 위해 새로운 사진이나 질문을 볼 필요가 없습니다. 단지 모델 자체의 뇌 구조를 분석할 뿐입니다.
더 나은 결과: 테스트에서 이 단일 모델 편집 방식은 50개의 모델을 섞는 비싼 방식만큼 잘 작동하거나, 때로는 더 나은 성능을 보여주었습니다.
- 시각(Vision): 이미지 모델(CLIP)에서, 이 방식은 모델이 스케치나 특이한 사진 속의 물체를 훨씬 더 잘 인식하도록 도왔습니다.
- 언어(Language): 수학 모델(Qwen)에서, 이 방식은 모델이 본 적 없는 질문에 대해서도 더 어려운 수학 문제를 풀고 더 잘 추론할 수 있도록 도왔습니다.

핵심 요약

이 논문은 견고한 AI를 얻기 위해 반드시 많은 모델의 거대한 "수프"가 필요한 것은 아니라는 점을 증명합니다. 단 하나의 모델이 가진 조용히 잊혀진 부분에 귀를 기울이기만 하면 됩니다. 그 "저에너지" 신호의 볼륨을 높임으로써, 여러분은 막대한 비용을 들이지 않고도 특정 작업에 능숙하면서도(전문가) 실제 세상을 잘 다루는(일반가) 모델을 얻을 수 있습니다.

기술 요약: MonoSoup

문제 정의

파운데이션 모델을 위한 기존의 "사전 학습 후 미세 조정(pre-train-then-finetune)" 패러다임은 종종 인도메인(in-distribution, ID) 정확도와 외도메인(out-of-distribution, OOD) 강건성 사이의 트레이드오프를 초래합니다. 미세 조정은 타겟 작업에 대한 성능을 향상시키지만, 이는 빈번하게 "표현 붕괴(representation collapse)"를 유발하여 모델이 학습 데이터에 과적합됨으로써 범용적인 지식과 OOD 성능을 저하시킵니다.

**모델 수프(Model Soups)**와 같은 기존 솔루션은 여러 번 미세 조정된 체크포인트의 가중치를 평균화함으로써 이를 완화합니다. 그러나 이 방식은 수십 개의 모델을 학습시키고 보관해야 하므로 계산 및 저장 측면에서 비용이 많이 듭니다. **모델 스톡(Model Stock)**과 같은 다른 방법들은 이를 두 개의 모델로 줄여주지만, 여전히 여러 개의 체크포인트에 접근할 수 있다는 가정을 전제로 합니다. 이는 일반적으로 단 하나의 최적 성능 버전만을 저장하는 실제 환경에서는 비현실적일 수 있습니다. 또한, 사전 학습 가중치와 미세 조정 가중치를 보간하는 Wise-FT와 같은 단일 모델 방식은 균일한 보간을 적용하기 때문에, 레이어 및 방향에 따른 가중치 업데이트의 미세하고 비등방성(anisotropic)인 특성을 처리하지 못합니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 단 하나의 미세 조정된 모델만 사용 가능한 상황에서도 모델 수프의 이점을 유지할 수 있는가?

방법론: MonoSoup

본 논문은 단일 체크포인트를 사용하여 강력한 ID-OOD 균형을 달이는 데이터 불필요(data-free), 하이퍼파라미터 불필요(hyperparameter-free), 사후(post-hoc) 방식인 MonoSoup를 소개합니다. 이 방법은 단일 미세 조정 모델의 가중치 업데이트가 지배적인 작업 특정적 방향(task-specific directions)과, 노이즈일 수 있으나 OOD 강건성에 중요한 잔여 신호를 인코딩하는 약한 성분들을 모두 포함하고 있다는 가설을 바탕으로 작동합니다.

1. SVD를 통한 스펙트럼 분해

각 레이어 $\ell$ 에 대해, MonoSoup는 특이값 분해(SVD)를 사용하여 가중치 업데이트 행렬 $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ 를 분석합니다:
$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$
특이값의 스펙트럼은 두 가지 상보적인 성분으로 분할됩니다:

고에너지 성분 ( $W^{(\ell)}_{High}$ ): 작업 특정 적응과 관련된 주 성분 부공간(principal subspace)을 포착합니다.
저에너지 성분 ( $W^{(\ell)}_{Low}$ ): 직교 보공간(orthogonal complement)을 포착합니다. 이는 흔히 노이즈를 포함하지만, 본 논문은 이 방향들이 OOD 일반화에 결정적인 정보를 보존한다고 주장합니다.

2. 자동 파티셔닝

고정된 임계값을 요구하는 방식과 달리, MonoSoup는 엔트로피 기반 유효 랭크(entropy-based effective rank) (Roy & Vetterli, 2007)를 사용하여 파티션 인덱스 $k$ 를 자동으로 결정합니다:
$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$
여기서 $p^{(\ell)}_i$ 는 정규화된 특이값 분포입니다. 이를 통해 본 방법은 수동 튜닝 없이도 서로 다른 레이어와 아키텍처의 이질적인 스펙트럼 특성에 적응할 수 있습니다.

3. 적응형 재가중치 부여 (Adaptive Reweighting)

저에너지 성분을 단순히 버리는 대신, MonoSoup는 레이어별 계수 $\lambda^{(\ell)}_{High}$ 와 $\lambda^{(\ell)}_{Low}$ 를 사용하여 두 성분에 재가중치를 부여합니다:
$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$
저에너지 성분의 계수인 $\lambda^{(\ell)}_{Low}$ 는 두 가지 신호로부터 도출됩니다:

스펙트럼 감쇠 ( $\rho^{(\ell)}$ ): 특이값 스펙트럼의 가파른 정도를 측정합니다.
기하학적 정렬 ( $\cos \alpha^{(\ell)}$ ): 저에너지 방향이 운반하는 업데이트 에너지의 비율을 측정합니다.

가중치 규칙은 다음과 같이 정의됩니다:
$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$
$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$
이 공식은 스펙트럼이 평탄하거나 업데이트가 잘 정렬되어 있을 때만 저에너지 성분이 유지되도록 하여, 노이즈를 억제하면서도 강건한 신호는 보존하도록 보장합니다.

주요 기여

병합의 기하학적 분석: 저자들은 성공적인 다중 모델 병합이 미세 조정 업데이트의 정렬 상태에 달려 있음을 입증했습니다. 그들은 검증 메트릭 대신 기하학적 정렬을 기준으로 모델을 선택하는 데이터 불필가(data-free) 변형인 **Similarity-Filtered Greedy Soup (SFGS)**를 도입하여, 정렬이 병합 효과의 신뢰할 수 있는 대리 지표임을 확인했습니다.
MonoSoup 알고리즘: 가중치 업데이트를 고에너지 및 저에너지 부공간으로 분해하고 적응적으로 재가중치를 부여하는 새로운 단일 체크포인트 방식입니다. 이는 균일한 보간법이 간과하는 비등방성 효과를 해결하면서도 여러 체크포인트가 필요히 않게 합니다.
실증적 검증: 비전(CLIP, ConvNeXt) 및 언어(Qwen) 모델에 대한 광범한 실험을 통해, MonoSoup가 ID 정확도를 유지하거나 향상시키면서 OOD 일반화를 일관되게 개선함을 입в증했습니다.

결과

비전 (CLIP ViT-B/32): MonoSoup는 가장 강력한 베이스라인의 평균 OOD 정확도를 약 1% 향상시키며, 표현 붕괴가 발생한 취약한 체크포인트에서는 최대 **8%**까지 회복시킵는 동시에 강력한 ID 정확도를 유지합니다. 또한 단일 체크포인트만 사용하여 다중 모델 방식(Model Soups, Model Stock)과 대등하거나 더 나은 성능을 보여줍니다.
언어 (Qwen3-0.6B): 수학적 추론 및 QA 벤치마크에서 MonoSoup는 미세 조정된 베이스라인과 LiNeS 방식을 능가합니다. 특히 GSMPlus 및 GSM8KPlatinum과 같은 까다로운 OOD 작업에서 상당한 이득(최대 +9.2 포인트)을 보였습니다.
통합: Wise-FT와 결합했을 때, MonoSoup는 보간을 위한 더 강력한 시작점을 제공하여 Wise-FT나 LiNeS 단독 사용 시보다 우월한 파레토 프런트(Pareto fronts)를 생성합니다.
효율성: MonoSoup는 원샷(one-shot), 데이터 불필요 연산입니다. 14B 파라미터 모델의 경우, Model Soups를 위해 여러 체크포인트를 학습시키는 것에 비해 실제 실행 시간 비용을 약 $10^3$ – $10^4\times$ 줄이고 저장 공간을 10배 이상 절감합니다.

의의 및 주장

본 논문은 MonoSoup가 다중 체크포인트 앙상블에 대한 실용적인 "플러그 앤 플레이(plug-and-play)" 대안을 제공한다고 주장합니다. 단일 모델 절차로 모델 수프의 이점을 압축함으로써, MonoSoup는 강건한 모델 배포에 필요한 계산 및 저장 장벽을 해결합니다. 저자들은 자신들의 접근 방식이 대규모 하이퍼파라미터 탐색을 재현하거나 여러 체크포인트를 유지할 자원이 부족한 실무자들에게 특히 가치 있다고 강조합니다.

결정적으로, 본 논문은 MonoSoup가 **자연스러운 분포 변화(natural distribution shifts)**에 대한 강건성을 크게 향상시키지만, 적대적 섭동(adversarial perturbations)에 대한 애플리케이션 특화 안전 평가를 대체하는 것은 아니라고 명시합니다. 이 방법의 주요 사회적 기여는 강건한 모델 배포에 필요한 컴퓨팅 및 저장 비용을 대폭 줄여, 고성능의 일반화 가능한 AI를 더욱 접근 가능하게 만드는 데 있습니다.