🤖 machine learning

Efficient Multi-Source Knowledge Transfer by Model Merging

이 논문은 다수의 소스 모델에서 가장 중요한 단일 성분만 선택하여 병합하고 타겟 작업에 맞춰 주성분 특이값을 미세 조정함으로써, 기존 방법의 한계를 극복하고 효율적이고 정밀한 다중 소스 지식 전이를 가능하게 하는 SVD 기반의 확장 가능한 모델 병합 프레임워크를 제안합니다.

원저자: Marcin Osial, Bartosz Wójcik, Bartosz Zieliński, Sebastian Cygert

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marcin Osial, Bartosz Wójcik, Bartosz Zieliński, Sebastian Cygert

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 요리사들의 비밀 레시피 합치기

상상해 보세요. 여러분은 새로운 요리를 배우고 싶어 합니다. 하지만 요리 학교 (새로운 데이터 학습) 에 다닐 시간과 돈이 없습니다.

대신, 인터넷에는 이미 **수백 명의 유명 요리사 (기존 AI 모델)**들이 있습니다.

A 요리사는 '매운 음식'을 잘합니다.
B 요리사는 '디저트'를 잘합니다.
C 요리사는 '해산물'을 잘합니다.

기존 방식은 이 요리사들 각각의 레시피를 하나씩 다시 공부하거나, 모든 레시피를 다 합쳐서 거대한 책 (모델) 을 만드는 것이었습니다. 하지만 이 방법은 시간이 너무 오래 걸리고, 책이 너무 두꺼워져서 읽기 힘들다는 문제가 있었습니다.

이 논문에서 제안하는 AXIS라는 방법은 다음과 같이 작동합니다.

1. 레시피를 '핵심 재료'로 분해하기 (SVD)

AXIS 는 각 요리사의 레시피를 통째로 가져오지 않습니다. 대신, **"이 요리사가 정말 잘하는 핵심 재료는 무엇일까?"**를 분석합니다.

매운 음식 요리사에게서 '고추'와 '마늘'이라는 핵심 성분을 뽑아냅니다.
디저트 요리사에게서 '설탕'과 '버터'를 뽑아냅니다.

이걸 수학적으로는 **특이값 분해 (SVD)**라고 하는데, 쉽게 말해 "가장 중요한 정보만 골라내는 필터"라고 생각하시면 됩니다.

2. 최고의 재료만 골라 합치기 (Aggregation)

이제 모든 요리사들로부터 뽑아낸 '핵심 재료'들을 한 바구니에 담습니다.

여기서 중요한 건, 가장 잘 쓰이는 재료들만 선별한다는 점입니다.
"아, 이 요리사의 '소금'은 너무 짜서 쓸모없네? 이건 버리고, 저 요리사의 '소금'은 적당하니까 가져가자!"
이렇게 해서 수백 명의 요리사 지식에서 가장 중요한 'Top-K'개의 핵심 성분들만 모아서 새로운 '슈퍼 레시피'를 만듭니다.

3. 새로운 요리에 맞춰 살짝 다듬기 (Adaptation)

이제 이 '슈퍼 레시피'로 새로운 요리를 만들어야 합니다. (예: '매운 디저트' 만들기).

AXIS 는 처음부터 다시 모든 재료를 배울 필요가 없습니다.
이미 만들어진 '슈퍼 레시피'에서 가장 중요한 몇 가지 양념 (주요 특이값) 만 살짝 조절하면 됩니다.
마치 요리사에게 "고추 양을 조금만 늘려줘"라고 말해주는 것처럼, 아주 적은 노력으로 새로운 상황에 맞춰집니다.

🌟 이 방법이 왜 대단한가요?

1. 메모리도, 시간도 절약됩니다 (효율성)

기존 방법 (aTLAS): 요리사 100 명을 부르면, 100 명분의 레시피를 모두 메모리에 띄워놓고 동시에 비교해야 해서 컴퓨터가 뻗을 뻔합니다.
AXIS 방법: 요리사 100 명을 부르면, 그들의 '핵심 재료'만 미리 뽑아두고 한 번에 합칩니다. 그래서 요리사가 100 명이든 1,000 명이든 컴퓨터 메모리 사용량은 그대로입니다. 마치 100 명을 한 번에 부르는 게 아니라, 100 명에게서 '핵심 팁'만 받아서 한 번에 정리하는 것과 같습니다.

2. 엉망진창인 정보에도 강합니다 (견고성)

만약 요리사들 중에 "소금 대신 설탕을 넣는" 엉터리 요리사 (오염된 데이터) 가 섞여 있어도, AXIS 는 가장 중요한 재료만 골라내는 필터를 쓰기 때문에 엉터리 정보를 쉽게 걸러냅니다.
반면, 기존 방법은 엉터리 요리사의 레시피 전체를 다 가져오다 보니 전체 요리가 망가질 수 있습니다.

3. 사진도, 글도 다 잘합니다 (범용성)

이 방법은 이미지 인식 (사진 분류) 과 언어 이해 (질문 답변) 등 다양한 분야에서 모두 뛰어난 성과를 보였습니다.

📝 한 줄 요약

**"수백 개의 AI 모델에서 가장 중요한 '핵심 지식'만 골라내어 하나로 합치고, 새로운 일에 맞춰 살짝만 수정하는, 빠르고 똑똑하며 튼튼한 새로운 AI 학습법"**입니다.

이제 여러분은 거대한 AI 모델을 처음부터 다시 훈련시킬 필요 없이, 이미 존재하는 수많은 전문가들의 '핵심 팁'만 모아서 새로운 문제를 해결할 수 있게 된 셈입니다!

1. 문제 정의 (Problem Statement)

전통적인 전이 학습 (Transfer Learning) 은 사전 학습된 모델의 가중치를 초기값으로 사용하여 새로운 작업에 적응하는 방식입니다. 그러나 온라인에는 수만 개의 미세 조정 (fine-tuned) 된 모델들이 존재하며, 각각은 특정 작업에 대한 귀중한 지식을 보유하고 있습니다. 기존 연구들은 이러한 다중 소스 (Multi-Source) 지식을 통합하여 새로운 타겟 작업에 적용하려는 시도를 하고 있으나, 다음과 같은 한계가 있었습니다:

** coarse-grained (거친 입자) 접근:** 기존 방법들 (예: aTLAS) 은 작업 벡터 (task vectors) 전체를 기반으로 계수를 학습하는 방식으로, 세밀한 지식 추출이 불가능합니다.
확장성 부족: 소스 모델의 수가 증가하거나 모델 파라미터가 커질 경우, 메모리 사용량과 계산 비용이 선형적으로 증가하여 대규모 모델 병합이 어렵습니다.
강건성 (Robustness) 부재: 노이즈가 있거나 손상된 소스 모델, 혹은 입력 데이터의 결손 (degradation) 에 대해 취약합니다.

2. 제안 방법: AXIS 프레임워크

저자들은 AXIS (Aggregation by eXtraction of Important Singular components) 라는 새로운 프레임워크를 제안합니다. 이 방법은 특이값 분해 (SVD) 를 활용하여 소스 모델들을 세분화하고, 가장 중요한 성분만 추출하여 통합하는 2 단계 프로세스를 따릅니다.

핵심 단계

추출 및 병합 (Extraction and Aggregation):
- 각 소스 작업의 가중치 차이 (Task Matrix, $\Delta_i$ ) 를 SVD를 통해 $\Delta_i = U_i \Sigma_i V_i^T$ 로 분해합니다.
- 모든 소스 모델에서 추출된 특이 벡터 (singular vectors) 와 특이값 (singular values) 을 전역적으로 순위 매깁니다.
- Top-K 개의 가장 중요한 (가장 큰 특이값을 가진) 성분들만 선택하여 새로운 병합된 작업 행렬 ( $\Delta_m$ ) 을 구성합니다.
- 이 과정에서 불필요한 노이즈나 특정 작업에 과도하게 최적화된 세부 사항은 제거됩니다.
타겟 작업 적응 (Target Task Adaptation):
- 병합된 행렬 $\Delta_m$ 을 다시 SVD 하여 직교 기저 (orthogonal basis) 를 재정립합니다.
- 최종 모델은 사전 학습된 가중치에 이 병합된 행렬을 더한 형태 ( $\theta_{pre} + \Delta_t$ ) 가 됩니다.
- 파라미터 효율성: 타겟 작업에 대한 미세 조정 (fine-tuning) 시, **가장 중요한 상위 N 개의 특이값 (singular values) 만 학습 가능 (trainable)**하게 설정하고, 나머지 벡터와 특이값은 고정 (frozen) 합니다. 이는 기존 파라미터 수의 일부분만 학습하여 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

성능 및 효율성: 21 개의 다양한 비전 작업과 7 개의 NLP 작업에서 기존 최첨단 방법인 aTLAS를 압도적으로 능가했습니다. 특히 학습 가능한 파라미터 수를 줄여도 더 높은 정확도를 달성했습니다.
확장성 (Scalability): 소스 모델의 수가 증가해도 메모리 사용량과 실행 시간이 일정하게 유지됩니다. aTLAS 는 소스 수가 늘어날수록 메모리/시간 비용이 선형적으로 증가하는 반면, AXIS 는 오프라인 병합 단계에서 모든 소스를 하나의 고정된 크기의 행렬로 압축하기 때문입니다.
강건성 (Robustness):
- 파라미터 손상: 소스 모델 중 일부가 노이즈로 오염되거나 95% 이상 가지치기 (pruning) 되어도 성능 저하가 미미합니다.
- 입력 데이터 결손: 이미지의 일부 패치가 가려지거나 (patch dropout), 다양한 왜곡 (corruption) 이 발생해도 기존 방법보다 훨씬 안정적인 성능을 보입니다.
범용성: 비전 (Vision Transformer) 과 언어 (T5) 모델 모두에서 효과적으로 작동하며, 서로 다른 사전 학습 이력을 가진 모델 간 지식 전달에도 적용 가능성을 보였습니다.

4. 실험 결과 (Results)

정확도: ViT-B-32 아키텍처에서 21 개 타겟 작업의 평균 정확도는 AXIS 가 78.42%, aTLAS 가 **75.13%**로, AXIS 가 약 3.3%p 더 높았습니다. ViT-L-14 와 T5-Base 모델에서도 일관된 우위를 보였습니다.
자원 효율성: aTLAS 는 소스 모델 20 개를 사용할 때 메모리 및 실행 시간이 급증하는 반면, AXIS 는 소스 수와 무관하게 일정한 계산 비용을 유지합니다.
강건성 테스트:
- 단일 소스 모델이 손상되었을 때, aTLAS 는 성능이 크게 떨어지지만 AXIS 는 거의 영향을 받지 않았습니다.
- 입력 이미지의 80% 가 가려진 상황에서도 AXIS 는 높은 정확도를 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 모델 병합 (Model Merging) 분야에서 다음과 같은 중요한 진전을 이룩했습니다:

지식의 정밀한 추출: 단순히 가중치를 평균내는 것이 아니라, SVD 를 통해 지식의 '핵심 성분'을 추출하여 통합함으로써, 노이즈를 제거하고 전이 가능한 지식을 극대화했습니다.
실용적인 확장성: 수천 개의 모델이나 초대규모 모델을 병합할 수 있는 인프라적 장벽을 해소하여, 클라우드에 존재하는 수많은 모델 자원을 효율적으로 활용할 수 있는 길을 열었습니다.
불완전한 환경 대응: 실제 세계의 불완전한 데이터 (노이즈, 결손) 와 손상된 소스 모델에서도 견고하게 작동하므로, 실제 배포 환경에서의 신뢰성을 높였습니다.

결론적으로 AXIS 는 계산 비용과 메모리 제한을 고려하면서도, 다중 소스 지식의 잠재력을 최대한 끌어올리는 효율적이고 확장 가능한 지식 전달 프레임워크로서 머신러닝 생태계에 중요한 기여를 합니다.