🤖 machine learning

Model Fusion via Retrofitting

본 논문은 중간 뉴런을 그룹화하고 속성 점수를 활용하여 중요한 특징을 정렬함으로써 융합을 표현 매칭 문제로 간주하는 뉴런 중심 모델 융합 프레임워크를 제시하며, 이는 VGG, ResNet, ViT 등 다양한 아키텍처에서 재학습 없이 기존 방법들, 특히 제로샷 및 비 IID 시나리오에서 우수한 성능을 달성합니다.

원저자: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 명의 전문가 셰프가 각자만의 독특한 레시피를 수년 동안 다듬어 왔다고 상상해 보세요. 셰프 A 는 이탈리아 요리를 전문으로 하고, 셰프 B 는 일본 요리를 전문으로 합니다. 그들은 한 번도 함께 일해 본 적이 없으며, 서로 다른 도구를 사용하고, 심지어 재료를 측정하는 단위조차 다를 수 있습니다.

이제 이탈리아 요리와 일본 요리 모두 완벽하게 조리할 수 있는 단일 '마스터 셰프'를 만들고 싶다고 가정해 봅시다. 하지만 그들에게는 요리 학교로 돌아가 처음부터 모든 것을 다시 배우라고 요청할 수 없습니다. 단순히 그들의 기존 지식을 한 사람 안에 즉시 통합하고 싶을 뿐입니다.

이것이 바로 모델 퓨전 (Model Fusion) 의 문제입니다. 인공지능 (AI) 세계에서는 종종 별도로 훈련된 서로 다른 신경망 (즉, '셰프들') 을 가지고 있습니다. 우리는 새로운 데이터로 재훈련하는 비용이 많이 들고 시간이 오래 걸리는 과정 없이, 이들을 하나의 강력한 모델로 병합하고 싶어 합니다.

문제: '언어 장벽'

이 논문은 단순히 두 모델의 가중치를 평균내는 것 (레시피 책을 페이지별로 섞는 것과 같음) 은 보통 실패한다고 설명합니다. 그 이유는 무엇일까요? 비록 유사한 데이터로 훈련되었더라도, 그들은 서로 다른 방식으로 학습하기 때문입니다.

'순열 (Permutation)' 문제: 셰프 A 의 '향신료 선반'에서 '커민'이 상단 서랍에 있는 반면, 셰프 B 의 '커민'은 하단 서랍에 있다고 상상해 보세요. 단순히 서랍들을 평균 내면 의미가 없는 지저분한 혼합물이 됩니다. AI 뉴런 (즉, '재료들') 은 서로 다른 순서와 위치에 있기 때문입니다.
'제로샷 (Zero-Shot)' 도전: 대부분의 기존 방법들은 셰프들이 유사한 배경을 가지고 있을 때는 괜찮게 작동합니다. 하지만 그들이 완전히 다른 데이터 (하나는 이탈리아 음식, 다른 하나는 일본 음식) 로 훈련된 경우, 기존 방법들은 처참하게 실패합니다. 결합된 모델은 혼란스러워져 개별 셰프들보다 성능이 떨어집니다.

해결책: '타겟 (Target)'을 통한 '리트로핏 (Retrofitting)'

저자들은 리트로핏을 통한 모델 퓨전 (Model Fusion via Retrofitting) 이라는 새로운 방법을 제안합니다. 단순히 셰프들을 평균내는 대신, 번역가와 코치 역할을 하는 교묘한 두 단계 과정을 사용합니다.

1 단계: '그룹화' (쌍둥이 찾기)

먼저, 알고리즘은 뉴런들 (뉴런은 인간의 뇌에 있는 개별 뉴런과 같거나, 셰프들의 특정 '기술'과 같습니다) 이 데이터를 볼 때 실제로 무엇을 하고 있는지 살펴봅니다.

셰프 A 와 셰프 B 의 유사한 뉴런들을 서로 그룹화합니다.
창의적인 전환: 논문은 뉴런 귀속 점수 (Neuron Attribution Scores) 를 도입합니다. 모든 재료가 동등하게 중요한 것은 아니라고 상상해 보세요. 어떤 향신료는 맛에 결정적이지만, 다른 것들은 단순히 장식일 뿐입니다. 알고리즘은 어떤 뉴런이 '스타 플레이어 (높은 중요도)'이고 어떤 것이 '벤치 워머 (낮은 중요도)'인지 식별합니다.
그런 다음 각 그룹마다 '타겟 (Target)' 을 생성합니다. 이는 그룹화된 뉴런들의 중요도에 따라 가중치를 둔, 완벽한 평균을 나타내는 '골드 스탠더드' 레시피 카드라고 생각하세요.

2 단계: '리트로핏' (코치)

이제 알고리즘은 새로운 '마스터 셰프' (퓨전된 모델) 를 구축합니다. 단순히 기존 셰프들을 복사하는 것이 아니라, 방금 생성한 그 '골드 스탠더드 타겟'들과 일치하도록 새로운 모델의 레이어를 훈련시킵니다.

새로운 견습생을 데려와서 "셰프 A 나 셰프 B 를 단순히 복사하지 마세요. 우리가 설계한 이 특정 타겟 요리를 보세요. 당신의 출력이 이 타겟과 완벽하게 일치할 때까지 요리를 조정하세요"라고 말하는 것과 같습니다.
이는 네트워크의 하단에서 상단까지 레이어별로 발생합니다.

이것이 더 나은 이유 (결과)

이 논문은 다양한 AI 아키텍처 (VGG, ResNet, Vision Transformers 등) 에서 이를 테스트하여 다음을 발견했습니다:

다른 방법들이 실패할 때 작동합니다: '제로샷' 시나리오 (새로운 데이터에 대한 추가 훈련 없이 모델을 병합하는 경우) 에서 기존 방법들은 종종 무작위 추측으로 붕괴됩니다. 저자들의 방법은 모델이 완전히 겹치지 않는 서로 다른 데이터 (한 모델은 빨간 차만 보고 다른 모델은 파란 차만 보는 '샤어드 (Sharded)' 설정과 같은 경우) 로 훈련되었더라도 높은 정확도를 유지합니다.
중요성을 존중합니다: '뉴런 귀속 점수'를 사용함으로써, 이 방법은 덜 중요한 특징들의 노이즈에 묻히지 않고 원래 모델들의 가장 중요한 특징들이 보존되도록 보장합니다.
유연합니다: 이는 하나의 특정 유형이 아닌 다양한 유형의 AI 아키텍처에서 작동합니다.

트레이드오프

이 논문은 이 방법이 '빠르고 성의 없는' 평균화 방법보다 약간 느리고 계산량이 많음을 인정합니다. 그러나 그들은 이것이 가치가 있다고 주장합니다:

다른 방법들은 작동하려면 보통 몇 시간에서 며칠의 추가 미세 조정 (fine-tuning) 이 필요한 반면, 이 방법은 즉시 사용 가능한 모델을 생산합니다 (제로샷).
장기적으로 보면, 고장 난 모델을 수리하는 데 소요되는 시간을 절약하는 것이 초기 퓨전에 소요된 추가 시간을 상쇄합니다.

요약 비유

구식 방법: 서로 다른 두 언어를 단어 대 단어 번역하여 세 번째 언어로 옮기고, 의미가 유지되기를 바랍니다. 이는 보통 말도 안 되는 소리로 끝납니다.
신식 방법 (리트로핏): 두 셰프가 모두 이해하는 핵심 개념들 ('타겟') 을 식별하고, 중요도에 따라 값을 부여한 후, 새로운 셰프에게 그 특정 통일된 언어를 완벽하게 구사하도록 가르칩니다.

이 논문은 이 접근 방식이 처음부터 다시 훈련할 필요 없이, 매우 다른 독립적인 AI 모델들을 효과적으로 결합할 수 있게 해준다고 결론지었습니다.

기술 요약: 리트로피팅을 통한 모델 퓨전

문제 정의

모델 퓨전은 재학습 없이 독립적으로 훈련된 신경망을 단일 모델로 결합하는 것을 목표로 하며, 데이터 프라이버시 제약 (예: 연동 학습) 으로 인해 재학습이 과도하게 비용이 들거나 불가능한 시나리오에 대한 해결책을 제공합니다. 그러나 순열 불변성, 무작위 초기화, 이질적인 훈련 데이터 분포로 인한 표현적 발산으로 인해 이 작업은 복잡해집니다.

기존 방법들인 OTFusion(Singh & Jaggi, 2020) 과 Git Re-Basin(Ainsworth et al., 2023) 은 독립적으로 훈련된 네트워크가 동일한 저손실 분지 (low-loss basin) 에 존재한다는 선형 모드 연결성 (LMC) 가설에 의존합니다. LMC 는 동일한 데이터로 훈련된 모델의 경우 성립하지만, 이전 연구들은 동일한 데이터로 훈련된 모델조차도 발산된 내부 특징을 학습할 수 있음을 시사합니다. 결과적으로 기존 퓨전 방법은 제로샷 설정(추가 훈련 없이 퓨전) 과 비 IID(비 독립 동일 분포) 데이터 환경에서 심각한 어려움을 겪으며, 종종 무작위 성능 수준으로 붕괴됩니다. 또한, 현재 접근 방식은 아키텍처 전반에 걸쳐 일반성이 부족합니다 (예: 트랜스포머 처리의 어려움) 그리고 완전히 최적화되지 않은 베이스 모델에 의존함으로써 퓨전 알고리즘의 진정한 잠재력을 가립니다.

방법론

저자들은 모델 퓨전을 원칙적인 표현 매칭 문제로 재해석하는 뉴런 중심의 퓨전 알고리즘 계열을 제안합니다. 단순히 가중치를 평균화하거나 순열 행렬을 찾는 대신, 이 방법은 퓨전을 두 단계 프로세스로 취급합니다: 부모 모델의 뉴런을 목표 표현으로 그룹화한 다음, 퓨전된 모델의 서브네트워크를 훈련하여 이러한 목표를 근사화하는 것입니다.

핵심 프레임워크

표현 비용 (Representation Cost): 목표는 베이스 모델 뉴런의 활성화와 퓨전 모델의 가장 가까운 뉴런 간의 제곱 $L_2$ 거리를 뉴런 중요도 점수(귀속 점수) 로 가중치하여 정의합니다. 이는 중요한 특징의 오표현에 페널티를 부과합니다.
분해 (Theorem 1): 저자들은 보조 목표 벡터 $T$ $T$ 를 도입하여 표현 비용을 두 가지 해석 가능한 구성 요소로 분해합니다:
- 그룹화 오차: 베이스 모델 뉴런이 중요도 가중치 중심 ( $T_k$ ) 주변에 얼마나 잘 군집화되는지를 측정합니다.
- 근사 오차: 퓨전 모델의 출력 뉴런이 이러한 중심을 얼마나 잘 근사하는지를 측정합니다.
이 단계 알고리즘:
- 단계 1 (그룹화): 베이스 모델의 뉴런을 그룹화 오차를 최소화하도록 클러스터링합니다. 이는 목표를 제공하는 중요도 가중치 중심을 산출합니다.
- 단계 2 (리트로피팅): 현재 수준의 퓨전 모델 가중치를 최적화하여 (선형 레이어의 경우 폐쇄형 해, 비선형 레이어의 경우 SGD 를 통해) 이러한 목표에 대한 근사 오차를 최소화합니다. 이 과정은 네트워크 수준을 하향식으로 수행됩니다.

알고리즘 변형

이 논문은 그룹화 전략에 기반한 두 가지 주요 알고리즘을 소개합니다:

헝가리안 퓨전 (HF): 레벨별 일대일 매칭이 가능한 동일 크기 모델을 위해 설계되었습니다. 최적 할당을 찾기 위해 헝가리안 알고리즘을 사용합니다.
K-평균 퓨전 (KF): 임의의 너비와 깊이를 가진 모델을 포함한 일반 사례를 위해 설계되었습니다. 뉴런을 그룹화하기 위해 휴리스틱 K-평균 클러스터링을 사용합니다.

두 알고리즘 모두 선형(아핀 레이어에 대한 폐쇄형 해) 과 기반-기반(비선형 레이어에 대한 SGD/Adam) 변형을 가지고 있습니다.

주요 혁신

뉴런 귀속: 이전 작업과 달리, 이 접근법은 이질적인 환경에서의 성능을 개선하기 위해 중요한 특징으로의 정렬을 편향시키기 위해 뉴런 중요도 점수 (예: Conductance, DeepLIFT) 를 통합합니다.
아키텍처 유연성: 이 방법은 레벨의 방향성 비순환 그래프 (DAG) 로 모듈화 가능한 모든 아키텍처에 적용 가능하며, VGG, ResNet 및 비전 트랜스포머 (ViT) 에서 경험적으로 검증되었습니다.
제로샷 능력: 클러스터링된 표현의 근사를 명시적으로 최적화함으로써, 이전 방법들이 요구하는 광범위한 파인튜닝 없이 강력한 성능을 달성합니다.

실험 결과

저자들은 샤어드(불연속 클래스 세트), 비 IID(편향된 클래스 분포), 전체 데이터셋이라는 세 가지 훈련 환경에서 방법을 평가했습니다.

샤어드/비 IID 환경: 극단적인 비 IID 설정 (예: CIFAR-100 의 6-way 클래스 분할) 에서 OTFusion 및 Git Re-Basin 과 같은 기존 방법은 무작위 수준의 정확도로 붕괴되었습니다 (종종 <5%). 반면, KF-Gradient와 HF-Gradient는 견고한 제로샷 정확도를 유지했습니다 (예: 6-way 분할에서 CIFAR-100 의 34.7% 대 베이스라인의 <1.5%).
전체 데이터셋 환경: 모델이 전체 데이터셋으로 훈련되더라도 제안된 방법은 제로샷 퓨전에서 베이스라인을 능가합니다. 예를 들어, CIFAR-100 에서 KF-Gradient 는 63.0% 의 제로샷 정확도를 달성한 반면, 트랜스포머 OTFusion 은 4.3% 였습니다. 파인튜닝 후 제안된 방법은 일관되게 앙상블 성능에 근접하면서도 단일 모델 추론 비용을 유지했습니다.
압축 및 이질성: 이 방법은 서로 다른 너비를 가진 모델을 성공적으로 퓨전했으며, 데이터가 제한된 경우 표준 지식 증류 (KD) 보다 훨씬 높은 정확도로 더 큰 모델 (ResNet-50) 을 더 작은 모델 (ResNet-18) 로 압축했습니다.
강건성: 이 접근법은 다양한 퓨전 데이터셋 크기에 대한 강건성을 보여주었으며, 데이터 증강은 대규모 퓨전 세트의 필요성을 효과적으로 완화했습니다.

중요성 및 주장

이 논문은 이전 연구의 세 가지 주요 격차를 해결한다고 주장합니다:

재현성: 아키텍처 전반에 걸쳐 체계적인 벤치마킹을 용이하게 하는 유연한 오픈소스 재구현을 제공합니다.
베이스 모델 품질: 베이스 모델이 잘 훈련되어 있더라도 퓨전 방법이 상당한 개선을 가져올 수 있음을 보여주어, 나쁜 퓨전 결과가 약한 베이스라인 때문이라는 관념에 도전합니다.
이질적 데이터: 기존 방법이 비 IID 조건에서 제로샷 퓨전에 실패하는 반면, 제안된 뉴런 중심 접근법은 불연속이거나 편향된 데이터 분포로 훈련된 모델을 성공적으로 통합함을 보여줍니다.

저자들은 그들의 접근 방식이 뉴런 중요도 점수를 모델 퓨전에 성공적으로 통합한 첫 번째 사례라고 강조하며, 특히 다른 방법들이 실패하는 제로샷 및 비 IID 시나리오에서 기존 베이스라인에 비해 일관된 개선을 이끌어냈다고 주장합니다. 그들은 이 방법을 재학습이 옵션이 아닌 연동 학습 및 프라이버시 보호 모델 집계의 실용적인 해결책으로 위치시킵니다. 기반-기반 변형이 경량 베이스라인보다 계산적으로 더 비싸다는 점을 인정하면서도, 저자들은 경쟁사들이 사용 불가능한 결과를 산출하는 환경에서 실행 가능한 퓨전 모델을 생성할 수 있는 능력으로 인해 이 오버헤드가 정당하다고 주장합니다.