💻 computer science

Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

본 논문은 부분 최적 수송을 통해 유사한 뉴런을 선택적으로 병합함으로써 신경망 앙상블과 가중치 집계 사이를 보간하는 새로운 방법인 부분 융합을 제시하여, 계산 효율성과 모델 성능 간의 유연한 균형을 가능하게 한다.

원저자: Fabian Morelli, Stephan Eckstein

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

원저자: Fabian Morelli, Stephan Eckstein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 명의 전문 요리사, 셰프 A 와 셰프 B 가 있다고 상상해 보세요. 두 사람 모두 놀라울 정도로 뛰어나지만, 스타일은 약간 다르고 전문으로 하는 요리도 다릅니다.

"앙상블 (Ensemble)" 접근법: 두 셰프를 모두 고용해 부엌에서 나란히 일하게 합니다. 매번 요리를 주문할 때마다 두 사람 모두 각자의 버전을 만들고, 그 결과를 합칩니다. 이 방법은 맛이 놀라울 정도로 훌륭합니다 (높은 정확도). 하지만 두 명의 완전한 급여를 지급하고 두 배의 재료를 사용해야 하므로 비용이 많이 듭니다 (높은 계산 비용).
"가중치 평균 (Weight Averaging)" 접근법: 두 셰프의 레시피를 단순히 평균내어 하나의 슈퍼 셰프로 합치려 합니다. 셰프 A 의 메모 50% 와 셰프 B 의 메모 50% 를 가져옵니다. 이는 저렴하고 빠릅니다 (급여 하나, 부엌 하나). 하지만 결과는 종종 재앙이 됩니다. 셰프 A 는 휘핑기를 사용하고 셰프 B 는 믹서기를 사용하는 같은 단계에서 두 사람의 지시를 섞으면 혼란이 발생합니다. 새로운 셰프는 무엇을 해야 할지 모릅니다.

이 논문의 해결책: "부분 융합 (Partial Fusion)"

이 논문은 부분 융합 (Partial Fusion) 이라는 교묘한 중간 지점을 제시합니다. 두 셰프에게 모든 것에 대해 동의하도록 강요하거나 완전히 분리해 두는 대신, 실제로 유사한 부분의 레시피만 합치고 고유한 부분은 따로 유지합니다.

간단한 비유를 들어 작동 방식을 설명해 보겠습니다.

1. "뉴런 (Neuron)" 매칭

신경망 (AI) 을 일하는 팀으로 생각하세요. 각 직원 (뉴런이라고 함) 은 특정 업무를 담당합니다.

셰프 A의 팀에서는 직원 #1 이 양파 다지기에 뛰어납니다.
셰프 B의 팀에서는 직원 #1 이 양파 다지기에 뛰어나지만, 직원 #2 는 치즈 갈기에 뛰어납니다.

팀을 맹목적으로 평균내면 양파 다지는 사람과 치즈 갈는 사람을 섞어버려 두 업무 모두 제대로 수행되지 않을 수 있습니다.

부분 융합은 똑똑한 관리자처럼 행동합니다. 두 팀을 살펴보고 다음과 같이 말합니다.

"팀 A 의 직원 #1 과 팀 B 의 직원 #1 은 둘 다 양파를 다지고 있군요. 이들을 하나로 합쳐 슈퍼 양파 다지는 사람으로 만들어요."
"하지만 팀 A 의 직원 #2 는 치즈를 갈고, 팀 B 의 직원 #2 는 실제로 수석 셰프입니다. 너무 다릅니다. 이들을 따로 두세요."

2. 결과: 하이브리드 부엌

결과는 원래 부엌 하나보다 약간 크지만, 부엌 두 개를 모두 갖는 것보다는 훨씬 작은 새로운 단일 부엌이 됩니다.

두 셰프의 지혜를 모두 갖춘 융합된 직원들 (양파 다지는 사람들) 을 유지합니다.
간섭 없이 각자의 고유한 업무를 수행하는 고립된 직원들 (치즈 갈는 사람과 수석 셰프) 을 유지합니다.

이것은 다음과 같은 모델을 만들어냅니다.

두 셰프를 고용하는 것 (앙상블) 보다 저렴합니다.
단순히 레시피를 평균내는 것 (가중치 평균) 보다 더 똑똑합니다.
유연합니다: 얼마나 융합할지 결정할 수 있습니다. 양파 다지는 사람들만 합치거나, 예산에 따라 거의 모든 사람을 합칠 수도 있습니다.

3. "일반화된 가지치기 (Generalized Pruning)"의 반전

이 논문은 반대 관점에서 이것을 살펴봅니다. 두 세트의 직원들이 모두 있는 거대한 부엌 (앙상블) 이 있다고 상상해 보세요. 보통 이 부엌을 더 작게 만들려면 사람들을 해고할 것입니다 (가지치기).

하지만 저자들은 더 똑똑한 방법을 제안합니다: 일반화된 가지치기.
단순히 직원을 해고하는 대신, 때로는 "너희 둘은 비슷한 일을 하고 있구나; 두 사람의 업무를 한 사람으로 합치자"라고 말할 수 있습니다.

해고: 작업을 제거합니다 (정확도가 떨어질 수 있음).
결합: 두 작업을 하나로 융합합니다 (정밀도가 약간 떨어질 수 있음).
이 논문의 방법: 어떤 작업을 해고하고 어떤 작업을 결합할지 지능적으로 결정하여, 공간을 절약하면서도 품질을 너무 잃지 않는 완벽한 균형을 찾습니다.

왜 이것이 중요한가 (논문에 따르면)

저자들은 손글씨 숫자나 이미지 인식과 같은 표준 AI 문제들에서 이를 테스트했습니다. 그들은 다음과 같은 사실을 발견했습니다.

양쪽의 장점을 모두 얻습니다: 두 개의 완전한 모델을 가진 것과 매우 유사한 성능을 얻으면서도, 크기는 단일 모델의 약 1.5 배 (2 배가 아닌) 로만 유지됩니다.
크기만이 전부는 아닙니다: 때로는 "이상한" 또는 "고유한" 직원들을 고립시켜 두는 것이 최종 모델의 성능을 실제로 향상시킵니다. 이는 원래 셰프들의 고유한 강점을 보존하기 때문입니다.
다른 형태에서도 작동합니다: AI 가 단순한 숫자 목록 (MLP) 이든 복잡한 이미지 처리기 (CNN) 이든, "유사한 부분은 매칭하고 고유한 부분은 그대로 두는" 이 방법은 잘 작동합니다.

간단히 말해: 이 논문은 두 개의 AI 두뇌를 결합할 때, 단순히把它们 부숴서 합치거나 완전히 분리해 두어서는 안 된다고 가르칩니다. 우리는 중매쟁이처럼 행동하여 공간을 절약하기 위해 유사한 부분을 짝짓고, 고유한 부분들은 스스로 빛날 수 있도록 해야 합니다.

기술적 요약: 신경망의 부분적 융합

문제 정의

신경망 앙상블은 개별 모델들의 출력을 결합함으로써 단일 모델보다 우수한 성능을 발휘하며, 향상된 견고성과 예측 성능을 제공합니다. 그러나 앙상블은 여러 모델을 메모리에 저장해야 하고 추론 시간이 증가하는 등 상당한 계산 비용을 초래합니다. 반면, 가중치 집계 방법 (가중치 평균화 등) 은 단일의 비용 효율적인 모델을 생성하지만, 병합되는 네트워크가 정렬되지 않았거나 서로 다른 데이터 분포에서 훈련된 경우 정확도가 저하되는 경향이 있습니다. 기존 가중치 집계 기술은 종종 엄격한 치환 불변성 (크기가 동일한 레이어 매칭) 에 의존하거나, 이질적인 아키텍처나 불균일한 레이어 크기로 일반화되지 않을 수 있는 복잡한 정렬 절차를 요구합니다.

이 논문이 다루는 핵심 과제는 앙상블의 높은 성능과 가중치 집계의 낮은 계산 비용 사이의 효율적인 절충점을 찾는 것입니다. 현재 방법론들은 이분법적입니다: 가중치를 완전히 집계하면 (성능 손실 가능성) 또는 완전한 앙상블을 유지하면 (높은 비용 발생) 합니다. 따라서 이러한 극단들 사이를 유연하게 조절할 수 있는 메커니즘이 필요합니다.

방법론

본 논문은 **부분적 융합 (Partial Fusion)**을 소개합니다. 이는 네트워크 간 가장 유사한 뉴런만 병합하고 나머지 뉴런은 격리함으로써 가중치 집계와 앙상블 사이를 보간하는 방법입니다. 이 접근법은 모델 크기와 성능 사이의 유연한 레이어 단위 절충을 가능하게 합니다.

1. 부분적 최적 수송을 통한 부분적 융합

주요 제안 방법은 뉴런 수준의 유사성에 기반한 기존 가중치 집계 기술을 확장한 것입니다.

개념: 표준 최적 수송 (Optimal Transport, OT) 융합과 같이 두 네트워크 간의 모든 뉴런을 정렬하는 대신, 부분적 융합은 가장 유사한 뉴런만 식별하고 매칭합니다. 매칭되지 않은 (가장 불유사한) 뉴런은 격리되어 원래 가중치를 유지합니다.
메커니즘: 저자들은 **부분적 최적 수송 (Partial OT)**을 활용합니다. 두 네트워크 $A$ $A$ 와 $B$ $B$ 가 주어졌을 때, 두 네트워크의 뉴런 간 질량의 일부 $(1-\alpha)$ $(1 - α)$ 만 매칭하는 커플링 $\tilde{\pi}$ $\tilde{π}$ 를 계산합니다. 여기서 $\alpha \in [0, 1]$ $α \in [0, 1]$ 은 융합 정도를 조절하는 매개변수입니다.
- $\alpha = 0$ : 모든 뉴런이 매칭되는 완전한 가중치 집계에 해당합니다.
- $\alpha = 1$ : 어떤 뉴런도 매칭되지 않는 앙상블에 해당합니다.
구현: 이 방법은 뉴런 특징 (예: 활성화 벡터 또는 가중치 행렬) 을 기반으로 레이어를 이산 확률 분포로 인코딩합니다. 그리고 가장 유사한 뉴런의 최적 매칭을 찾기 위해 부분적 OT 문제를 풉니다. 결과적으로 생성된 융합 네트워크 $C$ 는 각 레이어마다 세 가지 구성 요소를 포함합니다: $A$ 의 격리된 뉴런, 융합된 뉴런 (평균화된 가중치), 그리고 $B$ 의 격리된 뉴런.
전역 최적화: 정렬을 개선하기 위해, 이 방법은 레이어별이 아닌 레이어 간 종속성을 고려하여 레이어 전체에 걸쳐 전역적으로 정렬/매칭을 최적화하는 고정점 반복 접근법 (Ainsworth et al., 2023 에서 영감) 을 통합합니다.

2. 일반화된 가지치기

본 논문은 부분적 융합을 앙상블 모델의 **일반화된 가지치기 (Generalized Pruning)**라는 보완적 관점에서 조명합니다.

개념: 가중치 집계를 시작하여 이를 완화하는 대신, 이 관점은 앙상블 (대형 연결 모델) 로부터 시작하여 가지치기 연산을 적용합니다. 뉴런을 삭제하는 것만 허용하는 표준 가지치기와 달리, 일반화된 가지치기는 뉴런이 선형 결합될 수 있도록 합니다.
형식화: 이는 확률적 커널을 통한 선형 변환을 통해 대형 앙상블 모델 $E$ 의 가중치를 더 작은 네트워크 $S$ 로 변환하는 것으로 형식화됩니다.
클러스터링 접근법: 일반화된 가지치기의 구체적인 실현으로 클러스터링을 사용한 방법이 제안됩니다. 앙상블의 뉴런을 클러스터링하고, 클러스터 내의 뉴런을 선형 결합합니다. 이는 서로 다른 네트워크의 쌍으로만 결합을 제한하는 부분적 융합보다 더 많은 자유도를 제공합니다.
유도 편향: 저자들은 부분적 융합이 특정 유도 편향을 부과한다고 지적합니다: 서로 다른 네트워크에서 유래한 뉴런만 선형 결합하며, 결합을 쌍으로 제한합니다. 이 편향은 합성곱 신경망 (CNN) 에 유익할 것으로 추정되는 반면, 더 유연한 클러스터링 접근법은 다층 퍼셉트론 (MLP) 에 더 적합할 수 있습니다.

주요 기여

부분적 융합 프레임워크: 가장 유사한 뉴런만 병합하여 가중치 집계와 앙상블 사이를 보간하는 방법을 도입함으로써, 계산 비용과 성능 사이의 조절 가능한 절충점을 제공합니다.
일반화된 가지치기 관점: 뉴런이 단순히 삭제되는 것이 아니라 선형 결합될 수 있다는 개념 하에 부분적 융합과 모델 압축을 일반화된 가지치기로 이론적으로 통합합니다. 이는 방법론의 적용 범위를 단일 모델 압축으로 확장합니다.
구체적 알고리즘:
- 부분적 OT 융합: 불균일한 매칭과 레이어 크기를 처리하기 위해 부분적 최적 수송을 사용한 OT 기반 모델 융합의 확장.
- 클러스터링 기반 가지치기: 계층적 클러스터링을 사용하여 뉴런을 선형 결합하는 일반화된 가지치기 방법으로, 모델 압축의 유연성을 제공합니다.
실증적 검증: 다양한 데이터셋 (MNIST, CIFAR10) 에 대한 MLP 및 CNN (VGG11, ResNet18) 실험을 통해, 부분적 융합이 단일 네트워크보다 훨씬 적은 매개변수로 앙상블에 가까운 성능을 달성함을 입증했습니다.

결과

실험은 여러 영역에서 제안된 방법의 유효성을 보여줍니다:

분할 데이터셋 집계 (이질적 데이터): 서로 다른 데이터 분할 (예: 하나는 전문화, 하나는 일반화) 에서 훈련된 모델을 병합할 때, 부분적 OT 융합은 표준 OT 융합보다 현저히 우수합니다. 격리된 뉴런 수를 늘림 ( $\alpha$ 증가) 에 따라 성능이 단조롭게 향상되어 집계된 모델과 앙상블 간의 간극을 메웁니다. 예를 들어, 뉴런 수를 20-40% 증가시키는 것만으로도 표준 융합 대비 명확한 정확도 향상을 보였습니다.
파인튜닝: 소량의 데이터 (MNIST 의 경우 1%, CIFAR10 의 경우 5%) 로 파인튜닝된 부분적 융합 모델은 개별 모델과 전체 앙상블 모두를 정확도에서 일관되게 능가합니다.
동일 데이터 집계: 서로 다른 시드로 동일한 데이터에서 훈련된 모델을 병합할 때, 완전한 가중치 집합은 CNN (VGG11 등) 의 경우 성능이 종종 저하되지만, 잔차 연결로 인해 ResNet 의 경우 더 나은 성능을 보입니다. 부분적 융합은 완전한 융합에서 손실된 성능을 회복하는 강력한 보간을 제공합니다.
단일 모델 압축 (일반화된 가지치기):
- MLP의 경우, 클러스터링을 통한 일반화된 가지치기는 비구조적 가지치기 및 후처리 (OT 융합) 를 포함한 가지치기보다 현저히 우수합니다. 저자들은 이는 "삭제" (가지치기) 와 "흐림" (선형 결합) 의 오류를 클러스터링이 균형 있게 조절할 수 있기 때문이라고 설명합니다.
- **CNN (VGG11)**의 경우, 부분적 OT 융합이 종종 클러스터링보다 우수하여, 특정 뉴런 쌍을 매칭하는 유도 편향이 합성곱 레이어에 더 효과적임을 시사합니다.
매개변수 효율성: 이 방법은 단일 네트워크와 전체 앙상블 사이의 모델 크기를 가능하게 합니다. 예를 들어, $\alpha=0.5$ 인 부분적 융합 모델은 단일 네트워크의 약 1.45 배의 매개변수를 사용하며 (앙상블의 2 배 대비), 앙상블에 훨씬 가까운 정확도를 달성합니다.

의의 및 주장

이 논문은 뉴런 수준의 유사성 차이의 중요성이 핵심 통찰이라고 주장합니다. 뉴런은 고유성 측면에서 다양합니다. 일부는 네트워크 간에 매우 유사한 반면, 다른 일부는 고유한 역할을 수행합니다. 제안된 방법론들은 이러한 차이를 활용합니다:

부분적 융합은 가장 불유사한 뉴런을 격리함으로써 나머지 집계된 뉴런의 평균 유사성을 높여, 더 효과적인 가중치 평균화를 이끌어낸다는 사실을 활용합니다.
일반화된 가지치기는 뉴런을 삭제하는 것 (정보 손실) 과 선형 결합하는 것 (정보 흐림) 사이의 절충점을 활용합니다.

저자들은 자신의 작업을 신경망 가중치 공간에서 병합 연산에 대한 구조화된 연구의 한 걸음으로 위치시킵니다. 이 방법론들은 모델 크기와 성능 사이의 유연하고 효율적인 절충점을 제공하며, 종종 모델 크기의 작은 증가에 비례하지 않는 성능 향상을 가져온다고 강조합니다. 논문은 미래의 함의에 대해 겸손하게 접근하며, 더 큰 모델로 확장하고 레이어별 결정 (예: 어떤 레이어를 융합할지 격리할지) 에 대한 원칙 있는 기준을 개발하는 것이 향후 연구의 열린 방향임을 지적합니다. 추가 연구를 촉진하기 위해 코드가 공개되었습니다.