🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

본 논문은 대칭성 불변성을 보장하기 위해 적절한 매니폴드 상의 프레셰 평균을 기반으로 한 모델 병합을 위한 일반적 프레임워크를 제안하며, 피셔 병합과 같은 기존 방법들을 포괄할 수 있음을 입증하고 현재 접근법의 한계를 해결하는 저랭크 어댑터(LoRA) 병합을 위한 실용적 알고리즘을 제공한다.

원저자: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

전문 요리사 팀이 있다고 상상해 보세요. 각 요리사는 특정 요리를 완벽하게 마스터했습니다: 한 명은 완벽한 라자냐를, 다른 한 명은 이상적인 스시를, 또 다른 한 명은 최고의 수플레를 만듭니다. 이제 세 가지 요리를 모두 완벽하게 요리할 수 있는 "슈퍼 요리사"를 만들고 싶지만, 처음부터 새로운 요리사를 훈련할 시간은 없습니다. 그저 기존 요리사들의 지식을 결합하고 싶을 뿐입니다.

AI 세계에서는 이를 **모델 병합 (Model Merging)**이라고 합니다. 서로 다른 AI 모델의 "가중치 (내부 설정)"를 가져와서 하나로 섞어보려는 시도입니다.

문제: "잘못된 지도"

이 논문은 이를 수행하는 기존 방식이 종이에 적힌 숫자들을 단순히 평균내어 요리사들의 레시피를 섞으려 하는 것과 같다고 주장합니다. 모든 사람이 같은 언어로 쓰고 같은 단위를 사용할 때는 이 방식이 잘 작동합니다.

하지만 AI 모델에는 숨겨진 특징이 하나 있습니다: **대칭성 (Symmetry)**입니다.
이렇게 생각해보세요: 요리사 A 는 "밀가루 2 컵"이라고 적는 반면, 요리사 B 는 "밀가루 1 컵 + 밀가루 1 컵"이라고 적습니다. 의미는 정확히 같지만 숫자는 다르게 보입니다. 혹은 요리사 C 는 노트에 재료 순서를 바꿔 적었을 수도 있지만, 요리의 맛은 동일합니다.

AI 에서는 서로 다른 숫자를 사용하여 정확히 같은 "레시피 (모델)"를 표현하는 수많은 방법이 존재합니다. 단순히 숫자의 평균 (Naive Averaging) 을 취하면 양수와 음수가 서로 상쇄되어 "밀가루 0 컵"이라는 레시피가 나올 수 있습니다. 당신은 아무것도 요리할 수 없는 고장 난 모델을 만들어낸 것입니다.

저자들은 이를 **궤도 이탈 (stepping off the orbit)**이라고 부릅니다. "진짜" 레시피가 원형 트랙 (궤도) 위에 존재한다고 상상해 보세요. 트랙 위의 두 점 사이를 단순히 직선으로 연결하면 원의 중간을 가로질러 진흙탕 (고장 난 모델) 에 빠지게 되고, 좋은 레시피들이 존재하는 트랙 위에는 머무르지 못하게 됩니다.

해결책: "스마트 나침반 (GeoMerge)"

이 논문은 GeoMerge라는 새로운 방법을 제안합니다. 단순히 숫자를 평균내는 대신, AI 모델의 공간을 곡면 (리만 다양체, Riemannian manifold)처럼 취급합니다.

지도: 대칭성 (같은 레시피를 쓰는 다양한 방법) 으로 인해 "진짜" 지도는 평평한 종이 한 장이 아니라는 것을 깨닫습니다. 그것은 접히고 구부러진 표면으로, 서로 다른 점들이 실제로는 같은 것을 나타냅니다.
나침반: **프레셰 평균 (Fréchet Average)**이라는 수학적 도구를 사용합니다. 단순한 평균이 아니라, 곡면 위의 "중심"을 찾는 것이라고 생각하세요.
정렬: 모델을 섞기 전에 먼저 "정렬 (alignment)"합니다. 마치 요리사 A 와 B 가 모두 같은 계량 컵을 사용하고 같은 순서로 기록하도록 만드는 것과 같습니다. 숫자가 쓰인 방식의 외관적 차이는 무시하고, 서로 가장 가까운 각 요리사 레시피의 특정 버전을 찾습니다.
경로: 진흙탕을 직선으로 가로지르는 대신, "좋은 레시피"의 트랙 위에 머무는 곡선 경로 (측지선, geodesic)를 따라 이동합니다.

"LoRA(전문 부수 요리사)"에 중요한 이유

이 논문은 **LoRA(저랭크 적응, Low-Rank Adaptation)**라는 인기 있는 기술에 집중합니다. 이는 전체 요리사가 아니라, 요리를 더 잘 만들기 위해 몇 가지 특정 재료만 살짝 건드리는 전문 부수 요리사라고 상상해 보세요.

저자들은 이러한 전문적인 미세 조정을 기존 방식으로 병합하려 할 때, "대칭성" 문제가 훨씬 더 심각하다는 것을 발견했습니다. 부수 요리사들의 메모는 너무 유연해서 모두 같은 의미를 갖지만 수천 가지 다른 방식으로 작성될 수 있습니다.

기존 방법 (KnOTS): SVD 와 같은 경직된 단계별 수학 트릭을 사용하여 메모를 강제로 정렬하려 합니다. 어느 정도 작동하지만, 네모난 못을 구멍에 억지로 끼우는 것과 같습니다.
GeoMerge: 메모가 자연스럽게 곡면 위에 존재한다는 것을 인식합니다. 이를 경직된 형태로 강제로 맞추지 않고 "스마트 나침반"을 사용하여 그룹의 진정한 중심을 찾습니다.

결과

연구진들은 다양한 언어 퍼즐 (자연어 추론) 에 특화된 대규모 AI 모델 (Llama 3) 에서 이를 테스트했습니다.

결과: GeoMerge 는 이전 최선 방법 (KnOTS) 보다 성능이 뛰어난 "슈퍼 요리사"를 만들어냈습니다.
효율성: 더 나은 점은 GeoMerge 가 레시피의 "크기"를 작게 유지하면서 이를 달성했다는 것입니다. 기존 방법은 거대하고 비대해진 레시피 (고랭크) 를 만들어냈지만, GeoMerge 는 이를 날렵하고 효율적으로 유지하여 문제의 기하학적 구조를 더 잘 이해했음을 증명했습니다.

요약하자면

이 논문은 말합니다: 단순히 숫자를 평균내지 마십시오. AI 모델은 여러 가지 다른 언어로 작성될 수 있는 레시피와 같습니다. 이를 병합하려면 먼저 공통 언어로 번역 (정렬) 한 다음, 평평한 자 대신 세계의 모양을 존중하는 지도 (기하학) 를 사용하여 그룹의 중심을 찾아야 합니다. 이렇게 해야 "슈퍼 요리사"가 고장 난 엉망이 되는 것을 막을 수 있습니다.

"Generalizing the Geometry of Model Merging Through Fréchet Averages" 논문 (da Silva 등) 에 대한 상세한 기술적 요약입니다.

1. 문제 정의

모델 머지 (Model merging) 는 추가적인 엔드 - 투 - 엔드 학습 없이 여러 학습된 신경망을 단일 모델로 결합하는 것을 목표로 합니다. 단순한 파라미터 공간 평균화 (예: Model Soups) 는 풀랭크 (full-rank) 파인튜닝 모델에서는 잘 작동하지만, LoRA(Low-Rank Adaptation) 와 같은 파라미터 효율적 파인튜닝 (PEFT) 방법에 적용될 때는 크게 실패합니다.

핵심 문제는 구조적 대칭성 (architectural symmetry) 입니다:

신경망 파라미터는 고유한 좌표가 아닙니다. 대칭성 (예: 뉴런의 순열, 재스케일링, 또는 저랭크 분해의 게이지 대칭성) 으로 인해 서로 다른 파라미터 설정이 정확히 동일한 입력 - 출력 함수를 나타낼 수 있습니다.
순진한 평균화 (Euclidean) 는 이러한 대칭성을 무시합니다. 이는 올바른 기하학적 궤적 (orbit) 에서 벗어나게 하여, 머지된 모델이 붕괴되거나 성능이 저하되는 파괴적 간섭을 초래할 수 있습니다.
기존 정렬 방법 (KnOTS 등) 은 SVD 를 통해 태스크 업데이트를 정렬함으로써 이를 해결하려 시도하지만, 종종 특정 게이지 선택이나 좌표 의존적 휴리스틱에 의존하여 근본적인 기하학을 완전히 존중하지 못합니다.

2. 방법론: GeoMerge

저자들은 GeoMerge를 제안하며, 이는 모델 머지를 리만 다양체 (Riemannian manifold) 상에서 Fréchet 평균을 계산하는 문제로 재정의합니다.

핵심 개념적 전환

Euclidean 공간에서 파라미터를 평균하는 대신, GeoMerge 는 파라미터 공간을 몫 다양체 (quotient manifold) ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ) 로 간주합니다. 여기서 $G$ 는 대칭군 (예: LoRA 의 경우 $GL(r)$) 입니다.

내재적 평균화 (Intrinsic Averaging): 목표는 입력 모델들로부터의 측지선 거리 (geodesic distance) 합을 최소화하는 몫 다양체 상의 점을 찾는 것입니다.
대칭 불변성: 몫 (quotient) 위에서 작동함으로써, 머지는 입력 모델의 특정 파라미터화 (게이지) 에 불변이 됩니다.

수학적 공식화

Fréchet 평균: 모델 $\theta_1, \dots, \theta_T$ 가 주어졌을 때, 머지된 모델 $\mu^*$ 는 Fréchet 함수의 최소화자입니다:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
여기서 $d_{\mathcal{M}}$ 은 다양체 상의 측지선 거리입니다.
LoRA 를 위한 몫 기하학 (Quotient Geometry):
- LoRA 업데이트는 $\Delta W = GH^\top$ 로 표현됩니다. 이 분해는 $GL(r) $대칭성을 가집니다:$ (G, H) \sim (GA^{-1}, HA^\top)$.
- 저자들은 극 분해 (Polar Factorization) ( $\Delta W = UBV^\top$ ) 를 사용하여 문제를 Stiefel 다양체 ($St$) 와 대칭 양의 정부호 (SPD) 다양체의 곱으로 매핑합니다.
- 그들은 특정 리만 계량을 정의합니다:
  - SPD 인자 ( $B$ ) 에 대한 아핀 불변 계량 (Affine-invariant metric).
  - 직교 인자 ( $U, V$ ) 에 대한 고유 Stiefel 계량 (Canonical Stiefel metric).
알고리즘 (몫 GeoMerge):
이 알고리즘은 평균을 계산하기 위해 두 단계를 번갈아 수행합니다:
- 정렬 (궤적 최소화): 현재 추정치 $\mu_t$ 에 대해, 각 입력 $\theta_i$ 에 대한 대칭 변환 $G_i$ 를 찾아 $\mu_t$ 와의 거리를 최소화합니다. 이는 입력들을 동일한 "게이지"(수평 공간) 로 정렬합니다.
- 내재적 평균화: $\mu_t$ 에서 정렬된 입력들로의 로그 맵 (접선 벡터) 을 계산합니다. 이러한 벡터들은 보장되도록 수평 (horizontal) 입니다 (대칭 궤적에 직교). 평균은 이러한 수평 벡터들의 가중합으로 정의된 측지선을 따라 이동하여 업데이트됩니다.

3. 주요 기여

기하학적 통합: 이 논문은 모델 머지가 근본적으로 리만 다양체 상에서 Fréchet 평균을 계산하는 문제임을 규명합니다. 이는 다양한 머지 전략을 이러한 기하학적 렌즈 하에 통합합니다.
대칭 인식 머지: 파라미터 공간을 몫 다양체로 명시적으로 모델링함으로써 PEFT 의 "정렬 불일치 (misalignment)" 문제에 대한 원칙적인 해결책을 제공합니다. 이는 게이지 선택에 불변인 머지를 보장합니다.
피셔 머지 (Fisher Merging) 와의 연결: 저자들은 피셔 가중 머지 (Fisher-weighted merging) 가 Fisher-Rao 기하학 (정보 기하학) 하에서 Fréchet 평균의 계산 가능한 근사임을 증명합니다. 특히 2 차 대리 모델 (quadratic surrogate) 을 사용하고 공분산 변화를 무시할 때 그렇습니다. 그러나 표준 피셔 머지는 평균화 메커니즘 자체가 대칭 불변이 아니기 때문에 여전히 대칭성 문제에 시달린다고 지적합니다.
LoRA 를 위한 실용적 알고리즘: 극 분해와 특정 리만 계량을 사용하여 LoRA 어댑터에 대한 구체적인 알고리즘을 유도하여, 데이터 없이도 측지선과 정렬을 효율적으로 계산할 수 있게 합니다.
토이 모델 분석: 간단한 스케일링 대칭 모델을 위한 폐쇄형 해석적 해를 제공하여, 순진한 Euclidean 평균화는 (0 으로 수렴하며) 실패하지만 GeoMerge 는 내재적 예측기를 올바르게 복원함을 증명합니다.

4. 실험 결과

저자들은 6 개의 자연어 추론 (NLI) 데이터셋 (SNLI, MNLI, SICK, QNLI, RTE, SciTail) 에서 LoRA 어댑터로 파인튜닝된 Llama-3 8B에 GeoMerge 를 평가했습니다.

베이스라인: 그들은 LoRA 업데이트를 머지하기 전에 공동 SVD 를 통해 정렬하는 최첨단 방법인 KnOTS와 비교했습니다.
성능: GeoMerge 는 정규화 정확도(머지된 모델의 정확도를 최우수 전문가 모델의 정확도로 나눈 비율) 측면에서 모든 데이터셋에서 KnOTS 를 일관되게 능가했습니다.
- 평균 정규화 정확도: GeoMerge 는 **91.88%**를 달성한 반면 KnOTS 는 **90.38%**였습니다.
효율성: 중요한 발견은 GeoMerge 가 **훨씬 낮은 유효 랭크 (effective rank)**로 우수한 성능을 달성한다는 것입니다.
- KnOTS 는 일반적으로 머지된 모델의 랭크를 $T \times r$ 로 증가시킵니다 (여기서 $T$ 는 태스크 수).
- GeoMerge 는 원래 랭크 $r$ 을 유지하며, 이는 파라미터 공간을 확장하는 대신 다양체 기하학을 존중함으로써 가중치 용량을 더 효율적으로 활용함을 시사합니다.

5. 중요성과 영향

이론적 발전: 이 논문은 모델 머지의 패러다임을 "휴리스틱 파라미터 평균화"에서 "다양체上的 기하학적 최적화"로 전환시킵니다. 기하학 (계량과 다양체) 의 선택이 머지에서 가장 중요한 설계 선택임을 강조합니다.
강건성: 내재적으로 대칭성을 해결함으로써 GeoMerge 는 저랭크 업데이트가 표준이 된 PEFT 시대에 전문화된 모델을 머지하기 위한 더 강건한 해결책을 제공합니다.
향후 방향: 이 프레임워크는 다른 기하학적 개념 (예: 리만 중앙값, Huber 평균) 을 통합하고, 대칭성이 존재하는 다른 PEFT 방법이나 풀랭크 모델로 확장할 수 있는 문을 엽니다. 또한 "정렬"이 단순한 전처리 단계가 아니라 몫 공간에서의 평균화 과정의 필수적인 부분임을 시사합니다.

요약하자면, GeoMerge는 몫 다양체 상의 기하학적 평균화 작업으로 문제를 처리함으로써 구조적 대칭성 하에서 모델 머지의 취약성을 해결하며, 향상된 파라미터 효율성과 함께 LoRA 머지에 대한 최첨단 성능을 달성합니다.