💬 NLP

MeRoTune: RoPE-Safe Merging with a Tunable Dial

MeRoTune은 RoPE가 적용된 모델에서 어텐션 서브스페이스 불일치(attention subspace misalignment)를 해결하기 위해, 베이스 가중치를 수정하지 않고도 미세 조정된 모델들의 사후 튜너블 블렌딩을 가능하게 하는 제약 조건이 있는 RoPE 교환 가능 보정 행렬(RoPE-commuting correction matrices)을 학습하는 모델 병합 기술을 소개한다.

원저자: Salman Faroz

게시일 2026-09-09✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Salman Faroz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 연구자들은 종면한 딜레마에 직면하곤 합니다. 그들에게는 강력하고 범용적인 컴퓨터 두뇌가 있고, 특정 작업(예를 들어 한 언어로 코드를 작성하거나 다른 언어로 질문에 답하는 것)에 능숙하도록 훈련된 별도의 전문화된 버전들이 있습니다. 목표는 여러 프로그램을 동시에 실행하는 비용 없이, 이 전문가들을 하나의 다재다목적인 모델로 결합하는 것입니다. 이를 수행하는 표준적인 방법은 단순히 두 모델의 수학적 가중치를 두 배치의 페인트를 섞는 것처럼 직접 혼합하는 것입니다. 그러나 이러한 단순한 혼합은 두 모델의 내부 논리가 완벽하게 정렬되어 있다고 가정합니다. 만약 한 모델이 어떤 개념을 이해할 때 다른 모델과 약간 다른 내부 좌표계를 사용한다면, 직접적으로 혼합하는 것은 원래의 모델들보다 더 나쁜, 혼란스러운 결과를 초atas낼 수 있습니다. 이는 특히 현대 모델들이 단어의 순서를 이해하기 위해 정보를 위치에 따라 회전시키는 특정 메커니즘을 사용할 때 매우 까다로운 문제입니다. 만약 혼합 과정이 이 회전을 무시한다면, 훈련 중에는 보이지 않는 방식으로 모델의 문맥 이해 능력을 조용히 망가뜨리게 됩니다.

한 연구자가 이 문제를 해결하기 위해 MeRoTune이라는 새로운 방법을 개발했습니다. 두 모델을 맹목적으로 평균 내는 대신, 그들은 먼저 각 모델이 자신의 내부 좌표계를 조정하여 섞이기 전에 단어 순서를 처리하는 방식에 대해 서로 동의하도록 가르칩니다. 그들은 이 조정을 모델을 망가뜨리지 않고 수행하기 위해서는 변화가 매우 구체적이고 좁은 규칙을 따라야 한다는 것을 발견했습니다. 그들은 모델의 위치를 처리하는 고유한 방식을 존중하는 특정 유형의 회전을 적용하는 것만이 모델을 교정하는 유일하게 안전한 방법임을 수학적으로 증명했습니다. 그들은 두 전문화된 모델이 스스로 고유한 조정 요인을 학습하게 한 다음, 사용자가 원하는 어떤 비율로도 결합할 수 있는 시스템을 구축했으며, 이는 고정된 혼합물이 아니라 조절 가능한 다이얼처럼 작동합니다.

그들은 이 접근 방식을 인도네시아어와 코딩에 전문가가 되도록 훈련된 버전과 일본어 전문가가 되도록 훈련된 버전이라는 두 가지 뚜렷한 언어 모델에 대해 테스트했습니다. 모델을 병합하기 전, 그들은 두 모델이 복잡한 과정을 거칠 만큼 충분히 서로 다르다는 것을 보장하기 위해 엄격한 수학적 검사를 적용했습니다. 그들은 각 모델이 자신의 전문 분야에는 실제로 더 뛰어나고 다른 분야에는 더 못하다는 것을 확인하여, 해결해야 할 실제적인 충돌이 존재함을 검증했습니다. 그들은 이 기준을 충족하지 못하는 다른 후보 쌍들을 거부함으로써, 오직 진정한 문제에 대해서만 작업하고 있음을 확실히 했습니다. 모델 쌍이 적합함을 확인한 후, 그들은 모델들이 고유한 교정 요인을 학습하도록 훈련했습니다. 이 요인들은 단순한 회전이 되도록 설계되어, 모델이 과정 중에 왜곡되거나 불안정해지지 않도록 했습니다.

그들이 이 새로운 방법을 사용하여 모델을 결합했을 때, 결과는 기존 기술들보다 우수했습니다. 그들은 주로 인도네시아어 중심에서 주로 일본어 중심으로 이어지는 광범위한 블렌딩 비율에 걸쳐 병합된 모델을 테스트했으며, 그들의 방식이 다른 연구자들이 사용하는 표준적인 방법보다 성능이 떨어지지 않는다는 것을 발견했습니다. 실제로 대부분의 테스트에서 그들의 방법은 높은 통계적 신뢰성 기준을 통과한 반면, 경쟁 방법은 적어도 한 가지 작업에서 원래의 병합되지 않은 기본 모델보다 성능이 낮게 나타났습니다. 또한 그들은 블렌딩 비율을 두 개의 독립적인 제어 장치로 나눌 수 있는지 탐구하여, 각 모델이 더 자유롭게 기여할 수 있는지 확인했습니다. 그들은 그렇게 하는 것이 성능을 붕괴시킨다는 것을 발견했으며, 이는 블렌딩 비율을 하나로 묶어두는 것이 이 방법이 작동하는 데 필수적임을 입증했습니다.

이 연구는 또한 모델이 이 과정에서 실제로 무엇을 배웠는지에 대한 흥lar로운 세부 사항을 밝혀냈습니다. 대부분의 조정은 불과 몇 도 정도의 아주 작은 회전이었으며, 이는 모델들이 애초에 대부분 정렬되어 있었음을 시사합니다. 그러나 모델의 특정 부분 중 일부는 최대 86도까지의 훨씬 큰 변화를 필요로 했으며, 이 부분들은 크기가 줄어들었습니다. 이는 일반적인 구조는 유사했지만, 특정 개념을 다루는 방식에 있어 상당한 재정렬을 요구하는 깊은 불일치가 있었다는 것을 나타냅니다. 그들은 이 방법이 모든 가능한 모델 쌍에 대한 마법 같은 해결책이 아니라는 점을 언급했습니다. 이 방법은 모델들이 진정으로 상충하는 방식으로 전문화되어 있고, 모델의 내부 구조가 그들이 다룬 특정 위치 처리 메커니즘을 포함하고 있을 때만 작동합니다.

궁극적으로, 이 작업은 AI 모델을 병합하는 것이 단순히 숫자를 평균 내는 문제가 아님을 보여줍니다. 그것은 모델이 정보를 처리하는 숨겨진 기하학적 구조를 이해하는 것을 요구합니다. 단어 순서를 처리하는 모델의 특정 규칙을 존가함으로써, 그들은 사용자가 어느 한쪽의 품질을 잃지 않으면서도 서로 다른 전문 역량 사이를 부드럽게 조절할 수 있는 도구를 만들었습니다. 이 방법은 전문화된 AI 두뇌를 결합하는 신뢰할 수 있는 방법을 제공하며, 최종 결과물이 혼란스러운 혼합물이 아니라 일관성 있고 고성능인 모델이 되도록 보장합니다. 이 작업의 코드와 데이터는 공개적으로 사용 가능하므로, 다른 이들이 이 발견을 검증하고 자신들의 모델 조합에 동일한 신중하고 수학적으로 근거 있는 접근 방식을 적용할 수 있습니다.

기술 요약: MEROTUNE: 조절 가능한 다이얼을 갖춘 RoPE-안전 병합

1. 문제 정의

모델 병합(Model merging)은 여러 미세 조정된 모델들을 하나의 가중치 세트로 결합하여, 여러 모델을 개별적으로 서빙하는 비용 없이 각 모델의 특화된 능력을 보존하는 것을 목표로 한다. 표준적인 방법들(예: 가중치 평균, TIES, DARE)은 모델들이 병합될 때 내부 좌표계(특히 어텐션 서브스페이스)가 이미 정렬되어 있다고 암묵적으로 가정하며, 원시 가중치 텐서에 직접 연산을 수행한다.

최근 연구 [13]는 쿼리( $W_q$ ) 및 키( $W_k$ ) 프로젝션을 위한 가역적 보정 행렬 $M$ 을 학습함으로써 이러한 불일치를 교정하려고 시도했다. 이론적으로, $W_q$ 에 $M$ 을 적용하고 $W_k$ 에 $M^{-\top}$ 를 적용하는 것은 단독으로는 "no-op"(변화 없음)이다. 왜냐尽管 $(Mq)^\top (M^{-\top}k) = q^\top k$ 이기 때문이다. 그러나 이러한 상쇄 효과는 프로젝션과 도트 곱(dot product) 사이에 아무것도 개입하지 않는다는 가정에 의존한다.

핵심 갈등: 거의 모든 현대적인 오픈 웨이트 언어 모델(예: Qwen, Llama 3)은 바로 이 중간 공간에 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 사용한다. RoPE는 쿼리 및 키 벡터에 위치 의존적인 회전을 적용한다. 만약 학습된 보정 행렬 $M$ 이 RoPE 회전과 교환 법칙이 성립하지 않는다면(non-commute), "no-op" 속성은 깨지게 된다. 이 보정은 RoPE가 인코딩하도록 설계된 상대적 위치 의존성을 의도치 않게 왜곡하며, 이러한 왜곡은 RoTE 상호작용을 명시적으로 재도출하지 않는 표준 훈련 손실 함수에는 보이지 않는다.

2. 방법론

2.1 이론적 도출: RoPE-교환 클래스 (The RoPE-Commutant Class)

본 논문은 RoPE가 존재하는 상황에서 $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ 가 정확히 성립하는 행렬 $M$ 의 특정 클래스를 도출한다.

조건: $M$ 은 모든 상대적 위치 $\Delta$ 에 대해 RoPE 회전 행렬 $R(\Delta\theta)$ 와 교환되어야 한다.
결과: 유효한 행렬들은 엄격하고 저차원인 가역 행렬의 부분 집합을 형성한다. 구체적으로, 각 RoPE 주파수 쌍(2D 서브스페이스)에 대해 $M$ 은 해당 쌍 내에서 독립적으로 작용하는 **스케일된 회전(scaled rotation)**이어야 한다.
구조: $M$ 은 각 $2\times2$ 블록이 $aI + bJ$ 형태(여기서 $J$ 는 $\pi/2$ 회전)를 취하는 블록 대각 행렬이다. 이는 탐색 공간을 헤드당 $d^2$ 파라미터에서 $d$ 파라미터(주파수 쌍당 하나의 스케일과 하나의 회전각)로 줄여준다.
특성:
- 안전성(Safety): 이러한 변환을 단일 모델에 적용하는 것은 정확한 no-op이다 (Corollary 1).
- 안정성(Stability): 이 행렬들은 항상 정확히 1의 조건수(condition number)를 가지므로, 제약 없는 행렬 학습에서 흔히 발생하는 악조건(ill-conditioning) 문제를 방지한다 (Corollary 2).

2.2 MeMoTune 알고리즘

이 클래스를 기반으로, 저자는 MeRoTune(Merging + RoPE + Tunable)을 제안한다:

양방향 정렬(Dual-Sided Alignment): 두 개의 미세 조정된 모델( $A$ 와 $B$ )은 각각 자신만의 RoPE 준수 보정 행렬( $M_a$ 와 $M_b$ )을 학습한다.
병합 연산자(Merging Operator): 혼합 비율 $\alpha$ $α$ 에 따른 병합된 가중치는 다음과 같이 계산된다:
- $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
- $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
- 기타 가중치(MLP, 임베딩 등)는 선형 보간된다.
조절 가능한 다이얼(Tunable Dial): 이 방법은 최종 혼합 비율 $\alpha$ 를 사후에(post-hoc) 조정할 수 있게 한다. 훈련 목적 함수는 선택된 $\alpha$ 의 범위(LoRA의 고정 스케일링과 유사하게 기본값 $\alpha=0.5$ 로 설정)에 대해 손실을 최소화하며, 이를 통해 병합된 모델을 재학습 없이 다양한 작동 지점에 맞춰 튜닝할 수 있게 한다.
사전 훈련 검증(Pre-Training Validation): 논문은 두 미세 조정 모델을 실제로 정렬할 가치가 있는지 확인하기 위한 수학적 조건(Eq. 7)을 도입한다. 한 쌍의 모델이 유효한 대상이 되려면, 각 모델이 자신의 전문 분야에서는 베이스 모델보다 개선되었지만( $\Delta > 0$ ), 상대방의 전문 분야에서는 성능이 저하되거나 동일해야 한다( $\Gamma \le 0$ ). 만 이러한 "진정한 양방향 능력 격차(genuine bidirectional capability gap)"가 존재하지 않는다면, 정렬 과정은 이득 없이 노이즈만 추가하게 된다.

3. 주요 기여

RoPE-안전 보정의 증명: RoPE의 상대적 위치 구조를 보존하면서 병합 중 발생하는 보정을 식별하는 자립적인 증명을 제공한다(주파수 쌍 내의 스케일된 회전).
MeRoTune 방법: 런타임 다이얼로서 작동하여 사후 조정을 가능하게 하는 제약된 보정 행렬을 학습하는 양방향 정렬 병합 알고리즘을 제시한다.
검증 조건: 두 미세 조정 모델 간의 진정한 능력 격차 존재 여부를 경험적으로 확인하여, 유효하지 않은 쌍에 대한 계산 낭비를 방지하는 폐쇄형 수학적 조건을 제공한다.
포괄적 평가: 검증된 Qwen2.5-1.5B-Instruct 쌍(인도네시아어/코드 vs 일본어)에 대해 TIES 및 DARE-TIES와 비교하여 강건함을 입증한다.

4. 실험 결과

방법론은 Qwen2.5-1.5B-Instruct 모델 쌍(인도네시아어 및 코드 특화 모델과 일본어 특화 모델)을 대상으로 테스트되었다.

베이스라인 대비 성능:
- MeRoTune은 테스트된 모든 혼합 비율에서 공식 mergekit 구현체인 TIES 또는 DARE-TIES보다 결코 뒤처지지 않았다.
- DARE-TIES는 적어도 하나의 벤치마크 축에서 베이스 모델보다 현저히 낮은 성능을 보였다.
- Me-RoTune은 대부분의 벤치마크(MMLU, 인도네시아어, 일본어)에서 통계적 노이즈 플로어를 넘어선 성능을 보인 반면, TIES는 4개 중 3개의 벤치마크에서 베이스 모델보다 낮은 성능을 기록했다.
혼합 비율 동작:
- 혼합 비율 $\alpha$ 는 효과적인 다이얼 역할을 수행했다. 특정 작업에 대해 더 강한 모델 쪽으로 $\alpha$ 가 이동함에 따라 지표들이 일반적으로 단조 증가(monotonically)하는 경향을 보였다.
- **고정된 혼합 비율( $\alpha=0.5$ )**로 훈련하는 것이 매 단계마다 $\alpha$ 를 무작위로 재샘플링하는 방식보다 일반적으로 더 우수하거나 대등한 성능을 보였다.
디커플링 절제 실험(Decoupling Ablation):
- 묶인 혼합 비율 제약( $\alpha$ )을 두 개의 독립적인 스케일링 인자( $s_a, s_b$ )로 완화하여 테스트했다.
- 결과: 디커플링은 모든 벤치마크에서 신뢰할 수 있는 성능 저하를 일으켰다. 두 인자를 동시에 높게 설정하면 통제되지 않은 델타가 누적되어, 일부 사례에서는 무작위 추측보다 못한 성능을 보였다. 이는 결합된 볼록 제약(tied convex constraint)이 안정성을 위해 필수적임을 확인해 준다.
학습된 변환:
- 학습된 보정값들은 주로 작은 회전(중앙값 $\approx 10^\circ$ )과 1에 가까운 스케일을 보였다.
- 일부 블록에서는 큰 회전( $>45^\circ$ )과 함께 상당한 스케일링(축소)이 나타났는데, 이는 방법론이 이론적으로는 안전하지만, 최적화 도구가 순수한 기하학적 재정렬을 넘어 행동을 재형성하는 능력을 활용하기도 함을 시사한다.

5. 의의 및 주장

본 논문은 회전 위치 임베딩(RoPE)이 단순한 세부 사항이 아니라, 어떤 병합 보정이 수학적으로 안전한지를 결정하는 근본적인 제약 조건이라고 주장한다. RoPE-교환 클래스를 도출함으로써, MeRoTune은 다음과 같은 방법을 제공한다:

안전성 보장: 제약 없는 방법들과 달리, 모델의 상대적 위치 로직을 조용히 손상시키지 않는다.
유연성 제공: 고정된 병합에 갇히는 대신, 사후에 튜닝 가능한 다이얼처럼 사용할 수 있는 모델을 생성한다.
낭비 방지: 사전 훈련 조건을 통해 실제 상충하는 전문성을 가진 쌍에만 자원을 투입하도록 보장한다.

저자는 자신의 주장에 대해 겸손함을 유지한다. 결과는 Qwen2.5-1.5B 아키텍처와 테스트된 검증된 쌍에 국한된다. 또한, 방법론이 강건하긴 하지만, 구체적인 성능 마진은 사용된 벤치마크의 통계적 노이즈 플로어에 따라 달라질 수 있음을 언급한다. 또한, 미세 조정 모델이 베이스 모델보다 퇴보하는 현상(alignment tax)은 적용 가능성을 판단하는 중요한 필터로 남아있다고 지적한다. 코드, 데이터 및 스크립트는 공개되어 있다.