🤖 machine learning

Resolving Interference (RI): Disentangling Models for Improved Model Merging

이 논문은 라벨이 없는 보조 데이터만을 사용하여 모델 간 간섭을 해소하고 기능적 직교성을 확보함으로써 기존 모델 병합 방법의 성능과 일반화 능력을 크게 향상시키는 '간섭 해결 (RI)' 프레임워크를 제안합니다.

원저자: Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

원저자: Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 1. 상황: "각자 달린 전문가들을 한 명으로 합치자!"

상상해 보세요.

A 선생님은 '고양이'만 보는 데 특화된 미술 선생님입니다.
B 선생님은 '개'만 보는 데 특화된 미술 선생님입니다.

이 두 분을 합쳐서 '동물 그림 전문가' 한 분을 만들려고 합니다. 단순히 두 분의 머릿속 지식 (모델 파라미터) 을 반반씩 섞으면, 새로운 선생님은 고양이도 개도 잘 그릴 수 있을 거라 기대합니다.

하지만 현실은 그렇지 않습니다.

A 선생님이 고양이를 그릴 때 쓰는 '수염 그리기' 방식이, B 선생님의 '코와 귀 그리기' 방식과 충돌합니다.
결과적으로 합쳐진 선생님은 고양이도 제대로 못 그리고 개도 제대로 못 그리는 엉뚱한 그림을 그리게 됩니다.

이걸 논문에서는 **'교차 작업 간섭 (Cross-Task Interference)'**이라고 부릅니다. 즉, 서로 다른 일을 하던 지식들이 서로를 방해해서 성능이 떨어지는 현상입니다.

🛠️ 2. 해결책: "RI(간섭 해결) - 각자의 공간을 분리해 주세요"

저자들은 이 문제를 해결하기 위해 **RI (Resolving Interference, 간섭 해결)**라는 새로운 방법을 제안했습니다.

핵심 아이디어: "서로 다른 일을 할 때는 서로 간섭하지 않는 '독립된 공간'을 만들어라"

기존 방법들은 그냥 두 모델을 섞기만 했지만, RI 는 섞기 전에 각 전문가를 **약간만 수정 (적응)**시킵니다.

비유: A 선생님 (고양이) 과 B 선생님 (개) 을 합치기 전에, A 선생님에게 "네가 고양이를 그릴 때는 네 방식대로 하되, 개를 그릴 때는 절대 네 방식이 개 그림에 영향을 주지 않게 해"라고 훈련시킵니다.
방법: 이 훈련을 위해 실제 고양이/개 사진 (태그가 있는 데이터) 이 필요하지 않습니다. 그냥 아무런 라벨이 없는 **일반적인 사진들 (예: ImageNet 의 무작위 사진)**만 있으면 됩니다.
- "이 무작위 사진 앞에서 A 선생님이 고양이 역할을 할 때는 원래처럼 잘하고, B 선생님 역할을 할 때는 원래의 기본 상태 (아무것도 모르는 상태) 를 유지해라"라고 가르치는 것입니다.

이렇게 하면 두 전문가의 지식 공간이 서로 겹치지 않고 **수직 (직교)**하게 분리됩니다. 그 후에 두 모델을 합치면, 서로 간섭하지 않고 각자의 능력을 온전히 발휘할 수 있게 됩니다.

🚀 3. 왜 이 방법이 놀라운가요?

데이터가 없어도 됩니다: 보통 이런 기술을 쓰려면 각 전문가가 배웠던 '고양이 데이터'나 '개 데이터'가 필요했습니다. 하지만 RI 는 라벨이 없는 일반 사진만 있으면 됩니다. 데이터가 귀한 상황에서도 쓸 수 있습니다.
성능이 쑥쑥 올라갑니다: 기존에 가장 잘하던 모델 합치기 기술들보다 최대 3.8% 더 좋은 결과를 냈습니다.
예상치 못한 상황에도 강합니다: 훈련하지 않은 새로운 종류의 동물이나 그림 스타일 (예: 스케치, 만화) 을 봐도 훨씬 잘 대처합니다. (최대 2.3% 향상)
조정이 쉽습니다: 기존 방법들은 '어떤 숫자를 섞을지'를 맞추기 위해 많은 실험이 필요했지만, RI 를 쓰면 그런 복잡한 조정이 거의 필요 없어졌습니다.

📊 4. 요약: RI 가 하는 일

문제: 여러 전문가를 합치면 서로 말려서 엉망이 된다. (간섭)
해결: 섞기 전에, 각 전문가에게 "네 일만 잘하고 남의 일에는 간섭하지 마"라고 라벨 없는 사진으로 훈련시킨다.
결과: 서로 간섭하지 않는 깔끔한 공간이 만들어져, 합친 모델이 훨씬 똑똑해진다.

💡 결론

이 논문은 **"모델을 합칠 때, 그냥 섞지 말고 먼저 서로의 영역을 정리 (Disentangle) 해주는 가벼운 훈련 과정"**을 추가하면, 데이터가 없어도 훨씬 더 강력하고 안정적인 AI 를 만들 수 있다는 것을 증명했습니다.

마치 두 명의 화가를 합칠 때, 서로의 붓질 스타일이 섞여 망가지지 않도록 각자의 작업대를 깔끔하게 정리해 주는 것과 같은 원리입니다.

1. 문제 정의 (Problem)

모델 병합 (Model Merging) 은 각각 다른 작업에 특화된 독립적으로 훈련된 전문가 모델 (Expert Models) 의 파라미터를 직접 결합하여 다중 작업 모델을 생성하는 기술입니다. 최근 연구에서 이 접근법은 주목할 만한 성과를 거두었지만, 작업 간 간섭 (Cross-Task Interference) 이라는 근본적인 한계가 존재합니다.

간섭의 원인: 서로 다른 작업 (예: 고양이 breed 분류 vs 개 breed 분류) 에 대해 독립적으로 학습된 모델의 파라미터를 단순히 결합할 때, 한 작업의 특징이 다른 작업의 특징을 덮어쓰거나 왜곡하는 현상이 발생합니다.
결과: 병합된 모델의 출력 표현 (Output Representation) 이 원래 구성 모델들의 표현에서 벗어나게 되어, 각 개별 작업에서의 성능이 저하됩니다.
기존 방법의 한계:
- 그래디언트 프리 (Gradient-free) 방법: 데이터 없이 파라미터 자체를 조작하여 간섭을 줄이려 하지만, 데이터와의 상호작용을 고려하지 못해 한계가 있습니다.
- 그래디언트 기반 (Gradient-based) 방법: 최적화를 통해 간섭을 줄이려 하지만, 대부분 각 구성 모델의 원본 학습 데이터 (Task Data) 에 접근해야 한다는 전제가 있어, 데이터가 부족하거나 비공개인 현실적인 시나리오에서는 적용이 어렵습니다.

2. 제안 방법: 간섭 해결 (Resolving Interference, RI)

저자들은 라벨이 없는 보조 데이터 (Unlabeled Auxiliary Data) 만을 사용하여 작업별 데이터를 필요로 하지 않는 경량 적응 프레임워크인 RI를 제안합니다.

핵심 아이디어

병합된 모델의 간섭을 최소화하기 위해, 각 전문가 모델의 작업 벡터 (Task Vector) 를 다른 작업의 헤드 (Head) 공간과 기능적으로 직교 (Functionally Orthogonal) 하도록 분리 (Disentangle) 합니다.

수학적 정의 및 목적 함수

간섭 (Cross-Task Interference, $\xi$ ): 병합된 모델과 구성 모델 간의 표현 차이를 측정하는 지표로 정의됩니다.
$\xi = \sum_{i} \mathbb{E}_x [\text{dist}(h_i(f(x|\theta_i)), h_i(f(x|\theta_m)))]$
RI 의 목표 (Eq. 3): 각 작업 벡터 $\tau_i$ $τ_{i}$ 를 $\tau^*_i$ $τ_{i}^{*}$ 로 변환하여 다음 두 조건을 만족하도록 합니다.
1. 작업 보존 (Task-preservation): 해당 작업 데이터 (또는 보조 데이터) 에서는 원래 모델과 동일한 출력을 내야 함.
2. 간섭 감소 (Interference-reduction): 다른 작업의 헤드에서는 사전 학습된 백본 (Pretrained Backbone) 과 동일한 출력 (즉, 변화 없음) 을 내야 함.

손실 함수 (Loss Function)

보조 데이터 $D_{aux}$ 를 사용하여 다음 손실 함수를 최소화합니다.
$L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$

$L_1$ (Task-preservation loss): 현재 작업 헤드에서의 출력 일관성 유지.
$L_2$ (Interference-reduction loss): 다른 모든 작업 헤드에서의 출력 변화 최소화 (사전 학습 모델과 동일하게 유지).
$\alpha$ : 두 목적 간의 균형을 조절하는 하이퍼파라미터 (기본값 1.0).

알고리즘 프로세스

각 전문가 모델의 작업 벡터 $\tau_i$ 를 초기화합니다.
라벨이 없는 보조 데이터 (예: ImageNet) 를 입력으로 사용하여 $L_{RI}$ 를 최소화하는 방향으로 $\tau^*_i$ 를 경사 하강법으로 업데이트합니다.
모든 작업 벡터가 적응 (Adaptation) 된 후, 기존 병합 방법 (예: TIES, Task Arithmetic 등) 을 적용하여 최종 병합 모델 $\theta_m$ 을 생성합니다.

3. 주요 기여 (Key Contributions)

간섭의 형식화 (Formalization): 모델 병합에서의 간섭을 정량화하는 새로운 지표 ( $\xi$ ) 를 정의하고, 이를 줄이는 것이 병합 성능 향상의 핵심임을 이론적으로 증명했습니다.
RI 프레임워크 개발: 작업별 데이터 없이도 라벨 없는 보조 데이터만으로 간섭을 해결하는 경량 적응 방법을 제안했습니다.
실험적 검증: 다양한 모델 규모 (ViT-B/32, ViT-L/14 등) 와 병합 기법 (TIES, WUDI, TSV-M 등) 에서 SOTA 기법 대비 최대 3.8% 의 성능 향상을 달성했습니다.
강건성 분석: RI 를 적용한 모델은 병합 하이퍼파라미터 튜닝에 덜 민감하며, 분포 외 (Out-of-Distribution) 일반화 성능을 최대 2.3% 향상시켰습니다.

4. 실험 결과 (Results)

다중 작업 벤치마크 (8/14/20 Tasks):
- ViT-B/32 모델을 기준으로 Task-Arithmetic(TA) 과 TIES 기법에 RI 를 적용했을 때, 각각 7.4%~9.6% 와 5.6%~9.7% 의 성능 향상을 보였습니다.
- 최신 기법인 TSV-M, KnOTS, Iso-C 등에서도 일관된 성능 개선 (최대 3.8% 향상) 을 확인했습니다.
분포 외 일반화 (DomainNet):
- 보지 못한 도메인 (Clipart, Sketch 등) 에서의 일반화 능력을 평가한 결과, RI 를 적용한 모델은 기존 병합 모델 대비 평균 2.3% 향상된 성능을 보였습니다.
보조 데이터의 영향:
- ImageNet, MSCOCO 등 시각적 다양성이 높은 실제 데이터뿐만 아니라, 합성 데이터 (Gaussian noise, Shapes) 를 사용해도 성능 향상이 관찰되었습니다.
- 단, 작업 데이터 (Oracle) 에 가까울수록 효과가 가장 큽니다.
하이퍼파라미터 민감도:
- RI 를 적용한 모델은 병합 하이퍼파라미터 (스케일링 계수 등) 에 대한 민감도가 현저히 낮아, 검증 데이터 없이 기본값으로도 우수한 성능을 발휘합니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터가 부족한 (Data-scarce) 환경에서도 고품질의 다중 작업 모델을 구축할 수 있는 실용적인 해결책을 제시합니다.

데이터 접근성 해결: 각 구성 모델의 원본 학습 데이터나 라벨된 검증 데이터 없이도, 임의의 라벨 없는 보조 데이터만으로 간섭을 해결할 수 있어 프라이버시 문제나 데이터 부족 문제를 우회합니다.
계산 효율성: 병합 전에 각 모델을 독립적으로 적응시키는 방식 (Embarrassingly Parallel) 으로, 병렬화가 용이하고 메모리 사용량이 일정하게 유지됩니다.
미래 지향성: 모델 병합 연구에서 '간섭'을 정량화하고 최적화하는 새로운 패러다임을 제시하여, 더 강력하고 일반화 능력이 뛰어난 통합 모델 개발의 기반을 마련했습니다.

요약하자면, RI는 모델 병합의 핵심 병목 현상인 '간섭'을 데이터 없이 해결하는 경량 프레임워크로, 기존 SOTA 방법들의 성능을 획기적으로 끌어올리고 일반화 능력을 강화하는 획기적인 기술입니다.