🤖 machine learning

Curvature-Guided Mixing for MLLM Adaptation

본 논문은 2차 헤시안 근사(second-order Hessian approximations)를 활용하여 최적의 파라미터 혼합 비율을 분석적으로 도출함으로써, 멀티모달 거대 언어 모델(Multimodal Large Language Models)에서 작업 특화와 일반 지식 유지 사이의 균형을 효과적으로 조절하고 치명적 망각(catastrophic forgetting)을 완화하는 이론적 근거를 갖춘 프레임워크인 곡률 가이드 혼합(Curvature-Guided Mixing, CGM)을 제안한다.

원저자: Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 똑똑한 모델의 "건망증"

당신에게 역사, 과학, 예술, 문학에 대해 모르는 게 없는 아주 박식하고 잘 읽는 사서(사전 학습된 모델)가 있다고 상상해 보세요. 이들은 일반적인 전문가입니다.

이제 당신은 이 사서에게 요리(미세 조정 작업) 분야의 세계적인 전문가가 되도록 훈련시키고 싶습니다. 당신은 그들을 요리 학교로 데려갑니다. 그들은 레시피, 칼질 기술, 맛의 프로필을 놀라울 정도로 잘 배우게 됩니다.

하지만 문제가 하나 있습니다. 졸업할 때쯤 그들은 역사나 과학에 대해 말하는 법을 잊어버렸습니다. 이제 그들은 훌륭한 요리사이지만, 형편없는 사서가 되었습니다. AI의 세계에서는 이를 **파괴적 망각(Catastrophic Forgetting)**이라고 부릅니다. 모델이 새로운 기술은 배우지만, 기존의 일반적인 지식은 잃어버리는 현상입니다.

기존의 해결책: 추측과 무작위성

이전에 과학자들은 이를 해결하기 위해 다음과 같은 방법을 시도했습니다:

블렌딩(Blending): "요리사" 모델과 "사서" 모델을 무작위로 섞는 것입니다. (두 종류의 수프를 섞고 맛이 맞기를 바라는 것과 같습니다.)
휴리스틱(Heuristics): "변화가 가장 적었던 가중치를 유지하라"와 같은 단순한 규칙을 사용하는 것입니다. (마치 "거의 움직이지 않은 것은 건드리지 마라"라고 말하는 것과 같습니다.)

이 논문은 이러한 방식들이 마치 추측하는 것과 같다고 주장합니다. 이 방법들은 왜 그런 방식으로 섞어야 하는지에 대한 탄탄한 수학적 근거가 없으며, 균형을 유지하는 데 자주 실패합니다.

새로운 해결책: 곡률 가이드 혼합 (Curvature-Guided Mixing, CGM)

저자들은 **곡률 가이드 혼합(CGM)**이라는 새로운 방법을 제안합니다. 이를 이해하기 위해 모델의 "지식"을 언덕과 골짜기가 있는 지형(landscape)이라고 상상해 보세요.

골짜기: 골짜기의 바닥은 모델이 실수를 가장 적게 하는 곳(최저 손실 지점)입니다.
모양: 어떤 골짜기는 넓고 평평합니다 (주변을 걸어 다녀도 떨어지지 않습니다). 다른 골짜기는 좁고 날카롭습니다 (칼날처럼 생겨서, 아주 조금만 움직여도 절벽 아래로 떨어집니다).

"곡률"의 비유:
"요리" 지식은 좁고 날카로운 골짜기라고 상상해 보세요. 중심에서 조금만 벗어나도 요리 기술을 즉시 잃게 됩니다.
"일반 지식"은 넓고 평평한 골짜기라고 상상해 보세요. 주변을 조금 움직여도 여전히 역사를 알고 있습니다.

CGM의 작동 방식 ("소프트 믹스"):
두 모델을 맹목적으로 섞는 대신, CGM은 모델의 뇌를 구성하는 모든 조각(모든 파라미터)에 대해 이 골짜기들의 모양을 살펴봅니다.

만약 특정 뇌 조각이 요리에 대해 날카로운 골짜기에 있다면, CGM은 이렇게 말합니다: "이 조각의 요리 버전을 유지하라! 너무 민감해서 변화시키기에 위험하다."
만약 어떤 조각이 역사에 대해서는 날카로운 골짜기에 있지만 요리에 대해서는 평평한 골짜기에 있다면, CGM은 이렇게 말합니다: "역사 버전을 유지하라! 이는 기존 기술에 매우 중요하다."
CGM은 해당 조각의 지형이 얼마나 "날카로운지" 또는 "평평한지"를 바탕으로 모든 뇌 조각에 대한 완벽한 "혼합 비율"을 계산합니다.

이는 **소프트 믹스(Soft Mix)**를 만들어냅니다: 새로운 작업에 필요한 날카로운 기술과 기존 작업에 필요한 평평한 기술을 모두 유지하는 완벽한 조화의 새로운 모델입니다.

"하드 믹스" (CGM†): 외과의사의 접근법

저자들은 때때로 (변할 필요가 없는 부분까지 포함하여) 모든 것을 섞는 것이 위험할 수 있다는 점을 깨달았습니다. 이는 시계를 고치기 위해 모든 톱니바퀴를 갈아내는 것과 같습니다.

그래서 그들은 CGM† (하드 믹스)를 만들었습니다.

전략: 혼합하는 대신, 이것은 외과의사처럼 행동합니다. 이들은 "날카로움" 점수를 보고 결정합니다: "이 특정 부분들에 대해서는 요리 버전을 유지하고, 저 다른 부분들에 대해서는 역사 버전으로 되돌려 놓겠다(revert)."
결과: 이 방법은 모델의 아주 작은, 핵심적인 비율(예: 10%)만을 변경합니다. 나머지 대부분은 원래의 "사서" 상태 그대로 둡니다.

무엇을 발견했는가?

저자들은 이 방법을 LLaVA와 Qwen이라는 두 가지 유명한 AI 모델에 테스트하였으며, 이미지에 대한 질문 답변이나 캡션 작성과 같은 다양한 작업을 수행했습니다.

더 나은 균형: 그들의 방법(CGM 및 CGM†)은 이전 방식들보다 일관되게 더 나은 성과를 보였습니다. 기존의 일반 지식을 잊어버리게 만들지 않으면서도 새로운 작업에 능숙하게 만들었습니다.
효율성: "하드 믹스"(CGM†)는 매우 효율적이었습니다. 그들은 최상의 결과를 얻기 위해 모델 파라미터의 약 **10%**만을 변경하면 된다는 것을 발견했습니다. 나머지 90%는 원래의 똑똑한 모델 상태 그대로 유지되었습니다.
구조: 그들이 모델의 어느 부분이 변했는지 살펴보았을 때, 그것은 무작위가 아니었습니다. 모델은 특정 데이터 그룹(예: 스프레드시트의 특정 열)을 변경했습니다. 이는 "곡률" 수학이 유지하거나 변경해야 할 올바른 구조적 구성 요소를 실제로 찾아냈음을 증명합니다.

요약

CGM을 주방의 온도(곡률)에 따라 수프에 소금을 얼마나 넣을지 정확히 아는 마스터 셰프라고 생각하세요.
**CGM†**를 신체의 나머지 부분을 절개하지 않고도 문제를 해결하기 위해 정확히 어떤 신경 하나를 건드려야 하는지 아는 마스터 외과의사라고 생각하세요.

두 방법 모두 학습 과정의 "모양"을 사용하여, AI가 새로운 것을 배울 때 자신이 누구였는지를 잊지 않도록 보장합니다.

기술 요약: MLLM 적응을 위한 곡률 가이드 혼합 (Curvature-Guided Mixing)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 웹 규모의 사전 학습을 통해 광범위하고 범용적인 지식을 보유하고 있습니다. 그러나 이러한 모델을 미세 조정(fine-tuning)을 통해 특화된 다운스트림 태스크에 적응시킬 때, 모델이 새로운 태스크별 기술을 얻는 대신 기존의 기초적인 범용 능력을 상실하는 파괴적 망각(catastrophic forgetting) 현상이 자주 발생합니다. Spider와 같은 휴리스틱 모델 병합 방식이나 매개변수 효율적 미세 조정(PEFT)과 같은 기존 솔루션들은 종종 일반 지식의 보존과 태스크 적응 사이의 균형을 효과적으로 맞추지 못합니다. 많은 방법론이 탄탄한 이론적 토대 없이 수작업으로 설계된 스코어링 함수에 의존하거나, 사전 학습된 지식의 보존을 간과한 채 오로지 다운스트림 성능만을 최적화하려 합니다.

방법론

저자들은 사전 학습 모델( $w_{pt}$ )과 미세 조정 모델( $w_{ft}$ )의 손실 지형(loss landscape) 기하학을 분석하여 두 모델을 병합하는 이론적으로 근거가 확실한 프레임워크인 **곡률 가이드 혼합(Curvature-Guided Mixing, CGM)**을 제안합니다.

1. 손실 지형 근사 (Loss Landscape Approximation)

이 방법은 두 태스크(사전 학습 $\ell_{pt}$ 및 미세 조정 $\ell_{ft}$ )의 국소적 기하학을 최적 가중치 주변에서의 **2차 테일러 전개(second-order Taylor expansion)**를 사용하여 모델링합니다.

가정: 수렴된 최적점에서의 그래디언트는 0( $\nabla \ell = 0$ )이며, 병합된 솔루션은 공동의 저손실 영역(joint low-loss region) 내에 존재하여 고차항을 무시할 수 있다고 가정합니다.
근사: 손실은 국소 곡률을 포착하는 헤시안 행렬(Hessian matrix)( $H$ )을 포함하는 이차 함수로 근사됩니다. 계산 가능한 복잡도를 보장하기 위해, 이 방법은 헤시안 행렬의 대각 성분(diagonal entries)( $h_{pt}$ 및 $h_{ft}$ )을 활용하여 복잡도를 $O(d^2)$ 에서 $O(d)$ 로 줄입니다.

2. CGM: 소프트 혼합 (Closed-Form Solution)

프레임워크는 두 태스크의 가중 합산 손실을 최소화하는 공동 최적화 목적 함수를 구성합니다. 병합된 가중치를 선형 보간( $w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$ )으로 매개변수화함으로써, 저자들은 각 매개변수에 대한 폐쇄형 최적 혼합 비율(closed-form optimal mixing ratio, $\lambda_i^*$ )을 도출합니다:

$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$

여기서:

$h_{pt,i}$ 와 $h_{ft,i}$ 는 각각 사전 학습 및 미세 조정 태스크의 대각 헤시안 성분(곡률)입니다.
$\alpha$ 는 두 목적 함수 사이의 균형을 맞추는 하이퍼파라미터입니다.
해석: 사전 학습 곡률이 높은 매개변수(일반 태스크를 위한 날카로운 손실 지형)는 사전 학습된 값에 가깝게 유지되며, 미세 조정 곡률이 높은 매개변수는 미세 조정된 값에 가깝게 유지됩니다. 이러한 "소프트 혼합"은 모든 매개변수를 혼합하는 조밀한(dense) 업데이트입니다.

3. CGM†: 하드 혼방 (Sparse Selection)

조밀한 업데이트가 파괴적일 수 있음을 인지하여, 저자들은 문제를 희소 매개변수 선택(sparse parameter selection) 태스크로 재구성한 "하드 혼합" 변형인 **CGM†**를 도입합니다.

메커니즘: 가중치를 혼합하는 대신, 각 매개변수에 대해 미세 조정된 가중치( $w_{ft}$ )를 유지할 것인지 또는 사전 학습된 가중치( $w_{pt}$ )로 되돌릴 것인지에 대한 이진 결정을 내립니다.
스코어링: 매개변수를 순위 매기기 위해 곡률 인식 스코어 $c_i$ 를 도출합니다:
$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$
여기서 $\Delta_i = w_{pt,i} - w_{ft,i}$ 입니다.
선택: $c_i$ 스코어가 가장 낮은 상위 $K\%$ 의 매개변수(일반 지식에는 중요하지만 새로운 태스크에는 덜 중요한 것으로 나타나는 매개변수)를 사전 학습된 값으로 되돌립니다. 이는 암시적인 $L_0$ 제약을 부과하여 최소한의 타겟팅된 수정만을 수행합니다.

주요 기여

이론적으로 근거가 확실한 프레임워크: 본 논문은 휴리스틱 스코어링을 넘어, 2차 손실 지형 정보를 사용하여 공동 최적화 목적 함수로부터 직접 최적의 혼합 규칙을 도출하는 CGM을 소개합니다.
희소 하드 혼합 (CGM†): 병합을 희소 선택 문제로 취급하며, 일반 지식 유지를 위해 가장 중요한 매개변수를 식별하고 되돌리는 새로운 곡률 인식 스코어를 사용하는 견고한 변형 모델입니다.
실증적 검증: LLaVA-1.5-7B 및 Qwen-2.5VL-3B에 대한 다양한 다운스트림 태스크(OKVQA, Flickr30k, LaTeX-OCR) 실험을 통해, CGM과 CGM†가 태스크 특화와 일반 지식 보존 사이의 균형 측면에서 기존 베이스라인(Tailor, DARE, Grafting, Wanda)보다 일관되게 우수한 성능을 보임을 입증했습니다.

실험 결과

성능 지표: 저자들은 Hscore(타겟 태스크 성능과 사전 학습 평균의 조화 평균)와 Avg(산술 평균)를 사용하여 평가합니다.
주요 발견:
- OKVQA에 미세 조정된 LLaVA-1.5에 대해, **CGM†**는 가장 높은 Hscore(62.8)를 달성했으며 높은 Pre-Avg(65.7)를 유지하여, 미세 조정된 모델(Hscore 53.9) 및 다른 병합 베이스라인들을 크게 앞질렀습니다.
- Qwen-2.5VL에 대해, 제안된 방법들은 일관되게 우수한 트레이드오프를 보여주었으며, 종종 일반 벤치마크에서 원래의 사전 학습 성능에 근접하게 회복하면서도 강력한 태스크 특정 점수를 유지했습니다.
- 절제 연구(Ablation Studies): 스코어링 함수에서 미세 조정 곡률이나 사전 학습 곡률 중 하나라도 제거하면 하위 수준의 결과(과적합 또는 과도한 망각)가 나타났으며, 이는 공동 곡률 공식의 필요성을 확인시켜 줍니다.
- 하이퍼파라미터 민감도: 희소도 비율 $K$ 는 견고한 것으로 나타났습니다. 단 10%의 매개변수만 되돌려도 일반 지식이 대부분 보존되었습니다. 균형 계수 $\alpha$ 는 주로 타겟 태스크 성능에 영향을 미쳤으며, 작은 값( $\approx 0.1$ )에서 최적의 균형이 발견되었습니다.
- 선택 구조: 선택 마스크의 시각적 분석 결과, CGM†는 어텐션 레이어에서 일관되고 구조적인 매개변수 그룹(수직 밴드 형태)을 선택하는 반면, Magnitude나 Tailor와 같은 베이스라인은 확산되고 구조화되지 않은 노이즈를 생성함을 보여줍니다.

의의 및 주장

본 논문은 곡률 가이드 혼합이 손실 지형의 기하학을 활용함으로써 MLLM의 파괴적 망각에 대한 원칙적인 솔루션을 제공한다고 주장합니다. 상대적 곡률에 기반하여 혼합 비율을 분석적으로 도출함으로써, 이 방법은 휴리스틱 접근 방식의 함정을 피합니다. 저자들은 본 연구가 2차 정보가 어떻게 효과적으로 활용되어 높은 수준의 전문성과 견고한 기초 범용 지능을 모두 갖춘 모델을 만들 수 있는지를 보여줌으로써, 모델 병합의 새로운 SOTA(State-of-the-Art)를 구축했다고 단언합니다. 또한, 공동 최적화에서 도출된 "소프트 혼합"과 "하드 혼합" 희소 선택이 효과적인 MLLM 적응을 위한 상호 보완적인 전략임을 시사합니다.