💻 computer science

DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

이 논문은 사전 계산된 추론 사전 지식을 기울기 공간에 주입하여 텍스트 전용 LLM 의 추론 능력을 멀티모달 모델로 효율적으로 전이하는 경량 미세 조정 방법인 DRIFT 를 제안하며, 이를 통해 단순한 매개변수 병합의 불안정성을 극복하면서도 훨씬 낮은 계산 비용으로 우수한 성능을 달성합니다.

원저자: Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chao Huang, Zeliang Zhang, Jiang Liu, Ximeng Sun, Jialian Wu, Xiaodong Yu, Ze Wang, Chenliang Xu, Emad Barsoum, Zicheng Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 명의 매우 다른 전문가가 있다고 상상해 보세요:

텍스트 마법사: 복잡한 논리 퍼즐을 풀고 단계별 해법을 작성할 수 있는 천재 수학자이지만, 평생 한 번도 이미지를 본 적이 없습니다.
시각 예술가: 사진을 완벽하게 묘사하고 사물을 식별하며 차트를 이해할 수 있는 재능 있는 예술가이지만, 이미지 속에 숨겨진 수학 문제를 푸는 데는 어려움을 겪습니다.

이 논문의 목표는 시각 예술가를 수년 간의 비싼 교육을 다시 받도록 보내지 않고도 텍스트 마법사처럼 사고하도록 가르치는 것입니다.

문제: "나쁜 결혼" 시도

이전에는 연구자들이 두 전문가를 단순히 그들의 뇌 (컴퓨터 가중치) 를 "병합"하여 결합하려 했습니다. 그들은 "수학 마법사의 뇌 50% 와 예술가의 뇌 50% 를 섞으면 완벽한 수학 - 예술가가 될 것"이라고 생각했습니다.

이 논문은 이를 **순진한 병합 (naive merging)**이라고 부릅니다. 저자들은 이것이 보통 실패한다는 것을 발견했습니다. 마치 제트 엔진을 자전거에 접착제로 붙이려는 것과 같습니다. 때로는 조금 작동하기도 하지만, 종종 자전거를 완전히 망가뜨립니다. "수학" 부분이 "예술" 부분에 의해 혼란을 겪고, "예술" 부분은 보는 법을 잊어버립니다. 그 결과, 이전보다 수학도 더 못하고 시각 인식도 더 못하는 모델이 만들어집니다.

해결책: 나침반인 DRIFT

저자들은 DRIFT(미세 조정용 방향적 추론 주입, Directional Reasoning Injection for Fine-Tuning) 라는 새로운 방법을 제안합니다. 두 뇌를 물리적으로 접착제로 붙이는 대신, 그들은 나침반을 사용합니다.

이 비유가 작동하는 방식은 다음과 같습니다:

차이점 매핑: 먼저 연구자들은 텍스트 마법사와 시각 예술가 사이의 차이를 살펴봅니다. 그들은 "예술가의 사고 방식"에서 "마법사의 사고 방식"을 정확히 가리키는 "벡터"(방향 화살표) 를 계산합니다. 이 화살표는 **추론 사전 (Reasoning Prior)**을 나타냅니다.
훈련 여정: 그들은 시각 예술가를 데리고 소량의 이미지 - 수학 문제 (일반적으로 수백만 개가 필요한 것에 비해 매우 적은 4,000 개의 예시) 로 가르치기 시작합니다.
나침반 안내: 예술가가 배우는 동안 컴퓨터는 예술가의 뇌를 업데이트하는 일반적인 방식을 계산합니다. 하지만 업데이트를 수행하기 전에 **나침반 (추론 사전)**을 살펴봅니다. 그리고 예술가의 학습 방향을 마법사의 사고 방식 쪽으로 부드럽게 밀어줍니다.
- 예술가를 마법사로 강제로 바꾸지는 않습니다.
- 단지 "이 문제를 풀 때, 마법사가 사용하는 이 특정 방향으로 생각해 보라"고 말합니다.

이것이 큰 문제인 이유

속도: AI 에게 추론 능력을 가르치는 전통적인 방법은 막대한 양의 데이터를 필요로 하며 슈퍼컴퓨터 훈련에 며칠에서 몇 주가 걸립니다. DRIFT 는 약 두 시간 만에 이를 수행합니다.
효율성: 거대한 이미지 - 수학 문제 라이브러리가 필요하지 않습니다. "나침반"(미리 계산된 방향) 이 대부분의 무거운 작업을 수행하기 때문에 소량의 고품질 세트만 필요합니다.
안전성: "접착" 방식과 달리 DRIFT 는 예술가의 시각 능력을 망가뜨리지 않습니다. 논문은 이 모델이 이미지 묘사 능력을 잊지 않고 수학 실력이 향상됨을 보여줍니다.

결과

이 "나침반"을 사용하여 훈련을 안내함으로써 시각 예술가는 텍스트 마법사처럼 정보를 논리적으로 연결하는 법을 배웁니다. 이 논문은 이 방법이 모델을 접착제로 붙이려는 시도보다 더 잘 작동하며, 막대한 데이터셋으로 처음부터 훈련하는 것보다 훨씬 빠르고 저렴함을 증명합니다.

간단히 말해: 두 개의 서로 다른 뇌를 하나의 엉망진창 덩어리로 합치도록 강요하는 대신, DRIFT 는 다른 뇌에서 만든 지도를 사용하여 한 뇌를 올바른 방향으로 부드럽게 조종합니다.

다음은 논문 "DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning"에 대한 상세한 기술 요약입니다.

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 지각과 정렬 분야에서 상당한 진전을 이루었지만, 추론 능력(예: 수학 및 논리적 추론) 측면에서는 텍스트 전용 대규모 언어 모델 (LLM) 보다 일관되게 뒤처집니다.

현재의 병목 현상: 이 격차를 해소하기 위해서는 일반적으로 다음이 필요합니다:
1. 대규모 멀티모달 지도 미세 조정 (SFT): 이미지용 고품질 사고 연쇄 (Chain-of-Thought, CoT) 데이터를 수집하는 것은 비용이 많이 들고 노동 집약적입니다.
2. 강화 학습 (RL): 이는 계산 오버헤드와 학습 불안정성을 추가합니다.
모델 병합의 한계: 유망한 대안으로 매개변수 공간 모델 병합(텍스트 전용 추론 전문가와 MLLM 간의 가중치를 보간하는 것) 이 제시됩니다. 그러나 저자들은 단순한 병합이 취약함을 입증했습니다. 이는 종종 추론을 효과적으로 전달하지 못하며, 특히 기반 모델 (예: Qwen 시리즈) 이 서로 다른 매개변수 분포를 가질 때 멀티모달 지각과 정렬을 심각하게 저하시킬 수 있습니다.

2. 방법론: DRIFT

저자들은 모델을 불안정하게 하지 않고 추론 지식을 전달하는 경량화된 기반 기반 방법인 DRIFT(Directional Reasoning Injection for Fine-Tuning) 를 제안합니다.

핵심 개념

매개변수 공간에서 가중치를 직접 보간하는 대신, DRIFT는 기반 공간에서 작동합니다. 이는 텍스트 전용 추론 전문가와 멀티모달 모델 간의 차이를 "추론 방향"(사전 지식) 으로 간주하고, 이를 표준 SFT 중 최적화 궤적을 편향시키는 데 사용합니다.

주요 단계

추론 사전 지식 ( $\Delta$ ) 의 사전 계산:
- 텍스트 전용 추론 모델 ( $\phi_{reason}$ ) 과 대상 멀티모달 모델 ( $\phi_{VL}$ ) 간의 매개변수 차이를 계산합니다:
  $\Delta = \phi_{reason} - \phi_{VL}$
- 이 차이는 추론 관련 모듈 (MLP 프로젝션, 어텐션 프로젝션, 정규화 레이어) 로 제한됩니다.
- $\Delta$ 는 한 번 계산된 후 CPU 에 저장됩니다.
SFT 중 기반 주입:
- 소량의 멀티모달 데이터에 대한 MLLM 의 지도 미세 조정 중 표준 기반 ( $g$ ) 이 수정됩니다.
- 유도된 기반 ( $\tilde{g}$ ) 은 다음과 같이 계산됩니다:
  $\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$
- 스케일링 전략: 논문은 세 가지 변형을 탐구합니다:
  - 절대값: $\Delta$ 를 직접 추가합니다.
  - Grad-Norm: $g$ 의 크기를 유지하면서 업데이트 방향을 $\Delta$ 와 정렬합니다.
  - 적응형 $\alpha$ 를 사용한 Grad-Norm: 현재 기반과 사전 지식 ( $\Delta$ ) 간의 코사인 유사도에 따라 주입 강도를 동적으로 조정합니다.
효율성:
- DRIFT는 추가 학습 가능한 매개변수를 도입하지 않습니다.
- 순전파는 변경하지 않고 역전파 (기반 계산) 만 수정합니다.
- 표준 SFT 나 RL 에 필요한 대규모 데이터셋과 비교하여 소규모 큐레이션 데이터셋 (4K 예시) 만 필요합니다.

3. 주요 기여

병합에 대한 경험적 분석: 저자들은 매개변수 공간 병합이 "공짜 점심"이 아님을 엄격하게 보여줍니다. 이는 모델 계열에 매우 민감하며, 일부 (예: LLaMA/Mistral) 에서는 작동하지만 매개변수 불일치로 인해 다른 모델 (예: Qwen) 에서는 종종 성능을 저하시킵니다.
DRIFT 프레임워크: 가중치 보간이 아닌 기반 안내를 통해 추론 사전 지식을 주입하는 새로운 경량화 방법을 도입하여 멀티모달 정렬을 유지하면서 추론 능력을 향상시킵니다.
효율성과 성능: DRIFT가 학습 집약적인 방법 (SFT + RL) 과 비교할 수 있는 추론 능력을 달성하면서도 데이터와 계산 시간을 수백만 배 줄임(약 2 시간 대 1 일 이상) 을 입증했습니다.

4. 실험 결과

이 방법은 MathVista, MathVision, MathVerse, WeMath, LogicVista를 포함한 벤치마크에서 평가되었습니다.

매개변수 병합 대비: DRIFT는 단순 병합 및 고급 병합 기법 (Task Arithmetic, TIES, DARE) 보다 일관되게 우수한 성과를 냅니다. 병합은 종종 점수를 낮췄습니다 (예: Qwen2.5-VL 의 MathVista 에서 -2.1). 반면 DRIFT는 이를 개선했습니다 (+2.0).
표준 SFT 대비: DRIFT는 동일한 소규모 데이터셋으로 학습된 표준 SFT 보다 우수한 성과를 보여, 추론 사전 지식이 가치 있는 보완 신호를 제공함을 입증했습니다.
학습 집약적 방법 대비: DRIFT는 며칠 간의 학습과 대규모 CoT 데이터셋이 필요한 R1-OneVision 및 X-Reasoner와 같은 무거운 방법과 맞먹거나 능가하는 성과를 내면서, 약 2 시간 만에 4K개의 고품질 예시만으로 완료됩니다.
일반화:
- 지각: RealWorldQA 와 같은 일반 지각을 저하시키기도 하는 표준 SFT 와 달리, DRIFT 는 멀티모달 지각 능력을 유지하거나 약간 향상시켰습니다.
- 강건성: DRIFT 는 표준 SFT 에 비해 노이즈가 있는 데이터에 대한 강건성이 더 뛰어났습니다.
- 일반성: 이 방법은 다양한 백본/전문가 조합 (예: LLaVA + DART, Qwen + DeepSeek-R1) 에서 작동했습니다.

5. 의의

추론의 민주화: DRIFT 는 추론 능력을 갖춘 MLLM 을 만드는 진입 장벽을 낮춥니다. 이는 비용이 많이 들고 대규모인 멀티모달 CoT 데이터 수집과 수일 간의 RL 학습을 불필요하게 합니다.
안정성: 이는 단순한 모델 병합과 관련된 불안정성 문제를 해결하여, MLLM 의 "지각"과 텍스트 전용 전문가의 "추론"을 결합하는 견고한 방법을 제공합니다.
실용성: 이 방법은 기존 SFT 파이프라인 (예: LLaMA-Factory 를 통해) 에 거의 오버헤드 없이 원활하게 통합되어 연구 및 산업 배포 모두에 대해 높은 확장성을 제공합니다.

결론적으로, DRIFT 는 매개변수 공간 병합에 비해 기반 공간 사전 지식이 추론 능력을 전달하는 더 우월한 메커니즘임을 보여주며, 멀티모달 모델의 추론 격차를 해소하는 매우 효율적이고 안정적이며 효과적인 경로를 제시합니다.