MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search

이 논문은 멀티모달 대형 언어 모델의 미세 조정 시 모달리티 간 불균형한 학습 동역학을 해결하고 최적의 성능을 달성하기 위해, 이중 스케일링 법칙을 활용한 적응적 랭크 탐색 프레임워크인 MARS 를 제안합니다.

핵심

MARS: Multimodal 대언어 모델의 '조화로운 춤'을 위한 지능형 리허설

이 논문은 MARS라는 새로운 방법을 소개합니다. MARS 는 "Multimodal Adaptive Rank Search(멀티모달 적응형 랭크 탐색)"의 약자로, 복잡한 인공지능 모델 (MLLM) 을 훈련시킬 때 발생하는 문제를 해결해 줍니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "서로 다른 템포로 뛰는 두 명의 마라톤 선수"

상상해 보세요. **시각 (눈)**을 담당하는 선수와 **언어 (입)**를 담당하는 선수가 한 팀이 되어 마라톤을 뛰고 있습니다. 이 두 선수는 함께 훈련을 해야 최고의 성적을 낼 수 있습니다.

• 기존 방식의 문제점: 보통은 두 선수에게 똑같은 훈련 강도 (LoRA 랭크) 를 주고, "너는 조금 더 빨리 뛰고, 너는 조금 더 천천히 뛰라"고 **학습률 (Learning Rate)**만 조정했습니다.
  • 하지만 이는 마치 "발이 빠른 선수에게 신발을 벗게 하거나, 느린 선수에게 무거운 가방을 메게 하는" 것과 비슷합니다.
  • 결과: 한쪽이 너무 빨리 달리고 다른 쪽이 뒤처지면, 팀 전체의 속도는 느린 선수에 의해 결정됩니다. 더 나쁜 경우, 빠른 선수가 지쳐서 넘어지거나 (과적합), 느린 선수가 따라오지 못해 팀이 흩어지는 (수렴 불균형) 문제가 발생합니다.

2. MARS 의 해결책: "각자의 체력에 맞는 최적의 신발을 찾아주는 스마트 코치"

MARS 는 단순히 "빨리 뛰라/느리게 뛰라"고 지시하는 대신, **각 선수에게 가장 잘 맞는 '신발 크기 (랭크)'**를 자동으로 찾아줍니다.

• 핵심 아이디어: 학습 속도 (학습률) 를 조절하는 것보다, **훈련할 수 있는 능력 (랭크)**을 조절하는 것이 더 근본적인 해결책입니다.
  • 눈이 빠른 선수에게는 조금 더 작은 신발 (적은 랭크) 을 신겨서 안정적으로 뛰게 하고,
  • 언어가 느린 선수에게는 더 큰 신발 (많은 랭크) 을 신겨서 힘을 실어줍니다.
  • 이렇게 하면 두 선수의 달리는 속도가 딱 맞춰져서 (수렴 시간 균형) 함께 최적의 지점에 도달할 수 있습니다.

3. MARS 가 어떻게 작동하나요? "예측 지도"를 이용한 지능형 탐색

그런데 신발 크기를 하나하나 다 맞춰보려면 (모든 조합을 시도해 보면) 시간이 너무 오래 걸립니다. MARS 는 이를 해결하기 위해 **'두 가지 예측 법칙 (Dual Scaling Laws)'**을 사용합니다.

① 첫 번째 법칙: "얼마나 걸릴까?" (수렴 법칙 - Scaling Law-C)

• 비유: "이 신발 크기를 신으면, 이 코스를 완주하는 데 몇 시간이 걸릴까?"를 예측합니다.
• 역할: 시각 선수와 언어 선수의 달리는 속도가 비슷해지도록 신발 크기를 먼저 조정합니다. 한쪽이 너무 앞서거나 뒤처지지 않는 '균형 잡힌 후보군'만 남깁니다.

② 두 번째 법칙: "누가 가장 잘할까?" (성능 법칙 - Scaling Law-P)

• 비유: "속도가 딱 맞는 신발들 중에서, 누가 가장 좋은 기록을 낼까?"를 예측합니다.
• 역할: 앞서 균형이 맞춰진 후보들 중에서 최고의 성적을 낼 수 있는 신발 조합을 최종 선택합니다.

4. 왜 이것이 중요한가요?

• 시간 절약: 기존의 방식은 수많은 조합을 직접 훈련시켜 보며 실패와 성공을 반복해야 했지만 (100 시간 이상), MARS 는 11.5 배 이상 빠른 시간에 최적의 조합을 찾아냅니다.
• 성능 향상: 두 선수의 템포가 맞춰지면, 팀 전체의 기록 (정확도) 이 크게 향상됩니다. 논문에서는 과학 퀴즈 (ScienceQA) 에서 정확도가 12% 이상 향상되었고, 언어 이해도 (Perplexity) 가 크게 개선되었다고 합니다.
• 자동화: 사람이 일일이 "이건 빨라, 저건 느려"라고 수동으로 조정할 필요가 없어졌습니다.

5. 요약: MARS 의 핵심 메시지

MARS 는 **"모든 것을 똑같이 훈련시키는 것은 비효율적이다"**라고 말합니다. 대신, 각 부분 (눈과 언어) 의 특성을 분석하여, 서로의 속도가 딱 맞도록 '훈련 능력 (랭크)'을 자동으로 조절합니다.

마치 오케스트라에서 바이올린과 트럼펫의 소리가 어색하지 않게 조율하는 지휘자처럼, MARS 는 인공지능 모델의 각 부분이 서로 조화롭게 발전하도록 도와주는 스마트한 조율사 역할을 합니다.

이 방법을 통해 우리는 더 빠르고, 더 똑똑하며, 더 안정적인 인공지능을 만들 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경:
멀티모달 대규모 언어 모델 (MLLM) 의 성능을 극대화하기 위해 비전 인코더 (VE), 프로젝터, LLM 백본 등 모든 주요 구성 요소를 미세 조정 (Fine-tuning) 하는 경향이 강화되고 있습니다. 이때 파라미터 효율적인 방법인 LoRA(Low-Rank Adaptation) 가 널리 사용되지만, 기존 연구들은 대부분 모든 모듈에 동일한 LoRA Rank 를 적용하거나, 학습 속도를 조절하기 위해 수동으로 학습률 (Learning Rate) 을 조정하는 방식을 취했습니다.

핵심 문제:

• 불균형한 학습 동역학 (Imbalanced Training Dynamics): 비전 인코더와 LLM 은 사전 학습된 데이터, 파라미터 규모, 도메인 격차 (Domain Gap) 가 서로 다르기 때문에, 동일한 Rank 와 학습률로 학습할 경우 수렴 속도가 크게 달라집니다.
  • VE 가 느린 경우: 비전 인코더가 뒤처지면 LLM 이 잘못된 시각 정보를 학습하게 되어 성능 병목 현상이 발생합니다.
  • LLM 이 느린 경우: LLM 이 비전 정보를 따라가지 못하면 학습 불안정 (Oscillations) 이 발생하여 발산하거나 수렴하지 못합니다.
• 기존 해결책의 한계: 학습률을 수동으로 조정하는 방식은 시행착오 (Trial-and-error) 에 의존하여 비효율적이고, 최적의 조합을 찾기 어렵습니다.

2. 제안 방법론: MARS (Methodology)

저자는 MARS (Multimodal Adaptive Rank Search) 를 제안하여, 모듈 간 학습 동역학을 균형 있게 맞추기 위해 최적의 모듈별 LoRA Rank 쌍을 자동으로 탐색합니다.

핵심 아이디어:
학습률 (Gradient Scaling) 대신 LoRA Rank 를 모듈별 수렴 속도 조절기 (Controller) 로 활용합니다. Rank 가 높을수록 적응 용량이 커져 수렴이 빨라지고, 낮을수록 수렴이 느려지므로, 이를 통해 모듈 간 수렴 시간을 동기화할 수 있습니다.

주요 구성 요소:

1. 이중 스케일링 법칙 (Dual Scaling Laws):
   탐색 공간을 효율적으로 줄이기 위해 두 가지 예측 모델을 도입했습니다.

   • Scaling Law-C (Convergence): 모듈별 수렴에 필요한 학습 단계 (Iteration) 를 예측합니다.
     • 공식: $t_i(r_i, D_f) = k_i \cdot (r_i)^{\gamma_i} \cdot D_f^{\delta_i} + E_i$
     • 데이터 크기 ($D_f$) 가 증가하면 수렴 시간이 길어지고, Rank ($r_i$) 가 증가하면 수렴 시간이 단축됨을 경험적으로 규명했습니다.
   • Scaling Law-P (Performance): 최종 태스크 성능 (Perplexity 또는 Accuracy) 을 예측합니다.
     • 공식: $\hat{L} = A \cdot \frac{1}{(r_{ve})^{\alpha_m} (r_{llm})^{\alpha_l} D_f^{\beta}} + E$
     • VE 와 LLM 의 Rank 조합이 불균형할 경우 성능이 급격히 떨어짐을 발견했습니다.

2. 가이드된 탐색 과정 (Guided Search Process):

   • 1 단계 (Pruning via Convergence Balancing): Scaling Law-C 를 사용하여 비전 인코더와 LLM 의 수렴 시간이 일치하는 ($t_{ve} \approx t_{llm}$) Rank 쌍 후보군만 선별합니다. 이를 통해 탐색 공간을 극적으로 축소합니다.
   • 2 단계 (Selection via Performance Prediction): 선별된 안정적 후보군 중에서 Scaling Law-P 를 통해 예측된 성능이 가장 좋은 Rank 쌍을 최종 선택합니다.

3. Calibration (보정) 단계:
   전체 미세 조정을 시작하기 전에, 소량의 데이터와 몇 가지 대표 Rank 조합으로만 학습을 수행하여 스케일링 법칙의 계수 (Coefficients) 를 빠르게 보정합니다. 이후 이 모델을 기반으로 최적의 Rank 를 계산합니다.

3. 주요 기여 (Key Contributions)

1. 불균형 학습 동역학의 규명 및 해결: MLLM 미세 조정에서 모듈 간 수렴 속도 불일치가 성능 저하의 주원인임을 입증하고, 이를 해결하기 위해 모달리티별 최적 LoRA Rank 쌍을 자동으로 탐색하는 알고리즘 (MARS) 을 제안했습니다.
2. 최초의 이중 스케일링 법칙 제안: MLLM 미세 조정을 위한 성능 예측 (Law-P) 과 모듈별 수렴 시간 예측 (Law-C) 을 결합한 스케일링 법칙을 처음 제안하고 검증했습니다. 이를 통해 무작위 탐색 없이도 최적의 Rank 조합을 찾을 수 있게 되었습니다.
3. 성능 및 효율성 동시 달성:
   • 성능: 기존 방법 대비 ScienceQA 정확도 최대 12.0% 향상, LLaVA Bench Perplexity 13.2% 감소 달성.
   • 효율성: 전체 탐색 및 미세 조정 시간을 평균 11.5 배 단축하여 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 비교 대상: 고정된 Rank 사용, 학습률만 조정 (Differential LR), AdaLoRA, GeoLoRA 등 기존 방법론.
• 주요 벤치마크:
  • Generalist Fine-tuning (LLaVA Bench): MARS 는 모든 모델 (LLaVA-OV-0.5B, 7B, Qwen2.5-VL 등) 에서 가장 낮은 Perplexity 를 기록했습니다. 특히 LLaVA-OV-7B 에서 Perplexity 2.1875 를 기록하여 기존 최선 (2.295) 을 능가했습니다.
  • Specialist Fine-tuning (ScienceQA): MARS 는 LLaVA-OV-7B 모델에서 정확도를 72.26% 에서 74.25% 로 향상시켰습니다.
  • 범용성: MME, MMStar, POPE 등 다양한 멀티모달 벤치마크에서도 AdaLoRA 및 고정 Rank LoRA 보다 우수한 일반화 능력을 보였습니다.
• 효율성: Naive Search(전체 Rank 조합에 대한 완전 탐색) 는 100 시간 이상의 GPU 시간이 소요되지만, MARS 는 보정 단계와 단일 미세 조정으로 이를 11 배 이상 단축했습니다.
• 통계적 유의성: 수렴 시간 격차 (Convergence Gap) 와 Perplexity 간에 강한 양의 상관관계 ($r > 0.86$) 가 있음을 확인하여, 수렴 동기화가 성능 향상의 핵심임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: MLLM 미세 조정에서 단순히 학습률을 조절하는 것을 넘어, Rank 를 모듈별 적응 능력의 조절자로 활용하여 시스템적 균형을 맞추는 새로운 접근법을 제시했습니다.
• 자동화 및 확장성: 수동 시행착오를 제거하고 데이터 기반 예측 모델을 통해 최적의 하이퍼파라미터를 자동 탐색함으로써, 대규모 MLLM 의 효율적인 적응을 가능하게 합니다.
• 환경적/경제적 가치: 불필요한 반복 학습을 줄여 탄소 배출을 감소시키고, 연구 및 개발 주기를 단축하여 MLLM 의 실제 적용을 가속화합니다.

요약하자면, MARS는 멀티모달 모델의 서로 다른 구성 요소 간의 학습 속도 차이를 정량화하고, 이를 LoRA Rank 를 통해 자동으로 조정함으로써 최적의 성능과 효율성을 동시에 달성하는 획기적인 프레임워크입니다.