Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

논문 개요

본 논문은 멀티모달 대형 언어 모델 (MLLM) 에서 **비디오 기반 지도 미세 조정 (Video-SFT)**이 모델의 시각적 능력, 특히 공간적 (정적 이미지) 이해와 시간적 (동적 비디오) 이해 사이의 균형에 미치는 영향을 체계적으로 분석합니다. 저자들은 Video-SFT 가 비디오 성능은 향상시키지만, 정적 이미지 벤치마크에서는 성능 저하를 초래하는 '시간적 함정 (Temporal Trap)' 현상을 발견하고, 이를 완화하기 위한 새로운 전략을 제안합니다.

1. 문제 제기 (Problem)

• 배경: 최근 MLLM 은 이미지와 비디오를 통합하여 학습하는 경향이 강해지고 있으며, Video-SFT 는 비디오 이해 능력을 향상시키는 핵심 단계로 널리 사용됩니다.
• 가설의 오류: 기존에는 비디오 이해 능력이 향상되면 정적 이미지 이해 능력도 유지되거나 함께 향상될 것이라고 가정했습니다.
• 실제 문제: 하지만 저자들의 분석에 따르면, Video-SFT 를 수행한 후 모델은 비디오 벤치마크 성능은 향상되지만, 정적 이미지 벤치마크 성능은 오히려 저하되는 상충 관계 (Trade-off) 를 보입니다. 이를 **"시간적 함정 (Temporal Trap)"**이라고 명명했습니다.
• 핵심 질문: 비디오 학습이 왜 공간적 (Spatial) 능력을 해치는지, 그리고 이를 해결할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology)

저자들은 다음과 같은 체계적인 실험 설계와 이론적 분석을 수행했습니다.

• 실험 설계:

  • 모델: Qwen2.5-VL, LLaVA-Next-Video, LLaVA-1.5 등 다양한 아키텍처와 규모 (3B~72B) 의 모델을 사용.
  • 데이터: LLaVA-Next-Video-178k 기반의 2 만 개 비디오 데이터로 Video-SFT 수행.
  • 변수: 프레임 샘플링 수 (8, 16, 32, 64 프레임) 를 조절하여 시간적 예산 (Temporal Budget) 이 성능에 미치는 영향을 분석.
  • 평가: 이미지 벤치마크 (MME, MMStar, MMBench, POPE) 와 비디오 벤치마크 (Video-MME, MVBench 등) 를 동시에 평가.

• 이론적 분석:

  • 공유 파라미터 최적화 하에서 비디오 목적 함수의 기울기 (Gradient) 가 이미지 목적 함수의 기울기와 **부정적 정렬 (Negative Alignment)**될 때, 비디오 학습이 이미지 성능을 저하시킨다는 1 차 및 2 차 조건을 수학적으로 증명했습니다.
  • 프레임 수 (시간적 예산) 가 증가할수록 비디오 특화 적응 (Temporal Specialization) 이 공간적 이점을 압도하여 상충 관계가 심화됨을 보였습니다.

• 제안 전략 (Hybrid-Frame Strategy):

  • 모든 비디오에 동일한 프레임 수를 적용하는 대신, 명령 (Instruction) 에 따라 적응적으로 프레임 수를 할당하는 전략을 개발했습니다.
  • VLM 기반 예측기: Qwen3-VL-8B 등을 사용하여 각 질문의 시간적 복잡도 (사건 지속 시간, 운동 연속성, 인과 관계, 객체 상호작용 등) 를 분석하고, 필요한 최소한의 프레임 수 (8, 16, 32, 64) 를 동적으로 결정합니다.

3. 주요 결과 (Key Results)

• 시간적 함정 (Temporal Trap) 의 확인:

  • 모든 아키텍처와 모델 규모에서 Video-SFT 후 비디오 성능은 향상되었으나, 정적 이미지 성능 (특히 세밀한 지각 능력) 은 저하되었습니다.
  • 모델 규모가 커질수록 (72B) 이 현상이 완화되지만 완전히 사라지지는 않았습니다.
  • 프레임 수의 영향: 학습 프레임 수를 늘릴수록 비디오 성능은 계속 향상되지만, 이미지 성능은 일정 수준 이후 오히려 감소하거나 정체되는 경향을 보였습니다. 이는 불필요한 시간적 정보 (Redundancy) 가 모델의 공간적 표현을 교란시키기 때문입니다.

• Hybrid-Frame 전략의 효과:

  • 제안된 적응형 프레임 할당 전략은 이미지 벤치마크 (MMStar, POPE) 에서 고정 프레임 수 (32, 64 프레임) 로 학습한 모델보다 높은 성능을 기록했습니다.
  • 동시에 비디오 벤치마크에서도 강력한 성능 향상을 유지하여, 이미지와 비디오 간의 상충 관계를 부분적으로 완화했습니다.
  • 이 전략은 Qwen 계열뿐만 아니라 LLaVA-1.5 등 다른 아키텍처에서도 유효함이 입증되었습니다.

4. 주요 기여 (Contributions)

1. 체계적 분석: Video-SFT 가 MLLM 의 이미지 및 비디오 능력을 어떻게 재구성하는지 아키텍처, 규모, 프레임 샘플링 설정을 아우르는 포괄적인 연구를 수행했습니다.
2. '시간적 함정' 발견 및 규명: Video-SFT 하에서 발생하는 일관된 이미지 - 비디오 상충 관계를 발견하고, 이를 시간적 예산 (Temporal Budget) 과 연관 지어 설명했습니다.
3. 이론적 근거 및 해결책: 공유 파라미터 최적화 하에서의 기울기 불일치에 대한 이론적 분석을 제시하고, 이를 완화하기 위한 적응형 프레임 할당 (Adaptive Frame Allocation) 전략을 제안하여 실험적으로 검증했습니다.

5. 의의 및 결론 (Significance)

• MLLM 학습 패러다임의 전환: 단순히 비디오 데이터를 더 많이 학습한다고 해서 모델이 더 좋아지는 것이 아니며, 불필요한 시간적 정보 (Redundancy) 가 공간적 이해를 해칠 수 있음을 경고합니다.
• 효율성과 성능의 균형: 모든 비디오에 고해상도 (고 프레임) 를 적용하는 것은 계산 비용 낭비일 뿐만 아니라 성능 저하의 원인이 될 수 있음을 보여줍니다.
• 미래 방향: 이미지와 비디오의 진정한 시너지를 달성하기 위해서는 과업 (Instruction) 에 맞는 적응적인 시간적 표현 학습이 필수적이며, 이는 차세대 범용 멀티모달 모델 개발의 핵심 과제로 남습니다.

요약: 본 논문은 Video-SFT 가 MLLM 의 정적 이미지 능력을 훼손할 수 있는 '시간적 함정' 현상을 최초로 체계적으로 규명하고, 이를 해결하기 위해 **명령에 기반한 적응형 프레임 할당 전략 (Hybrid-Frame)**을 제안하여 이미지와 비디오 이해 능력을 동시에 최적화하는 길을 제시했습니다.