기술 요약: 효율적인 MLLM 학습을 위한 DualSpeed

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 거대한 모델 크기와 고해상도 입력으로부터 생성되는 방대한 양의 시각적 토큰으로 인해 학습 효율성 측면에서 심각한 병목 현상에 직면해 있습니다. 기존의 효율적인 학습 방법들은 모델 파라미터나 학습 가능한 파라미터를 줄이는 데 집중하지만, 학습 토큰의 수를 줄이는 잠재력은 간과하는 경우가 많습니다.

시각적 토큰 프루닝(Visual Token Pruning, VTP)은 중복된 시각적 토큰(예: 배경 또는 반복적인 질감)을 제거함으로써 추론 효율성을 높이는 데 효과적임이 입증되었습니다. 그러나 VTP를 학습 단계에 직접 적용하면 심각한 **학습-추론 불일치(training-inference mismatch)**가 발생합니다. 프루닝된 시퀀스로 학습된 모델은 전체(non-pruned) 시각적 시퀀스로 추론할 때 효과적으로 수행하는 데 어려움을 겪습니다. 이러한 격차는 학습 데이터 분포와 추론 데이터 분포 사이의 시퀀스 길이, 정보 밀도 및 공간적 구조의 차이에서 기인합니다. 결과적으로, 학습 중에 단순히 토큰을 프루닝하는 것은 표준 추론 시나리오에서 상당한 성능 저하를 초래합니다.

2. 방법론: DualSpeed

VTP의 효율성을 활용하면서 학습-추론 불일치를 해결하기 위해, 저자들은 MLLM 학습을 위한 fast-slow 프레임워크인 DualSpeed를 제안합니다. 이 프레임워크는 학습 과정 중에 두 가지 서로 다른 모드를 무작위로 전환하며 작동합니다.

A. Fast-Mode (주요 효율성 모드)

• 목표: 시각적 토큰을 줄여 학습 속도를 극대화합니다.
• 메커니나즘: 이 모드는 기존의 VTP 방법을 플러그인으로 통합하여 시각적 토큰 시퀀스를 프루닝합니다.
• 모드 격리기(Mode Isolator): 모델이 프루닝된 입력과 전체 입력을 구분할 수 있도록, 학습 가능한 모드 격리기(길이 $l$의 소프트 프롬프트)를 프루닝된 시각적 시퀀스의 접두사(prefix)로 결합합니다. 이는 LLM이 희소한 입력에 적합한 특정 인지 패턴을 활성화하도록 명시적으로 유도합니다. 전체 시퀀스를 처리할 때는 이 격리기가 비활성화됩니다.
• 학습 목표: 프루닝된 시퀀스(격리기 포함)에 대한 표준 교차 엔트로피(Cross-Entropy) 손실입니다.

B. Slow-Mode (보조 일관성 모드)

• 목표: 전체 시각적 시퀀스로부터 학습함으로써 학습-추론 일관성을 유지합니다.
• 메커니나즘: 모델은 프루닝되지 않은 전체 시각적 시퀀스로 학습됩니다.
• 자기 증류(Self-Distillation): Slow-mode는 더 적은 빈도로 활성화되므로(확률 $r$에 의해 제어됨), 자기 증류를 통해 학습이 강화됩니다. 충분히 학습된 Fast-Mode가 "교사(teacher)" 역할을 하고, Slow-Mode가 "학생(student)" 역할을 합니다. 두 모드는 동일한 모델 파라미터를 공유하지만 입력 시퀀스는 다릅니다. 학생 모델은 자신의 출력 로짓(logits)과 교사 모델의 로짓(프루닝된 시퀀스에서 계산됨) 사이의 쿨백-라이블러(Kullback–Leibler, KL) 발산(divergence)을 최소화합니다.
• 학습 목표: 전체 시퀀스에 대한 교차 엔트로피 손실과 증류 손실의 조합입니다.

C. 전체 학습 전략

프레임워크는 확률 $r$에 따라 배치(batch)당 모드를 전환합니다. LLM 백본이 고정된 단계(예: 사전 학습)에서는 효율성을 더욱 높이기 위해 Fast-Mode만 활성화됩니다. 추론 시에는 모드 격리기 없이 전체 시퀀스(non-pruned)로만 작동하여 성능 저하 없는 성능을 보장합니다.

3. 주요 기여

1. 핵심 과제 식별: 본 논문은 MLLM 학습 시 시각적 토큰 프루닝을 적용하는 데 있어 주요 장벽인 학습-추론 불일치를 식별하고 분석했습니다.
2. DualSpeed 프레임워크: 모드 격리기와 자기 증류를 통해 일관성을 유지하면서 VTP 플러그인을 통합하는 협력적 fast-slow 학습 프레임워크를 제안했습니다.
3. 실증적 검증: 다양한 MLLM 아키텍처와 해상도에 걸쳐 기준 모델 성능의 거의 99%를 유지하면서도 상당한 학습 가속(최대 4.0배)을 달-성함을 입증했습니다.

4. 실험 결과

저자들은 LLaVA-1.5와 LLaVA-NeXT를 대상으로 9개의 대표적인 시각적 이해 벤치마크(예: VQAv2, GQA, MME, MMBench)를 사용하여 DualSpeed를 평가했습니다.

• 학습 가속화:
  • LLaVA-1.5: 전체적으로 2.1배의 학습 가속을 달성했습니다 (사전 학습 단계에서는 5.8배 가속).
  • LLaVA-NeXT: 고해상도 모델에서 시각적 토큰의 비중이 높은 점에 힘입어 전체적으로 4.0배의 학습 가속을 달성했습니다 (사전 학습 단계에서는 5.3배 가속).
• 성능 유지:
  • DualSpeed는 LLaVA-1.5에서 99.61%, LLaVA-NeXT에서 **99.04%**의 기준 모델 성능을 유지했습니다.
  • 반면, 단순한 프루닝 적용(NaivePrune)은 약 95.89%의 성능만을 유지하여 학습-추론 격차의 심각성을 보여주었습니다.
• 격차 해소: 이 프레임워크는 단순 프루닝 방식과의 성능 격차 약 **3.72%**를 성공적으로 메워, 모델의 성능을 전체 학습 기준(full-training baseline) 수준에 가깝게 끌어올렸습니다.
• 중복성 분석: 실험 결과, DualSpeed 프레임워크를 사용하는 경우 성능 저하 없이 최대 **90%**의 시각적 토큰을 학습 중에 프루닝할 수 있음을 나타냈습니다.

5. 의의 및 주장

본 논문은 DualSpeed가 모델의 능력을 희생하지 않으면서 시각적 토큰의 계산 병목 현상을 해결함으로써 MLLM 학습을 확장할 수 있는 새로운 경로를 제공한다고 주장합니다. 이 프레임워크는 프루닝의 효율성 이득을 추론의 일관성 요구 사항과 분리함으로써 다음을 가능하게 합니다:

• 자원 효율성: 학습 시간과 계산 비용의 획기적인 감소.
• 확장성: 고해상도 모델(LLaVA-NeXT와 같은)을 더 실행 가능하게 학습할 수 있는 능력.
• 강건성: 학습 과정에서 두 데이터 분포를 모두 명시적으로 고려하므로, 결과 모델은 일반적인 추론(전체 시퀀스)과 프루닝 추론(프루닝된 시퀀스) 모두에 자연스럽게 호환됩니다.

저자들은 자신들의 접근 방식이 VTP 방법 자체의 구조적 변경을 요구하지 않으며, 기존의 프루닝 기술을 학습 파이프라인에 플러그인으로서 원활하게 통합할 수 있다는 점을 강조합니다.