ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

MLLM 에서 더 적은 토큰으로 더 빠르고 더 잘 학습하는 방법"에 대한 상세한 기술 요약입니다.

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 학습 과정에서 상당한 계산 병목 현상에 직면해 있으며, 이는 주로 입력 시퀀스 길이에 대한 자기 주의 (self-attention) 메커니즘의 2 차 복잡성에서 비롯됩니다. 이 문제는 프레임이 극도로 긴 시퀀스로 토큰화되는 비디오 작업에서 더욱 심화됩니다.

• 기존 방법의 한계: 현재 효율성 전략 (토큰 가지치기, 병합, 압축) 은 주로 정적 또는 사전 점수화된 토큰을 사용하는 추론을 대상으로 합니다. 이들은 학습 단계 동안 동적으로 적응하지 못합니다.
• 학습 비효율성: 표준 학습에서 모델은 토큰이 중복되거나 텍스트만으로 쉽게 예측 가능하든 관계없이, 모든 순방향 및 역방향 전달에서 모든 토큰을 처리합니다. 이는 상당한 계산 자원을 낭비하고 더 긴 컨텍스트와 더 큰 데이터셋으로 확장하는 능력을 제한합니다.
• 격차: 휴리스틱 (예: 무작위 드롭) 에 의존하거나 아키텍처 변경을 도입하지 않고도 학습 중 토큰 중요도를 추정하여 교차 모달 의존성을 포착하는 원칙적이고 적응적인 방법이 부족합니다.

2. 방법론: REGATE

저자들은 REGATE(Reference-Guided Adaptive Token Elision, 참조 기반 적응형 토큰 생략) 를 제안합니다. 이는 중복된 토큰을 건너뛰면서 정보성 있는 토큰을 동적으로 선택함으로써 MLLM 학습을 가속화하도록 설계된 프레임워크입니다.

핵심 아키텍처: Teacher-Student 프레임워크

• Student Model: 학습 중인 MLLM(예: VideoChat2, VideoLLaMA2, InternVL3.5).
• Teacher Model: 학생 모델의 비주얼 인코더와 프로젝터를 제거하여 만든 동결된 텍스트 전용 학생 모델의 LLM 백본 버전입니다.
• 메커니즘: Teacher 는 특정 토큰이 비주얼 컨텍스트에 얼마나 의존하는지 추정하기 위한 참조 전문가 역할을 합니다.

토큰 스코어링 메커니즘

REGATE 는 두 가지 보완적 신호를 기반으로 각 토큰에 대한 통합 난이도 점수 ($d_{b,i}$) 를 계산합니다.

1. Reference Loss ($\ell^{ref}_{b,i}$): Teacher 모델이 시각적 토큰을 플레이스홀더로 대체한 텍스트 컨텍스트만 사용하여 토큰을 예측하려 시도합니다.
   • 낮은 Loss: 토큰이 텍스트만으로 예측 가능함 (중복됨).
   • 높은 Loss: 토큰이 시각적 그라운딩이 필요함 (중요함).
2. Student Historical Difficulty ($m_{s,i}$): 시간에 걸쳐 해당 토큰 위치에서의 학생 모델의 교차 엔트로피 손실에 대한 지수 이동 평균 (EMA) 입니다. 이는 학생이 일관되게 학습하기 어려워하는 토큰을 추적합니다.

결합된 점수는 다음과 같이 공식화됩니다:
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
여기서 $\lambda$는 정적 참조 신호와 동적 학생 학습 신호 사이의 균형을 맞춥니다.

동적 토큰 게이트 및 희소성

• 마스크 생성: 각 배치에 대해, 가장 높은 결합 난이도 점수를 가진 상위 $k$개의 토큰을 선택하여 이진 마스크가 생성됩니다.
• 비주얼 토큰 보존: 난이도 점수와 관계없이 멀티모달 구조를 보존하기 위해 특수 비주얼 토큰 (예: <image>, <video>) 은 항상 유지됩니다.
• 듀얼 사이클 스케줄: 안정성을 보장하기 위해 REGATE 는 결정론적 스케줄을 사용합니다.
  • Warm-up Phase: 모든 사이클의 처음 $F$단계 동안 모든 토큰이 처리됩니다.
  • Sparse Phase: 나머지 단계에서는 고정된 비율 ($p_{sparse}$) 의 토큰만 처리됩니다.
• Sparse Decoder 구현: 트랜스포머 디코더는 활성 (유지된) 토큰에 대해서만 자기 주의 및 피드포워드 네트워크 (FFN) 연산을 수행하도록 수정됩니다. 비활성 토큰은 계산을 우회하지만 그래디언트 흐름 연속성을 유지하기 위해 잔차 연결을 유지합니다. 이는 Flash Attention 마스크를 사용하여 효율적으로 구현됩니다.

3. 주요 기여

1. 적응형 학습 가지치기: 학습 가능한 매개변수를 추가하지 않고 동적으로 시각적으로 필수적인 토큰을 식별하는 MLLM 학습을 위한 최초의 적응형 토큰 가지치기 방법 도입.
2. 모델 독립적 및 아키텍처 프리: REGATE 는 모델 아키텍처를 수정하거나 추가 학습 가능 구성 요소를 요구하지 않고 기존 MLLM(LoRA 또는 전체 파인튜닝을 사용하는 모델 포함) 에 원활하게 통합됩니다.
3. 듀얼 신호 가이드: 텍스트 전용 Teacher 로부터의 정적 교차 모달 참조 손실과 동적 학생 학습 역사를 결합한 새로운 스코어링 메커니즘으로, 시각적으로 중요하고 학습하기 어려운 토큰을 효과적으로 분리합니다.

4. 실험 결과

저자들은 5 개의 이미지 및 8 개의 비디오 벤치마크에 걸쳐 VideoChat2(Mistral-7B), VideoLLaMA2(Qwen2-7B), InternVL3.5(Qwen3-14B) 세 가지 대표적인 MLLM 에서 REGATE 를 평가했습니다.

효율성 향상

• 토큰 감소: REGATE 는 표준 학습에 비해 평균 **38%**의 토큰만으로 최대 정확도를 달성합니다.
• 학습 속도: MVBench 벤치마크에서 기준선의 최대 정확도에 도달하는 시간이 2 배 빨라집니다.
• 자원 절감:
  • VideoLLaMA2: 공격적인 가지치기로 정확도를 유지하면서 학습 시간을 129.6 GPU 시간에서 64.0 GPU 시간으로 단축.
  • InternVL3.5: 토큰 사용량을 41.4% 줄이고 학습 시간을 약 40% 단축하면서도 기준선 정확도를 상회.
  • 메모리: 모든 모델에서 GPU 당 평균 메모리 사용량을 78GB(약 1011%) 감소.

성능 정확도

• 기준선 상회: 확장된 학습을 통해 REGATE 모델은 여러 벤치마크에서 표준 기준선을 일관되게 상회했습니다.
  • 예시: VideoLLaMA2-REGATE 는 41% 적은 토큰을 사용하면서 ScienceQA 정확도를 19.1% 향상시키고 MME 점수를 33.1 점 향상시켰습니다.
  • 예시: InternVL3.5-REGATE 는 훨씬 적은 토큰으로 Video-MME 및 MLVU 벤치마크에서 더 높은 정확도를 달성했습니다.
• 일반화: 이 방법은 다양한 백본 (Mistral, Qwen) 과 학습 전략 (전체 파인튜닝, LoRA) 에서 효과적이었습니다.

5. 중요성 및 결론

REGATE 는 MLLM 확장에서의 중요한 병목 현상인 긴 멀티모달 시퀀스 학습의 계산 비용을 해결합니다.

• 패러다임 전환: 토큰 효율성을 추론 전용 관심사에서 학습 시간 최적화로 전환하여, 가장 정보성 있는 데이터 포인트에 계산을 집중함으로써 모델이 더 잘 (높은 정확도) 그리고 더 빠르게 학습할 수 있음을 입증합니다.
• 실용성: 아키텍처 변경과 추가 학습 가능 매개변수가 필요하지 않으므로, REGATE 는 연구자와 실무자가 제한된 하드웨어에서 더 큰 모델을 학습할 수 있는 즉시 적용 가능한 솔루션을 제공합니다.
• 향후 작업: 저자들은 향후 작업으로 작업 복잡성에 따른 적응형 희소성 스케줄링과 더 복잡한 추론 작업을 위한 더 강력한 Teacher 모델 탐색을 제안합니다.

요약하자면, REGATE 는 MLLM 학습에서 적은 것이 더 많다는 것을 보여줍니다. 지능적으로 중복된 토큰을 건너뛰음으로써 모델은 더 빠르게 수렴하고, 더 적은 메모리를 소비하며, 궁극적으로 우수한 멀티모달 이해를 달성합니다.