Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

기술 요약: 2단계 추적 및 RL 검증을 통한 멀티모달 대형 모델 기반의 효율적인 시공간 그라운딩(Spatio-Temporal Grounding)

1. 문제 정의

시공간 비디오 그라운딩(STVG)은 모델이 자연어 쿼리를 시간(이벤트 구간 식별)과 공간(해당 구간 동안 참조된 대상 추적) 모두에서 국지화(localize)하도록 요구합니다. 멀티모달 대형 언어 모델(MLLM)은 강력한 추론 능력을 갖추고 있지만, 이를 긴 비디오에 대해 프레임 단위로 직접 적용하는 것은 계산 비용이 매우 높고 불안정합니다.

식별된 핵심 과제는 다음과 같습니다:

• 계산 비용: 조밀한 프레임 수준 샘플링은 시각적 토큰의 폭발을 초래하여 긴 비디오 처리를 매우 비싸게 만듭니다.
• 불안정성: 조밀한 좌표를 직접 생성하면 모델이 대상의 정체성을 놓치거나, 텍스트로 생성된 박스의 작은 수치적 오류로 인해 흔들리는 궤적(jittery trajectories)을 생성하는 "드리프트(drift)" 현상이 발생할 수 있습니다.
• 감독 불일치(Supervision Mismatch): 표준 지도 미세 조정(SFT)은 시간적 중첩(temporal overlap)이나 공간적 궤적 일관성과 같은 작업 특화 메트릭이 아닌 토큰 가능도(likelihood)를 최적화합니다.

2. 방법론

저자들은 추론 단위를 프레임에서 **초(second)**로 전환하고, 3단계 학습 전략과 강화 학습(RL) 검증을 결합한 실용적인 파이프라인을 제안합니다.

A. 초 단위 공식화 (Second-Level Formulation)
$T$개의 프레임을 처리하는 대신, 비디오를 $K$개의 초 단위 단위($K = \lceil T/F \rceil$)로 변환합니다.

• 입력: 모델은 초 단위로 집계된 비디오 단위를 처리합니다.
• 출력: 모델은 시간적 범위 $[\hat{t}_s, \hat{t}_e]$와 초당 하나의 바운딩 박스로 구성된 압축된 궤적 $\hat{B}$를 예측합니다.
• 스무딩(Smoothing): 추론 시 경계는 유지하면서 연속성을 회복하고 지터를 줄이기 위해 가벼운 초 간 스무딩(inter-second smoothing) 단계를 적용합니다.

B. 3단계 학습 파이프라인
이 방법은 세 단계의 뚜렷한 과정을 통해 학습되는 GLM-V 스타일의 아키텍처를 활용합니다.

1. 지속적 사전 학습 (CPT):

   • 목표: 광범위한 시공간 그라운딩 능력을 구축합니다.
   • 데이터: STVG, 다중 객체 추적(MOT), 단일 객체 추적(SOT) 및 세그멘테이션 데이터의 혼합물입니다.
   • 전략: 초 단위 공식화와 일치하도록 1 FPS로 비디오를 샘플링합니다. 일반적인 비디오 캡셔닝 및 QA 데이터를 포함하여 모델이 좁은 좌표 예측 작업으로 함몰되는 것을 방지하고, 일반적인 대화 및 추론 능력을 보존합니다.

2. 교정된 추론을 통한 지도 미세 조정 (SFT):

   • 목표: 구조화된 대상 선택 및 시간적 추론을 가르칩니다.
   • 데이터: VidSTG 및 HC-STVG에서 추출한 2만 개의 예시입니다.
   • 메커니즘: 고급 MLLM(예: Gemini)이 무엇을 추적할 것인지와 언제 이벤트가 발생하는지에 초점을 맞춘 사고 사슬(CoT) 트레이스를 생성합니다.
   • 교정: 결정적으로, 최종 출력에 포함된 생성된 공간 좌표와 시간적 범위는 정답(ground-truth) 주석으로 교체됩니다. 이는 유용한 의미론적 추론과 신뢰할 수 없는 기하학적 생성을 분리하여, 모델이 기하학적 노이즈 때문에 벌점을 받지 않으면서 올바른 추론 과정을 학습하도록 보장합니다.

3. 검증기를 활용한 강화 학습 (RL):

   • 목표: 그라운딩 품질 메트릭을 직접 최적화합니다.
   • 보상 함수: 검증기는 다음의 가중 합계를 사용하여 예측값을 점수화합니다:
     • tIoU: 시간적 교집합 대비 합집합(예측된 시간 창과 정답 시간 창 사이의 중첩).
     • mvIoU: 움직임 인식 공간 IoU(매칭된 시간적 교집합 구간 동안의 박스 평균 IoU).
   • 최적화: 정책은 비대칭 클리핑이 적용된 GRPO 스타일의 목적 함수를 사용하여 최적화됩니다. 결합된 보상($tIoU + mvIoU$)은$mvIoU$만 사용하는 것보다 더 조밀한 학습 신호를 제공하여, 모델이 궤적을 정교화하기 전에 올-바른 이벤트 창을 먼저 찾도록 돕습니다.

C. 추론
모델은 시간적 범위와 초 단위 궤적을 포함하는 구조화된 답변을 출력합니다. 유효하지 않은 상태는 폐기되며, 초 간 스무딩이 적용됩니다. 출력은 초 단위의 입도를 유지하거나, 벤치마크에서 요구하는 경우 프레임 수준의 박스로 보간될 수 있습니다.

3. 주요 기여

• 초 단위 추적 공식화: 프레임 수준에서 초 단위 단위로 전환함으로써 시퀀스 길이를 크게 줄이고 시각적 토큰 비용을 절감하는 동시에, 스무딩을 통해 이벤트 구조와 궤적 연속성을 유지합니다.
• 교정된 추론 감독: 생성된 CoT 트레이스를 사용하여 의미론적 추론을 활용하되, 생성된 좌표를 정답으로 교체함으로써 모델이 노이즈가 있는 기하학적 감독으로부터 학습하는 것을 방지하는 학습 전략입니다.
• 검증기 기반 RL: $tIoU + mvIoU$에 기반한 검로더를 사용하여 모델의 출력을 토큰 가능도에만 의존하는 대신 STVG 평가 메트릭에 직접 정렬시키는 최적화 단계입니다.
• 효율적인 고성능 모델: 9B 파라미터 규모의 작업 정렬 모델이 훨씬 더 큰 범용 MLLM(예: 397B Qwen3.5)보다 STVG 작업에서 더 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

이 방법은 VidSTG 및 HC-STVG 벤치마크와 일반 비디오 이해를 평가하기 위한 Video-MME-v2에서 평가되었습니다.

• STVG 성능:

  • VidSTG에서 최종 RL 모델은 mtIoU 31.35, mvIoU 23.79를 달성하여 397B 및 1T 파라미터 모델을 포함한 모든 베이스라인을 능가했습니다.
  • HC-STVG에서 모델은 mtIoU 60.04, mvIoU 40.99를 달성하여 역시 거대 범용 모델들을 앞질렀습니다.
  • SFT에서 RL로의 진행 과정은 SFT가 형식을 적응시킨다면, RL은 메트릭 정렬을 크게 개선한다는 것을 보여주었습니다. 결합된 $tIoU + mvIoU$보상은$mvIoU$ 단독 사용보다 더 빠르게 수렴하고 더 나은 결과를 냈습니다.

• 일반 비디오 이해:

  • Video-MME-v2 평가에서 모델은 비선형 추론(12.6 vs 9.4)과 단순 정확도(28.0 vs 23.7) 모두에서 GLM-4.1V-Thinking 베이스라인보다 향상된 성능을 보였으며, 이는 학습 파이프라인이 일반적 추론을 희생하면서 국지화에 과적합되지 않았음을 나타냅니다.

• 절제 연구 (Ablation Studies):

  • FPS 민감도: 1 FPS로 학습했을 때 비용과 시간적 증거 사이의 균형을 맞추어 가장 좋은 결과를 얻었습니다.
  • 보상 설계: 시간적 및 움직임 인식 보상의 조합이 결정적이었습니다. 움직임 인식 보상만 사용할 경우 초기 학습 신호가 약했습니다.

5. 의의 및 주장

본 논문은 MLLM 기반 STVG의 병목 현상이 단순히 모델 규모의 문제가 아니라, 작업의 공식화와 감독 신호의 설계에 있다고 주장합니다. 의미론적 추론을 기하학적 생성으로부터 분리하고 RL을 통해 작업 메트릭에 직접 최적화함으로써, 저자들은 더 작은 전문화된 모델이 거대한 범용 모델보다 긴 비디오 그라운딩에서 더 우수한 성능을 달랄 수 있음을 보여줍니다.

저자들은 이 연구를 MLLM 기반 STVG의 "잃어버린 조각", 즉 긴 비디오를 효율적으로 처리하면서 사용 가능한 안정적인 시공간 그라운딩을 생성하는 실용적인 해결책으로 포지셔닝합니다. 또한, 이 방법이 효과적이지만, 향후 연구를 통해 이러한 추론 능력을 이벤트 파싱 및 상호작용형 비디오 에이전트와 같은 더 넓은 작업으로 확장하거나, 실시간 및 노이즈가 많은 오픈 월드 환경에 적응시킬 수 있다고 언급합니다.