SMART: Shot-Aware Multimodal Video Moment Retrieval with Audio-Enhanced MLLM

기술 요약: 샷 인지형 멀티모달 오디오 강화 시계열 세그먼트 검색 (SMART)

문제 정의
비디오 모먼트 리트리벌(Video Moment Retrieval, VMR)은 자연어 쿼리에 대응하는 특정 시계열 세그먼트를 정제되지 않은 비디오 내에서 국지화하는 것을 목표로 합니다. 멀티모달 거대 언어 모델(MLLM)은 이 작업을 위한 의미론적 이해를 발전시켜 왔으나, 기존 방식들은 다음과 같은 두 가지 주요 한계점에 직면해 있습니다:

1. 단일 모달 의존성: 대부분의 현재 MLLM 기반 방법론은 시각적 단서에 과도하게 의존하며 오디오 모달리티를 간과합니다. 이는 소리(예: 음성, 사이렌 소리)가 결정적인 증거를 제공하거나 시계열적 모호성을 해결하는 데 중요한 쿼리의 경우 성능을 제한합니다.
2. 긴 시퀀스 처리의 비효율성: MLLM으로 긴 비디오를 처리하는 것은 이차 함수적 자기 주의(quadratic self-attention) 복잡도로 인해 높은 계산 비용을 발생시킵니다. 기존의 압축 전략은 미세한 시계열적 세부 사항을 버리거나 비디오의 고유한 구조를 활용하지 못하여, 중복성을 초래하거나 의미론적 풍부함을 상실하는 경우가 많습니다.

방법론: SMART 프레임워크
저자들은 오디오 단서와 샷 단위의 시계열 구조를 결합하여 활용하도록 설계된 MLLM 기반 프레임워크인 SMART(Shot-aware Multimodal Audio-enhanced Retrieval of Temporal Segments)를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 이중 브랜치 멀티모달 인코딩:

   • 시각 브랜치(Visual Branch): 사전 학습된 EVA-CLIP 인코더를 사용하여 프레임 임베딩을 추출하고, 이를 Q-Former에 의해 정제하여 프레임 수준의 특징을 생성합니다.
   • 오디오 브랜치(Audio Branch): 오디오를 이산적이고 의미론적으로 풍부한 임베딩으로 인코딩하기 위해 음향 토크나이저인 BEATs를 활용합니다.
   • 통합(Integration): 모델은 통합된 멀티모달 프롬프트를 구축합니다. 시각적 특징은 명시적인 시간 토큰과 쌍을 이룹니다. 오디오 특징은 압축된 표현으로 시계열적으로 풀링(pooled)되어, 시각적 토큰과 엄격하게 프레임 단위로 정렬되는 대신 보완적인 컨텍스트로서 결합됩니다. 특수 구분자 토큰은 시각 및 오디오 모달리티를 구별합니다.

2. 샷 인지형 토큰 압축 (Shot-Aware Token Compression, STC):
   긴 시퀀스의 계산 부담을 해결하기 위해, SMART는 시계열적 충실도를 보존하면서 중복성을 줄이는 2단계 압축 전략을 도입합니다:

   • 1단계: 키프레임 식별: 비디오를 TransNetV2를 사용하여 샷 단위로 분할합니다. 각 샷 내에서 프레임은 프레임 간 움직임 크기(패치 단위 차이의 L2 노름)를 기준으로 "키프레임" 또는 "비키프레임"으로 분류됩니다. 역동적인 콘텐츠를 포착하는 키프레임은 전체 프레임 형태로 유지됩니다.
   • 2단계: 샷 내부 토큰 필터링: 비키프레임의 경우, 모델은 Q-Former 출력 내의 토큰 수준 분산을 분석합니다. 역동적인 콘텐츠를 나타내는 토큰(높은 분산)은 유지하고, 정적인 배경이나 중복된 콘텐츠를 나타내는 토큰(낮은 분산)은 제거합니다. 이러한 선택적 압축은 필수적인 시계열적 단서를 제거하지 않으면서 시퀀스 길이를 줄입니다.

3. 프롬프팅 및 출력:
   압축된 멀티모달 시퀀스는 경량화된 LoRA 튜닝 LLM에 입력됩니다. 모델은 중첩된 리스트 형태(예: [[s1, e1], [s2, e2]])로 시작 및 종료 타임스탬프를 생성하도록 프롬프트되어, 필요한 경우 여러 개의 분리된 모먼트를 예측할 수 있게 합니다.

주요 기여

• VMR을 위한 오디오 강화 MLLM: 본 논문은 오디오를 MLLM 파이프라인 내에서 보완적 컨텍스트로 효과적으로 통합하는 프레임워크를 소개하며, 오디오 단서가 특히 소리에 의존하는 쿼리에 대해 시계열적 그라운딩(grounding)을 개선함을 입증했습니다.
• 샷 인지형 토큰 압축: 키프레임과 비키프레임을 구분하는 새로운 압축 전략을 제시합니다. 이는 대표적인 키프레임은 온전히 보존하되 비키프레임만 토큰 분산에 따라 압축함으로써, 효율성과 미세한 시계열적 증거 유지 사이의 균형을 맞춥니다.
• 효율성-효과성 트레이드오프: 이 설계는 시각적 중복성과 계산 부하(메모리 및 지연 시간)를 줄이는 동시에, 전체 시퀀스를 처리하는 베이스라인 모델과 비교하여 검색 정확도를 유지하거나 향상시킵니다.

실험 결과
SMART는 두 가지 벤치마크 데이터셋인 Charades-STA(짧은 비디오)와 QVHighlights(긴 비디오)에서 평가되었습니다.

• 성능 향상: SMART는 LLaVA-MR 및 Mr. BLIP을 포함한 강력한 베이스라인들을 일관되게 능가했습니다.
  • Charades-STA에서, LLaVA-MR 대비 R1@0.5에서 1.61%, **R1@0.7에서 2.59%**의 향상을 달성했으며, 새로운 최고 mIoU인 61.09를 기록했습니다.
  • QVHighlights(테스트 세트)에서, R1@0.5 78.15, R1@0.7 63.16을 달성하여 LLaVA-MR을 각각 1.56% 및 1.68% 차이로 앞질렀습니다.
• 정성적 분석: 사례 연구를 통해 SMART가 오디오 단서(예: 음성 부재 탐지 또는 배경 오디오에서의 특정 위치 언급)를 활용하고 토큰 압축을 통해 샷 수준의 일관성을 유지함으로써, 시각 전용 모델이 놓친 모먼트를 성공적으로 검색함을 보여주었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 오디오 통합과 2단계 STC 전략 모두가 성능에 긍정적으로 기여함을 확인했습니다. 키프레임 선택과 토큰 필터링의 조합이 최상의 결과를 냈으며, 공격적인 토큰 필터링만 단독으로 적용했을 때는 성능 저하가 발생했습니다.

의의 및 주장
본 논문은 SMART가 멀티모달 완결성과 계산 효율성이라는 두 가지 과제를 해결함으로써 긴 비디오 모먼트 리트리벌을 위한 견고한 솔루션을 제공한다고 주장합니다. 오디오 단서를 통합함으로써, 모델은 시각 전용 시스템이 놓치는 부분, 특히 시계열적으로 모호한 쿼리에 대한 증거를 포착할 수 있습니다. 동시에, 샷 인지형 토큰 압축 전략은 밀집된 토큰 입력과 관련된 과도한 메모리 비용 없이 더 긴 비디오 시퀀스를 처리할 수 있게 합니다. 저자들은 SMART가 검색 정확도와 계산 비용 사이에서 유리한 균형을 달ে하는 프레임워크로서, 길고 복잡한 비디오 콘텐츠를 다루는 실제 응용 분야에 적합하다고 위치시킵니다.

인정된 한계점
저자들은 현재 오디오 브랜치가 미세한 오디오-비주얼 정렬보다는 압축된 글로벌 컨텍스트에 의존하고 있어, 미세한 오디오 이벤트 타이밍에 대한 성능이 제한될 수 있음을 언급했습니다. 또한, 압축 전략이 효과적이기는 하나, 공격적인 압축은 매우 역동적인 장면에서 미세한 시각적 세부 사항을 약화시킬 가능성이 있습니다. 상당한 분포 변화(distribution shifts) 또는 오픈 월드 환경에서의 모델 동작은 향후 연구 과제로 남아 있습니다.