LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning

기술 요약: 이벤트 인식 및 시간적 다양성을 위한 학습 가능한 프레임 선택기 (LFS)

문제 제기
현재의 비디오 캡셔닝 모델, 특히 대규모 언어 모델 (LLM) 을 활용하는 모델들은 일반적으로 비디오 프레임을 시각적 토큰으로 변환하여 설명을 생성합니다. 그러나 모든 프레임을 인코딩하는 것은 계산적으로 불가능합니다. 결과적으로 균일 샘플링이 고정된 수의 프레임을 선택하기 위한 기본 전략이 되었습니다. 이는 시간적 커버리지를 보장하지만, 비디오 내의 정보적 이벤트가 고르지 않게 분포되어 있다는 점을 고려하지 못합니다. 균일 샘플링은 종종 짧지만 중요한 동작을 무시하거나 중복된 프레임을 클러스터링하여 최적의 상세한 캡션을 생성하지 못합니다. 기존 쿼리 기반 선택 방법 (예: 비디오 QA 용) 은 상세한 캡셔닝과 같은 쿼리 무관 작업에는 적합하지 않으며, 현재 Top-K 또는 강화 학습 기반 접근법은 이벤트 관련성과 시간적 다양성 사이의 균형을 맞추는 데 어려움을 겪거나 동결된 비디오-LLM 과 통합하기 어렵습니다. furthermore, 저자들은 기존 벤치마크 평가와 비디오 콘텐츠에 대한 인간의 인지적 이해 사이에 상당한 격차가 있음을 확인했습니다.

방법론: 학습 가능한 프레임 선택기 (LFS)
본 논문은 시간적으로 다양하고 이벤트 관련성이 높은 소수의 프레임을 선택하도록 설계된 경량의 플러그 앤 플레이 모듈인 LFS를 제안합니다. LFS 는 하류 언어 모델의 매개변수를 수정하지 않고 작동합니다. 그 아키텍처와 훈련 과정은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 시간적 중요도 모델링 (TSNet):
   고정된 비전 인코더 (Long-CLIP) 로부터의 프레임 임베딩을 given 으로, LFS 는 연속적인 시간적 중요도 필드를 예측하기 위해 시간적 스코어링 네트워크 (TSNet) 를 사용합니다. TSNet 은 지역적 전이를 포착하기 위해 시간적 합성곱을 사용하고, 게이트 조절을 통한 글로벌 요약을 사용하여 특징을 적응적으로 재조정합니다. 이를 통해 모델은 쿼리 무관한 방식으로 프레임 중요도를 스코어링할 수 있습니다.

2. 계층적 Top-K 선택:
   시간적 다양성을 보장하고 클러스터링을 방지하기 위해, LFS 는 추론 중에 계층적 Top-K 전략을 사용합니다. 비디오 타임라인을 $K$개의 동일한 세그먼트로 나누고, 각 세그먼트에서 가장 높은 중요도 스코어를 가진 프레임을 선택합니다. 이는 완전한 시간적 커버리지를 보장합니다. 훈련 중에는 그래디언트 전파를 허용하기 위해 소프트 확률 분포를 사용하며, 하드 계층적 선택은 추론 시에만 적용됩니다.

3. 캡션 유도 최적화:
   프록시 목적 함수를 최적화하는 방법들과 달리, LFS 는 동결된 비디오-LLM (특히 Qwen3-VL-8B) 으로부터의 캡션 피드백을 사용하여 훈련됩니다. 선택기는 생성된 캡션의 품질을 직접 최대화하는 프레임을 선택하도록 학습합니다. 훈련 목적 함수는 다음을 포함합니다:

   • 상대적 캡션 손실: 균일한 기준선과 비교하여 프레임 선택을 캡션 품질과 정렬합니다.
   • $\ell_1$ 정규화: 대표성 있는 프레임에 대한 컴팩트한 프레임 가중치를 장려합니다.
   • 엔트로피 정규화: 훈련 초기 단계에서 탐색을 촉진합니다.

주요 기여

1. LFS 프레임워크: 계층적 선택과 캡션 유도 감독을 통해 이벤트 인식과 시간적 다양성을 명시적으로 균형 있게 조정하는 학습 가능한 프레임 선택기의 제안. 이는 LLM 을 미세 조정하지 않고도 기존 파이프라인에 쉽게 통합되도록 설계되었습니다.
2. ICH-CC 벤치마크: 인간의 인지적 이해를 더 잘 반영하도록 구축된 새로운 벤치마크인 ICH-CC(무형문화유산 요리 캡셔닝) 의 도입. 이는 중국 및 영어 요리 비디오에 대해 신중하게 설계된 질문과 인간이 작성한 캡션을 특징으로 하며, VDC 및 Dream-1K 와 같은 기존 벤치마크에서 발견된 불일치를 해결합니다.
3. 실증적 검증: 여러 백본과 벤치마크에 걸쳐 LFS 가 상세한 비디오 캡셔닝과 하류 제로샷 비디오 질문 응답을 지속적으로 개선한다는 것을 보여주는 광범위한 실험.

실험 결과
저자들은 다양한 비디오-LLM 백본 (예: Qwen3-VL-8B, AuroraCap-7B, Tarsier2-7B) 을 사용하여 ICH-CC, VDC, Dream-1K 세 가지 벤치마크에서 LFS 를 평가했습니다.

• ICH-CC: LFS 는 성능을 크게 향상시켰습니다. Qwen3-VL-8B 의 경우 영어 서브셋에서 정확도가 4.47% 상승했고, 중국어 서브셋에서는 3.14% 상승했습니다. 정성적 분석에 따르면 LFS 는 균일 샘플링이 놓친 짧고 중요한 단계 (예: 삶기, 장식하기) 를 성공적으로 포착했습니다.
• VDC: LFS 는 모든 카테고리에서 일관된 개선을 제공했으며, 특히 "상세한 (Detailed)" 카테고리에서 가장 두드러진 향상 (예: Qwen3-VL-8B 의 경우 정확도 +2.02%) 을 보였습니다.
• Dream-1K: 짧은 비디오 견고성 테스트로서, LFS 는 균일 샘플링과 유사한 성능 (F1 점수 0.40) 을 유지하여 균일 샘플링이 이미 효과적인 짧은 클립에서 성능이 저하되지 않음을 나타냈습니다.
• 제로샷 비디오 QA: LFS 를 통해 생성된 향상된 캡션은 하류 비디오 QA 작업 (예: MVBench 에서 +2.1%) 의 성능 향상을 이끌었으며, 이는 더 나은 프레임 선택이 추론을 위한 더 정보적인 설명을 산출함을 확인시켜 주었습니다.

의의 및 주장
본 논문은 프레임 선택이 상세한 비디오 캡셔닝의 중요한 병목 현상이라고 주장합니다. 이벤트 관련성과 시간적 다양성을 명시적으로 모델링함으로써, LFS 는 대규모 언어 모델의 재훈련 없이 캡션 품질을 향상시키는 효과적이고 통합이 용이한 솔루션을 제공합니다. 저자들은 그들의 접근 방식이 계산적 제약과 세밀하고 시간적으로 일관된 설명에 대한 필요성 사이의 격차를 해소하며, 궁극적으로 비디오 검색 및 멀티모달 QA 와 같은 하류 작업을 지원한다고 강조합니다. 또한, 벤치마크 평가를 인간의 인지적 이해와 정렬시키기 위한 필수 단계로서 ICH-CC 의 도입이 강조됩니다.