Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

기술 요약: 어텐션 기반 MLLM 셀렉터를 이용한 테스트 시 롱 비디오의 효율적인 프레임 선택

문제 정의

멀티모달 거대 언어 모델(MLLM)은 비디오 이해 분야에서 상당한 진전을 보여주었으나, 긴 비디오를 처리할 때 결정적인 병목 현상에 직면해 있다. 즉, 프레임의 양이 현재 아키텍처의 제한된 컨텍스트 윈도우 및 비주얼 토큰 예산을 초과한다는 점이다. 모든 프레임을 인코딩하는 것은 계산적으로 불가능하다. 결과적으로, 이 과제는 쿼리와 관련된 시각적 증거를 검색할 수 있는 압축된 정보 프레임 세트를 선택하는 문제로 귀결된다.

기존 방식들은 의미론적 깊이와 계산 비용 사이의 균형을 맞추는 데 어려움을 겪고 있다:

• 균등 샘플링 (Uniform Sampling): 저렴하지만 "콘텐츠를 인식하지 못하며(content-blind)", 종종 희소하고 결정적인 이벤트를 놓친다.
• CLIP 기반 방식: 쿼리-프레임 유사성을 기준으로 프레임을 독립적으로 점수화하지만, 크로스 프레임 컨텍스트와 강력한 쿼리 조건부 능력이 부족하다.
• MLLM 기반 자기회귀 셀렉터 (Autoregressive Selectors): 깊은 의미론적 추론을 제공하지만, 추가 학습이 필요하며 자기회귀 생성으로 인한 무시할 수 없는 지연 시간을 발생시켜 확장성을 제한한다.

핵심 과제는 모델이 전체 비디오를 먼저 이해하도록 요구하지 않으면서(순환 의존성 문제) 적절한 프레임을 식별하는 것이며, 이를 가볍고 학습이 필요 없는 추론 과정으로 유지하는 것이다.

방법론: DAFS (Dynamic Attention-based Budget-aware Frame Selection)

저자들은 DAFS를 제안한다. 이는 다음과 같은 경험적 관찰을 활용하는 학습이 필요 없는(training-free) 프레임워크이다: 자기회귀 생성이 시작되기 전, 특정 검증된 레이어에서의 MLLM 내 크로스 모달 어텐션은 이미 쿼리와 관련된 비주얼 토큰에 집중되어 있다는 점이다.

1. 어텐션 기반 관련성 점수 산출 (Attention-Based Relevance Scoring)
새로운 셀렉터를 학습시키거나 자기회귀 생성을 사용하는 대신, DAFS는 소규모의 기성(off-the-shelf) MLLM(예: 2B 파라미터 모델)의 크로스 모달 어텐션을 재사용한다.

• 레이어 선택: 경험적 분석을 통해, 저자들은 중간 레이어(예: InternVL3.5-2B의 레이어 12)가 더 깊은 융합으로 인해 시각적 세부 사항이 흐려지기 전, 가장 강력한 프레임 수준의 로컬라이제이션 신호를 제공한다는 것을 확인했다.
• 쿼리 조건부 집계 (Query-Conditioned Aggregation): 이 방법은 선택된 레이어 $\ell^*$로부터 텍스트-투-비전 어텐션 가중치를 추출한다. 프롬프트의 핵심 의도에 집중하기 위해, "중요 토큰" 세트(예: 객관식의 정답 옵션, 개방형 QA의 엔티티 중심 토큰)를 정의한다.
• 점수 산출: 선택된 레이어의 중요 토큰들에 대해 맥스 풀링(max-pooling)을 적용하여 프레임 수준의 돌출도 점수($\phi_j$)를 생성한다. 이를 통해 작은 셀렉터가 자기회귀 디코딩 없이도 더 강력한 "답변자(answerer)" 모델을 위한 프레임을 순위 매길 수 있게 한다.

2. 예산 인식 샘플링 및 토큰 압축 (Budget-Aware Sampling and Token Compression)
셀렉터 자체의 컨텍스트 제약을 처리하기 위해, 프레임워크는 두 가지 메커니즘을 채택한다:

• 희소 시간 샘플링 (Sparse Temporal Sampling): 기본 속도(예: 1 FPS)로 프레임을 추출한 후 비디오 길이에 따라 균등하게 서브샘플링한다.
• 공간적 토큰 압축 (Spatial Token Compression): 각 샘플링된 프레임은 글로벌 비주얼 토큰 예산($B$) 내에 맞추기 위해 중첩되지 않는 평균 풀링(average pooling)을 통해 고정된 수의 비주얼 토큰($P$)으로 압축된다.

3. 정책 보정을 위한 동적 계획법 (Dynamic Programming for Policy Calibration)
후보 풀 크기($F$)와 프레임당 토큰 예산($P$)의 할당은 이산 최적화 문제로 정식화된다.

• 목표: 캘리브레이션 세트에서의 QA 정확도를 극대화한다.
• 제약 조건: 하드 토큰 예산($F \cdot P \le B$), 비디오 길이가 길어질수록 비선형적으로 증가하는 시간 해상도, 그리고 감소하는 공간 해상도를 강제한다.
• 해법: 동적 계획법(DP) 알고리즘을 사용하여 비디오 길이에 따른 최적의 정책 시퀀스 $(F(d), P(d))$를 해결한다. 추론 시, 이 정책은 $O(1)$ 시간에 검색된다.
• 중요한 차이점: 토큰 압축은 오직 셀렉터의 입력에만 적용된다. 백본 답변자에게 전달되는 최종 상위-$K$ 프레임은 원래의 압축되지 않은 해상도로 전달되어, 답변자의 입력 품질 저하를 방지한다.

주요 기여

1. 경량화된 희소 선택 프레임워크: 소규모 MLLM의 크로스 모달 어텐션을 사용하여 쿼리 가이드형 프레임 비교를 수행하는 학습이 필요 없는 셀렉터를 제공하며, 자기회귀 생성이나 모델 재학습의 필요성을 제거한다.
2. 예산 기반 동적 계획법: 엄격한 컨텍스트 제약 하에서 후보 프레임 풀 크기와 프레임당 비주얼 토큰 할당을 공동으로 최적화하여, 시간적 커버리지와 공간적 세부 사항 사이의 균형을 맞추는 새로운 정식화를 제시한다.
3. 일반화 및 효율성: 다양한 백본과 태스크에 걸쳐 이 접근 방식이 균등 샘플링, 휴리스틱 키프레임 추출 및 기존 학습 기반 셀렉터를 능가함을 입증하는 광범의 실험을 수행하였다.

실험 결과

엄격한 32프레임 예산 하에서 Video-MME, LongVideoBench (LVB), MLVU를 통해 평가되었다:

• 성능 향상: DAFS는 Video-MME에서 균등 샘플링 대비 최대 6.4 포인트 향상된 성능을 보였으며(Qwen3-VL-2B를 셀렉터로 사용), 동일한 예산 하에서 기존의 학습 기반 셀렉터(예: ViaRL, K-Frames)를 유의미하게 능가했다.
• 시간적 그라운딩 (Temporal Grounding): 정밀한 증거 세그먼트 검색을 테스트하는 MLVU의 Needle-QA 태스크에서, DAFS는 균등 샘플링 및 다른 방법들과 비교하여 상당한 이득(예: 8개 프레임 사용 시 N-QA에서 +14.4 포인트)을 달了.
• 교차 모델 일반화: 셀렉터는 서로 다른 답변자 백본(LLaVA-Video, InternVL3.5, Qwen2.5-VL)과 태스크 형식(개방형 QA)으로 효과적으로 전이되며, 재학습 없이도 일관되게 성능을 개선한다.
• 효율성: 선택 단계는 학습 기반 자기회귀 셀렉터(8.00초)보다 훨씬 빠르고(0.47초) 메모리 효율적이며, 결과적으로 더 높은 정확도를 달성하면서도 낮은 엔드 투 엔드 지연 시간을 실현한다.

의의 및 주장

본 논문은 DAFS가 MLLM의 크로스 모달 어텐션에 존재하는 내재적 검색 신호를 활용함으로써 "프레임을 선택하기 위해 비디오를 이해해야 한다"는 순환 의존성 문제를 해결한다고 주장한다. 선택 단계와 답변 생성 단계를 분리하고 가벼운 어텐션 기반 점수 산출 메커니즘을 사용함으로써, 이 방법은 계산 효율성을 유지하면서 롱 비디오 이해에서 최첨단 성능을 달성한다. 저자들은 이 접근 방식이 구조적 변경이나 광범한 재학습 없이도 테스트 시점에 입력을 최적화함으로써 기존 MLLM이 롱 비디오를 더 효과적으로 처리할 수 있게 해준다는 점을 강조한다.