기술 요약: GridProbe

문제 정의

비전 - 언어 모델 (VLM) 에서의 장편 비디오 이해는 현재 단일 모놀리식 순전파에서 수천 프레임을 처리하는 계산 비용에 의해 병목 현상이 발생하고 있습니다. 이 접근법은 시퀀스 길이에 대해 이차적인 어텐션 비용 ($O(N^2)$) 을 초래합니다. 기존 완화 전략은 추론 전에 정보성 있는 프레임의 부분집합 ($M \ll N$) 을 선택하는 것이지만, 현재의 "인코더 공간 선택" 방법들 (예: MDP3, CLIP-matching) 은 보조 비전 - 텍스트 인코더에 의존합니다. 이러한 방법들은 사전 학습의 표현 능력에 제한을 받아, 부정을 포함하는 추론 집약적 쿼리, 프레임 간 카운팅, 그리고 전체적 요약과 같은 작업에서 종종 실패합니다. 또한, 기존 방법들은 일반적으로 정적 프레임 예산 ($M$) 을 강제하여, 지역적 질문에는 계산이 낭비되고 전체적 질문에는 부족해지는 트레이드오프를 만듭니다.

방법론: GridProbe

GridProbe 는 프레임 선택을 인코더 공간에서 VLM 의 자체 답변 공간으로 이동시키는 훈련 없는 사후 탐지 (posterior-probing) 추론 패러다임을 도입합니다. 이 방법은 두 단계로 작동합니다:

1. 그리드 구성 및 중요도 매핑

개별 프레임이나 외부 인코더를 통해 점수를 매기는 대신, GridProbe 는 후보 프레임 풀 ($K^2$개 프레임) 을 개념적인 $K \times K$ 그리드로 간주합니다.

• 탐지 통과 (Probe Passes): 동결된 VLM 이 $2K$개의 경량 통행을 수행합니다: $K$개의 행 통과 (국소 시간적 커버리지) 와 $K$개의 열 통과 (스트라이드된 전역 커버리지). 각 통과는 오직 $K$개의 프레임만 처리합니다.
• 사후 점수 매기기: 각 행 $r$과 열 $c$에 대해, 모델은 부분집합 $S$와 쿼리 $q$가 주어졌을 때 답변 공간 $Y$에서의 피크 사후 확률로 정의된 "탐지 신뢰도" $c(S, q)$를 계산합니다.
• 중요도 맵: 행과 열 신뢰도의 외적 (outer product) 을 통해 쿼리 조건부 중요도 맵 $M$이 생성됩니다: $M[r, c] = c_{row}^r \cdot c_{col}^c$. 이 맵은 VLM 의 내부 증거 수집을 반영하며, 그 완전한 추론 능력을 계승합니다.

2. 모양 적응형 선택

고정된 프레임 예산을 사용하는 대신, GridProbe 는 중요도 맵의 통계적 모양을 기반으로 쿼리별 유효 프레임 수 ($M_{eff}$) 를 도출합니다.

• 분포 모양 통계: 이 방법은 중요도 맵 분포의 절대 왜도 (skewness) 와 초과 첨도 (excess kurtosis) 를 결합한 통계량 $\sigma(M)$을 계산합니다.
  • 양의 왜도 (희소 피크): 소수의 결정적 프레임이 답을 포함함을 나타냅니다.
  • 음의 왜도 (중복): 많은 프레임이 정보성이 있지만 중복됨을 나타냅니다. 소수의 부분집합으로 충분합니다.
  • 거의 균일: 증거가 희소하고 분산되어 있어 전체 커버리지가 필요함을 나타냅니다.
• 적응형 규칙: 폐쇄형 규칙이 $\sigma(M)$을 $M_{eff}$로 매핑합니다. 이를 통해 시스템은 Ground-truth 답변을 관찰하지 않고도 본질적으로 어려운 질문 (균일 맵) 에는 더 많은 계산을 할당하고, 쉽거나 중복된 질문에는 더 적은 계산을 할당할 수 있습니다.

3. 2 단계 추론 파이프라인

1. 1 단계 (탐지): 중요도 맵을 생성하고 $M_{eff}$를 계산하기 위해 $2K$개의 통행을 실행합니다.
2. 2 단계 (집중 통과): 맵에서 상위 $M_{eff}$개의 프레임을 선택하고 최종 답변을 생성하기 위해 단일 풀 - 해상도 순전파를 실행합니다.

주요 기여

1. 사후 탐지 패러다임: GridProbe 는 표준 원샷 순전파를 답변 공간에서 작동하는 자기 탐지 메커니즘으로 대체합니다. 이를 통해 선택 신호가 VLM 의 고유한 추론 능력을 활용하여 인코더 공간 방법들이 놓치는 복잡한 쿼리 (부정, 카운팅) 를 처리할 수 있습니다.
2. 해석 가능한 중요도 맵: 이 방법은 프레임 수준의 쿼리 조건부 중요도 맵을 생성하여 모델의 증거 수집 과정을 노출시키며, 프레임 수준의 해석 가능성을 제공합니다.
3. 모양 기반 적응형 계산: 분포 모양 통계 (왜도와 첨도) 를 활용함으로써 GridProbe 는 정적 프레임 예산을 질문 난이도에 적응하는 동적 $M_{eff}$로 대체하여, 최소한의 정확도 손실로 이차 미만의 어텐션 비용 ($O(N^{1.5})$) 을 달성합니다.
4. 분리된 선택기와 QA: 이 프레임워크는 선택기 (탐지) 와 답변자 (QA) 를 분리할 수 있게 합니다. 작고 효율적인 선택기 (예: 2B) 와 더 강력한 QA 모델 (예: 4B 또는 8B) 을 짝짓는 것은 재학습 없이 모놀리식 베이스라인에 대한 엄격한 파레토 개선을 가져옵니다.

실험 결과

Qwen3-VL 백본 (2B, 4B, 8B) 을 사용하여 Video-MME-v2와 LongVideoBench에서 평가되었습니다:

• 단일 모델 효율성: Video-MME-v2 에서 GridProbe(2B) 는 평균 정확도에서 모놀리식 2B 베이스라인과 1.6 퍼센트 포인트 (pp) 이내로 일치하면서 TFLOPs 를 3.36 배 줄였습니다. LongVideoBench 에서는 베이스라인을 파레토 우위 (Pareto-dominates) 하여, 0.35 배의 계산으로 +0.9 pp의 정확도를 달성했습니다.
• 교차 모델 파레토 우위: 2B 선택기와 8B QA 모델을 사용하는 것은 2B 모놀리식 베이스라인에 비해 Video-MME-v2 에서 +3.56 pp, LongVideoBench 에서 +3.30 pp의 정확도 향상을 달성했으며, 계산 비용은 감소했습니다.
• 선택기 우위: 고정 프레임 예산 ($M=8$) 에서 GridProbe 는 강력한 훈련 없는 선택기인 MDP3 보다 특히 LongVideoBench 에서 (+3.6 pp) 우위를 점하여, 추론 집약적 작업에서 인코더 공간 신호의 실패를 입증했습니다.
• 적응형 계산: 적응형 $M_{eff}$는 본질적인 질문 난이도를 성공적으로 추적합니다. "균일" 영역 (더 어려움) 의 질문은 거의 전체 커버리지를 받는 반면, "왜도" 영역 (더 쉬움) 은 훨씬 적은 프레임을 받습니다. 계산 할당의 변동 계수는 고정 입력 베이스라인보다 44 배 높습니다.

중요성과 주장

이 논문은 GridProbe 가 다음과 같은 방식으로 장편 비디오 추론에 구조적 변화를 제공한다고 주장합니다:

• 적응형 계산과 프레임 선택을 달성하기 위한 재학습 필요성 제거.
• 프레임 선택과 추론 간의 간극 해소: 선택 신호가 모델의 쿼리 답변 능력에 기반하도록 보장.
• 반복적이지 않고 고정된 일정을 가진 적응형 테스트 시간 계산 메커니즘 제공: 다단계 에이전트 기반 추론 시스템의 오케스트레이션 오버헤드 회피.
• 증거의 "모양" (중요도 분포) 이 질문 난이도의 신뢰할 수 있는 대리 변수임을 입증: 동적 자원 할당을 위한 폐쇄형 솔루션 가능.

저자들은 제한 사항으로 탐지 신뢰도 정의에 대한 유한한 답변 공간 (다중 선택) 에 대한 의존성과 선택기와 QA 모델을 분리할 때 발생하는 호스트 메모리 요구 사항 증가를 지적합니다. 향후 작업으로는 오픈 엔디드 QA 로의 일반화와 다양한 비디오 밀도에 대한 모양 통계 정비가 제안됩니다.