Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

기술 요약: 비디오 능동 지각 (VAP)

문제 제기
대형 비전 - 언어 모델 (VLM) 은 비디오 질문 응답 (QA) 과 같은 멀티모달 작업을 발전시켰지만, 장편 비디오에 적용될 때 상당한 장애물에 직면합니다. 저자들은 두 가지 주요 과제를 식별했습니다:

1. 프레임 효과성: 표준 추론은 종종 균일 샘플링 (예: 초당 1 프레임) 에 의존합니다. 이 접근 방식은 모든 비디오 영역을 동등하게 취급하여 관련 없는 프레임을 선택할 수 있고 정보량이 많으며 작업과 관련된 구간을 놓칠 수 있으므로 최적이지 않습니다. 경험적 결과는 균일하게 샘플링된 프레임 수가 증가함에 따라 성능이 종종 정체되거나 심지어 저하됨을 보여줍니다.
2. 프레임 효율성: 긴 비디오를 처리하면 거의 400 만 개의 토큰 (1 시간당) 이 생성되어 자율 주행이나 환자 모니터링과 같은 실제 시나리오에서 VLM 의 실용적 배포를 방해합니다.

기존 솔루션은 종종 반복적 에이전트 기반 추론, 비디오 캡션 생성, 또는 복잡한 데이터 구조 (예: 그래프 또는 트리) 에 의존하는데, 이는 높은 지연 시간을 초래하거나 중간 캡션 모델의 품질에 의존하거나 광범위한 계산 자원을 요구합니다.

방법론: 비디오 능동 지각 (VAP)
이 논문은 장편 비디오 QA 를 위한 프레임 선택의 효과성과 효율성을 모두 향상시키도록 설계된 훈련 없는 추론 시 방법인 **비디오 능동 지각 (VAP)**을 소개합니다. 능동 지각 이론—지능형 에이전트가 정보 획득을 극대화하기 위해 기대와 다른 데이터를 획득한다는 가설—에서 영감을 받아 VAP 는 핵심 프레임 선택을 사전 세계 지식에 의해 안내된 데이터 획득 과정으로 재정의합니다.

이 방법은 VLM 을 미세 조정하지 않고 세 가지 주요 단계로 작동합니다:

1. 사전 세계 지식 생성:

   • VAP 는 사전 세계 지식을 표현하기 위해 경량 사전 훈련된 텍스트 조건부 비디오 생성 모델 (특히 CogVideoX) 을 활용합니다.
   • 시스템은 사용자 질문과 가능한 답변과 함께 균일하게 샘플링된 초기 프레임의 작은 부분 (예: 32 프레임) 을 조건 신호로 받습니다.
   • 3D 인과 VAE 와 프레임 보간 모듈 (RIFE) 을 사용하여 모델은 전체 비디오 역학의 잠재 표현을 생성하며, 초기 맥락과 쿼리에 기반하여 비디오가 어떻게 전개될 것으로 예상되는지 예측합니다.

2. 데이터 획득 (프레임 선택):

   • 시스템은 동일한 3D VAE 인코더를 사용하여 모든 실제 비디오 프레임을 동일한 잠재 공간으로 인코딩합니다.
   • 그런 다음 실제 프레임의 잠재 표현을 생성된 (예상) 프레임과 비교합니다.
   • 선택은 발산에 기반합니다: 실제 비디오 역학이 생성 모델의 예측과 가장 크게 다른 프레임은 "놀라운" 것으로 간주되므로 가장 정보량이 많습니다.
   • 이 방법은 생성된 대응 프레임과 가장 낮은 코사인 유사성을 가진 $n$개의 프레임 (예: 32 개) 을 선택합니다.

3. VLM 추론:

   • 선택된 핵심 프레임은 최종 추론을 수행하기 위해 질문과 답변과 함께 주류 VLM (예: GPT-4o, Gemini 1.5 Pro, LLaVA-OV) 에 입력됩니다.
   • 이 과정은 사용된 특정 VLM 에 무관하며 단일 선택 라운드로 작동하여 반복 루프를 피합니다.

주요 기여

• 훈련 없는 프레임워크: VAP 는 대규모 VLM 의 미세 조정이 필요 없으므로 기존 모델에 즉시 적용 가능합니다.
• 새로운 선택 메커니즘: 캡션이나 반복적 에이전트에 의존하는 이전 방법과 달리 VAP 는 생성 모델을 사용하여 "사전"을 생성하고 기대와 현실 간의 불일치에 기반하여 프레임을 선택합니다.
• 통합 접근법: 복잡한 데이터 구조나 여러 LLM 호출의 필요성을 제거하고 선택 과정을 단일 비교 라운드로 단순화합니다.
• 효율성: 가장 관련성 높은 프레임만 선택함으로써 추론에 필요한 토큰 수를 극적으로 줄입니다.

실험 결과
저자들은 VAP 를 EgoSchema, NExT-QA, ActivityNet-QA, IntentQA, CLEVRER의 다섯 가지 벤치마크 데이터셋에서 평가했습니다.

• 성능: VAP 는 모든 데이터셋에서 최첨단 제로샷 결과를 달성했습니다. 예를 들어, EgoSchema 에서 68.1%, NExT-QA 에서 81.4%, CLEVRER 에서 **40.5%**에 도달했습니다.
• 추론 능력: VAP 는 시간적 및 인과적 추론이 필요한 작업 (예: CLEVRER 의 설명적 및 반사실적 질문) 에서 VideoTree 및 VideoAgent 와 같은 베이스라인을 능가하는 우수한 성능을 보여주었습니다.
• 효율성 향상:
  • VAP 는 표준 베이스라인보다 훨씬 적은 프레임을 사용하여 이러한 결과를 달성했습니다. 예를 들어, EgoSchema 에서 표준 180 프레임(초당 1 프레임) 대비 32 프레임을 사용하여 프레임 효율성에서 5.6 배 향상을 이루었습니다.
  • 지연 시간 비교 (동일 계산 및 동일 정확도) 에서 VAP 는 표준 GPT-4o mini 샘플링보다 낮은 지연 시간으로 더 좋거나 동등한 정확도를 달성했습니다.
• 강건성: 실험은 생성에 사용된 초기 프레임 세트에 대해 방법이 강건하며, 선택된 프레임 수를 32 개 이상으로 늘리는 것은 체감 수익이 감소함을 보여주었습니다.

의의 및 주장
이 논문은 VAP 가 능동 지각 원칙을 활용하여 장편 비디오 이해를 개선하는 경험적 효과성을 입증한다고 주장합니다. 생성 모델을 사용하여 사전 세계 지식을 인코딩하고 이러한 기대와 다른 프레임을 선택함으로써, 이 방법은 복잡한 질문에 답하는 데 중요한 충돌이나 특정 동작과 같은 결정적 순간을 성공적으로 식별합니다.

저자들은 이 접근 방식이 VLM 추론을 위한 더 지능적인 데이터 획득 전략을 제공하며 높은 성능과 계산 효율성 사이의 균형을 맞춘다고 강조합니다. 그들은 확산 모델로부터의 사전 지식 통합이 장편 비디오 QA, 특히 추론이 많은 작업의 프레임 효과성과 효율성을 향상시키는 실현 가능한 길이라고 결론지었습니다. 이 연구는 비디오 생성 모델의 미래 발전이 매우 긴 비디오에 대한 VLM 의 공간 - 시간 추론 능력을 더욱 강화할 수 있음을 시사합니다.