Incentivizing Vision Language Models to Search for Long Video Question Answering

태그.
2. 검색(Searches): <search> 또는 <search subtitle> 도구를 통해 자연어 검색 쿼리를 전달하여 후보 클립을 검색합니다.
3. 관찰(Observes): 검색된 클립으로부터 제한된 프레임 예산(턴당 16프레임)을 수신합니다.
4. 정제(Refines): 최종 답변을 구성하기 전, 검색된 증거를 바탕으로 컨텍스트를 업데이트합니다.

이 시스템은 이중 인덱싱 인프라를 활용합니다:

• 시맨틱 비주얼 인덱스(Semantic Visual Index): 비디오를 8초 단위의 클립으로 분할하고 ViCLIP 인코더를 사용하여 임베딩합니다.
• 자막 인덱스(Subtitle Index): 텍스트 트랜스크립트를 정확한 프레임 윈도우에 매핑하여, 에이전트가 시각적 임베딩이 놓칠 수 있는 특정 발화 대사나 고유 명사를 검색할 수 있도록 합니다.

2.2 VETL: 시공간 논리를 통한 시각적 증거(Visual Evidence via Temporal Logic)

보상 희소성 문제를 해결하기 위해, 저자들은 개방형 자연어와 이산적 시각 검증 사이를 연결하는 뉴로-시ంబ올릭(neuro-symbolic) 파이프라인인 VETL을 제안합니다.

• 명세 생성(Specification Generation): 복잡한 사용자 쿼리는 정식 시공간 논리(Temporal Logic, TL) 명세로 컴파일됩니다. LLM 생성기는 일련의 원자적 시각 프리미티브(예: "여성", "물을 붓다", "딸기를 넣다")에 대한 TL 공식 $\phi$를 제안합니다. 판사(judge) 모델은 엔티티 커버리지와 시간적 충실도를 검증하여 이 명세를 검토합니다.
• 의미론과 시간의 분리(Decoupling Semantics and Time): TL 명세는 시각적 그라운딩 이벤트(프리미티브)와 그들의 시간적 의존성을 분리합니다. 이는 장기 호흡(long-horizon) 질문을 필요한 시각적 요소들의 정확한 체크리스트로 변환합니다.
• 조밀한 보상 신호(Dense Reward Signal): RL 사후 학습(post-training) 동안, 에이전트가 검색한 비디오 컨텍스트는 TL 명세에 따라 평가됩니다. 결정론적 시각 체커(ViCLIP 사용)는 검색된 프레임 내에 특정 프리미티브가 존재하는지 감지합니다. 보상 $R_{VETL}$은 전체 궤적(trajectory) 전체에서 성공적으로 관찰된 필수 프리미티브의 비율로 계산됩니다. 이는 에이전트가 단순히 최종 답을 추측하는 것이 아니라, 특정 증거를 수집하도록 유도하는 조밀하고 단계적인 피드백을 제공합니다.

2.3 강화 학습(Reinforcement Learning)

프레임워크는 사후 학습을 위해 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택합니다. 총 보상은 최종 답변 정확도(Exact Match, $R_{EM}$)와 VETL 증거 보상($R_{VETL}$)의 가중 결합입니다:
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
여기서 $\lambda_1=0.7$ 이고 $\lambda_2=0.3$ 입니다. 이 목적 함수는 모델이 답변하기 전에 컨텍스트를 엄격하게 검증하는 검색 정책을 학습하도록 독려합니다.

3. 주요 기여(Key Contributions)

본 논문은 네 가지 주요 기여를 설명합니다:

1. VSeek 프레임워크: LVQA를 엄격한 타임스탬프 예측 없이 자연어를 주요 검색 인터페이스로 사용하는 능동적, 다회차 발견 프로세스로 변환하는 에이전트 시스템입니다.
2. VETL 파이프라인: 개방형 질문을 검증 가능한 시공간 논리 명세로 변환하여, 컨텍스트 구축을 위한 "시각적 단위 테스트(visual unit tests)"를 효과적으로 생성하는 뉴로-시ంబ올릭 방법론입니다.
3. 검증된 RL 보상: 추출된 시각적 프리미티브를 기준으로 에이전트의 증거 수집 궤적을 점수화하는 새로운 보상 형성 메커니즘으로, 결과 중심의 감독을 넘어 체크 가능한 단계별 피드백을 가능하게 합니다.
4. 경험적 검증: 검증된 컨텍스트 구축을 최적화하는 것이 장기 호흡 에이전트 추론 성능을 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과(Experimental Results)

저자들은 여러 인도메인(LongVideoBench, MLVU, Video-MME) 및 아웃도메인(LVBench, CGBench-mini) 벤치마크에서 VSeek을 평가했습니다.

• 성능 향상: 베이스 모델(Qwen3-VL-4B-Thinking)과 비교했을 때, VSeek 변체들은 상당한 개선을 보였습니다. 구체적으로, VSeek-VETL은 롱 비디오 이해 벤치마크에서 Pass@1 점수를 최대 8%, Pass@4 점수를 15% 향상시켰습니다.
• 보상 효과성: VETL 보상의 도입은 Exact Match 보상만을 사용한 모델(VSeek-EM)에 비해 뚜렷한 우위를 제공했으며, 특히 증거 커버리지가 중요한 인도메인 데이터셋에서 그러했습니다.
• 롱 비디오 강건성: 비디오 지속 시간(예: 10분 이상)이 증가함에 따라, VSeek 변체들은 VideoTree나 Naive RAG와 같은 베이스라인에 비해 더 높은 추론 안정성을 유지했습니다. 특히 VSeek-VETL은 무관한 클립을 초래하기 쉬운 일반적인 쿼리를 피하고 매우 구체적인 검색 키워드를 생성하는 법을 학습했습니다.
• 효율성: VSeek 변체들은 표준 VLM 및 RAG 베이스라인의 고정된 64프레임 예산에 비해 현저히 적은 평균 프레임(약 30~32프레임)을 처리하면서도 최첨단(SOTA) 성능을 달-성했습니다.
• 알고리즘 강건성: 검증된 보상의 이점은 GRPO 및 RLOO 알고리즘 모두에서 일관되게 나타났으나, GSPO에서는 성능 저하가 관찰되었습니다.

5. 의의 및 주장(Significance and Claims)

본 논문은 에이전트형 롱 비디오 QA의 발전 방향이 수학 및 프로그래밍을 위한 LLM 추론의 돌파구와 유사해야 한다고 주장하며, 그곳에서의 진보는 검증 가능한 보상에 의해 촉진되었습니다.

• 수동적 방식에서 능동적 방식으로의 전환: VSeek은 인간이 긴 문서를 읽을 때 무작위 프레임 샘플링에 의존하지 않는다는 점을 인정하며, 패시브하고 균일한 샘플링에서 능동적이고 반복적인 증거 탐색으로 분야를 전환합니다.
• 검증 격차 해소: VETL을 도입함으로써, 저자들은 비디오에 RL을 적용할 때 발생하는 핵심 병목 현상인 컨텍스트 구축을 검증할 수 있는 신호의 부재를 해결했다고 주장합니다. 이를 통해 에이전트가 단순히 '정답'을 맞히는 것이 아니라 '올바른' 시각적 증거를 찾도록 유도하는 학습이 가능해집니다.
• 미래 에이전트를 위한 토대: 저자들은 VSeek과 VETL을 강력한 비디오 에이전트를 위한 기초적인 단계로 설정하며, 검증 가능한 증거 탐색 행동을 명시적으로 최적화하는 것이 롱 비디오 이해를 확장하는 데 필수적이라고 제안합니다.

본 논문은 순차적 검색의 한계나 리트리버의 병목 현상과 같은 과제가 남아있지만, 에이전트형 검색과 뉴로-시ంబ올릭 검증의 결 조합이 복잡한 장기 호흡 비디오 추론 작업을 해결하기 위한 견고한 경로를 제공한다고 결론짓습니다.