기술 요약: CoVER – 긴 비디오 이해를 위한 포괄적 시각적 증거 및 성찰

1. 문제 정의

최근의 비디오 거대 언어 모델(Video-LLMs)은 긴 비디오 이해 분야에서 발전해 왔으나, 추론 작업에서 두 가지 결정적인 한계에 직면해 있습니다:

1. 불완전한 증거 획득: 기존 방식은 흔히 단일 검색 의도(원래의 질문)에 의존하여 시각적 증거를 검색합니다. 이러한 조립 단위(coarse-grained) 접근 방식은 복잡한 추론에 필요한 미세하고 희소하거나 중요한 시각적 단서(예: 특정 객체의 속성, 시간적 순서, 또는 상태 변화)를 놓치는 경우가 빈번합니다.
2. 시각적 검증의 부재: 현재의 모델들은 일반적으로 개방 루프(open-loop) 방식으로 답을 생성합니다. 초안 답안이 생성되면, 해당 답안이 시각적 증거에 의해 뒷받침되는지 확인하거나 새로운 증거가 초기 가설과 모순될 경우 이를 수정하는 과정 없이 프로세스가 종료됩니다. 이는 높은 정답 정확도가 반드시 정확한 증거 근거(evidence grounding)를 의미하지 않는 간극을 초래합니다.

2. 방법론: CoVER 프레임워크

저자들은 CoVER(Comprehensive Visual Evidence and Reflection, 포괄적 시각적 증거 및 성찰)를 제안합니다. 이 프레임워크는 긴 비디오 이해를 답안 중심의 생성에서 증거 중심의 시각적으로 검증 가능한 추론으로 전환하도록 설계되었습니다. CoVER는 두 개의 주요 모듈과 특화된 검색 도구를 포함하는 폐쇄 루프(closed-loop) 프로세스를 통해 작동합니다.

2.1 핵심 구성 요소

• CueZoom (단서 인지형 시각적 증거 줌인 도구):
  텍스트 단서를 기반으로 고해상도 비디오 세그먼트를 찾아내는 검색 메커니즘입니다. 텍s 및 시각적 인코더를 사용하여 비디오 프레임과 텍스트 단서(질문, 의사 쿼리, 또는 답변 단서) 사이의 관련성 점수를 계산합니다. 안정성을 보장하기 위해 **라플라시안 시간 평활화(Laplacian Temporal Smoothing, LTS)**를 적용하여 노이즈가 섞인 피크를 필터링하고 인접한 프레임들을 일관된 증거 클립으로 병합합니다.

• 질의 확장 시각적 증거 (Query-Expanded Visual Evidence, QVE):
  불완전한 증거 획득 문제를 해결하기 위해, CoVER는 원래의 질문과 전역 비디오 관찰로부터 의사 쿼리(pseudo-queries)($P$)를 생성합니다. 이 의사 쿼리는 추론 요구 사항을 다양하고 관찰 가능한 시각적 단서(예: "얼음이 들어있는 음료가 있는가?")로 분해합니다. 모델은 원래의 질문과 이러한 의사 쿼리를 결합하여, 초안 답안 생성을 위한 포괄적이고 작업 관련성이 높은 줌인 클립을 검색합니다.

• 답변 단서 유도 성찰 (Answer-Clue Guided Reflection, AGR):
  검증의 부재를 해결하기 위해 CoVER는 성찰 단계를 도입합니다. 초안 답안을 생성한 후, 모델은 답변 특화 시각적 단서(답이 맞다면 반드시 성립해야 하는 검증 가능한 조건)를 도출합니다. 이 단서는 특정 검증 증거를 검색하는 데 사용됩니다. 모델은 이후 초안 답안을 이 새로운 증거와 비교합니다. 만약 증거가 초안과 모순된다면 답안을 수정하고, 그렇지 않으면 그대로 유지합니다.

2.2 학습 파이프라인

CoVER는 2단계 지도 미세 조정(SFT)에 이은 강화 학습(RL)을 채택합니다:

1. 1단계 (QVE SFT): 확장된 증거를 사용하여 신뢰할 수 있는 초안 답안을 생성하도록 모델을 학습시킵니다. 모델은 전역 관찰이 불충분할 때 의사 쿼리와 함께 줌인 도구를 호출하는 적응형 정책을 학습합니다.
2. 2단계 (AGR SFT): 답변 특화 단서를 사용하여 초안 답안을 검증하도록 모델을 학습시킵니다. 손실 함수는 잘못된 초안 답안에 해당하는 토큰을 마스킹하여 모델이 오류가 있는 중간 단계로부터 학습하는 것을 방지하며, 검증 추론 및 최종 답안 생성에 집중하도록 감독합니다.
3. 강화 학습 (GRPO): 모델은 다음의 복합 보상 함수를 사용하는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 추가로 최적화됩니다:
   • 정답 보상(Answer Reward): 정확한 최종 예측을 장려합니다.
   • 검증 보상(Verification Reward): 올바른 초안을 틀린 최종 답안으로 수정하는 것을 방지하고, 증거에 기반한 일관된 전환에 보상을 줍니다.
   • 형식 보상(Format Reward): 구조화된 출력 형식 준수를 보장합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• Video-LLM 최초의 시각적 피드백 성찰: CoVER는 시각적 피드백 성찰을 Video-LLM 추론에 통합하여, 추론 프로세스를 개방 루프에서 폐쇄 루프로 변환한 최초의 프레임워크입니다.
• 이중 모듈 프레임워크: 질의 확장 시각적 증거(다양한 의사 쿼리를 통해 "더 많이 보기")와 답변 단서 유도 성찰(시각적 검증을 통해 "더 깊이 생각하기")을 결합한 통합된 접근 방식을 제안합니다.
• 증거 중심 추론: 프레임워크는 언어적 사전 지식에 기반한 생성에서 포괄적이고 검증 가능한 시각적 증거에 기반한 추론으로 패러다임을 전환합니다.

4. 실험 결과

실험은 MLVU, Video-MME, LongVideoBench, LVBench의 네 가지 주요 롱 비디오 벤치마크에서 수행되었습니다. 베이스 모델로는 Qwen2.5-VL-7B가 사용되었습니다.

• 성능 향상: CoVER-7B는 베이스라인인 Qwen2.5-VL-7B를 크게 상회하였으며, MLVU에서 +3.9%, Video-MME에서 +0.7%, Video-MME-Long에서 +1.1%, LongVideoBench에서 +2.3%, LVBench에서 **+4.6%**의 성능 향상을 달升했습니다.
• SOTA와의 비교: CoVER는 동등한 파라미터 규모(7B)에도 불구하고, 주요 지표에서 최신 오픈 소스 추론 모델(예: Video-MTR, Conan)을 능가했으며 심지어 일부 폐쇄형 모델보다도 높은 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 1단계 또는 2단계 SFT를 제거하면 성능 저하가 발생하여, 증거 획득과 검증 학습 모두의 필요성을 확인했습니다.
  • 강화 학습(RL)을 제거하면 특히 MLVU와 LVBench에서 상당한 성능 하락이 발생하여, 증거 기반 추론을 최적화하는 데 있어 RL의 역할을 입증했습니다.
  • QVE 또는 AGR 모듈 중 하나라도 제거하면 모든 벤치마크에서 일관되게 성능이 저하되었으며, 이는 두 구성 요소가 모두 필수적임을 보여줍니다.

5. 의의 및 주장

본 논문은 CoVER가 롱 비디오 이해에서의 근본적인 과제인 증거 근거(evidence grounding) 문제를 해결한다고 주장합니다. 시각적으로 두드러지는 부분적 단서나 언어적 사전 지식에 대한 의존에서 벗어남으로써, CoVER는 모델이 다음을 수행할 수 있게 합니다:

1. 희소한 증거 위치 파악: 쿼리 확장을 통해 미세한 시각적 사실을 동적으로 수집합니다.
2. 추론 검증: 시각적 피드백을 사용하여 초안 답안을 검증하고 수정함으로써, 최종 출력이 비디오 콘텐츠에 의해 뒷받침되도록 보장합니다.

저자들은 포괄적인 증거 획득과 시각적 피드백 성찰이 신뢰할 수 있는 롱 비디오 추론에 필수적이며, 모델 규모를 반드시 키우지 않고도 더 강력한 Video-LLM으로 나아가는 경로를 제공한다고 결론짓습니다.

6. 한계점

저자들은 몇 가지 한계점을 인정합니다:

• 쿼리 품질에 대한 의존성: 효과성은 생성된 의사 쿼리와 답변 단서의 품질에 달려 있습니다. 모호한 쿼리는 오도하는 증거를 검색할 수 있습니다.
• 초기 답안 편향: 성찰이 초기 초안을 조건으로 하기 때문에, 잘못된 초기 예측은 편향된 검증 단서로 이어질 수 있습니다.
• 계산 오버헤드: 줌인 검색 프로세스는 균등 샘플링에 비해 추가적인 계산을 유발합니다.
• 전역적 이해: 본 프레임워크는 국소적인 시각적 증거보다는 전체적인 비디오 이해를 요구하는 질문에는 덜 효과적일 수 있습니다.