기술 요약: VideoSEAL

문제: 에이전트 기반 장편 영상 이해에서의 증거 불일치

장편 영상 이해 (LVU) 는 독특한 과제를 제시합니다. 관련 시각적 증거는 종종 고도로 중복된 콘텐츠 내에서 희소하고 시간적으로 분산되어 있기 때문입니다. 현재의 멀티모달 대규모 언어 모델 (MLLM) 은 단편 영상 추론에 뛰어나지만, 이를 장편 영상으로 확장하려면 타임라인을 탐색하고 증거를 검색하기 위해 반복적인 에이전트 상호작용이 필요합니다.

저자들은 기존 에이전트 기반 LVU 시스템에서 증거 불일치라는 치명적인 실패 모드를 식별했습니다. 이 체계 하에서 에이전트는 검색되거나 검사된 증거에 실제로 지지되지 않는 정답을 생성합니다. 본 논문은 이를 "정답이지만 근거가 없는 (correct but ungrounded)" 상태로 공식화하며, 여기서 에이전트는 결과의 정확성 ($C=1$) 을 달성하지만 추적 가능한 근거성 ($G=0$) 을 결여합니다. 이 현상은 두 가지 체계적 압력에 의해 주도됩니다:

1. 프롬프트 압력 (추론 시): 상호작용 흔적이 길어지고 노이즈가 증가함에 따라, 플래너는 증거를 신뢰성 있게 위치시키지 않고도 결단력 있게 행동하도록 유도받습니다. 이는 행동이 "증거 탐색"에서 "증거 맞추기"로 전환되게 하여, 에이전트가 불확실성을 해결하기 위해 매개변수 사전 지식이나 그럴듯한 템플릿에 의존하게 만들고, 이로 인해 의미적 할루시네이션이 발생합니다.
2. 보상 압력 (학습 시): LVU 를 위한 표준 강화 학습 (RL) 은 종종 정밀한 시간적 근거 레이블의 부족으로 인해 최종 정답의 정확성만 평가하는 결과 중심 보상을 사용합니다. 이는 에이전트가 엄격한 증거 검증을 수행하기보다 추측적 완성이나 단축 행동을 통해 보상을 극대화하도록 장려하여, 정확성과 근거성 간의 격차를 확대합니다.

저자들은 이러한 압력의 근본 원인이 결합된 에이전트 패러다임에 있다고 주장합니다. 여기서 단일 모놀리식 모델이 동일한 공유 컨텍스트 내에서 장거리 계획 (검색) 과 정답 생성 (권위) 을 모두 담당합니다.

방법론: 분리된 플래너 - 검사관 프레임워크

증거 불일치를 해결하기 위해 VideoSEAL 은 구조적 해결책을 제안합니다: 장거리 계획과 정답 권위의 분리. 이 프레임워크는 두 가지 명확한 개체를 도입합니다:

1. 플래너: 오직 증거 탐색을 담당하는 언어 모델 정책입니다. 플래너는 영상 타임라인을 탐색하고, 쿼리를 수립하며, 도구 (오프라인 인덱싱, 검색, 시각적 검사) 를 사용하여 후보 시간 구간을 검색합니다. 결정적으로 플래너는 최종 정답을 생성하지 않으며, 컨텍스트 포화를 피하기 위해 희소하고 구조화된 검색 메모리를 유지합니다.
2. 검사관: 독점적인 정답 권한을 보유하는 고정된 MLLM 입니다. 검사관은 플래너가 제출한 후보 영상 증거를 수신하고 픽셀 수준의 검증을 수행합니다. 검사관은 이진 충분성 판정 ($z_t \in \{0, 1\}$) 을 출력합니다:
   • $z_t=1$인 경우, 증거가 충분하다고 간주되어 검사관이 최종 정답을 생성합니다.
   • $z_t=0$인 경우, 검사관은 누락된 증거에 대한 피드백과 함께 "더 검색하라 (SEARCH MORE)" 신호를 반환하여 플래너가 검색을 계속하도록 강제합니다.

주요 기술 구성 요소:

• 도구 인터페이스: 시스템은 VisualRetrieve(미리 계산된 캡션/임베딩에 대한 의미 검색) 와 VisualInspect(특정 구간의 픽셀 수준 검증) 를 활용합니다.
• 학습: 플래너는 그룹 상대 정책 최적화 (GRPO) 를 통해 최적화되는 반면, 검사관은 고정된 상태로 유지됩니다. 보상 설계에는 접근된 구간과 기준 진실 (ground-truth) 증거 간의 시간적 중첩에 따라 스케일링되는 증거 게이트형 종단 보상이 포함되어, 시각적 백본의 전체 재학습 없이 정렬을 장려합니다.
• 모듈성: 아키텍처는 "플러그 앤 플레이" 업그레이드를 지원합니다. 플래너를 재학습하지 않고 추론 시 검사관을 더 강력한 MLLM 으로 교체하여 검증 충실도를 높일 수 있습니다.

주요 기여

1. 증거 불일치 진단: 본 논문은 불일치를 정량화하기 위한 두 가지 보완적 진단을 도입합니다:
   • 시간적 근거성 ($G_t$): 에이전트가 관련 시간 영역에 접근하는지 여부를 측정합니다 (시간적 IoU 사용).
   • 의미적 근거성 ($G_s$): LLM 판정기를 사용하여 최종 정답이 흔적 내 도구 출력에 의해 논리적으로 지지되는지 검증합니다.
     이러한 진단은 "정답이지만 근거가 없는" 체계를 드러내고 "시간적 할루시네이션율 ($H_t$)"과 "의미적 할루시네이션율 ($H_s$)"을 정량화합니다.
2. 분리된 플래너 - 검사관 프레임워크: 증거 탐색과 정답 생성을 분리하는 새로운 아키텍처입니다. 픽셀 수준 검증을 기반으로 최종 정답을 게이트함으로써, 검증되지 않은 도구 출력에 의해 주도되는 지지되지 않는 정답을 방지합니다.
3. 실증적 성과 및 확장: 이 프레임워크는 네 가지 장편 영상 벤치마크 (MLVU, LongVideoBench, LVBench, VideoMME) 에서 일관된 개선을 보여줍니다. 특히, 결합된 베이스라인이 컨텍스트 포화로 인해 종종 정체되거나 저하되는 반면, 이 프레임워크는 더 큰 검색 예산과 더 강력한 검사관 모델에 따라 단조롭게 확장됩니다.

결과

저자들은 VideoSEAL 을 독점 모델, 오픈소스 MLLM, 기존 에이전트 프레임워크 (결합형 및 분리형 모두) 와 비교 평가했습니다.

• 정확도: VideoSEAL 은 LVBench 에서 55.1%, LongVideoBench 에서 **62.0%**의 정확도를 달성하여 결합형 베이스라인보다 유의미한 마진으로 우위를 점했습니다 (예: 동일한 백본의 결합형 버전 대비 LVBench 에서 +20.5%).
• 근거성: 이 프레임워크는 할루시네이션을 크게 감소시킵니다. LVBench 에서 의미적 근거성 ($G_s$) 은 0.808로 달성되었으며 (베이스라인 대비 약 0.25~0.47), 의미적 할루시네이션 ($H_s$) 은 0.113으로 감소했습니다.
• 확장 특성:
  • 검색 확장: 검색 예산 ($K$) 을 늘리면 VideoSEAL 의 성능이 향상되지만, 결합형 에이전트는 컨텍스트 포화로 인해 일정 시점 이후 성능이 역행합니다.
  • 지각 확장: 검사관을 7B 모델에서 72B 모델로 업그레이드하면 플래너를 재학습하지 않고도 상당한 정확도 향상을 얻을 수 있어, 이 접근법의 모듈성을 입증합니다.
• 거부 능력: 검사관은 충분하고 불충분한 증거를 효과적으로 구분하여, 기준 진실 클립보다 비대상 클립에서 정답을 거부 ($z=0$ 출력) 하는 빈도가 훨씬 더 높습니다. 이를 통해 추측을 줄입니다.

중요성과 주장

본 논문은 에이전트 기반 장편 영상 QA 의 성능 주된 동인이 단순히 더 큰 모델이나 더 나은 보상 함수가 아니라 계획과 정답 권한의 아키텍처적 분리라고 주장합니다. 이러한 역할을 분리함으로써 VideoSEAL 은 증거 불일치로 이어지는 "프롬프트 압력"과 "보상 압력"을 완화합니다.

저자들은 이 작업을 패러다임의 전환으로 위치시킵니다: 검색과 결정을 위해 단일 결합 에이전트를 학습하는 것에서 벗어나, 정답 생성이 시각적 증거에 의해 엄격하게 게이트되는 검증 가능하고 모듈화된 시스템으로 전환하는 것입니다. 이 접근법은 (검색 궤적을 통해) 해석 가능성과 검증 가능성을 향상시켜, 현재 장편 영상 에이전트를 괴롭히는 "정답이지만 근거가 없는" 문제에 대한 구조적 해결책을 제공합니다. 이 작업은 계획 논리가 타당하다면, LVU 의 향후 개선은 언어적 계획 (추론) 의 정교함보다는 픽셀 수준 검사 (지각) 의 충실도에 더 의존할 수 있음을 시사합니다.