기술 요약: CRAFT (비평가 정제 적응형 핵심 프레임 타겟팅)

문제 정의

본 논문은 실제 뉴스 이벤트를 대상으로 한 **Grounded Multi-Video Question Answering(QA)**을 다루며, 구체적으로 MAGMaR 2026 오라클 작업을 타겟으로 합니다. 이 설정에서 시스템은 이질적인 비디오 컬렉션에서 증거를 종합하여 쿼리에 답변해야 합니다. 이 작업은 다음과 같은 엄격한 제약을 부과합니다:

1. 다중 소스 그라운딩: 답변은 여러 비디오 클립에 분포된 시각적, 텍스트적 (화면 내), 또는 구두 증거에서 도출되어야 합니다.
2. 주장 수준 귀속: 생성된 보고서의 모든 진술은 특정 소스 비디오와 타임스탬프로 추적 가능해야 합니다.
3. 평가 지표: 성능은 여섯 가지 축으로 측정됩니다: 참조 정밀도/재현율/F1(내용 정확도/완전성) 및 인용 정밀도/재현율/F1(귀속 정확도).

저자들은 장편 뉴스 비디오 이해에서 세 가지 주요 과제를 식별했습니다:

• 토큰 예산 병목 현상: 시간 단위의 입력은 비전 - 언어 모델 (VLM) 의 컨텍스트 창을 초과하여, 종종 관련 증거를 잘라내는 균일 샘플링을 강요합니다.
• 할루시네이션: VLM 은 관련 프레임이 존재함에도 불구하고, 특히 롱테일 엔티티, 수치적 세부 사항, 이벤트 타이밍과 관련하여 지지되지 않는 주장을 자주 생성합니다.
• 음성 우세: 중요한 정보 (인터뷰, 공식 성명) 는 시각적이지 않고 구두로 전달되는 경우가 많아, 특히 비영어권 보도에서 시각 전용 파이프라인에서 정보 손실이 발생합니다.

방법론: CRAFT 파이프라인

CRAFT 는 동적 핵심 프레임 선택, 멀티모달 증거 추출, 그리고 반복적 주장 검증을 통합하도록 설계된 쿼리 조건부 파이프라인입니다.

1. 멀티모달 증거 스트림

• 전처리: 긴 비디오는 침묵으로 인한 잘림을 방지하기 위해 120 초 단위로 분할됩니다.
• ASR 및 번역: 각 고유 비디오는 Qwen3-ASR-1.7B를 사용하여 한 번 전사되며, 저자원 언어 (예: 미얀마어, 네팔어) 의 경우 Whisper-large-v3를 백업으로 사용합니다. 필요 시 전사본은 영어로 번역됩니다. 시스템은 처리 전에 퇴화된 ASR 출력 (예: 반복적인 토큰 루프) 을 필터링합니다.
• 동적 핵심 프레임 선택 (DKS): 균일 샘플링 대신 DKS 는 CLIP 인코더를 사용하여 쿼리와 이미지 - 텍스트 유사도에 기반하여 프레임을 선택합니다. 이는 각 비디오 - 쿼리 쌍에 대해 관련성과 시간적 범위를 균형 있게 유지하는 컴팩트하고 쿼리 특화형 시각 클립을 생성합니다.

2. 쿼리 조건부 주장 추출

베이스 VLM(Qwen3.5-9B) 은 페르소나, 쿼리, ASR 전사본, 그리고 DKS 로 선택된 프레임을 처리하여 **원자적 주장 (atomic claims)**을 생성합니다.

• 원자성: 주장은 독립적 검증 가능성을 보장하기 위해 단일 서술문으로 제한됩니다.
• 모달리티 태깅: 각 주장은 그 증거 소스 (시각적, 화면 내 텍스트, 또는 ASR) 로 태깅됩니다.

3. 비평가 유도 주장 정제 루프

하이브리드 비평가 루프는 할루시네이션과 모순을 제거하기 위해 주장을 최대 4 회 반복하여 정제합니다:

• 시간적 그라운딩 (UNLI): UNLI 모델이 각 주장과 인용된 비디오 구간 간의 함의 관계를 점수화합니다. 낮은 점수를 받은 주장은 지지되지 않는 것으로 플래그됩니다.
• 교차 주장 스크리닝 (DeBERTa-v3 MNLI): 크로스 인코더가 비디오 내 주장 쌍 간의 모순을 스크리닝합니다.
• 판정 (Llama-3.2-3B): 전문 판정자가 잠재적 모순을 검증하여 이진 확인 및 수정 힌트를 제공합니다.
• 피드백: 비평가 보고서는 VLM 에게 피드백되어 주장을 재추출, 수정, 또는 제거하도록 합니다.

4. 통합 및 인용 병합

• 증거 풀링: 모든 관련 비디오에서 정제된 주장이 쿼리 수준 풀로 집계됩니다.
• 점수화: 주장들은 UNLI 모델을 사용하여 증거 신뢰도를 순위 매기기 위해 재점수화됩니다.
• 인용 병합: 최종 보고서는 텍스트 전용 LLM(Qwen3.5-9B) 에 의해 생성됩니다. 여러 주장이 동일한 사실을 지지하는 경우, 시스템은 사실을 한 번만 방출하지만 모든 지지하는 소스 식별자를 첨부합니다. 이는 의미적 중복을 억제하면서 인용 재현율을 보존합니다.

주요 기여

1. 멀티모달 증거 스트림: 120 초 단편화, 다국어 백업이 포함된 비디오별 ASR, 그리고 동적 쿼리 조건부 핵심 프레임 선택을 결합하여 VLM 에게 표적화된 시각 및 구두 증거를 제공하는 파이프라인.
2. 하이브리드 비평가 루프: 시간적 그라운딩을 위한 UNLI, 모순 스크리닝을 위한 DeBERTa-v3, 판정을 위한 Llama-3.2-3B 를 통합한 다단계 검증 메커니즘으로, 통합 전에 주장을 반복적으로 수정 가능하게 함.
3. 원자적 주장 포맷팅 및 인용 병합: 증거를 검증 가능한 원자 단위로 분해하고, 각 사실이 완전한 소스 귀속과 함께 한 번만 방출되는 보고서로 통합하는 전략으로, 참조 정밀도와 인용 재현율을 모두 최적화함.

실험 결과

이 시스템은 MAGMaR 2026과 WikiVideo 변환 (52 개의 중첩되지 않은 이벤트 쿼리) 에서 평가되었습니다.

• MAGMaR 2026 성능: CRAFT 는 평가된 모든 구성 중 최고의 전체 평균 점수 (0.739), 참조 재현율 (0.810), 그리고 인용 F1(0.635) 을 달성했습니다.
• WikiVideo 성능: CRAFT 는 평균 점수 0.823을 달성하여 MAGMaR 데이터셋을 넘어선 일반화를 입증했습니다.
• 절제 분석 통찰:
  • 비평가 루프 및 원자적 주장: 이러한 구성 요소는 베이스라인 대비 가장 큰 개선을 주도했습니다.
  • ASR: ASR 추가는 참조 재현율과 인용 F1 을 크게 향상시켜 구두 콘텐츠의 중요성을 강조했습니다.
  • 백본 독립성: 비평가 루프와 ASR 로부터의 이득은 다양한 베이스 VLM(Qwen3.5-9B, Qwen3-VL-30B, Molmo2-8B, Gemma-4-31B) 에서 관찰되었습니다.
  • 프레임 선택: 동적 핵심 프레임 선택 (DKS) 은 균일 샘플링에 비해 감소된 프레임 예산 하에서 정밀도를 향상시켰으나, 때때로 재현율과 트레이드오프를 발생시켰습니다.
  • 구성 요소 필요성: 전문 비평가 (UNLI, DeBERTa, Llama) 를 범용 모델로 대체하면 특히 인용 지표에서 성능 저하가 발생했습니다.

중요성 및 주장

본 논문은 CRAFT 가 Grounded Multi-Video QA 를 위한 주장 중심 증거 집계의 유효성을 입증한다고 주장합니다. 추출과 검증을 분리하고 원자적이며 소스 기반 주장을 강제함으로써, 검색 증강 생성이 종종 소스에 사실을 올바르게 귀속시키지 못하는 "인용 충실도" 문제를 해결합니다.

저자들은 CRAFT 가 강력한 베이스라인을 능가하지만, 인용 재현율은 여전히 도전적인 지표이며 정확한 주장 - 비디오 귀속은 여전히 해결되지 않은 난제임을 지적합니다. 이 연구는 향후 개선이 증거 범위, 비디오 간 검색, 그리고 다국어 ASR 능력에 초점을 맞춰야 함을 시사합니다. 이 시스템은 비평가 루프와 ASR 증강이 기본 VLM 백본 선택에 직교적인 이득을 제공하는 모듈식 파이프라인으로 제시됩니다.