기술 요약: MARQUIS

문제 정의

본 논문은 대규모 비디오 코퍼스에서 근거 기반 기사 생성의 과제를 다룹니다. 비디오 아카이브는 실제 세계 사건에 대한 즉각적이고 광범위한 문서화를 제공하지만, 이러한 원시 오디오비주얼 증거를 출처가 명확하고 분석적인 기사로 변환하는 과정은 여전히 대부분 수동으로 이루어집니다. 현재 자동화 시스템은 파이프라인의 양쪽 끝에서 상당한 한계에 직면해 있습니다:

1. 검색: 기존 방법은 단일 임베딩 벡터로 포착할 수 없는 복잡하고 다면적인 쿼리를 처리하는 데 어려움을 겪습니다. 쿼리가 여러 명시적 및 암시적 정보 요구 사항을 결합할 때, 종종 모든 관련 비디오를 찾아내지 못합니다.
2. 생성: 생성 모델은 긴 다중 비디오 컨텍스트를 처리할 때 메모리 제약에 직면합니다. 또한 기존 비전 - 언어 모델 (VLM) 은 기사 생성에 필요한 고수준의 종합보다는 캡션 작성, 엔티티 중심 QA 와 같은 저수준 작업에 주로 설계되어 있습니다. 따라서 종종 여러 비디오 간 추론을 하거나 증거를 일관되게 종합하는 데 실패합니다.

이러한 한계는 전체 파이프라인에서 증폭됩니다. 검색 오류는 누락되거나 관련 없는 증거를 생성 단계로 전파하며, 이미 수신한 컨텍스트에 대해 추론하는 데 어려움을 겪는 모델들에게 추가적인 부담을 줍니다.

방법론: MARQUIS 파이프라인

저자들은 이러한 한계를 모듈식으로 해결하도록 설계된 3 단계 파이프라인인 MARQUIS(검색, 쿼리 분해, 불확실성 보정, 반복적 증거 합성을 통한 멀티모달 기사 생성) 를 제시합니다.

1 단계: 비디오 검색

검색 파이프라인은 복잡한 쿼리를 처리하기 위해 두 단계로 운영됩니다:

• 쿼리 분해 및 확장: 복잡하고 지시적인 쿼리를 단일 벡터로 인코딩하는 대신, 시스템은 LLM 을 사용하여 쿼리를 $N$개의 원자적 하위 쿼리로 분해합니다. 각 하위 쿼리는 단일 검색 가능한 사실을 대상으로 하며 간결한 검색 구문으로 표현됩니다.
• 밀집 검색: 원본 쿼리와 분해된 하위 쿼리 모두 OmniEmbed를 사용하여 올니모달 인덱스에 대해 검색되어 상위 후보들의 순위 목록을 생성합니다.
• 순위 융합: 하위 쿼리에서 생성된 순위 목록은 Reciprocal Rank Fusion (RRF), Sum/Max/Mean 유사도, 또는 Weighted RRF 와 같은 전략을 사용하여 집계됩니다.
• 재순위화: 융합된 후보 (상위 100 개) 는 정제된 판단에 기반하여 목록을 재배열하고 성능과 확장성을 균형 있게 유지하는 비디오 네이티브 재순위화기인 RankVideo에 전달됩니다.

2 단계: 정보 추출 및 보정

검색된 비디오는 구조화되고 보정된 증거 아티팩트로 변환됩니다:

• 추출 스트림: 시스템은 Qwen3.5를 사용하여 세 가지 상호 보완적인 추출 구성 요소를 활용합니다:
  1. 쿼리 무관 노트: 특정 쿼리에 조건부로 의존하지 않고 직접 관찰 가능한 시각적 사건, OCR, 그리고 구두 내용을 포착합니다.
  2. 쿼리 조건부 주장: 정보 요구 사항과 직접적으로 관련된 주장을 추출하며, 일반적인 설명이나 지지되지 않는 추론을 피합니다.
  3. 질문 - 답변 (QA) 추출: 정보 요구 사항을 하위 질문으로 분해하고 검색된 비디오 콘텐츠와 대본을 사용하여 답변합니다. 여기에는 단일 회차 및 반복 변형이 모두 포함됩니다.
• 보정: 각 추출된 아티팩트 (노트, 주장, 또는 QA 쌍) 는 CLUE(보정된 멀티모달 불확실성 추론 모델) 를 통해 해당 소스 비디오에 대해 점수가 매겨집니다. 이는 비디오가 주장을 지지하는지 여부를 추정하는 지지 확률 ($s_\theta \in [0, 1]$) 을 생성합니다. 이 단계는 증거 생성과 지지 추정을 분리하여 생성 전에 지지되지 않는 주장을 필터링할 수 있게 합니다.

3 단계: 기사 생성

파이프라인은 필터링된 증거를 인용된 기사로 종합합니다. 저자들은 세 가지 전략을 비교합니다:

• BULLET: 인라인 인용과 함께 증거를 번호가 매겨진 목록으로 직접 렌더링합니다 (보수적인 베이스라인).
• CAG(협업 기사 생성): 증거를 조직화하고 인용된 기사를 한 번의 종합 단계에서 생성하는 단일 회차 베이스라인입니다.
• GINGER: 증거를 주제별 측면으로 클러스터링하고, 관련성 순으로 클러스터를 순위 매긴 다음, 각 클러스터를 인용된 문장으로 요약하고 최종적으로 이를 일관된 기사로 재작성하는 단계별 접근법입니다.

MARQUIS-RLM: 재귀적 제어

저자들은 재귀적 언어 모델 (RLM) 의 구현체인 MARQUIS-RLM을 소개합니다. 이 시스템은 파이프라인 모듈 (검색, 추출, QA, 보정) 을 영구적이고 구조화된 메모리 환경 내에서 호출 가능한 도구로 취급합니다.

• 생각 - 행동 - 관찰 루프: 루트 LM 은 반복적으로 행동을 계획하고 도구 호출 (예: video_qa, transcribe) 을 실행한 후 결과를 관찰합니다.
• 구조화된 메모리: 컨텍스트 창에 의존하는 표준 RLM 과 달리, MARQUIS-RLM 은 검색, 재사용, 수정이 가능한 동적 메모리 뱅크 (사실 테이블, 키워드 인덱스) 를 유지합니다. 이는 정보 망각을 완화하고 최종 기사 작성 전에 비디오 간 충돌 해결 및 정보 격차 식별을 가능하게 합니다.

주요 기여

1. MARQUIS 파이프라인: 검색, 추출, 생성을 모듈식으로 분해하는 대규모 비디오 검색 증강 기사 생성을 위한 3 단계 프레임워크.
2. 검색 개선: 쿼리 확장과 순위 융합 및 비디오 네이티브 재순위화를 결합한 2 단계 검색 접근법으로, MAGMaR2026 벤치마크에서 검색 성능을 크게 향상시킴.
3. 생성 전략: 주장 기반, QA 기반, RLM 제어 생성에 대한 비교 분석으로, 쿼리 분해와 비디오 기반 QA 가 베이스라인 대비 인간 선호도 점수를 향상시킨다는 것을 입증.
4. RLM 통합: 구조화된 메모리와 반복적 도구 사용을 통해 증거를 관리하고 충돌을 해결하며 사실을 선별하는 MARQUIS-RLM 도입으로, 비-QA 시스템 중 가장 높은 인용 회상률을 달성.

실험 결과

시스템은 MAGMaR2026공유 작업 (WikiVideo 데이터 기반) 에서 평가되었습니다.

• 검색: 제안된 검색 파이프라인은 밀집 검색 베이스라인 (OmniEmbed) 대비 nDCG@10 을 0.195 에서 0.759 로 향상시켰습니다. 쿼리 분해, RRF 융합 ($K=10$), 그리고 RankVideo 재순위화의 조합이 가장 좋은 결과를 낳았습니다.
• 기사 생성 (오라클 설정): 오라클 생성 (시스템이 정답 관련 비디오를 받는 경우) 에서 ITER-QA-BASE시스템은 CAG 베이스라인 대비 평균 인간 점수를 3.09 에서 3.83 으로 향상시켰습니다.
• 시스템 비교:
  • GINGER는 인간 점수 (3.12 대 3.09) 와 인용 정밀도에서 CAG 베이스라인을 능가했으며, 이는 단계별 분해가 증거 조직화에 도움이 된다는 것을 시사합니다.
  • MARQUIS-RLM은 인간 점수 3.30을 달성하고 비-QA 시스템 중 가장 강력한 인용 회상률 (27.2%) 을 보였으나, 더 낮은 정밀도를 보여 커버리지와 관련성 간의 트레이드오프를 나타냈습니다.
  • QA 기반 시스템(반복 및 단일 회차) 은 가장 높은 인간 점수 (최대 3.83) 를 달성했으나, 특정 주제에 대한 관련 비디오를 QA 파이프라인이 검색하지 못할 경우 "제로 스코어" 실패를 겪어 보수적인 빈 출력으로 이어졌습니다.

의의

본 논문은 비디오에서의 근거 기반 생성은 단순한 요약 작업이 아니라 증거 관리 문제로 가장 잘 프레임되어야 한다고 주장합니다. 저자들은 효과적인 시스템은 다음과 같아야 한다고 주장합니다:

1. 복잡한 쿼리를 분해하여 광범위하게 검색합니다.
2. 증거를 원자적으로 추출합니다.
3. 보정을 통해 소스 지지를 추정합니다.
4. 선택되고 검증된 증거만으로 종합합니다.

이 연구는 명시적인 쿼리 분해와 비디오 네이티브 재순위화가 검색을 크게 향상시킨다는 것을 보여주며, 모듈식 생성 전략 (클러스터링, QA, RLM 제어) 은 일관성, 사실성, 인용 커버리지 간의 상호 보완적인 트레이드오프를 제공한다는 것을 입증합니다. 저자들은 향후 연구가 학습된 보정 개선, 검색과 추출의 긴밀한 통합, 그리고 구조화된 증거 조직과 반복적 제어를 결합한 생성 방법에 초점을 맞춰야 한다고 제안합니다.