기술 요약: TRACE – 증거 기반 안내를 통한 다중 비디오 이벤트 이해 및 주장 생성

문제 정의

다중 비디오 이벤트 이해는 모델이 시각적 콘텐츠를 인식할 뿐만 아니라 사용자의 질의에 답변하기 위해 길고 이질적인 비디오 코퍼스 전반에 흩어진 특정 증거 조각들을 위치시키고 귀속시켜야 함을 요구합니다. 현재의 대형 비전 - 언어 모델 (LVLM) 은 두 가지 주요 실패 모드로 인해 이러한 환경에서 어려움을 겪습니다:

1. 컨텍스트 포화: LVLM 은 제한된 컨텍스트 창을 가지므로, 종종 사실적 질의에 필수적인 짧은 정보 밀집 순간 (예: 뉴스 티커, 점수판, 또는 방송 오버레이) 을 생략하는 공격적인 시간적 하위 샘플링을 강요받습니다.
2. 정렬되지 않은 주의: 원시 비디오로 직접 프롬프트를 받을 때, LVLM 은 질의와 관련된 증거보다는 시각적으로 두드러진 콘텐츠에 집중하는 경향이 있어, 정밀하고 귀속 가능한 주장 대신 광범위한 내러티브 요약을 생성합니다.

기존 접근 방식은 종종 무차별적인 컨텍스트 확장이나 균일한 프레임 샘플링에 의존하며, 이는 처리하기 전에 어떤 프레임이 중요한지 식별하는 핵심 과제를 해결하지 못합니다.

방법론: TRACE 프레임워크

TRACE 는 추론 전 근거화 (grounding-before-reasoning) 패러다임을 도입합니다. LVLM 에게 증거를 공동으로 발견하고 주장을 생성하도록 요청하는 대신, 이 프레임워크는 경량 텍스트 기반 근거화 단계를 수행한 후 안내된 멀티모달 추론으로 작업을 분해합니다.

1. 구조화된 비디오 근거화

시스템은 먼저 경량 비시각 처리를 통해 길고 비구조화된 비디오를 텍스트 검색 가능한 타임라인으로 변환합니다:

• 객체 감지: YOLOv12 가 샘플링된 프레임을 처리하여 객체 (예: 사람, 마이크, 연설대) 를 감지합니다. 공존 패턴은 맥락 신호를 제공합니다 (예: 기자회견 식별).
• 텍스트 인식 (OCR): OCR 모듈은 방송 오버레이, 점수판, 로어 - 쓰리드에서 가시 텍스트를 추출합니다. 이는 객체 감지기에서 놓치는 고정밀 의미 신호 (개체, 통계, 위치) 를 포착합니다.
• 타임라인 구축: 이러한 스트림은 시간순으로 정렬된 텍스트 직렬화 가능한 타임라인 $F = \{(t, D_t, T_t)\}$으로 병합되며, 여기서 $D_t$는 감지된 객체를, $T_t$는 OCR 텍스트를 나타냅니다.

2. 질의 조건부 증거 위치 특정

텍스트 전용 LLM(Qwen3-30B) 이 비전 인코더를 호출하지 않고 구조화된 타임라인을 작동시켜 증거 위치 특정을 수행합니다:

• 정렬: 타임라인은 창으로 분할되어 직렬화됩니다. LLM 은 이러한 텍스트 표현을 사용자의 질의 및 페르소나와 정렬하여 관련 순간을 식별합니다.
• 간극 연결: 이 단계는 저수준 감지기 출력을 의미적 의도로 변환하여 명시적 키워드 일치 없이도 간접적 증거 (예: "투표 비율" 오버레이) 를 식별합니다.
• 근거화 요약: LLM 은 위치 특정된 증거에 대한 일관된 의미적 설명을 종합하여 원시 지각과 하류 추론 사이의 다리 역할을 합니다.

3. 근거 안내 주장 생성

하류 LVLM(Qwen3-VL-30B) 은 명시적 안내에 조건부로 주장을 생성합니다:

• 하이브리드 프레임 선택: 시각적 입력은 내러티브 커버리지를 위한 균일하게 샘플링된 프레임과 위치 특정 단계 동안 식별된 안내 대상 핵심 프레임을 결합합니다.
• 시간적 정렬: 프레임 인덱스는 모델의 회전 위치 임베딩에서 시간적 간격을 보존하기 위해 명시적 위치 메타데이터로 전달되어 텍스트 주석이 시각적 토큰과 정렬되도록 합니다.
• 증거 융합: LVLM 은 하이브리드 프레임, 질의, 페르소나, 근거화 요약, 그리고 구조화된 주석 (타임스탬프, 객체, OCR) 을 수신합니다. 모델은 모호한 재문장보다 구체적인 사실을 우선시하며 관찰된 증거에 기반한 단일 문장 주장을 생성하도록 지시받습니다.

4. 교차 비디오 주장 통합

여러 비디오에서 생성된 주장들은 통합된 이벤트 보고서 형성을 위해 집계됩니다:

• 의미적 클러스터링: 생성된 주장들은 임베딩되어 유사성에 따라 클러스터링됩니다.
• 검증: LLM 은 사실적으로 구별되는 주장과 진정한 재문장을 구분하기 위해 엄격한 "동일 명제" 기준 하에 클러스터를 검증합니다.
• 인용 전파: 시스템은 가장 정보 완전성이 높은 주장을 표준 표현으로 유지하고, 모든 클러스터 구성원 간에 지원 비디오 인용의 합집합을 전파하여 인용 재현율을 극대화합니다.

주요 기여

1. 근거 안내 파이프라인: OCR 과 객체 감지를 통해 구조화된 텍스트 검색 가능 비디오 타임라인을 구축하고, 비용이 많이 드는 시각적 추론 전에 질의 조건부 증거 위치 특정을 가능하게 하는 새로운 아키텍처.
2. 추론 전 근거화 패러다임: 증거 발견과 멀티모달 생성을 분리하여 현재 LVLM 의 컨텍스트 병목 현상과 주의 불일치를 해결하는 전략.
3. 하이브리드 프레임워크: 타겟팅된 핵심 프레임 선택과 교차 비디오 주장 중복 제거 및 인용 전파를 결합한 시스템.
4. 최고 수준의 성능: MAGMaR 2026 벤치마크에서 최상위 결과 달성 및 WikiVideo 데이터셋에서 강력한 일반화 능력.

실험 결과

저자들은 MAGMaR 2026 오라클 트랙(8 개의 실제 뉴스 이벤트 주제) 과 WikiVideo 데이터셋 (52 개의 질의, 398 개의 비디오) 에서 TRACE 를 평가했습니다.

MAGMaR 2026 결과

• 전체 성능: TRACE 는 공식 리더보드에서 최고 점수를 기록했으며, 평균 F1 점수 0.499(InfoF1: 0.551, CiteF1: 0.447)을 달성하여 2 위 팀 (HAIVLab) 보다 0.049 점 앞섰습니다.
• 베이스라인 비교: 검증 세트에서 안내되지 않은 Qwen3-VL-30B 베이스라인과 비교할 때, TRACE 는 매크로 평균 MiRAGE F1 을 0.705 에서 0.811 로 개선했습니다.
• 인용 재현율: 가장 큰 개선은 인용 재현율에서 나타났으며, 0.440 에서 0.628 로 상승하여 상대적으로 42.7% 증가했습니다. 이는 프레임워크가 가장 두드러진 비디오뿐만 아니라 관련 소스 전체를 식별하고 인용할 수 있음을 보여줍니다.
• 인간 평가: TRACE 는 인간 평가에서 2 위 (3.825/5.0) 를 기록하여 1 위 팀보다 불과 0.008 점 뒤졌습니다.

WikiVideo 일반화

• TRACE 는 WikiVideo 에서 **평균 F1(0.879)**을 유지하며 Qwen3-VL-8B 와 Qwen3-VL-30B 베이스라인 모두를 능가했습니다.
• WikiVideo 비디오의 짧은 지속 시간과 균일한 분포 (균일 샘플링에 유리함) 로 인해 절대적 마진은 작았지만, 이 방법은 여전히 가장 높은 인용 재현율 (0.838) 을 달성했습니다.

제거 실험

• 근거화 영향: 모든 파이프라인 변형이 가장 강력한 안내되지 않은 베이스라인을 능가하여, 멀티모달 근거화가 개선의 주요 원인임을 확인했습니다.
• 집계 전략: LLM 검증을 통한 임베딩 기반 유사도 집계 (EMBED-SIM) 는 순수 LLM 병합보다 특히 인용 F1 에서 더 우수한 성능을 발휘했습니다.
• 핵심 프레임 증강: 안내 대상 핵심 프레임을 추가하면 정보 재현율 (InfoR) 이 향상되어, 텍스트 기반 근거화가 균일한 샘플링으로 놓친 시각적 증거를 모델이 성공적으로 지시함을 보여주었습니다.

중요성 및 주장

이 논문은 구조화된 지각 기반 근거화가 비디오 주장 귀속을 위한 효과적이고 이전 가능한 원칙이라고 주장합니다. 증거 위치 특정의 부담을 비용이 많이 드는 시각적 추론 단계에서 경량 텍스트 직렬화 가능 단계로 전환함으로써, TRACE 는 컨텍스트 포화를 완화하고 시각적 용량을 증거 관련 순간으로 유도합니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다:

• 거대한 컨텍스트 창을 요구하지 않고도 긴 비디오 이해의 "짚더미 속의 바늘" 문제를 해결합니다.
• 다중 비디오 이벤트 이해에 필수적인 사실적 완전성과 귀속 충실도를 개선합니다.
• 근거화 단계가 빠르고 결정적이며 해석 가능하므로, 무차별적인 긴 컨텍스트 처리에 대한 확장 가능한 대안을 제공합니다.

이 논문은 이 방법이 최첨단 결과를 달성하지만, 객체 감지를 위한 COCO-80 어휘에 대한 의존성 (도메인 특정 개체 인식 제한) 과 엔드 - 투 - 엔드 오류 복구를 방지하는 파이프라인의 비미분 가능성 등 한계가 남아 있다고 결론지었습니다. 향후 작업은 오픈 - 어휘 감지 및 적응형 프레임 샘플링을 포함할 것으로 제안됩니다.