HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection

기술 요약: HyperClaim

문제 정의
비디오 허위 정보 탐지는 흔히 전역적 멀티모달 융합(global multimodal fusion)이나 자유 형식의 멀티모달 추론(free-form multimodal reasoning)을 통해 접근됩니다. 저자들은 두 패러다임 모두 쿼리 구절(제목), 문맥 텍ext, 그리고 짧은 시간적 프레임 구간 사이의 결합된 상호작용에서 발생하는 국소적 진위 단서(localized authenticity cues)를 포착하는 데 종종 실패한다고 주장합니다. 쌍방향 그래프 정식화(pairwise graph formulations)는 이러한 다방향, 고차원 교차 모달 의존성을 포착하기에 불충분하며, 기존 방식들이 증거를 모달리티 또는 샘플 수준의 표현으로 집계할 때 특정 토큰, 프레임, 또는 짧은 시간적 전이 과정에 국한된 불일치를 희석시키는 경향이 있습니다. 핵심 과제는 관련 신호가 제목, 문맥, 시간적으로 순서화된 프레임에 분산되어 있는 폐쇄형 입력 환경에서, 전역 융합을 통해 정보를 평탄화하지 않고 이러한 국소적 증거 구조를 표현하고 집계하는 것입니다.

방법론: HyperClaim
HyperClaim은 샘플 수준의 진위 분류를 위해 설계된 판별적 시간적 하이퍼그래프(discriminative temporal hypergraph) 프레임워크입니다. 이 모델은 비디오 제목 또는 벤치마크에서 제공된 쌍을 이룬 텍스트를 "클레임 유사 쿼리"(claim-like query, $q$)로 취급하고, 나머지 텍스트 문맥($E$)과 비디오 프레임($v$)을 증거로 구성합니다. 아키텍처는 네 가지 주요 단계로 구성됩니다:

1. 클레임 및 증거 인코딩 (Claim and Evidence Encoding):

   • 모델은 통합 멀티모달 인코더로서 Qwen3-VL-Embedding-2B를 사용합니다.
   • 텍스트: 미세한 엔티티, 동작, 관계를 보존하기 위해 쿼리와 증거 토큰 모두에 대한 토큰 수준의 은닉 상태(hidden states)를 유지합니다.
   • 비디오: 시계열 순서를 유지하면서 비주얼 노드를 제한하기 위해 원본 프레임 30개당 1개씩 샘플링합니다 (최대 16개 프레임).

2. H-Forge: 클레임 지향적 희소 하이퍼그래프 형성 (Claim-Oriented Sparse Hypergraph Formation):

   • 클레임 토큰($V_c$), 증거 토큰($V_e$), 샘플링된 프레임($V_v$)을 포함하는 이종 하이퍼그래프 $G = (V, H)$를 구축합니다.
   • 하이퍼엣지 패밀리 (Hyperedge Families):
     • $H_c$: 모든 쿼리 토큰을 연결하는 인트라-클레임(intra-claim) 하이퍼엣지.
     • $H_e$: 각 증거 항목(예: 댓글, ASR, OCR)에 대한 소스별 하이퍼엣지.
     • $H_v$: 세 개의 연속적인 프레임을 겹치는 윈도우로 사용하는 로컬 시간적 하이퍼엣지.
     • $H_{tv}$: 텍스트 앵커를 가장 강력한 프레임 매치와 연결하는 희소 교차 모달 검증 유닛.
   • 필터링 및 예산 책정 (Filtering & Budgeting): 모호성을 줄이기 위해 교차 모달 매칭 강도와 마진(margin)을 기반으로 텍스트 앵커를 선택하는 신뢰도 기반 필터링 프로세스를 수행합니다. "클레임 인식 소스 예산 책정(claim-aware source budgeting)" 메커니즘은 쿼리를 모든 하이퍼엣지에 중복 생성하지 않으면서도 쿼리를 우선시하여 약 35%의 앵커 슬롯을 클레임 토큰에 할당합니다.

3. Aether: 적응형 시간적 하이퍼그래프 추론 (Adaptive Temporal Hypergraph Reasoning):

   • 양방향 텍스트-비디오 캘리브레이션 (Bidirectional Text-Video Calibration): 경량 교차 주의(cross-attention) 블록이 각 추론 레이어에서 텍스트와 비주얼 상태를 재조정하며, 견고한 메시지 전달을 위해 균등 잔차(uniform residual)와 함께 어텐션 분포를 혼합합니다.
   • 소프트 인시던스 및 전파 (Soft Incidence & Propagation): 하드한 할당 대신, 모델은 학습 가능한 소프트 노드-하이퍼엣지 멤버십을 학습합니다. 하이퍼엣지의 시드 상태(seed states)를 계산하고 어텐션 메커니즘을 사용하여 노드와 하이퍼엣지 간에 메시지를 전파함으로써 문맥 의존적 가중치를 허용합니다.
   • 인터-하이퍼엣지 정교화 (Inter-hyperedge Refinement): 개별 상태를 붕괴시키지 않으면서 겹치는 증거 단위 간의 상호작용을 정교화하기 위해 가중 선-그래프(weighted line-graph) 레이어가 적용됩니다.

4. Cred: 클레임 조건부 불일치 리드아웃 (Claim-Conditioned Discrepancy Readout):

   • 학습된 선형 어텐션을 사용하여 텍스트, 비주얼 및 하이퍼엣지 상태를 집계합니다.
   • 불일치 모델링 (Discrepancy Modeling): 리드아웃은 클레임-비디오 일치 및 불일치를 명시적으로 모델링합니다. 정규화된 클레임과 비디오 표현 사이의 차이($d_{cv}$)와 요소별 곱($p_{cv}$)을 계산합니다.
   • 최종 예측은 요약된 특징들과 불일치 특징들을 입력으로 받는 MLP에 의해 생성됩니다.

훈련 전략
모델은 두 단계 최적화 전략을 채택합니다:

• 1단계: 멀티모달 인코더를 동결합니다. 사전 계산된 특징 위에서 하이퍼그래프 추론, 풀링 및 예측 모듈을 최적화하여 안정적인 증거 라우팅 함수를 구축합니다.
• 2단계: 다운스트림 모듈을 동격화합니다. 인코더의 비주얼 및 텍스트 어텐션/피드포워드 프로젝션 내의 LoRA 어댑터만을 최적화하여 고정된 다운스트림 구조에 표현을 적응시킵니다.

주요 기여

1. 희소 시간적 하이퍼그래프 표현: 이종 증거를 전역 요약으로 붕괴시키지 않고, 국소적인 쿼리-텍스트-프레임 및 단거리 시간적 관계를 보존하는 클레임 지향적 표현을 도입했습니다.
2. 통합 프레임워크 (HyperClaim): 신뢰도 기반 하이퍼그래프 형성, 적응형 소프트 인시던스 추론, 잔차 텍스트-비디오 캘리브레이션, 불일치 인식 리드아웃을 결리한 시스템을 개발했습니다.
3. 구조적 증거 추적: 자유 형식의 근거(rationale)를 생성하는 방식과 달리, HyperClaim은 학습된 인시던스 및 어텐션 가중을 통해 토큰 및 프레임 수준의 구조적 증거 추적을 지원하며, 높은 가중치를 가진 정보 경로를 밝혀냅니다.

실험 결과
FakeSV, FakeTT, FakeVV의 세 가지 벤치마크에서 FactGuard 시간적 프로토콜 하에 평가되었습니다.

• 성능: HyperClaim은 강력한 판별적 베이스라인 및 추론 중심 시스템(Fact-R1, FactGuard)을 능가하며 최첨단(SOTA) 결과를 달성했습니다.
  • FakeSV: 정확도 83.7%, F1 84.2%.
  • FakeTT: 정확도 82.0%, F1 79.5%.
  • FakeVV: 정확도 87.3%, F1 86.1%.
• 절제 연구 (Ablation Studies):
  • 비디오 증거를 제거했을 때 F1이 크게 하락하여(FakeSV 기준 80.5%에서 70.1%로), 공동 멀티모달 모델링의 필요성을 확인했습니다.
  • 학습된 집계 대신 전역 평균 풀링을 사용했을 때 성능이 감소하여, 소스 및 클레임 의존적 관련성의 중요성을 입증했습니다.
  • 소프트 인시던스(적응형 라우팅)와 텍스트-비디오 캘리브레이션 모두 상호 보완적임을 확인했으며, 하나라도 제거할 경우 성능이 저하되었습니다.

의의
본 논문은 효과적인 비디오 허위 정보 탐지가 모든 오도된 샘플이 하나의 명시적인 모순으로 환원된다고 가정하는 것이 아니라, 국소적인 교차 모달 증거를 보존하는 것을 필요로 한다고 주장합니다. 고차원 의존성을 표현하기 위해 하이퍼그래프를 활용하고, 판별적이며 폐쇄형 입력 추론 방식을 채택함으로써, HyperClaim은 미세한 구조적 증거를 성공적으로 포착합니다. 이 모델은 명시적인 국소 증거 구조가 생성된 근거(rationale)나 외부 도구 호출에 의존하지 않고도 강력한 결정 경로를 제공할 수 있음을 보여주며, 전역 융합 및 개방형 추론 패러다임에 대한 강력한 대안을 제시합니다.