HyperClaim: Fine-Grained Cross-Modal Hypergraph Reasoning for Video Misinformation Detection

Sintesi Tecnica: HyperClaim

Problematica
Il rilevamento della disinformazione nei video viene spesso affrontato attraverso la fusione multimodale globale o il ragionamento multimodale a forma libera. Gli autori sostengono che entrambi i paradigmi spesso falliscono nel catturare indizi di autenticità localizzati derivanti dalle interazioni accoppiate tra frasi di query (titoli), testo contestuale e brevi intervalli temporali di frame. Poiché le formulazioni a grafo a coppie sono insufficienti per catturare queste dipendenze cross-modali di ordine superiore e multi-via, i metodi esistenti che aggregano le evidenze in rappresentazioni a livello di modalità o di campione tendono a diluire le incongruenze confinate a specifici token, frame o brevi transizioni temporali. La sfida centrale consiste nel rappresentare e aggregare questa struttura di evidenza localizzata senza appiattirla attraverso una fusione globale, in particolare in un contesto a input chiuso dove il segnale rilevante è distribuito tra il titolo, il contesto e i frame ordinati temporalmente.

Metodologia: HyperClaim
HyperClaim è un framework di ipergrafo temporale discriminativo progettato per la classificazione dell'autenticità a livello di campione. Tratta il titolo del video o il testo accoppiato fornito dal benchmark come una "query simile a una rivendicazione" ($q$) e organizza il restante contesto testuale ($E$) e i frame del video ($v$) come evidenza. L'architettura si compone di quattro fasi primarie:

1. Codifica di Claim ed Evidenza:

   • Il modello utilizza Qwen3-VL-Embedding-2B come codificatore multimodale unificato.
   • Testo: Gli stati nascosti a livello di token vengono mantenuti sia per la query che per i token di evidenza per preservare entità, azioni e relazioni granulari.
   • Video: I frame vengono campionati con una frequenza di un ogni 30 frame originali (fino a 16 frame) per mantenere l'ordine cronologico pur limitando il numero di nodi visivi.

2. H-Forge: Formazione di un Ipergrafo Sparso Orientato alla Claim:

   • Costruisce un ipergrafo eterogeneo $G = (V, H)$ dove i nodi includono token della claim ($V_c$), token di evidenza ($V_e$) e frame campionati ($V_v$).
   • Famiglie di Iperarchi:
     • $H_c$: Iperarchi intra-claim che collegano tutti i token della query.
     • $H_e$: Iperarchi specifici per sorgente per ogni elemento di evidenza (ad es., commenti, ASR, OCR).
     • $H_v$: Iperarchi temporali locali utilizzando finestre sovrapposte di tre frame consecutivi.
     • $H_{tv}$: Unità di verifica cross-modale sparse che collegano gli anchor testuali ai loro match frame più forti.
   • Filtraggio e Budgeting: Un processo di filtraggio consapevole della confidenza seleziona gli anchor testuali in base alla forza del matching cross-modale e al margine (per ridurre l'ambiguità). Un meccanismo di "budgeting della sorgente consapevole della claim" riserva circa il 35% degli slot degli anchor ai token della claim, dando priorità alla query senza duplicarla in ogni iperarco.

3. Aether: Ragionamento su Ipergrafo Temporale Adattivo:

   • Calibrazione Bidirezionale Testo-Video: Un blocco di cross-attention leggero ricalibra gli stati testuali e visivi ad ogni livello di ragionamento, mescolando le distribuzioni di attenzione con un residuo uniforme per garantire un passaggio di messaggi robusto.
   • Incidenza Soft e Propagazione: Inveve di assegnazioni rigide, il modello apprende appartenenze nodo-iperarco "soft". Calcola gli stati seed per gli iperarchi e utilizza meccanismi di attenzione per propagare i messaggi tra nodi e iperarchi, permettendo una ponderazione dipendente dal contesto.
   • Raffinamento Inter-iperarco: Un livello di line-graph pesato viene applicato per raffinare le interazioni tra le unità di evidenza sovrapposte senza far collassare i loro stati individuali.

4. Cred: Readout Condizionato alla Claim per la Discrepanza:

   • Aggrega gli stati testuali, visivi e degli iperarchi utilizzando l'attenzione lineare appresa.
   • Modellazione della Discrepanza: Il readout modella esplicitamente l'accordo e la discrepanza tra claim e video. Calcola la differenza ($d_{cv}$) e il prodotto elemento per elemento ($p_{cv}$) tra le rappresentazioni normalizzate di claim e video.
   • La predizione finale è generata da un MLP che prende in input i riepiloghi concatenati e le caratteristiche di discrepanza.

Strategia di Addestramento
Il modello impiega una strategia di ottimizzazione in due fasi:

• Fase 1: Il codificatore multimodale è congelato. L'ipergrafo per il ragionamento, il pooling e i moduli di predizione vengono ottimizzati su feature precomputate per stabilire una funzione di routing dell'evidenza stabile.
• Fase 2: I moduli a valle sono congelati. Solo gli adattatori LoRA all'interno delle proiezioni di attenzione e feed-forward visive e testuali del codificatore vengono ottimizzati per adattare le rappresentazioni alla struttura fissa a valle.

Contributi Chiave

1. Rappresentazione di Ipergrafo Temporale Sparso: Introduce una rappresentazione orientata alla claim che preserva le relazioni localizzate query–testo–frame e le relazioni temporali a breve raggio, evitando il collasso delle evidenze eterogenee in riepiloghi globali.
2. Framework Integrato (HyperClaim): Sviluppa un sistema che combina la formazione di ipergrafi consapevole della confidenza, il ragionamento di incidenza soft adattiva, la calibrazione residua testo-video e il readout consapevole della discrepanza.
3. Tracciamento Strutturale dell'Evidenza: A differenza dei metodi che generano razionali a forma libera, HyperClaim supporta il tracciamento strutturale dell'evidenza a livello di token e frame tramite l'incidenza appresa e i pesi di attenzione, rivelando percorsi informativi ad alto peso.

Risultati Sperimentali
Valutato sotto il protocollo temporale FactGuard su tre benchmark: FakeSV, FakeTT e FakeVV.

• Performance: HyperClaim ha raggiunto risultati state-of-the-art, superando i forti baseline discriminativi e i sistemi basati sul ragionamento (Fact-R1, FactGuard).
  • FakeSV: 83.7% Accuratezza, 84.2% F1.
  • FakeTT: 82.0% Accuratezza, 79.5% F1.
  • FakeVV: 87.3% Accuratezza, 86.1% F1.
• Studi di Ablazione:
  • Rimuovendo l'evidenza video, l'F1 è sceso significativamente (dal 80.5% al 70.1% su FakeSV), confermando la necessità di una modellazione multimodale congiunta.
  • Sostituendo l'aggregazione appresa con il global mean pooling, le performance sono diminuite, evidenziando l'importanza della rilevanza dipendente dalla sorgente e dalla claim.
  • È stato dimostrato che sia l'incidenza soft (routing adattivo) che la calibrazione testo-video sono complementari; rimuoverne uno ha degradato le performance.

Significatività
L'articolo sostiene che un efficace rilevamento della disinformazione nei video richieda la preservazione dell'evidenza cross-modale localizzata piuttosto che assumere che ogni campione fuorviante si riduca a una singola contraddizione esplicita. Utilizzando gli ipergrafi per rappresentare le dipendenze di ordine superiore e impiegando un approccio di ragionamento discriminativo a input chiuso, HyperClaim riesce a catturare l'evidenza strutturale fine. Il modello dimostra che le strutture di evidenza locale esplicite possono fornire percorsi decisionali solidi senza dipendere da razionali generati o chiamate a strumenti esterni, offrendo un'alternativa robusta sia ai paradigmi di fusione globale che a quelli di ragionamento aperto.