Riepilogo Tecnico: CRAFT (Targeting Adattivo dei Frame Chiave Rifinito dal Critico)

Definizione del Problema

Il documento affronta la Risposta alle Domande su Più Video con Fondamento (Grounded Multi-Video QA) relativa a eventi di attualità reali, mirando specificamente al task oracolo MAGMaR 2026. In questo scenario, un sistema deve rispondere a una query sintetizzando prove provenienti da una raccolta di video eterogenei. Il task impone vincoli rigorosi:

1. Fondamento da Più Fonti: Le risposte devono essere derivate da prove visive, testuali (a schermo) o parlate distribuite su più clip video.
2. Attribuzione a Livello di Affermazione: Ogni affermazione nel rapporto generato deve essere rintracciabile a un video sorgente specifico e a un timestamp.
3. Metriche di Valutazione: Le prestazioni sono misurate su sei assi: Precisione/Recall/F1 di Riferimento (accuratezza/completezza dei contenuti) e Precisione/Recall/F1 di Citazione (accuratezza dell'attribuzione).

Gli autori identificano tre sfide principali nella comprensione di video di attualità di lunga durata:

• Colli di Bottiglia del Budget di Token: Input su scala oraria superano le finestre di contesto dei Modelli Linguaggio-Visivo (VLM), costringendo a un campionamento uniforme che spesso tronca prove rilevanti.
• Allucinazioni: I VLM generano frequentemente affermazioni non supportate, in particolare riguardo a entità a coda lunga, dettagli numerici e tempistica degli eventi, anche quando sono presenti frame rilevanti.
• Dominanza del Parlato: Informazioni critiche (interviste, dichiarazioni ufficiali) sono spesso parlate piuttosto che visive, portando a una perdita di informazioni nelle pipeline basate solo sul visivo, specialmente nella copertura in lingue diverse dall'inglese.

Metodologia: La Pipeline CRAFT

CRAFT è una pipeline condizionata dalla query progettata per integrare la selezione dinamica dei frame chiave, l'estrazione di prove multimodali e la verifica iterativa delle affermazioni.

1. Flusso di Prove Multimodali

• Preprocessing: I video lunghi sono suddivisi in blocchi di 120 secondi per prevenire troncamenti silenziosi.
• ASR e Traduzione: Ogni video unico viene trascritto una volta utilizzando Qwen3-ASR-1.7B, con un fallback Whisper-large-v3 per lingue a risorse limitate (es. birmano, nepalese). Le trascrizioni sono tradotte in inglese se necessario. Il sistema filtra output ASR degeneri (es. loop ripetitivi di token) prima dell'elaborazione.
• Selezione Dinamica dei Frame Chiave (DKS): Invece del campionamento uniforme, DKS seleziona i frame basandosi sulla similarità immagine-testo con la query utilizzando encoder CLIP. Questo crea una clip visiva compatta e specifica per la query per ogni coppia video-query, bilanciando la rilevanza con la copertura temporale.

2. Estrazione di Affermazioni Condizionata dalla Query

Il VLM di base (Qwen3.5-9B) elabora la persona, la query, la trascrizione ASR e i frame selezionati da DKS per generare affermazioni atomiche.

• Atomicità: Le affermazioni sono limitate a singole dichiarazioni dichiarative per garantire la verificabilità indipendente.
• Tagging della Modalità: Ogni affermazione è contrassegnata con la sua fonte di prova (visiva, testo a schermo o ASR).

3. Ciclo di Rifinitura delle Affermazioni Guidato dal Critico

Un ciclo critico ibrido rifinisce iterativamente le affermazioni (fino a 4 round) per eliminare allucinazioni e contraddizioni:

• Fondamento Temporale (UNLI): Un modello UNLI valuta l'implicazione tra ogni affermazione e il segmento video citato. Le affermazioni con punteggi bassi sono segnalate come non supportate.
• Screening Incrociato delle Affermazioni (DeBERTa-v3 MNLI): Un cross-encoder rileva contraddizioni tra coppie di affermazioni all'interno di un video.
• Arbitrato (Llama-3.2-3B): Un arbitro specializzato verifica le potenziali contraddizioni, fornendo conferma binaria e suggerimenti di riparazione.
• Feedback: Il rapporto del critico viene reimmesso nel VLM per riestrarre, correggere o rimuovere le affermazioni.

4. Consolidamento e Fusione delle Citazioni

• Pool di Prove: Le affermazioni rifinite da tutti i video rilevanti sono aggregate in un pool a livello di query.
• Punteggio: Le affermazioni sono riesaminate utilizzando il modello UNLI per classificare la fiducia delle prove.
• Fusione delle Citazioni: Il rapporto finale è generato da un LLM solo testuale (Qwen3.5-9B). Se più affermazioni supportano lo stesso fatto, il sistema emette il fatto una sola volta ma allega tutti gli identificatori delle fonti di supporto. Questo preserva il richiamo delle citazioni sopprimendo al contempo la ridondanza semantica.

Contributi Chiave

1. Flusso di Prove Multimodali: Una pipeline che combina la suddivisione in blocchi di 120 secondi, l'ASR per video con fallback multilingue e la selezione dinamica dei frame chiave condizionata dalla query per fornire ai VLM prove visive e parlate mirate.
2. Ciclo Critico Ibrido: Un meccanismo di verifica multistadio che integra UNLI per il fondamento temporale, DeBERTa-v3 per lo screening delle contraddizioni e Llama-3.2-3B per l'arbitrato, consentendo la riparazione iterativa delle affermazioni prima del consolidamento.
3. Formattazione delle Affermazioni Atomiche e Fusione delle Citazioni: Una strategia che scompone le prove in unità atomiche verificabili e le consolida in un rapporto in cui ogni fatto è emesso una sola volta con piena attribuzione della fonte, ottimizzando sia la precisione di riferimento che il richiamo delle citazioni.

Risultati Sperimentali

Il sistema è stato valutato su MAGMaR 2026 e su una conversione WikiVideo (52 query su eventi non sovrapposti).

• Prestazioni MAGMaR 2026: CRAFT ha ottenuto il miglior punteggio medio complessivo (0.739), Recall di Riferimento (0.810) e F1 di Citazione (0.635) tra tutte le configurazioni valutate.
• Prestazioni WikiVideo: CRAFT ha ottenuto un punteggio medio di 0.823, dimostrando una generalizzazione oltre il dataset MAGMaR.
• Insight dalle Ablazioni:
  • Ciclo del Critico e Affermazioni Atomiche: Questi componenti hanno guidato i guadagni più significativi rispetto alla baseline vanilla.
  • ASR: L'aggiunta dell'ASR ha migliorato significativamente il Recall di Riferimento e l'F1 di Citazione, evidenziando l'importanza del contenuto parlato.
  • Indipendenza del Backbone: I guadagni derivanti dal ciclo del critico e dall'ASR sono stati osservati su diversi VLM di base (Qwen3.5-9B, Qwen3-VL-30B, Molmo2-8B, Gemma-4-31B).
  • Selezione dei Frame: La Selezione Dinamica dei Frame Chiave (DKS) ha migliorato la precisione con budget di frame ridotti rispetto al campionamento uniforme, sebbene abbia talvolta sacrificato il richiamo.
  • Necessità dei Componenti: La sostituzione dei critici specializzati (UNLI, DeBERTa, Llama) con modelli generici ha comportato un degrado delle prestazioni, in particolare nelle metriche di citazione.

Significato e Affermazioni

Il documento afferma che CRAFT dimostra l'efficacia dell'aggregazione di prove incentrata sulle affermazioni per la QA su più video con fondamento. Disaccoppiando l'estrazione dalla verifica e imponendo affermazioni atomiche e fondate sulla fonte, il sistema affronta il problema della "fedeltà delle citazioni" in cui la generazione aumentata dal recupero spesso non riesce ad attribuire correttamente i fatti alle fonti.

Gli autori notano che, sebbene CRAFT superi le baseline solide, il richiamo delle citazioni rimane una metrica impegnativa, indicando che l'attribuzione esatta affermazione-video è ancora una difficoltà aperta. Il lavoro suggerisce che i miglioramenti futuri dovrebbero concentrarsi sulla copertura delle prove, sul recupero tra video e sulle capacità ASR multilingue. Il sistema è presentato come una pipeline modulare in cui il ciclo del critico e l'aumento ASR forniscono guadagni ortogonali alla scelta del backbone VLM sottostante.