MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

Riassunto Tecnico: MEVER

1. Il Problema (Problem Statement)

La verifica della veridicità delle affermazioni (claim verification) sta evolvendo verso un contesto multimediale, dove le prove non sono solo testuali ma includono immagini (come grafici e tabelle). I limiti dei metodi attuali sono tre:

1. Unimodalità: Molti modelli si concentrano solo sul testo, ignorando i segnali visivi cruciali contenuti nelle immagini.
2. Mancanza di integrazione: Anche i modelli multimediali spesso fondono testo e immagini separatamente, fallendo nel catturare la relazione congiunta tra le diverse prove.
3. Scarsa spiegabilità: I modelli spesso forniscono un verdetto (Supportato/Confutato) senza fornire una spiegazione testuale trasparente che giustifichi il processo di ragionamento.

2. Metodologia (Methodology)

Gli autori propongono MEVER, un framework che integra tre processi: recupero delle prove (evidence retrieval), verifica della rivendicazione (claim verification) e generazione della spiegazione (explanation generation).

A. Recupero delle prove tramite Grafo Multimodale a due livelli:
Il modello costruisce un grafo in cui:

• Livello inferiore (Testuale): I nodi sono i testi delle prove.
• Livello superiore (Visivo): I nodi sono le immagini associate.
• Ragionamento Cross-modale: Viene implementato un meccanismo di image-to-text e text-to-image reasoning. Utilizzando una rete neurale a grafi (GNN), il modello aggrega le informazioni visive nei token testuali e viceversa, creando embedding che rappresentano l'unione di entrambi i canali.

B. Verifica della rivendicazione (Token- and Evidence-Level Fusion):
Per massimizzare l'interazione tra la claim e le prove recuperate, MEVER utilizza una fusione gerarchica:

• Token-level fusion: Utilizza l'attenzione multi-testa (MHA) per far interagire i singoli token della claim con i token delle prove e i patch delle immagini.
• Evidence-level fusion: Aggrega le informazioni di più prove recuperate per ottenere un embedding finale della rivendicazione che sia consapevole del contesto globale delle prove.

C. Generazione della spiegazione (Multi-modal Fusion-in-Decoder):
Per rendere il processo trasparente, il modello utilizza un modulo Fusion-in-Decoder (FiD). Questo modulo permette al decoder di "guardare" sia il testo che le immagini delle prove durante la generazione della spiegazione. Per garantire che la spiegazione sia coerente con il verdetto, viene introdotto un regolarizzatore di coerenza (consistency regularizer) che penalizza il modello se la spiegazione generata suggerisce un verdetto diverso da quello predetto dal classificatore.

3. Contributi Chiave (Key Contributions)

1. Architettura MEVER: Un modello end-to-end che affronta simultaneamente recupero, verifica e spiegazione in modo multimediale.
2. Nuovo approccio al recupero: L'uso di un grafo multimediale a due livelli per unire testo e immagini nel processo di ricerca delle prove.
3. Dataset AIChartClaim: La creazione di un nuovo dataset scientifico nel dominio dell'Intelligenza Artificiale. A differenza dei dataset esistenti (generalisti), questo contiene grafici scientifici complessi, didascalie e spiegazioni, richiedendo un ragionamento di alto livello.
4. Spiegabilità Multimodale: Un metodo per generare giustificazioni testuali basate su dati visivi e testuali integrati.

4. Risultati (Results)

• Recupero delle prove: MEVER supera i baseline testuali (come BM25 o JustiLM) e quelli multimediali esistenti, dimostrando che l'integrazione visiva migliora significativamente la precisione del recupero.
• Verifica della rivendicazione: Nei test su dataset come ChartCheck e Mocheg, MEVER ottiene i punteggi Macro F1 più elevati, superando modelli avanzati come GPT-4o e altri modelli specifici per grafici.
• Generazione della spiegazione: Il modello ottiene punteggi superiori in metriche come ROUGE-L, METEOR e BLEU-2. L'analisi tramite "VLM-as-a-Judge" conferma che le spiegazioni di MEVER sono più coerenti, rilevanti e corrette rispetto ai competitor.

5. Significato (Significance)

Il lavoro di MEVER è significativo perché sposta il paradigma della fact-checking da una semplice analisi testuale a un ragionamento cognitivo multimediale. L'introduzione del dataset AIChartClaim colma una lacuna critica nella ricerca scientifica, fornendo uno strumento per testare la capacità dei modelli linguistici di comprendere dati quantitativi complessi espressi in grafici. In ultima analisi, MEVER rende l'intelligenza artificiale non solo più accurata nel verificare i fatti, ma anche più affidabile e comprensibile per l'utente umano grazie alla sua capacità di spiegare il "perché" di un verdetto.