Cross-Modal Rationale Transfer for Explainable Humanitarian Classification on Social Media

1. Il Problema

Durante le situazioni di crisi (disastri naturali, conflitti), i social media generano un flusso massiccio di informazioni multimodali (testo e immagini). È fondamentale classificare rapidamente questi contenuti in categorie umanitarie (es. danni alle infrastrutture, persone disperse, operazioni di soccorso) per supportare i soccorsi.
Sebbene esistano metodi per classificare tali contenuti, presentano due limiti principali:

1. Mancanza di trasparenza: I modelli attuali agiscono spesso come "scatole nere", rendendo difficile per gli operatori umani fidarsi delle decisioni automatizzate in contesti critici.
2. Focus unimodale sull'interpretabilità: Le ricerche precedenti si sono concentrate sull'estrazione di spiegazioni (rationales) solo dal testo, trascurando le immagini. Inoltre, le tecniche di interpretabilità per le immagini sono spesso post-hoc (aggiunte dopo l'addestramento) e non "by-design" (progettate intrinsecamente nel modello).
3. Costo di annotazione: Annotare manualmente le regioni rilevanti (patch) nelle immagini per spiegare le previsioni è costoso e complesso.

L'obiettivo del lavoro è sviluppare un framework di classificazione interpretable-by-design (interpretabile per progettazione) che fornisca spiegazioni sia testuali che visive, riducendo al contempo lo sforzo di annotazione.

2. Metodologia: VLTCrisis

Gli autori propongono VLTCrisis, un framework basato su un modello Transformer Visuale-Linguistico (ViLT). L'approccio si articola in due fasi principali:

A. Estrazione delle Rationales (Fase 1)

Il modello utilizza un encoder ViLT pre-addestrato per apprendere rappresentazioni congiunte di testo e immagine. Successivamente, un decoder esegue tre compiti simultaneamente:

1. Classificazione del Tweet: Predice la categoria umanitaria.
2. Estrazione di Rationales Testuali: Identifica quali token del testo sono fondamentali per la decisione (classificazione binaria a livello di token).
3. Trasferimento Cross-Modale delle Rationales (Image Rationale Transfer): Questo è il cuore dell'innovazione. Invece di annotare manualmente le immagini, il modello mappa le rationales testuali identificate sulle patch dell'immagine.
   • Viene utilizzata una tecnica di allineamento basata sul metodo Inexact Proximal Point (IPOT) per calcolare la similarità tra gli embedding dei token testuali rilevanti e le patch dell'immagine.
   • Questo genera una "heatmap" di rationales per l'immagine, indicando quali aree visive supportano la previsione, senza necessità di annotazione umana specifica per le immagini.

B. Classificazione del Tweet (Fase 2)

Per garantire l'interpretabilità by-design, la fase finale di classificazione non utilizza l'input grezzo completo, ma si basa esclusivamente sulle rationales estratte:

• Le parole non rilevanti nel testo vengono mascherate (sostituite con un token speciale *).
• Le patch dell'immagine non rilevanti vengono oscurate (blurred) in base alla heatmap generata.
• Il modello rielabora queste informazioni filtrate per produrre la classificazione finale. Se il modello performa bene solo con le rationales, ciò dimostra che le spiegazioni sono fedeli alla logica decisionale.

3. Contributi Chiave

• Framework Multimodale Interpretabile: Prima proposta di un sistema che genera spiegazioni coerenti sia per testo che per immagini in modo nativo (by-design) per la classificazione di crisi.
• Trasferimento di Rationales Cross-Modale: Dimostrazione che è possibile apprendere le spiegazioni visive partendo dalle spiegazioni testuali annotate, riducendo drasticamente il costo di annotazione delle immagini.
• Strategia di Apprendimento Congiunto: L'uso di un approccio multi-task (classificazione + estrazione rationales) migliora l'allineamento concettuale tra le modalità, portando a rappresentazioni migliori rispetto all'uso di modalità singole.
• Validazione in Zero-Shot: Il modello è stato testato su dataset non visti (nuovi eventi di crisi) con successo, dimostrando alta adattabilità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset benchmark CrisisMMD.

• Performance di Classificazione:

  • VLTCrisis supera i metodi esistenti (sia unimodali che multimodali) ottenendo un miglioramento del Macro-F1 dal 2% al 35%.
  • Rispetto ai modelli unimodali, l'approccio multimodale mostra un miglioramento significativo (es. +19-22% rispetto ai migliori modelli solo-immagine).
  • In modalità Zero-Shot su nuovi dataset, il modello raggiunge un'accuratezza del 80%.

• Qualità delle Spiegazioni (Plausibilità e Fedeltà):

  • Token-F1: Il modello ottiene un punteggio di 0.826 nell'estrazione delle rationales testuali, superando modelli basati su LLM (GPT-4) e altri approcci interpretabili.
  • Valutazione Umana: Gli annotatori umani hanno confermato che le patch di immagine estratte sono utili per identificare la classe corretta nel 74% dei casi (vs 62% per metodi post-hoc come RNET).
  • Fedeltà (Faithfulness):
    • Comprehensiveness: Quando le rationales vengono rimosse (mascherando solo le parti non rilevanti), le prestazioni crollano del 51.4%, indicando che il modello si basa effettivamente sulle parti selezionate.
    • Sufficiency: Utilizzando solo le rationales (testo e immagine filtrati), il modello mantiene prestazioni elevate, dimostrando che le spiegazioni contengono l'informazione necessaria.

• Allineamento Testo-Immagine: La validazione tramite LLM (Qwen-VL e LLaVA) ha confermato un forte allineamento tra testo e immagine nei tweet di crisi (punteggi medi di 3.8-4.1 su 5), giustificando l'ipotesi di trasferimento cross-modale.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso l'IA responsabile nei contesti umanitari.

1. Trasparenza Operativa: Fornisce agli operatori di soccorso non solo una classificazione, ma anche la "prova visiva e testuale" su cui si basa la decisione, aumentando la fiducia nell'uso di tali strumenti in scenari reali.
2. Efficienza delle Risorse: La tecnica di trasferimento delle rationales risolve il collo di bottiglia dell'annotazione delle immagini, rendendo scalabile lo sviluppo di sistemi interpretabili per nuovi disastri.
3. Robustezza: La capacità di adattarsi a eventi non visti (zero-shot) rende il sistema pronto per emergenze future senza necessità di ri-addestramento massiccio.

In sintesi, il paper dimostra che l'interpretabilità non deve essere un compromesso sulle prestazioni, ma può essere integrata nel design del modello per migliorare sia l'accuratezza che la fiducia nell'IA applicata alla gestione delle crisi.