Cross-Modal Rationale Transfer for Explainable Humanitarian Classification on Social Media

Probleemstelling

Tijdens crisissituaties (zoals natuurrampen) verspreiden gebruikers via sociale media multimodale informatie (tekst en afbeeldingen) die essentieel zijn voor situational awareness en hulpverlening. Bestaande methoden voor het classificeren van deze content in humanitaire categorieën (bijv. infrastructuurschade, vermiste personen, reddingsoperaties) zijn vaak "black boxes" met een ondoorzichtig beslissingsproces. Hoewel recente werken proberen de transparantie te verbeteren door tekstuele redenen (rationales) te extraheren, missen ze vaak de visuele component.

De huidige uitdagingen zijn:

1. Gebrek aan ontwerp-interpretatie: Veel methoden zijn post-hoc (uitleg na de voorspelling) in plaats van "interpretable by design".
2. Tekst-gecentreerd: Bestaande interpretabele methoden focussen voornamelijk op tekst, terwijl beelden cruciaal zijn voor het beoordelen van schade.
3. Annotatiekosten: Het handmatig annoteren van visuele redenen (bijv. specifieke beeldpatches) is duur en moeilijk te definiëren.
4. Cross-modale transfer: Er is weinig onderzoek gedaan naar het overdragen van redenen van de ene modality (tekst) naar de andere (beeld) om annotatie te besparen.

Methodologie: VLTCrisis

De auteurs stellen VLTCrisis voor, een multimodaal classificatiekader dat "interpretable by design" is. Het model gebruikt een Vision-Language Transformer (ViLT) en werkt in twee hoofdfasen:

1. Rationale Extractie Netwerk (Eerste Fase)

• Encoder: Tweet-tekst en afbeeldingen worden verwerkt door een vooraf getrainde ViLT-encoder. De encoder leert gezamenlijke representaties van tekst en beeld, waarbij interacties tussen beide modaliteiten worden meegenomen.
• Multi-task Learning: De decoder lost drie taken tegelijkertijd op:
  • Tweet Classificatie: Voorspellen van de humanitaire klasse.
  • Tekst Rationale Extractie: Identificeren van welke tokens (woorden) in de tekst essentieel zijn voor de voorspelling (binair classificatie per token).
  • Beeld Rationale Extractie (Cross-Modal Transfer): In plaats van beeldpatches handmatig te labelen, worden deze automatisch gegenereerd door de geëxtraheerde tekst-rationales te mappen naar beeldpatches. Hiervoor wordt de IPOT (Inexact Proximal Point) methode gebruikt om een zachte matching (alignement) te berekenen tussen de embedding van tekst-rationales en beeldpatches. Dit resulteert in een "heatmap" die aangeeft welke beelddelen belangrijk zijn.
• Verliesfunctie: Het model wordt getraind om zowel de classificatie als de tekst-rationales te optimaliseren, met een gewogen som van de cross-entropy loss en de rationale loss.

2. Tweet Classificatie Netwerk (Tweede Fase)

• Interpretatie door ontwerp: Om te garanderen dat het model echt op de redenen leunt, worden de niet-rationale woorden in de tekst gemaskeerd (vervangen door *) en worden de niet-rationale beeldpatches verduisterd op basis van de heatmap.
• Voorspelling: Het model voert de definitieve classificatie uit alleen op basis van deze geselecteerde redenen (tekst en beeld). Als het model zonder de redenen faalt, is het bewijs dat de redenen correct zijn geïdentificeerd.

Kernbijdragen

1. Interpretable by Design Framework: Een nieuw kader voor multimodale classificatie van crisis-tweets dat expliciet redenen (zowel tekst als beeld) leert en gebruikt voor de uiteindelijke voorspelling.
2. Cross-Modal Rationale Transfer: Een innovatieve aanpak om beeld-rationales af te leiden uit tekst-rationales via transfer learning. Dit elimineert de noodzaak voor dure handmatige annotatie van beeldpatches.
3. Gezamenlijke Lering: Het bewijzen dat het gezamenlijk leren van tekst en beeld concepten beter aligneert dan unimodale benaderingen, wat leidt tot robuustere representaties.
4. Zero-Shot Adaptatie: Het model is getest op nieuwe, ongezette datasets en presteert goed zonder extra fine-tuning.

Resultaten

De experimenten zijn uitgevoerd op het CrisisMMD benchmark dataset (met data van zeven natuurrampen).

• Classificatieprestaties: VLTCrisis behaalde een Macro-F1-score van 82,2%, wat een verbetering is van 2% tot 35% ten opzichte van bestaande state-of-the-art methoden (zoals VCNN, FMLS, en zelfs GPT-4 in zero-shot setting).
• Rationale Kwaliteit:
  • De tekst-rationales behaalden een Token-F1 van 0,826, wat hoger is dan andere interpretable modellen zoals RACLC (0,811) en GPT-4 (0,552).
  • Menselijke evaluatie toonde aan dat de gegenereerde beeld-rationales 12% beter waren in het helpen identificeren van de humanitaire klasse in vergelijking met post-hoc methoden zoals RNET.
• Betrouwbaarheid (Faithfulness):
  • Comprehensiveness: Wanneer de geïdentificeerde redenen worden verwijderd, daalt de prestatie van het model met 51,4%. Dit toont aan dat het model echt afhankelijk is van deze redenen.
  • Sufficiency: Wanneer het model alleen de redenen krijgt (zonder de rest van de input), behoudt het een hoge nauwkeurigheid, wat aangeeft dat de redenen voldoende informatie bevatten.
• Zero-Shot Generalisatie: Het model bereikte een nauwkeurigheid van 80% op een nieuw, ongezette dataset (DMD), wat aantoont dat het goed generaliseert naar nieuwe gebeurtenissen.

Betekenis en Impact

Dit paper is significant omdat het de kloof overbrugt tussen hoge classificatieprestaties en transparantie in de humanitaire sector.

• Vertrouwen: Door "interpretable by design" te zijn, kunnen hulporganisaties en beleidsmakers de beslissingen van AI-systemen beter begrijpen en vertrouwen, wat cruciaal is in kritieke situaties.
• Efficiëntie: De methode van cross-modale transfer bespaart aanzienlijke tijd en kosten door het vermijden van handmatige annotatie van duizenden beeldpatches.
• Toepasbaarheid: De aanpak is niet beperkt tot crisismanagement; het principe van het overdragen van uitleg van tekst naar beeld kan worden toegepast in andere gevoelige domeinen zoals gezondheidszorg en autonoom rijden, waar transparantie wettelijk en ethisch vereist is.

Samenvattend biedt VLTCrisis een robuuste, efficiënte en transparante oplossing voor het analyseren van multimodale crisisinformatie, waarbij de nadruk ligt op het leveren van zowel accurate voorspellingen als menselijk begrijpelijke bewijsstukken.