Cross-Modal Rationale Transfer for Explainable Humanitarian Classification on Social Media

1. Problématique et Contexte

Contexte : Lors de crises humanitaires (catastrophes naturelles, conflits), les réseaux sociaux génèrent une masse d'informations multimodales (texte et images) cruciales pour la prise de décision et l'organisation des secours. Il est essentiel de classifier automatiquement ces publications en catégories humanitaires (ex. : dommages aux infrastructures, personnes affectées, efforts de sauvetage).

Limites des approches existantes :

• Opacité des modèles : Les méthodes actuelles de classification multimodale se concentrent sur la performance prédictive mais fonctionnent souvent comme des "boîtes noires", ce qui limite leur déploiement dans des contextes critiques où la transparence est requise (ex. : directives de l'ONU).
• Explicabilité unimodale : Les travaux récents sur l'explicabilité se sont principalement limités à l'extraction de rationales textuelles, négligeant l'aspect visuel pourtant riche en informations.
• Coût d'annotation : L'annotation manuelle de rationales visuelles (zones d'intérêt sur les images) est coûteuse et complexe, contrairement à l'annotation textuelle.
• Absence de transfert intermodal : Aucune méthode n'a encore exploité le transfert d'apprentissage pour déduire des rationales d'une modalité (image) à partir d'une autre (texte) sans annotation directe.

Objectif : Développer un cadre de classification explicable par conception (interpretable-by-design) capable de classifier des tweets de crise tout en fournissant des justifications (rationales) à la fois textuelles et visuelles, en réduisant l'effort d'annotation.

---

2. Méthodologie : VLTCrisis

Les auteurs proposent un modèle nommé VLTCrisis (Vision and Language Transformer-based approach for Crisis-related tweet classification). L'architecture repose sur un transformateur visuel-langage (ViLT) et s'articule en deux phases principales :

A. Extraction de Rationales (Phase 1)

Le modèle apprend conjointement la classification et l'extraction de rationales.

1. Encodage Multimodal : Les tweets (texte + image) sont traités par un encodeur ViLT pré-entraîné. Le texte est tokenisé et l'image est découpée en patches. Le modèle génère des embeddings pour chaque token, chaque patch, et une représentation globale (token [CLS]).
2. Extraction de Rationales Textuelles :
   • Un module de classification binaire au niveau des tokens prédit quels mots constituent la rationale (1) ou non (0).
   • Cette tâche est apprise conjointement avec la tâche principale de classification des tweets (multi-task learning) pour améliorer la qualité des rationales.
   • La perte est une combinaison pondérée de la perte de classification (Cross-Entropy) et de la perte d'extraction de rationale (Binary Cross-Entropy pondérée pour gérer le déséquilibre).
3. Transfert de Rationales vers l'Image (Cross-Modal Rationale Transfer) :
   • C'est l'innovation clé. Au lieu d'annoter manuellement les images, le modèle génère une carte de chaleur (heatmap) pour les patches d'image.
   • Ce transfert s'effectue en alignant les embeddings des tokens de rationale textuelle (identifiés à l'étape précédente) avec les embeddings des patches d'image.
   • L'algorithme utilise la méthode IPOT (Inexact Proximal Point Method) pour calculer un transport optimal "doux" entre les tokens et les patches, attribuant un score d'importance à chaque patch d'image en fonction de sa similarité avec le texte explicatif.

B. Classification par Rationales (Phase 2)

Pour garantir l'explicabilité par conception, la prédiction finale de la classe humanitaire ne se base que sur les rationales extraites.

• Masquage : Les mots non-rationales dans le texte sont remplacés par un token spécial (*), et les patches d'image non-rationales sont floutés (masqués) selon la heatmap générée.
• Prédiction : Le modèle ViLT ré-encode ces données filtrées (seules les preuves pertinentes subsistent) pour prédire la classe finale. Si le modèle fonctionne bien, il devrait pouvoir classifier correctement uniquement avec les preuves extraites.

---

3. Contributions Clés

1. Cadre Explicable par Conception : Proposition d'un modèle qui intègre l'explicabilité directement dans l'architecture, contrairement aux méthodes post-hoc.
2. Transfert Intermodal de Rationales : Première démonstration de la capacité à apprendre des rationales visuelles à partir de rationales textuelles annotées via un mécanisme d'alignement (IPOT), réduisant drastiquement le besoin d'annotation visuelle coûteuse.
3. Apprentissage Joint : Stratégie d'apprentissage multi-tâches qui aligne les concepts entre les modalités, améliorant les représentations de 5 à 6 % par rapport aux approches unimodales.
4. Robustesse et Adaptabilité : Le modèle fonctionne efficacement en mode Zero-Shot sur de nouveaux jeux de données de crises non vus, atteignant une précision de 80 %.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données de référence CrisisMMD (contenant des tweets de 7 catastrophes naturelles).

• Performance de Classification :

  • VLTCrisis surpasse les modèles unimodaux (texte seul ou image seule) et les modèles multimodaux de base (y compris GPT-4 et FCLIP).
  • Gain de 2 % à 35 % sur le score Macro-F1 par rapport aux méthodes existantes.
  • Le modèle atteint un Macro-F1 de 0,822, surpassant le meilleur modèle de base (FCLIP à 0,834, mais non explicable) et GPT-4 (0,673).
  • L'ablation montre que l'utilisation conjointe du texte et de l'image est cruciale : la performance chute de 82,2 % à 64,3 % (sans image) ou 69,1 % (sans texte).

• Qualité des Rationales (Plausibilité) :

  • Texte : Le modèle atteint un Token-F1 de 0,826, supérieur à GPT-4 (0,552) et aux méthodes spécialisées en texte (RACLC à 0,811).
  • Image : L'évaluation humaine montre que les patches d'image extraits par VLTCrisis sont 12 % plus utiles pour identifier la classe humanitaire que ceux générés par des méthodes post-hoc comme RNET.
  • Les annotateurs humains ont confirmé que la combinaison des rationales texte et image réduit la difficulté de la tâche de classification de 11-13 %.

• Fidélité (Faithfulness) :

  • Complétude : Masquer les rationales entraîne une chute massive de performance (51,4 % pour VLTCrisis contre 17,4 % pour RNET), prouvant que le modèle s'appuie réellement sur les éléments identifiés.
  • Suffisance : Le modèle maintient une performance élevée (chute faible de 7,2 %) lorsqu'il n'utilise que les rationales, confirmant que ces éléments suffisent à la décision.

---

5. Signification et Impact

Ce travail apporte une avancée significative dans le domaine de l'IA humanitaire et de l'analyse de crises :

• Transparence Opérationnelle : En fournissant des justifications visuelles et textuelles, le modèle permet aux analystes humains de vérifier la pertinence des alertes, ce qui est critique pour la prise de décision en situation d'urgence.
• Réduction des Coûts : La méthode de transfert de rationale permet de créer des modèles explicables pour les images sans avoir à annoter manuellement des milliers de zones d'intérêt visuelles, un goulot d'étranglement majeur dans ce domaine.
• Généralisation : La capacité du modèle à s'adapter à de nouvelles catastrophes (Zero-Shot) sans réentraînement lourd en fait un outil robuste pour des scénarios de crise imprévus.

En conclusion, VLTCrisis démontre qu'il est possible de concilier haute performance prédictive et explicabilité rigoureuse dans le contexte multimodal complexe des réseaux sociaux lors de crises, en exploitant la synergie entre le texte et l'image.