Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

Résumé technique : Modèles de langage de grande taille pour l'extraction de relations causales dans les médias sociaux

Énoncé du problème
L'intelligence en matière de catastrophes repose fortement sur la conscience situationnelle, laquelle est souvent entravée par le caractère rétrospectif et laborieux des rapports officiels post-événement (par exemple, ceux du NOAA). Bien que les médias sociaux offrent des données en temps réel et issues de la foule concernant les aléas, les impacts et les perturbations des infrastructures, l'extraction de relations causales valides à partir de ces publications est intrinsèquement difficile. Le contenu des médias sociaux est généralement informel, fragmenté et dépendant du contexte, la causalité étant souvent implicite plutôt qu'explicitement énoncée. Les méthodes traditionnelles basées sur des règles échouent à capturer ces relations implicites, et les approches de traitement du langage naturel (NLP) existantes dépendent souvent de modèles rigides, annotés par des humains, qui ne se généralisent pas bien aux contextes de catastrophes en évolution rapide. Bien que les modèles de langage de grande taille (LLM) offrent le potentiel de raisonner sur du texte bruyant et d'inférer des relations non déclarées, il existe un risque critique qu'ils génèrent des liens causaux plausibles basés sur leurs connaissances antérieures internes plutôt que sur des preuves présentes dans les publications spécifiques. La question centrale de la recherche est de savoir si les LLM peuvent extraire efficacement des relations causales valides à partir de publications sur les médias sociaux liées aux catastrophes.

Méthodologie
Pour répondre à cela, les auteurs proposent un cadre de validation comparant les graphes causaux générés par les LLM à des graphes de référence ancrés par des experts. La méthodologie se compose de trois composantes principales :

1. Construction de graphes causaux de vérité terrain :
   Étant donné l'absence de graphes causaux préexistants pour des catastrophes spécifiques, les auteurs les construisent en utilisant une approche « appariement-enregistrement ». Ils commencent par un cadre général de chaîne d'impacts (représentant les voies causales entre les aléas, l'exposition, la vulnérabilité et les impacts) et l'affinent à l'aide de preuves de causalité issues de rapports post-événement standardisés et autoritaires (spécifiquement les rapports du NOAA). Seules les arêtes explicitement soutenues par des preuves textuelles dans ces rapports sont conservées, créant un ensemble de relations (Cause, Effet) dirigées qui servent de vérité terrain.

2. Extraction de relations causales via les LLM :
   L'étude évalue trois LLM présentant des architectures et des capacités d'accès aux données variées :

   • Grok4.3 : Un modèle propriétaire avec un accès natif aux données des médias sociaux pour les publications historiques et en temps réel.
   • GPT-5.5 : Un modèle propriétaire avec des capacités de contexte long mais sans accès natif aux médias sociaux.
   • Mistral-7B : Un modèle à poids ouvert, plus petit, avec des fenêtres de contexte limitées.

   Les modèles sont sollicités pour identifier les mentions causales au sein de lots de publications sur les médias sociaux, les mapper à un ensemble fixe de variables canoniques définies par le cadre de la chaîne d'impacts, et produire des paires causales dirigées. Pour les modèles aux fenêtres de contexte limitées (Mistral-7B), une stratégie de découpage est employée où les publications sont traitées par lots de 20.

3. Cadre d'évaluation :
   La performance des graphes générés est mesurée par rapport aux graphes de référence ancrés par des experts en utilisant des métriques standard de découverte causale : Précision et Rappel des nœuds et des arêtes, Score F1, Distance de Hamming Structurelle (SHD) et SHD normalisée (nSHD). Crucialement, l'étude inclut une expérience d'ablation contrôlée où les modèles reçoivent des publications « non informatives » (manquant de contenu spécifique aux catastrophes) avec la recherche externe désactivée. Cela teste si les modèles s'appuient sur les données fournies ou s'ils recourent à des priors internes pour générer des structures causales.

Contributions clés

• Graphes causaux ancrés par des experts : Les auteurs construisent des graphes causaux de vérité terrain spécifiques aux catastrophes en alignant un cadre de chaîne d'impacts avec des rapports d'experts post-événement, fournissant ainsi une référence rigoureuse pour l'évaluation.
• Extraction causale sur les médias sociaux : L'étude évalue les LLM sur l'extraction de relations causales parmi un ensemble fixe de variables pour l'analyse des médias sociaux, distinguant cette tâche de la découverte causale ouverte.
• Preuves contre connaissances antérieures : La recherche examine explicitement la tension entre l'extraction basée sur des preuves et les priors du modèle, révélant comment la qualité des publications et l'architecture du modèle influencent la validité des relations extraites.

Résultats

• Performance par rapport à une base aléatoire : Tous les LLM évalués ont nettement surpassé une base aléatoire (modèle d'Erdős–Rényi), démontrant que les modèles peuvent inférer des relations causales spécifiques aux catastrophes à partir du texte des médias sociaux plutôt que de deviner.
• Comparaison des modèles :
  • Grok4.3 a obtenu les scores F1 les plus élevés (0,75 pour l'ouragan Irma, 0,71 pour l'ouragan Harvey), porté par un rappel élevé des arêtes tout en maintenant une forte précision des nœuds. Cette performance est attribuée à sa combinaison de raisonnement avancé et d'accès natif aux médias sociaux.
  • GPT-5.5 a performé de manière compétitive parmi les modèles sans accès natif aux médias sociaux, mais a adopté une approche d'extraction plus conservatrice, résultant en un rappel d'arêtes plus faible.
  • Mistral-7B a affiché la performance globale la plus faible, en particulier en matière de précision et de rappel des arêtes.
• Dépendance aux connaissances antérieures : Dans l'étude d'ablation utilisant des publications non informatives, la performance des modèles a chuté de manière substantielle. GPT-5.5 a maintenu des scores F1 relativement plus élevés dans ce contexte, suggérant une plus grande dépendance aux priors internes pour produire des structures plausibles mais non étayées. En revanche, Grok4.3 a démontré des seuils de preuve plus stricts, refusant de générer des graphes causaux pour l'ouragan Harvey lorsque les preuves étaient insuffisantes et montrant une haute sélectivité pour Irma.

Importance et affirmations
L'article affirme que, bien que les LLM montrent des promesses pour l'extraction de relations causales à partir des médias sociaux afin de soutenir la prise de décision en cas de catastrophe, leur déploiement nécessite des mécanismes robustes d'ancrage par des preuves. Les résultats mettent en lumière une dualité : des modèles avancés comme Grok4.3 peuvent exploiter efficacement les données en temps réel pour construire des graphes causaux, mais il existe un risque significatif que les modèles génèrent des liens causaux plausibles mais non vérifiés basés sur des connaissances pré-entraînées lorsque des preuves spécifiques font défaut. Par conséquent, les auteurs soutiennent que les graphes causaux extraits doivent être utilisés strictement comme des outils d'aide à la décision nécessitant une validation des sources et un examen par des experts, plutôt que comme des systèmes de décision autonomes. L'étude souligne la nécessité de valider les sorties des LLM par rapport à des rapports d'experts avant de les intégrer dans des pipelines d'intelligence en matière de catastrophes à haut risque.