Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

技術的サマリー：ソーシャルメディアにおける因果関係抽出のための大規模言語モデル

問題定義
災害インテリジェンスは状況認識に大きく依存しており、これはしばしば NOAA などの公式な事後報告書の回顧的かつ労働集約的な性質によって阻害される。一方、ソーシャルメディアは、ハザード、影響、インフラの混乱に関するリアルタイムかつクラウドソーシングされたデータを提供するが、これらの投稿から有効な因果関係を抽出することは本質的に困難である。ソーシャルメディアのコンテンツは通常、非公式で断片的であり、文脈に依存しており、因果関係は明示的に述べられるよりも暗示されることが多い。従来のルールベースの手法はこれらの暗黙の関係を捉えることができず、既存の自然言語処理アプローチは、急速に変化する災害的文脈に汎用性がない、硬直的で人間による注釈付けがなされたテンプレートに依存することが多い。大規模言語モデル（LLM）は、ノイズの多いテキストを推論し、明示されていない関係を推測する可能性を秘めているが、特定の投稿に存在する証拠ではなく、内部の事前知識に基づいて妥当な因果リンクを生成する重大なリスクがある。中心的な研究課題は、LLM が災害関連のソーシャルメディア投稿から有効な因果関係を効果的に抽出できるかどうかである。

手法
これに対処するため、著者は LLM によって生成された因果グラフと、専門家に基づく参照グラフを比較する検証フレームワークを提案する。手法は主に 3 つの構成要素からなる。

1. 真の因果グラフの構築:
   特定の災害に対する既存の因果グラフが存在しないため、著者は「マッチングと記録」のアプローチを用いてそれらを構築する。まず、ハザード、曝露、脆弱性、および影響間の因果経路を表す一般的な影響連鎖フレームワークから始め、標準化された権威ある事後報告書（具体的には NOAA 報告書）からの因果関係の証拠を用いてこれを洗練させる。これらの報告書のテキスト証拠によって明示的に支持されるエッジのみを保持し、真の基準となる一連の directed（原因、結果）関係を作成する。

2. LLM による因果関係の抽出:
   本研究では、アーキテクチャとデータアクセス能力が異なる 3 つの LLM を評価する。

   • Grok4.3: 歴史的およびリアルタイムの投稿に対するソーシャルメディアデータへのネイティブアクセスを備えたクローズドソースモデル。
   • GPT-5.5: 長文脈処理能力を備えているが、ソーシャルメディアへのネイティブアクセスがないクローズドソースモデル。
   • Mistral-7B: 限られたコンテキストウィンドウを持つ、オープンウェイトの小型モデル。

   これらのモデルには、ソーシャルメディア投稿のバッチ内の因果的言及を特定し、それらを影響連鎖フレームワークによって定義された固定された正規変数のセットにマッピングし、有向因果ペアを出力するよう指示する。コンテキストウィンドウが限られているモデル（Mistral-7B）の場合、投稿を 20 件ずつのバッチで処理するチャンキング戦略を採用する。

3. 評価フレームワーク:
   生成されたグラフのパフォーマンスは、標準的な因果発見指標を用いて、専門家に基づく参照グラフに対して測定される。ノードおよびエッジの精度、再現率、F1 スコア、構造ハミング距離（SHD）、および正規化 SHD（nSHD）である。重要なのは、外部検索を無効化し、「非情報的」な投稿（災害固有のコンテンツを欠くもの）を入力として与える制御されたアブレーション実験が含まれている点である。これは、モデルが提供されたデータに依存しているのか、それとも因果構造を生成するために内部の事前知識に依存しているのかをテストするものである。

主な貢献

• 専門家に基づく因果グラフ: 著者は、影響連鎖フレームワークを事後の専門家報告書と整合させることで、災害固有の真の因果グラフを構築し、評価のための厳格なベンチマークを提供する。
• ソーシャルメディアからの因果抽出: 本研究は、ソーシャルメディア分析における固定された変数のセット間の因果関係を抽出する LLM を評価し、このタスクをオープンエンドな因果発見と区別する。
• 証拠対事前知識: 研究は、証拠に基づく抽出とモデルの事前知識との間の緊張関係を明示的に検証し、投稿の品質とモデルのアーキテクチャが抽出された関係の有効性にどのように影響するかを明らかにする。

結果

• ランダムベースラインとの比較: 評価されたすべての LLM は、ランダムベースライン（エルデシュ・レーニィモデル）を大幅に上回る性能を示し、モデルが推測ではなくソーシャルメディアのテキストから災害固有の因果関係を推論できることを実証した。
• モデル比較:
  • Grok4.3 は、高いエッジ再現率を維持しながら強力なノード精度を達成し、最も高い F1 スコア（ハリケーン・イルマで 0.75、ハリケーン・ハービーで 0.71）を達成した。この性能は、高度な推論とソーシャルメディアへのネイティブアクセスの組み合わせに起因する。
  • GPT-5.5 は、ソーシャルメディアへのネイティブアクセスがないモデルの中で競争力のある性能を示したが、より保守的な抽出アプローチを採用した結果、エッジ再現率が低かった。
  • Mistral-7B は、特にエッジの精度と再現率において、全体的に最も弱い性能を示した。
• 事前知識への依存: 非情報的投稿を用いたアブレーション研究において、モデルの性能は大幅に低下した。GPT-5.5 はこの設定で比較的高い F1 スコアを維持し、妥当だが根拠のない構造を生成するために内部の事前知識に依存している可能性を示唆した。対照的に、Grok4.3 はより厳格な証拠閾値を示し、証拠が不十分な場合、ハリケーン・ハービーの因果グラフの生成を拒否し、イルマに対して高い選択性を示した。

意義と主張
本論文は、LLM が災害意思決定支援のためのソーシャルメディアからの因果関係抽出に有望であることを示しているが、その展開には堅牢な証拠に基づくメカニズムが必要であると主張する。発見は二重の現実を浮き彫りにする。Grok4.3 のような高度なモデルは、リアルタイムデータを活用して因果グラフを構築できるが、特定の証拠が欠如している場合、事前学習された知識に基づいて妥当だが検証されていない因果リンクを生成する重大なリスクがあることである。したがって、著者は、抽出された因果グラフは、ソースの検証と専門家によるレビューを必要とする意思決定支援ツールとして厳格に使用すべきであり、単独の意思決定システムとしては使用すべきではないと論じている。本研究は、高リスクの災害インテリジェンスパイプラインに LLM の出力を統合する前に、専門家報告書に対して検証する必要性を強調している。