Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

Technisches Fazit: Große Sprachmodelle für die Extraktion kausaler Zusammenhänge in sozialen Medien

Problemstellung
Die Katastrophenintelligenz ist stark von der Lagebewusstheit abhängig, die jedoch häufig durch den retrospektiven und arbeitsintensiven Charakter offizieller Nachberichterstattung (z. B. von der NOAA) behindert wird. Während soziale Medien Echtzeitdaten aus Crowdsourcing über Gefahren, Auswirkungen und Infrastrukturstörungen bieten, ist die Extraktion valider kausaler Zusammenhänge aus diesen Beiträgen inhärent schwierig. Inhalte in sozialen Medien sind typischerweise informell, fragmentiert und kontextabhängig, wobei Kausalität oft impliziert statt explizit formuliert wird. Traditionelle regelbasierte Methoden erfassen diese impliziten Zusammenhänge nicht, und bestehende NLP-Ansätze verlassen sich häufig auf starre, von Menschen annotierte Vorlagen, die sich nicht gut auf sich schnell wandelnde Katastrophenkontexte verallgemeinern lassen. Obwohl Große Sprachmodelle (LLMs) das Potenzial bieten, über verrauschte Texte zu reasoning und nicht ausgesprochene Zusammenhänge zu inferieren, besteht das kritische Risiko, dass sie plausible kausale Verknüpfungen basierend auf internem Vorwissen generieren, anstatt auf Evidenz, die in den spezifischen Beiträgen vorhanden ist. Die zentrale Forschungsfrage lautet, ob LLMs in der Lage sind, aus katastrophenbezogenen Beiträgen in sozialen Medien gültige kausale Zusammenhänge effektiv zu extrahieren.

Methodik
Um dies zu adressieren, schlagen die Autoren ein Validierungsframework vor, das von LLMs generierte kausale Graphen mit expertenbasierten Referenzgraphen vergleicht. Die Methodik besteht aus drei Hauptkomponenten:

1. Konstruktion von Ground-Truth-Kausalgraphen:
   Da für spezifische Katastrophen keine vorbestehenden kausalen Graphen verfügbar sind, konstruieren die Autoren diese mittels eines „Match-and-Record"-Ansatzes. Sie beginnen mit einem allgemeinen Wirkungsketten-Framework (das kausale Pfade zwischen Gefahren, Exposition, Vulnerabilität und Auswirkungen darstellt) und verfeinern es unter Verwendung von Kausalitätsnachweisen aus standardisierten, autoritativen Nachberichten (insbesondere NOAA-Berichte). Nur Kanten, die explizit durch textliche Evidenz in diesen Berichten gestützt werden, bleiben erhalten, wodurch ein Satz gerichteter (Ursache, Wirkung)-Relationen entsteht, der als Ground Truth dient.

2. Extraktion kausaler Zusammenhänge via LLMs:
   Die Studie bewertet drei LLMs mit unterschiedlichen Architekturen und Datenzugriffsmöglichkeiten:

   • Grok4.3: Ein Closed-Source-Modell mit nativem Zugriff auf Daten aus sozialen Medien für historische und Echtzeit-Beiträge.
   • GPT-5.5: Ein Closed-Source-Modell mit Langkontext-Fähigkeiten, aber ohne nativen Zugriff auf soziale Medien.
   • Mistral-7B: Ein Open-Weight-Modell mit kleinerem Umfang und begrenzten Kontextfenstern.

   Die Modelle werden aufgefordert, kausale Erwähnungen innerhalb von Batches sozialer Medienbeiträge zu identifizieren, sie auf einen festen Satz kanonischer Variablen abzubilden, die durch das Wirkungsketten-Framework definiert sind, und gerichtete kausale Paare auszugeben. Für Modelle mit begrenzten Kontextfenstern (Mistral-7B) wird eine Chunking-Strategie eingesetzt, bei der Beiträge in Batches von 20 verarbeitet werden.

3. Evaluierungsframework:
   Die Leistung der generierten Graphen wird anhand von Standardmetriken für die kausale Entdeckung gegen die expertenbasierten Referenzgraphen gemessen: Präzision und Recall für Knoten und Kanten, F1-Score, Struktural Hamming Distance (SHD) und normalisierte SHD (nSHD). Entscheidend ist, dass die Studie ein kontrolliertes Ablations-Experiment einschließt, bei dem Modelle „nicht-informative" Beiträge (ohne katastrophen-spezifischen Inhalt) mit deaktivierter externer Suche erhalten. Dies testet, ob sich die Modelle auf die bereitgestellten Daten verlassen oder auf interne Priors zurückgreifen, um kausale Strukturen zu generieren.

Hauptbeiträge

• Expertenbasierte Kausalgraphen: Die Autoren konstruieren katastrophen-spezifische Ground-Truth-Kausalgraphen, indem sie ein Wirkungsketten-Framework mit expertenbasierten Nachberichten abgleichen, und bieten damit einen rigorosen Benchmark für die Evaluierung.
• Extraktion kausaler Zusammenhänge aus sozialen Medien: Die Studie bewertet LLMs bei der Extraktion kausaler Zusammenhänge zwischen einem festen Satz von Variablen für die Analyse sozialer Medien und unterscheidet diese Aufgabe von der offenen kausalen Entdeckung.
• Evidenz versus Vorwissen: Die Forschung untersucht explizit die Spannung zwischen evidenzbasierter Extraktion und Modell-Priors und zeigt auf, wie die Qualität der Beiträge und die Modellarchitektur die Validität extrahierter Zusammenhänge beeinflussen.

Ergebnisse

• Leistung im Vergleich zur Zufalls-Baseline: Alle bewerteten LLMs schnitten signifikant besser ab als eine Zufalls-Baseline (Erdős–Rényi-Modell), was zeigt, dass die Modelle katastrophen-spezifische kausale Zusammenhänge aus Texten sozialer Medien inferieren können, anstatt zu raten.
• Modellvergleich:
  • Grok4.3 erzielte die höchsten F1-Scores (0,75 für Hurrikan Irma, 0,71 für Hurrikan Harvey), getrieben durch einen hohen Edge-Recall bei gleichzeitig starker Node-Präzision. Diese Leistung wird auf die Kombination aus fortschrittlichem Reasoning und nativem Zugriff auf soziale Medien zurückgeführt.
  • GPT-5.5 schnitt unter den Modellen ohne nativen Zugriff auf soziale Medien konkurrenzfähig ab, zeigte jedoch einen konservativeren Extraktionsansatz, was zu einem niedrigeren Edge-Recall führte.
  • Mistral-7B zeigte die schwächste Gesamtleistung, insbesondere bei Edge-Präzision und -Recall.
• Verlassen auf Vorwissen: Im Ablations-Experiment mit nicht-informativen Beiträgen sank die Modellleistung erheblich. GPT-5.5 behielt in diesem Setting relativ höhere F1-Scores bei, was auf eine stärkere Abhängigkeit von internen Priors hindeutet, um plausible, aber nicht fundierte Strukturen zu erzeugen. Im Gegensatz dazu zeigte Grok4.3 strengere Evidenzschwellen, verweigerte die Generierung kausaler Graphen für Hurrikan Harvey, wenn die Evidenz unzureichend war, und zeigte eine hohe Selektivität für Irma.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass LLMs zwar vielversprechend für die Extraktion kausaler Zusammenhänge aus sozialen Medien zur Entscheidungsunterstützung bei Katastrophen sind, ihr Einsatz jedoch robuste Mechanismen zur Evidenzfundierung erfordert. Die Ergebnisse unterstreichen eine duale Realität: Fortschrittliche Modelle wie Grok4.3 können Echtzeitdaten effektiv nutzen, um kausale Graphen zu erstellen, doch besteht ein erhebliches Risiko, dass Modelle plausible, aber unverifizierte kausale Verknüpfungen basierend auf vortrainiertem Wissen generieren, wenn spezifische Evidenz fehlt. Folglich argumentieren die Autoren, dass extrahierte kausale Graphen strikt als Entscheidungsunterstützungswerkzeuge verwendet werden sollten, die eine Quellenvalidierung und Expertenprüfung erfordern, und nicht als eigenständige Entscheidungssysteme. Die Studie unterstreicht die Notwendigkeit, LLM-Ausgaben vor der Integration in hochriskante Katastrophenintelligenz-Pipelines gegen Expertenberichte zu validieren.