Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges Rätsel zu lösen, aber anstatt eines einzelnen Tatorts haben Sie eine Bibliothek mit Millionen von unordentlichen, handgeschriebenen Tagebüchern. Diese Tagebücher erzählen Geschichten über Katastrophen wie Überschwemmungen, Erdbeben und Dürren und beschreiben, wie verschiedene Gruppen versucht haben zu helfen. Das Problem ist, dass die Geschichten lang, verwirrend und oft widersprüchlich sind. Ein Tagebuch sagt vielleicht: „Die Vergabe von Bargeld half den Menschen, Lebensmittel zu kaufen“, während ein anderes sagt: „Bargeld führte dazu, dass die Preise stiegen und die Lage verschlimmerte.“

Um dieses Chaos zu bewältigen, nutzen Wissenschaftler ein Werkzeug namens Large Language Model (LLM). Betrachten Sie ein LLM als einen superintelligenten, unermüdlichen Roboter-Leser, der in der Lage ist, tausende dieser Tagebücher in Sekundenschnelle zu lesen. Doch genau wie ein Mensch kann auch der Roboter überfordert werden. Wenn Sie ihn fragen: „Was war mit Bargeld?“, greift er vielleicht jedes Mal, wenn das Wort „Bargeld“ vorkommt, selbst wenn das Tagebuch eigentlich über ein ganz anderes Thema sprach. Dies wird als „Über-Extraktion“ (Over-Extraction) bezeichnet und erzeugt viel Rauschen. Um dies zu beheben, müssen Forscher einen Weg finden, den Roboter anzuweisen, sich nur auf die spezifischen Hinweise zu konzentrieren, die wirklich relevant sind, und seine Arbeit gegen den Originaltext zu überprüfen, um sicherzustellen, dass er nichts erfindet. Bei dieser Arbeit geht es darum, ein besseres Detektiv-System zu bauen, um diese unordentlichen Tagebücher in klare, vertrauenswürdige Antworten darüber zu verwandeln, was in einer Krise tatsächlich funktioniert.

---

Das neue Werkzeugset des Detektivs

In dieser Studie haben die Forscher Yuanjun Zhang und Mourad Oussalah das Ziel gesetzt, das „Rauschen“ in humanitären Berichten zu bereinigen. Sie nutzten eine massive Sammlung von Berichten von ReliefWeb, einer globalen Datenbank für Krisen-Updates, die die Jahre 2000 bis 2024 abdeckt. Ihr Ziel war es herauszufinden, ob eine bestimmte Art der Hilfe – Bargeldhilfe – tatsächlich zu besseren Ergebnissen führt, wie etwa dem Erreichen einer ausreichenden Nahrungsmittelversorgung.

Um dies zu erreichen, bauten sie eine zweistufige „Pipeline“ unter Verwendung von KI. Stellen Sie sich dies wie eine Fabrik-Montageband mit zwei sehr spezifischen Arbeitern vor:

1. Der Filter (Stufe 1): Der erste Arbeiter ist sehr streng. Anstatt das ganze Tagebuch zu lesen und zu raten, was wichtig ist, erhält er eine spezifische Abfrage, wie zum Beispiel „Bargeldhilfe“. Er sucht nur nach Sätzen, in denen Bargeldhilfe die Hauptrolle spielt. Wenn das Tagebuch Bargeld erwähnt, es aber nur eine Randnotiz ist, ignoriert der Arbeiter es. Dies wird als abfragebedingte Extraktion (query-conditioned extraction) bezeichnet. Es verhindert, dass die KI irrelevante Informationen aufgreift, was ein großes Problem bei früheren Methoden war.
2. Der Faktenchecker (Stufe 2): Sobes der erste Arbeiter einen potenziellen Hinweis gefunden hat (z. B. „Bargeld half Familien, Lebensmittel zu kaufen“), tritt der zweite Arbeiter ein. Dieser Arbeiter rät nicht einfach, ob der Hinweis gut oder schlecht ist; er betrachtet genau den Satz (das „Snippet“), in dem der Hinweis gefunden wurde. Er entscheidet: Ist das Ergebnis gestiegen (positiv), gesunken (negativ) oder gleich geblieben? Und wie stark ist die Evidenz? Ist es ein schwaches Gerücht oder eine starke, klare Aussage? Dies wird als snippet-gestützte Klassifizierung (snippet-grounded classification) bezeichnet.

Die Ergebnisse: Das Signal im Rauschen finden

Das Team testete ihr neues System gegen mehrere leistungsstarke KI-Modelle, darunter Qwen-Plus, GPT-4o-mini und DeepSeek-V3 sowie ein Open-Source-Modell namens Llama-3.1-8B.

Sie fanden heraus, dass ihre zweistufige Methode ein Wendepunkt war.

• Die Lösung für die „Über-Extraktion“: Ohne ihren strengen Filter würde die KI viel zu viele irrelevante Verbindungen herausziehen. Mit dem Filter sank die Zahl der extrahierten Fakten auf ein realistisches Niveau, das den Erwartungen menschlicher Experten entsprach.
• Genauigkeit: Das beste geschlossene KI-Modell (Qwen-Plus), das ihre zweistufige Methode verwendete, erreichte einen gewichteten F1-Score von 90,73 %. In der Welt der KI ist dies ein sehr hoher Wert, was bedeutet, dass es fast immer korrekt war.
• Die Open-Source-Überraschung: Sie versuchten auch, ein kleineres, kostenloses KI-Modell (Lerm-3.1-8B) zu lehren, indem sie es mit den Antworten der großen, teuren KI trainierten. Dies nennt man „Destillation“. Das Ergebnis? Das kleinere Modell wurde sogar noch besser und erreichte einen gewichteten F1-Score von 94,15 %. Dies deutet darauf darauf hin, dass man nicht immer den teuersten Roboter braucht, um die besten Ergebnisse zu erzielen; man braucht nur das richtige Training.

Das große Finale: Triangulation

Sobald sie Tausende von sauberen, verifizierten Fakten gesammelt hatten, mussten sie diese zusammenführen, um das Gesamtbild zu sehen. Sie konnten nicht einfach die Gesamtzahl der „guten“ und „schlechten“ Berichte zählen, da einige Arten von Katastrophen (wie Überschwemmungen) viel häufiger gemeldet werden als andere (wie Erdbeben). Wenn sie einfach alles zusammenzählen würden, würden die Überschwemmungen die anderen Geschichten überfluten.

Deshalb erfanden sie eine Methode namens kontexterhaltende Triangulation.

• Das Gitter: Sie organisierten die Fakten in einem Gitter basierend auf dem Katastrophentyp (z. B. Überschwemmung, Dürre) und dem Quelltyp (z. B. Regierung, NGO, Medien).
• Der Score: Sie berechneten einen Evidenzgrad-Score (Level-of-Evidence, LoE). Dieser Score gibt an, wie sehr die verschiedenen Geschichten übereinstimmen. Ein Score von 1,0 würde bedeuten, dass alle perfekt übereinstimmen; 0,0 würde totales Chaos bedeuten.

Als sie dies auf lebensmittelbezogene Ergebnisse für Bargeldhilfe anwandten, war das Ergebnis beeindruckend. Der LoE-Score betrug 0,865. Dies deutet auf eine starke positive Konvergenz hin. Auf Deutsch gesagt: Über verschiedene Arten von Katastrophen und verschiedene Berichterstattungsquellen hinweg deutet die Evidenz konsistent darauf hin, dass Bargeldhilfe Menschen hilft, Lebensmittel zu erhalten.

Sie untersuchten auch, wie sich dies im Laufe der Zeit veränderte. Von 2000 bis 2005 waren die Daten spärlich und unsicher. Aber von 2006 bis 2017 wurde das positive Signal immer stärker und erreichte seinen Höhepunkt im Jahr 2017 mit einem LoE von 0,929. Selbst von 2018 bis 2024 blieb das Signal hochgradig positiv, auch wenn es etwas abflachte, was wahrscheinlich daran liegt, dass reale Situationen komplex sind und Bargeld manchmal vorsichtig gehandhabt werden muss, um Risiken zu vermeiden.

Was dies bedeutet (und was es nicht bedeutet)

Die Autoren betonen vorsichtig, dass dies kein Zauberstab ist, der jede Krise löst. Sie merken an, dass sich ihre Studie auf englischsprachige Berichte und spezifische Arten von Katastrophen beschränkt. Sie warnen auch davor, dass die „Stärke“ der gemessenen Evidenz auf dem basiert, was in den Berichten geschrieben wurde, und nicht unbedingt auf der tatsächlichen Größe der Auswirkungen vor Ort.

Dennoch beweist die Studie, dass wir durch einen intelligenten, zweistufigen KI-Prozess und eine sorgfältige Organisation der Daten einen riesigen Berg an verwirrenden, unordentlichen Berichten in eine klare, prüfbare Landkarte dessen verwandeln können, was funktioniert. Es legt nahe, dass wir mit den richtigen Werkzeugen aufhören können zu raten und statfangen zu wissen, welche Interventionen Menschen wirklich dabei helfen, zu überleben und zu gedeihen.