Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German
Diese Studie führt eine vergleichende Analyse von drei einsatzbereiten Named-Entity-Recognition-Tools (Flair, Spacy und Stanza) zur Identifizierung von Toponymen in deutschen Nachrichtenartikeln über extreme Klimaereignisse durch und zeigt auf, wie deren unterschiedliche Ausgaben sich in nachgelagerten Geolokalisierungsaufgaben fortpflanzen und die Schlussfolgerungen bezüglich der Präsenz von Ländern in der Medienberichterstattung erheblich beeinflussen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Wo hat dieses Extremwetterereignis tatsächlich stattgefunden?"
Sie haben einen Stapel deutscher Nachrichtenartikel vor sich. Einige berichten von Überschwemmungen in Brasilien, andere von Hitzewellen in Deutschland. Das Problem ist, dass die Artikel unübersichtlich sind. Ein Artikel könnte sagen: „Die Überschwemmungen in Porto Alegre, Brasilien, erinnern uns an die Hunsrück-Region in Deutschland." Ein menschlicher Leser weiß sofort, dass die Katastrophe in Brasilien stattfand. Aber ein Computer? Er könnte durch das Wort „Deutschland" verwirrt werden und denken, die Flut sei dort geschehen.
Diese Arbeit untersucht drei verschiedene „Computer-Detektive" (Software-Tools), um herauszufinden, welches davon am besten geeignet ist, den richtigen Ort in diesen Nachrichten zu finden.
Die drei Detektive
Die Forscher testeten drei beliebte, handelsübliche Software-Tools (stellen Sie sich drei verschiedene Marken von GPS-Geräten vor):
- Flair
- Spacy
- Stanza
Ihre Aufgabe ist die Named Entity Recognition (NER) – auf Deutsch: Erkennung benannter Entitäten. Einfach ausgedrückt bedeutet dies, einen Satz zu durchsuchen und Wörter hervorzuheben, die wie Orte aussehen (wie „Paris", „Amazonas" oder „Hunsrück").
Das Experiment: Ein „blindes" Testverfahren
Normalerweise erhält ein Detektiv zum Testen eine Liste mit Antworten, von denen man bereits weiß, dass sie korrekt sind (ein „Goldstandard"). In der realen Welt haben Forscher diese Liste jedoch oft nicht. Daher richteten die Autoren einen kniffligen Test ein:
- Sie fütterten alle drei Tools mit einer Sammlung von 983 deutschen Nachrichtenartikeln über Katastrophen (Überschwemmungen, Brände, Hitzewellen).
- Sie baten jedes Tool, eine Liste der gefundenen Orte zu erstellen.
- Anschließend versuchten sie, das Land der Katastrophe allein auf Basis dieser Listen zu erraten.
Was sie fanden: Die Detektive sind sich uneinig
Hier kommt die große Überraschung: Die drei Tools stimmten nur selten miteinander überein.
- Unterschiedliche Listen: Wenn Sie denselben Artikel allen drei Tools gaben, hoben sie unterschiedliche Wortgruppen als „Orte" hervor. Das eine könnte 14 Orte erkennen, ein anderes 15, und sie könnten sich nicht einmal darüber einig sein, welche 14 gemeint sind.
- Das „Rauschen"-Problem:
- Spacy war wie ein Detektiv, der zu viel sieht. Er markierte generische Wörter wie „Stadt", „Innenstadt" oder „Flughafen" als spezifische Orte. Dies erzeugte viel „Rauschen" (Fehlalarme).
- Stanza wurde manchmal durch Wörter verwirrt, die nach Orten klingen, aber keine sind, wie Adjektive (z. B. „italienisch", das eine Suche nach Orten in Italien auslöste, selbst wenn der Artikel über eine italienische Botschaft in Frankreich handelte).
- Flair war am vorsichtigsten. Es fand weniger Orte, aber die, die es fand, waren mit höherer Wahrscheinlichkeit echte, gültige Standorte.
Die Welleneffekte: Warum das wichtig ist
Die Arbeit zeigt, dass die Wahl des falschen Detektivs das endgültige Urteil verändert.
- Falsche Ländervermutungen: Da die Tools unterschiedliche Ortelisten erstellten, schätzten sie das Land der Katastrophe unterschiedlich ein. In einigen Fällen änderte die Wahl des Tools das vorhergesagte Land um mehr als 10 %.
- Das „Popularitäts"-Ranking: Die Forscher versuchten, Länder danach zu ranken, wie oft sie in den Nachrichten vorkamen.
- Wenn Sie Flair verwendeten, sah das Ranking der menschlich annotierten Wahrheit sehr ähnlich.
- Wenn Sie Spacy oder Stanza verwendeten, war das Ranking leicht verzerrt. Beispielsweise könnte ein Tool denken, die Schweiz sei das am häufigsten diskutierte Land, während Menschen wissen, dass es tatsächlich Brasilien ist.
Das Fazit
Die Autoren sagen nicht, dass ein Tool perfekt ist oder die anderen nutzlos. Sie sagen: Wählen Sie ein Tool nicht einfach nur, weil es populär ist.
Wenn Sie ein Forscher sind, der die Berichterstattung über den Klimawandel verstehen möchte, wirkt das von Ihnen gewählte Tool wie ein Filter. Ein leicht unterschiedlicher Filter kann Ihre Schlussfolgerungen darüber verändern, welche Länder am stärksten betroffen sind oder am meisten diskutiert werden.
Kurz gesagt: Selbst wenn Sie „fertige" Software verwenden, müssen Sie deren Arbeit überprüfen. Tun Sie dies nicht, könnten Sie versehentlich einen Bericht verfassen, der besagt, die Überschwemmungen seien in Deutschland geschehen, obwohl sie tatsächlich in Brasilien stattfanden – einfach weil Ihr Computer durch das Wort „Deutschland", das im Text vorkam, verwirrt wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.