💻 computer science

Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German

Deze studie voert een vergelijkende analyse uit van drie kant-en-klare Named Entity Recognition-tools (Flair, Spacy en Stanza) voor het identificeren van toponiemen in Duitse nieuwsartikelen over extreme klimaatgebeurtenissen, en toont aan hoe hun verschillende output zich voortplant in downstream-geolocatietaken om conclusies over de prominentie van landen in de mediadekking aanzienlijk te beïnvloeden.

Oorspronkelijke auteurs: Brielen Madureira, Mariana Madruga de Brito, Andreas Niekler

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Brielen Madureira, Mariana Madruga de Brito, Andreas Niekler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Waar vond dit extreme weersverschijnsel eigenlijk plaats?"

Je hebt een stapel Duitse nieuwsartikelen. Sommigen spreken over overstromingen in Brazilië, anderen over hittegolven in Duitsland. Het probleem is dat de artikelen rommelig zijn. Eén artikel kan zeggen: "De overstromingen in Porto Alegre, Brazilië, herinneren ons aan de Hunsrück-regio in Duitsland." Een menselijke lezer weet direct dat de ramp in Brazilië heeft plaatsgevonden. Maar een computer? Die kan in de war raken door het woord "Duitsland" en denken dat de overstroming daar heeft plaatsgevonden.

Dit artikel gaat over het testen van drie verschillende "computerdetectives" (softwaretools) om te zien welke het beste in staat is om de juiste locatie in deze nieuwsverhalen te vinden.

De Drie Detectives

De onderzoekers testten drie populaire, kant-en-klare softwaretools (denk aan ze als drie verschillende merken GPS):

Flair
Spacy
Stanza

Hun taak is Named Entity Recognition (NER). In gewone taal betekent dit het scannen van een zin en het markeren van woorden die op plaatsen lijken (zoals "Parijs", "Amazonas" of "Hunsrück").

Het Experiment: Een "Blinde" Test

Meestal geef je om een detective te testen een lijst met antwoorden waarvan je al weet dat ze correct zijn (een "gouden standaard"). Maar in de echte wereld hebben onderzoekers die lijst vaak niet. Daarom hebben de auteurs een lastige test opgezet:

Ze voerden alle drie de tools een verzameling van 983 Duitse nieuwsartikelen over rampen (overstromingen, branden, hittegolven).
Ze vroegen elke tool om een lijst te maken van de plaatsen die het vond.
Vervolgens probeerden ze het land van de ramp te raden, uitsluitend op basis van die lijsten.

Wat Ze Vonden: De Detectives Zijn Het Niet Met Elkaar Eens

Hier is de grote verrassing: De drie tools kwamen niet vaak met elkaar overeen.

Verschillende Lijsten: Als je hetzelfde artikel aan alle drie gaf, zouden ze verschillende sets woorden markeren als "plaatsen". De ene zou 14 plaatsen zien, de andere 15, en ze zouden het misschien niet eens eens zijn over welke 14.
Het "Ruis"-Probleem:
- Spacy was als een detective die te veel ziet. Het markeerde algemene woorden als "stad", "binnenstad" of "luchthaven" als specifieke plaatsen. Dit creëerde veel "ruis" (valse alarmen).
- Stanza raakte soms in de war door woorden die klinken als plaatsen maar dat niet zijn, zoals bijvoeglijke naamwoorden (bijvoorbeeld "Italiaans" dat een zoektocht naar plaatsen in Italië triggert, zelfs als het artikel gaat over een Italiaanse ambassade in Frankrijk).
- Flair was het meest voorzichtig. Het vond minder plaatsen, maar de plaatsen die het vond, waren waarschijnlijker echte, geldige locaties.

Het Golvend Effect: Waarom Dit Belangrijk Is

Het artikel laat zien dat het kiezen van de verkeerde detective het eindoordeel verandert.

Verkeerde Landsguesses: Omdat de tools verschillende lijsten met plaatsen vonden, raadden ze het land van de ramp verschillend. In sommige gevallen veranderde de keuze van tool de voorspelde het land met meer dan 10%.
De "Populariteits"-Rangschikking: De onderzoekers probeerden landen te rangschikken op basis van hoe vaak ze in het nieuws verschenen.
- Als je Flair gebruikte, leek de rangschikking zeer dicht bij de door mensen geannoteerde waarheid te liggen.
- Als je Spacy of Stanza gebruikte, was de rangschikking iets afwijkend. Bijvoorbeeld: één tool zou denken dat Zwitserland het meest besproken land is, terwijl mensen weten dat het eigenlijk Brazilië is.

De Conclusie

De auteurs zeggen niet dat één tool perfect is of dat de anderen nutteloos zijn. Ze zeggen: Kies niet zomaar een tool omdat het populair is.

Als je een onderzoeker bent die probeert de berichtgeving over klimaatverandering te begrijpen, werkt de tool die je kiest als een filter. Een iets ander filter kan je conclusies veranderen over welke landen het meest getroffen zijn of het meest besproken worden.

Kortom: Zelfs als je "kant-en-klare" software gebruikt, moet je het werk controleren. Als je dat niet doet, kun je per ongeluk een rapport schrijven waarin staat dat de overstromingen in Duitsland hebben plaatsgevonden, terwijl ze eigenlijk in Brazilië waren, simpelweg omdat je computer in de war raakte door het woord "Duitsland" dat in de tekst voorkwam.

Technische Samenvatting: Geolokalisatie van Nieuws over Extreme Klimaatgebeurtenissen

Probleemstelling
Het bepalen van de geolokalisatie van extreme klimaatgebeurtenissen en rampen binnen tekst is een kritieke uitdaging in onderzoek naar klimaateffecten en aanpassing. Hoewel Named Entity Recognition (NER)-tools standaard zijn voor het identificeren van toponiemen (plaatsnamen) als kandidaat-locaties voor gebeurtenissen, zijn deze tools niet foutloos. Een specifieke moeilijkheid doet zich voor wanneer teksten verwijzingen bevatten naar meerdere locaties, waaronder die welke niet gerelateerd zijn aan de feitelijke gebeurtenis (bijvoorbeeld een Duits nieuwsartikel over overstromingen in Brazilië dat verwijst naar Duitse dialecten of regio's). Computergestuurde tools hebben vaak moeite om onderscheid te maken tussen de daadwerkelijke locatie van de gebeurtenis en andere genoemde plaatsen, wat leidt tot potentiële fouten bij de geolokalisatie van documenten. Dit probleem wordt verergerd door het ontbreken van robuuste, systematische evaluaties van kant-en-klare NER-tools specifiek voor Duitse teksten in de context van klimaatdiscours.

Methodologie
De auteurs voerden een vergelijkende analyse uit van drie populaire kant-en-klare NER-tools voor het Duits: Flair (model de-ner-large), Spacy (model de_core_news_lg) en Stanza (model de). De studie gebruikte een corpus van 983 Duitse nieuwsartikelen (gepubliceerd 2000–2024) over zeven soorten klimaatgevaar (hittegolven, bosbranden, overstromingen, stormen, droogte, koudegolven en aardverschuivingen).

De evaluatie volgde een vierstapsproces dat was ontworpen om te beoordelen hoe NER-outputs zich voortplanten naar downstream-taken, zonder te vertrouwen op een gouden standaard voor toponiemannotatie:

Identificatie: Elk document werd verwerkt door de drie NER-tools om tokens te extraheren die zijn gelabeld als locaties (LOC).
Opvragen: Unieke toponiemen werden opgevraagd bij twee geografische databases, Geonames en Nominatim, om coördinaten en landmetadata op te halen.
Oplossing: Ambiguïteiten werden opgelost met behulp van een heuristiek voor "ruimtelijke minimaliteit", waarbij toponiemen werden gekoppeld aan coördinaten die het dichtst bij het polygon lagen dat werd gevormd door niet-ambigue toponiemen in het document.
Voorspelling: Drie verschillende methoden werden toegepast om de geografische focus (land) van het document te bepalen op basis van de opgeloste toponiemen:
- Meerderheidsstemming: Het selecteren van het meest voorkomende land onder de geïdentificeerde toponiemen.
- Dichtst bij het zwaartepunt: Het berekenen van het zwaartepunt van het toponiempolygon en het selecteren van het land van het dichtstbijzijnde toponiem.
- Sleutelwoordproximiteit: Het beperken van toponiemen tot die welke in dezelfde zin voorkomen met gevaarsleutelwoorden, of het selecteren van het dichtstbijzijnde toponiem als er geen co-occurrence bestaat.

De prestaties werden extrinsiek geëvalueerd tegen een door mensen geannoteerde gouden standaard van landelijke geografische focus op documentniveau. De metrieken omvatten Intersection over Union (IoU) voor toponiemoverlap, exacte en gedeeltelijke matchpercentages voor landvoorspelling, en Kendall $\tau$ en Spearman rangcorrelaties voor rangschikkingen van landfrequentie.

Belangrijkste Resultaten

Variantie in toponiemidentificatie: De tools produceerden aanzienlijk verschillende sets toponiemen. Spacy identificeerde het hoogste aantal unieke toponiemtypes (6.700), maar had de laagste dekking in geografische databases (42,75% in Geonames, 63,58% in Nominatim). Flair identificeerde minder types (4.639), maar behaalde hogere database-matchpercentages (63,16% in Geonames, 81,20% in Nominatim).
Onderlinge onenigheid downstream: Variaties in toponiemidentificatie leidden tot aanzienlijke divergentie in landvoorspellingen. Afhankelijk van de methode en database resulteerde de keuze van de NER-tool erin dat ten minste 10% (en tot >20%) van de documenten verschillende landvoorspellingen kregen.
Voorspellingsnauwkeurigheid: Flair behaalde consequent de hoogste nauwkeurigheid bij het voorspellen van het juiste land, gevolgd door Stanza en Spacy. De methode "Sleutelwoordproximiteit" leverde over het algemeen de beste prestaties op. De keuze van de NER-tool alleen kon een verschil van tot 5 procentpunten veroorzaken in de voorspellingsnauwkeurigheid.
Correlatie van rangschikking: Bij het rangschikken van landen op basis van mediabekendheid toonde Flair de hoogste correlatie met de gouden standaard (Spearman $r=0,833$ ), beter dan Stanza ($0,758$) en Spacy ($0,753$). Hoewel alle tools de top twee landen correct identificeerden, varieerde de volgorde van de daaropvolgende landen aanzienlijk; bijvoorbeeld, rangschikte Spacy Frankrijk drie posities hoger dan Stanza.
Foutbronnen: Spacy neigde naar het identificeren van generieke termen (bijvoorbeeld Stadt, Innenstadt) als toponiemen, terwijl Stanza vaak adjectivale en demonymische vormen identificeerde (bijvoorbeeld italienischen), wat ruis introduceerde. Het ontbreken van onderscheidende labels voor geopolitieke entiteiten versus nationaliteiten in Duitse NER-trainingsdata werd geïdentificeerd als een bijdragende factor aan deze fouten.

Betekenis en Aanspraken
Het artikel betoogt dat hoewel kant-en-klare NER-tools vaak aan hun gezichtswaarde worden geaccepteerd, hun selectie waarneembaar invloed kan hebben op downstream-conclusies in onderzoek naar klimaatdiscours. De auteurs tonen aan dat onderzoekers zonder zorgvuldige vergelijkende evaluatie het risico lopen:

Ongegronde negatieve impact op de voorspellingsnauwkeurigheid in te brengen (tot 5 procentpunten lager).
Landrangschikkingen te genereren die minder correleren met de werkelijkheid.
Mogelijk gebrekkige conclusies te trekken over de bekendheid van specifieke landen in mediadekking.

De studie stelt geen nieuw, superieur NER-model voor, maar levert eerder empirisch bewijs dat opstellingenbeslissingen, die misschien onbeduidend lijken, een rigoureuze evaluatie vereisen. Het benadrukt de noodzaak van foutenanalyse en toolvergelijking, vooral wanneer gouden standaarden voor toponiemannotatie niet beschikbaar zijn, om de betrouwbaarheid van datagedreven analyses in onderzoek naar klimaatadaptatie te waarborgen.