Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German

Resumen Técnico: Geolocalización de Noticias sobre Eventos Climáticos Extremos

Planteamiento del Problema
Determinar la geolocalización de eventos climáticos extremos y desastres dentro de textos es un desafío crítico en la investigación sobre impacto y adaptación climática. Si bien las herramientas de Reconocimiento de Entidades Nombradas (NER) son estándar para identificar topónimos (nombres de lugares) como candidatos a ubicaciones de eventos, estas herramientas no están exentas de errores. Una dificultad específica surge cuando los textos contienen referencias a múltiples ubicaciones, incluidas aquellas no relacionadas con el evento real (por ejemplo, un artículo de noticias alemán que discute inundaciones en Brasil y menciona dialectos o regiones alemanas). Las herramientas computacionales a menudo luchan por distinguir entre la ubicación real del evento y otros lugares mencionados, lo que conduce a errores potenciales en la geolocalización de documentos. Este problema se ve agravado por la falta de evaluaciones robustas y sistemáticas de herramientas NER comerciales específicamente para textos alemanes en el contexto del discurso climático.

Metodología
Los autores realizaron un análisis comparativo de tres herramientas NER comerciales populares para alemán: Flair (modelo de-ner-large), Spacy (modelo de_core_news_lg) y Stanza (modelo de). El estudio utilizó un corpus de 983 artículos de noticias alemanes (publicados entre 2000 y 2024) concernientes a siete tipos de peligros climáticos (olas de calor, incendios forestales, inundaciones, tormentas, sequías, olas de frío y deslizamientos de tierra).

La evaluación siguió un pipeline de cuatro pasos diseñado para evaluar cómo los resultados del NER se propagan a tareas posteriores sin depender de un estándar de oro para la anotación de topónimos:

1. Identificación: Cada documento fue procesado por las tres herramientas NER para extraer tokens etiquetados como ubicaciones (LOC).
2. Consulta: Los topónimos únicos fueron consultados contra dos bases de datos geográficas, Geonames y Nominatim, para recuperar coordenadas y metadatos de países.
3. Resolución: Las ambigüedades se resolvieron utilizando una heurística de "minimalidad espacial", mapeando los topónimos a las coordenadas más cercanas al polígono formado por los topónimos no ambiguos en el documento.
4. Predicción: Se aplicaron tres métodos distintos para determinar el enfoque geográfico (país) del documento basándose en los topónimos resueltos:
   • Votación Mayoritaria: Seleccionar el país más frecuente entre los topónimos identificados.
   • Más cercano al Centroide: Calcular el centroide del polígono de topónimos y seleccionar el país del topónimo más cercano.
   • Proximidad de Palabras Clave: Restringir los topónimos a aquellos que co-ocurren con palabras clave de peligros en la misma oración, o seleccionar el topónimo más cercano si no existe co-ocurrencia.

El rendimiento se evaluó extrínsecamente contra un estándar de oro anotado por humanos del enfoque geográfico a nivel de documento. Las métricas incluyeron Intersección sobre Unión (IoU) para la superposición de topónimos, tasas de coincidencia exacta y parcial para la predicción de países, y correlaciones de rango Kendall $\tau$ y Spearman para las clasificaciones de frecuencia de países.

Resultados Clave

• Variación en la Identificación de Topónimos: Las herramientas produjeron conjuntos de topónimos significativamente diferentes. Spacy identificó el mayor número de tipos únicos de topónimos (6.700), pero tuvo la menor cobertura en bases de datos geográficas (42,75% en Geonames, 63,58% en Nominatim). Flair identificó menos tipos (4.639) pero logró tasas de coincidencia en bases de datos más altas (63,16% en Geonames, 81,20% en Nominatim).
• Discrepancia en Tareas Posteriores: Las variaciones en la identificación de topónimos llevaron a una divergencia sustancial en las predicciones de países. Dependiendo del método y la base de datos, la elección de la herramienta NER resultó en que al menos el 10% (y hasta >20%) de los documentos recibieran predicciones de países diferentes.
• Precisión de la Predicción: Flair logró consistentemente la mayor precisión en predecir el país correcto, seguido por Stanza y Spacy. El método de "Proximidad de Palabras Clave" generalmente arrojó el mejor rendimiento. La elección de la herramienta NER por sí sola podría causar una diferencia de hasta 5 puntos porcentuales en la precisión de la predicción.
• Correlación de Clasificación: Al clasificar países por prominencia mediática, Flair mostró la mayor correlación con el estándar de oro (Spearman $r=0,833$), superando a Stanza ($0,758$) y Spacy ($0,753$). Si bien todas las herramientas identificaron correctamente los dos primeros países, el ordenamiento de los países subsiguientes varió significativamente; por ejemplo, Spacy clasificó a Francia tres posiciones más arriba que Stanza.
• Fuentes de Error: Spacy tendió a identificar términos genéricos (por ejemplo, Stadt, Innenstadt) como topónimos, mientras que Stanza identificó frecuentemente formas adjetivales y demónimas (por ejemplo, italienischen), introduciendo ruido. Se identificó la falta de etiquetas distintas para entidades geopolíticas versus nacionalidades en los datos de entrenamiento del NER en alemán como un factor contribuyente a estos errores.

Significado y Afirmaciones
El artículo argumenta que, si bien las herramientas NER comerciales a menudo se aceptan al pie de la letra, su selección puede influir discerniblemente en las conclusiones posteriores en la investigación del discurso climático. Los autores demuestran que, sin una evaluación comparativa cuidadosa, los investigadores corren el riesgo de:

1. Introducir impactos negativos injustificados en la precisión de la predicción (hasta 5 puntos porcentuales menos).
2. Generar clasificaciones de países que están menos correlacionadas con la realidad.
3. Extraer conclusiones potencialmente erróneas sobre la prominencia de países específicos en la cobertura mediática.

El estudio no propone un nuevo modelo NER superior, sino que proporciona evidencia empírica de que las decisiones de configuración, que pueden parecer menores, requieren una evaluación rigurosa. Destaca la necesidad de análisis de errores y comparación de herramientas, particularmente cuando no están disponibles estándares de oro para la anotación de topónimos, para garantizar la fiabilidad de los análisis basados en datos en la investigación de adaptación climática.