Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German

Resumo Técnico: Geolocalização de Notícias sobre Eventos Climáticos Extremos

Enunciado do Problema
Determinar a geolocalização de eventos climáticos extremos e desastres dentro de textos é um desafio crítico na pesquisa sobre impactos climáticos e adaptação. Embora ferramentas de Reconhecimento de Entidades Nomeadas (NER) sejam padrão para identificar topônimos (nomes de locais) como locais candidatos de eventos, essas ferramentas não estão isentas de erros. Uma dificuldade específica surge quando os textos contêm referências a múltiplos locais, incluindo aqueles não relacionados ao evento real (por exemplo, um artigo de notícias alemão discutindo inundações no Brasil que menciona dialetos ou regiões alemãs). Ferramentas computacionais frequentemente lutam para distinguir entre o local real do evento e outros lugares mencionados, levando a erros potenciais na geolocalização de documentos. Essa questão é agravada pela falta de avaliações robustas e sistemáticas de ferramentas NER prontas especificamente para textos alemães no contexto do discurso climático.

Metodologia
Os autores conduziram uma análise comparativa de três ferramentas NER prontas populares para o alemão: Flair (modelo de-ner-large), Spacy (modelo de_core_news_lg) e Stanza (modelo de). O estudo utilizou um corpus de 983 artigos de notícias alemães (publicados entre 2000 e 2024) concernentes a sete tipos de perigos climáticos (ondas de calor, incêndios florestais, inundações, tempestades, secas, ondas de frio e deslizamentos de terra).

A avaliação seguiu um pipeline de quatro etapas projetado para avaliar como as saídas do NER se propagam para tarefas subsequentes, sem depender de um padrão-ouro para anotação de topônimos:

1. Identificação: Cada documento foi processado pelas três ferramentas NER para extrair tokens rotulados como locais (LOC).
2. Consulta: Topônimos únicos foram consultados em duas bases de dados geográficas, Geonames e Nominatim, para recuperar coordenadas e metadados de países.
3. Resolução: Ambiguidades foram resolvidas usando uma heurística de "minimalidade espacial", mapeando topônimos para coordenadas mais próximas do polígono formado por topônimos não ambíguos no documento.
4. Previsão: Três métodos distintos foram aplicados para determinar o foco geográfico (país) do documento com base nos topônimos resolvidos:
   • Votação Majoritária: Selecionar o país mais frequente entre os topônimos identificados.
   • Mais Próximo do Centróide: Calcular o centróide do polígono de topônimos e selecionar o país do topônimo mais próximo.
   • Proximidade de Palavras-chave: Restringir topônimos àqueles que co-ocorrem com palavras-chave de perigo na mesma frase, ou selecionar o topônimo mais próximo se nenhuma co-ocorrência existir.

O desempenho foi avaliado extrinsecamente contra um padrão-ouro anotado por humanos de foco geográfico em nível de documento. As métricas incluíram Interseção sobre União (IoU) para sobreposição de topônimos, taxas de correspondência exata e parcial para previsão de país, e correlações de posto Kendall $\tau$ e Spearman para classificações de frequência de países.

Principais Resultados

• Variância na Identificação de Topônimos: As ferramentas produziram conjuntos significativamente diferentes de topônimos. O Spacy identificou o maior número de tipos únicos de topônimos (6.700), mas teve a menor cobertura em bases de dados geográficas (42,75% no Geonames, 63,58% no Nominatim). O Flair identificou menos tipos (4.639), mas alcançou taxas de correspondência em bases de dados mais altas (63,16% no Geonames, 81,20% no Nominatim).
• Divergência Subsequente: Variações na identificação de topônimos levaram a uma divergência substancial nas previsões de países. Dependendo do método e da base de dados, a escolha da ferramenta NER resultou em pelo menos 10% (e até >20%) dos documentos recebendo previsões de países diferentes.
• Precisão da Previsão: O Flair consistentemente alcançou a maior precisão na previsão do país correto, seguido pelo Stanza e pelo Spacy. O método "Proximidade de Palavras-chave" geralmente produziu o melhor desempenho. A escolha da ferramenta NER sozinha poderia causar uma diferença de até 5 pontos percentuais na precisão da previsão.
• Correlação de Classificação: Ao classificar países por proeminência na mídia, o Flair mostrou a maior correlação com o padrão-ouro (Spearman $r=0,833$), superando o Stanza ($0,758$) e o Spacy ($0,753$). Embora todas as ferramentas identificassem corretamente os dois primeiros países, a ordenação dos países subsequentes variou significativamente; por exemplo, o Spacy classificou a França três posições mais alto do que o Stanza.
• Fontes de Erro: O Spacy tendeu a identificar termos genéricos (por exemplo, Stadt, Innenstadt) como topônimos, enquanto o Stanza frequentemente identificou formas adjetivais e demonímicas (por exemplo, italienischen), introduzindo ruído. A falta de rótulos distintos para entidades geopolíticas versus nacionalidades nos dados de treinamento do NER alemão foi identificada como um fator contribuinte para esses erros.

Significado e Alegações
O artigo argumenta que, embora ferramentas NER prontas sejam frequentemente aceitas como válidas, sua seleção pode influenciar discernivelmente conclusões subsequentes na pesquisa sobre discurso climático. Os autores demonstram que, sem uma avaliação comparativa cuidadosa, os pesquisadores correm o risco de:

1. Introduzir impactos negativos injustificados na precisão da previsão (até 5 p.p. menores).
2. Gerar classificações de países que são menos correlacionadas com a realidade.
3. Tirar conclusões potencialmente falhas sobre a proeminência de países específicos na cobertura midiática.

O estudo não propõe um novo modelo NER superior, mas fornece evidências empíricas de que decisões de configuração, que podem parecer menores, exigem avaliação rigorosa. Destaca a necessidade de análise de erros e comparação de ferramentas, particularmente quando padrões-ouro para anotação de topônimos estão indisponíveis, para garantir a confiabilidade das análises baseadas em dados na pesquisa de adaptação climática.