Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German

기술 요약: 극단적 기후 사건에 관한 뉴스의 지리적 위치 특정

문제 제기
텍스트 내에서 극단적 기후 사건과 재해의 지리적 위치를 특정하는 것은 기후 영향 및 적응 연구에서 중요한 과제입니다. 명명 개체 인식 (NER) 도구는 토포님 (지명) 을 사건의 후보 위치로 식별하는 표준 도구이지만, 이러한 도구는 오류가 완전히 제거된 것은 아닙니다. 텍스트가 실제 사건과 무관한 여러 지명을 포함할 때 (예: 브라질의 홍수에 대해 논의하면서 독일의 방언이나 지역을 언급하는 독일 뉴스 기사) 특정 어려움이 발생합니다. 계산 도구는 사건의 실제 위치와 다른 참조된 장소들을 구분하는 데 종종 어려움을 겪어 문서의 지리적 위치 특정에 잠재적 오류를 초래합니다. 이러한 문제는 기후 담론의 맥락에서 독일어 텍스트에 대해 오프더셸 (off-the-shelf) NER 도구에 대한 견고하고 체계적인 평가가 부족하다는 사실로 인해 더욱 악화됩니다.

방법론
저자들은 독일어용 세 가지 인기 있는 오프더셸 NER 도구인 Flair(모델 de-ner-large), Spacy(모델 de_core_news_lg), Stanza(모델 de) 에 대한 비교 분석을 수행했습니다. 본 연구는 2000 년부터 2024 년까지 발표된 열파, 산불, 홍수, 폭풍, 가뭄, 한파, 산사태 등 일곱 가지 유형의 기후 재해와 관련된 983 편의 독일어 뉴스 기사 코퍼스를 활용했습니다.

평가 과정은 지명 주석을 위한 골드 스탠다드에 의존하지 않고 NER 출력이 하위 작업으로 어떻게 전파되는지 평가하도록 설계된 4 단계 파이프라인을 따랐습니다:

1. 식별: 각 문서는 세 가지 NER 도구를 통해 처리되어 위치 (LOC) 로 레이블 지정된 토큰을 추출했습니다.
2. 쿼리: 고유한 토포님들은 Geonames와 Nominatim이라는 두 개의 지리 데이터베이스에 쿼리되어 좌표 및 국가 메타데이터를 검색했습니다.
3. 해결: 모호성은 문서 내의 모호하지 않은 토포님들이 형성하는 다각형에 가장 가까운 좌표로 토포님을 매핑하는 '공간적 최소성 (spatial minimality)' 휴리스틱을 사용하여 해결되었습니다.
4. 예측: 해결된 토포님을 기반으로 문서의 지리적 초점 (국가) 을 결정하기 위해 세 가지 다른 방법이 적용되었습니다:
   • 다수결 투표: 식별된 토포님 중 가장 빈번한 국가를 선택합니다.
   • 중심점에 가장 가까운 곳: 토포님 다각형의 중심점을 계산하고 가장 가까운 토포님의 국가를 선택합니다.
   • 키워드 근접성: 동일한 문장에서 위험 키워드와 함께 발생하는 토포님으로만 제한하거나, 공존이 없는 경우 가장 가까운 토포님을 선택합니다.

성능은 문서 수준의 지리적 초점에 대한 인간이 주석한 골드 스탠다드에 대해 외적으로 평가되었습니다. 지표로는 토포님 중첩을 위한 교집합 비율 (IoU), 국가 예측을 위한 정확 및 부분 일치율, 그리고 국가 빈도 순위 평가를 위한 켄달 $\tau$ 및 스피어만 순위 상관관계가 포함되었습니다.

주요 결과

• 토포님 식별 변동성: 도구들은 현저히 다른 토포님 집합을 생성했습니다. Spacy 는 가장 많은 고유 토포님 유형 (6,700 개) 을 식별했지만 지리 데이터베이스에서의 커버리지는 가장 낮았습니다 (Geonames 에서 42.75%, Nominatim 에서 63.58%). Flair 는 더 적은 유형 (4,639 개) 을 식별했지만 더 높은 데이터베이스 일치율을 달성했습니다 (Geonames 에서 63.16%, Nominatim 에서 81.20%).
• 하위 작업 불일치: 토포님 식별의 차이로 인해 국가 예측에 상당한 불일치가 발생했습니다. 방법과 데이터베이스에 따라 NER 도구 선택은 적어도 10%(최대 20% 초과) 의 문서가 서로 다른 국가 예측을 받도록 했습니다.
• 예측 정확도: Flair 는 올바른 국가를 예측하는 데 일관되게 가장 높은 정확도를 달성했으며, 이어 Stanza 와 Spacy 순이었습니다. '키워드 근접성' 방법이 일반적으로 가장 좋은 성능을 보였습니다. NER 도구 선택만으로도 예측 정확도에서 최대 5 퍼센트 포인트의 차이가 발생할 수 있었습니다.
• 순위 상관관계: 미디어에서의 국가 중요도를 순위로 매길 때, Flair 는 골드 스탠다드와 가장 높은 상관관계를 보였습니다 (스피어만 $r=0.833$). 이는 Stanza($0.758$) 와 Spacy($0.753$) 보다 우수했습니다. 모든 도구가 상위 두 국가를 올바르게 식별했지만, 후속 국가들의 순서는 크게 달랐습니다. 예를 들어, Spacy 는 프랑스를 Stanza 보다 세 단계 더 높은 순위로 매겼습니다.
• 오류 원인: Spacy 는 Stadt(도시), Innenstadt(시내) 와 같은 일반 용어를 토포님으로 식별하는 경향이 있었으며, Stanza 는 italienischen(이탈리아의) 과 같은 형용사 및 국적 명사 형태를 자주 식별하여 노이즈를 발생시켰습니다. 독일어 NER 학습 데이터에서 지리 정치적 개체와 국적을 구분하는 명확한 레이블이 부재한 것이 이러한 오류의 원인 중 하나로 확인되었습니다.

의의 및 주장
본 논문은 오프더셸 NER 도구들이 종종 표면적으로 받아들여지지만, 그 선택은 기후 담론 연구에서 하위 결론에 명백한 영향을 미칠 수 있다고 주장합니다. 저자들은 신중한 비교 평가 없이는 연구자들이 다음과 같은 위험에 처할 수 있음을 입증합니다:

1. 예측 정확도에 부당한 부정적 영향을 초래할 수 있음 (최대 5 퍼센트 포인트 낮아짐).
2. 현실과 상관관계가 낮은 국가 순위를 생성할 수 있음.
3. 미디어 보도에서 특정 국가의 중요성에 대해 잠재적으로 결함이 있는 결론을 도출할 수 있음.

본 연구는 새로운 우월한 NER 모델을 제안하는 것이 아니라, 사소해 보일 수 있는 설정 결정이 엄격한 평가가 필요하다는 경험적 증거를 제공합니다. 이는 토포님 주석을 위한 골드 스탠다드가 unavailable 한 경우 특히, 오류 분석과 도구 비교의 필요성을 강조하여 기후 적응 연구에서 데이터 기반 분석의 신뢰성을 보장합니다.