Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German

技術的概要：極端な気候現象に関するニュースの地理的特定

問題定義
テキスト内の極端な気候現象や災害の地理的特定を決定することは、気候影響および適応研究における重要な課題です。固有名詞認識（NER）ツールは、候補となるイベントの場所として地名（場所名）を識別するための標準的な手段ですが、これらのツールは完全無欠ではありません。特定の困難は、テキストに実際のイベントとは無関係の複数の場所への言及が含まれる場合に生じます（例えば、ブラジルでの洪水について論じるドイツのニュース記事が、ドイツの方言や地域に言及する場合など）。計算機ツールは、イベントの実際の場所と他の言及された場所との区別にしばしば苦しみ、文書の地理的特定における潜在的な誤りにつながります。この問題は、気候言説の文脈におけるドイツ語テキストに対して、市販のNERツールの堅牢で体系的な評価が欠如していることによってさらに悪化しています。

手法
著者は、ドイツ語向けに利用可能な3つの人気のある市販NERツール、すなわちFlair（モデル de-ner-large）、Spacy（モデル de_core_news_lg）、およびStanza（モデル de）の比較分析を実施しました。本研究は、7種類の気候ハザード（熱波、山火事、洪水、暴風雨、干ばつ、寒波、および土砂崩れ）に関する983件のドイツ語ニュース記事（2000年から2024年に発行）のコーパスを利用しました。

評価は、地名の注釈に対するゴールドスタンダードに依存せずに、NER出力が下流タスクにどのように伝播するかを評価するように設計された4段階のパイプラインに従いました。

1. 識別: 各文書は3つのNERツールによって処理され、場所（LOC）としてラベル付けされたトークンを抽出しました。
2. 照会: 一意の地名を2つの地理データベース、GeonamesおよびNominatimに対して照会し、座標と国メタデータを取得しました。
3. 解決: 曖昧さは「空間的最小性」のヒューリスティックを用いて解決され、文書内の曖昧さのない地名によって形成されるポリゴンに最も近い座標に地名をマッピングしました。
4. 予測: 解決された地名に基づいて文書の地理的焦点（国）を決定するために、3つの異なる手法が適用されました。
   • 多数決: 識別された地名の中で最も頻繁に出現する国を選択する。
   • 重心への最接近: 地名ポリゴンの重心を計算し、最も近い地名の国を選択する。
   • キーワード近接: 同じ文でハザードキーワードと共起する地名に限定するか、共起が存在しない場合は最も近い地名を選択する。

性能は、文書レベルの地理的焦点に関する人間による注釈のゴールドスタンダードに対して外部的に評価されました。指標には、地名の重なりに対する交差結合率（IoU）、国の予測に対する完全一致率および部分一致率、および国の頻度ランク付けに対するケンダル$\tau$およびスピアマンの順位相関が含まれました。

主要な結果

• 地名識別のばらつき: ツールは、著しく異なる地名セットを生成しました。Spacyは最も多くの一意の地名タイプ（6,700）を識別しましたが、地理データベースでのカバレッジは最も低かった（Geonamesで42.75%、Nominatimで63.58%）。Flairはより少ないタイプ（4,639）を識別しましたが、より高いデータベース一致率を達成しました（Geonamesで63.16%、Nominatimで81.20%）。
• 下流の不一致: 地名識別のばらつきは、国の予測において大幅な乖離をもたらしました。手法とデータベースに応じて、NERツールの選択により、少なくとも10%（最大20%超）の文書で異なる国の予測が得られました。
• 予測精度: Flairは常に正しい国を予測する上で最も高い精度を達成し、次いでStanza、Spacyの順でした。「キーワード近接」手法は一般的に最良のパフォーマンスを示しました。NERツールの選択のみで、予測精度に最大5パーセントポイントの差が生じる可能性があります。
• ランク付け相関: 国をメディアでの注目度でランク付けした際、Flairはゴールドスタンダードと最も高い相関を示しました（スピアマン$r=0.833$）。これはStanza（$0.758$）およびSpacy（$0.753$）を上回りました。すべてのツールが上位2カ国を正しく識別しましたが、その後の国の順序は著しく変動しました。例えば、SpacyはStanzaよりもフランスを3位高くランク付けしました。
• 誤りの原因: Spacyは、Stadt（市）やInnenstadt（市中心部）などの一般的な用語を地名として識別する傾向があり、Stanzaは頻繁に形容詞的およびデモニム（国民を指す語）の形式（例：italienischen）を識別し、ノイズを導入しました。ドイツ語のNERトレーニングデータにおいて、地政学的実体と国籍を区別する明確なラベルが欠如していることが、これらの誤りの要因として特定されました。

意義と主張
本論文は、市販のNERツールがしばしばそのまま受け入れられているが、その選択は気候言説研究における下流の結論に明瞭に影響し得ると主張しています。著者は、慎重な比較評価なしには、研究者が以下のリスクにさらされることを実証しています。

1. 予測精度に不当な悪影響をもたらすこと（最大5パーセントポイントの低下）。
2. 現実との相関が低い国のランク付けを生成すること。
3. メディア報道における特定国の注目度に関して、潜在的に誤った結論を導き出すこと。

本研究は、新しい優位なNERモデルを提案するものではなく、一見すると些細に見えるセットアップの決定が厳格な評価を必要とするという実証的証拠を提供するものです。特に地名注釈のゴールドスタンダードが利用できない場合、データ駆動型分析の信頼性を確保するために、誤り分析とツールの比較の必要性を浮き彫りにしています。