技術要約: GeoRisk-RAG

問題提起

現在の検索拡張生成（RAG）フレームワークは、大規模言語モデル（LLM）の出力の信頼性を確保するために、意味的類似性と忠実性の指標に大きく依存しています。しかし、地理空間ドメイン（特に自然災害管理）においては、意味的類似性が「意味的な関連性」と「地理的な妥当性」を区別できないことが多々あります。ある一節がトピックとしては関連していても（例：山火事の安全対策について）、ユーザーの特定のクエリ地点（例：オレゴン州の規制 vs カリフォルニア州の規制）に対して地理的に適用できない場合があります。

このような極めて重要な領域では、「自信満々に間違った回答」をすることは、回答を控えることよりも大きなリスクを伴います。既存の手法は、以下の違いを識別することに苦慮しています。

1. 完全一致: 検索されたコンテキストが、クエリの場所に対して直接適用可能な場合。
2. 階層的な不一致: コンテキストがより広い範囲（例：市レベルのルールに対する州レベルのルール）またはより狭い範囲（例：州レベルのルールに対する市レベルのルール）に対して有効である場合。
3. 地理的な不一致: コンテキストが、共通の広範な祖先を持つものの、全く別の管轄区域（例：同じ州内の異なる郡）を参照している場合。

標準的な意味検索は、これらの適用不可能な一節を検索してしまい、結果としてハルシネーション（幻覚）や誤解を招くガイダンスを引き起こします。

手法: GeoRisk-RAG

著者らは、選択的な回答（selective answering）を通じて、地理的妥当性を検索および生成パイプラインに統合する階層認識フレームワークであるGeoRisk-RAGを提案しています。

1. 知識ベースの構築

本システムは、以下の要素からなるヘテロジニアスな知識ベースを利用しています。

• イベント中心の報道: 信頼性でフィルタリングされた、約2,000件のオープンアクセスニュース記事（2023年〜2025年）。
• 制度的ガイダンス: ルール、規制、および備えに関する資料を含む、米国30州からの125の公式文書（PDF）。
• チャンク分割: 文の埋め込み（BAAI/bge-small-en-v1.5）と適応型閾値（コサイン距離の95パーセンタイル）を用いたセマンティック・セグメンテーション戦略を用いて文書を分割し、トピックの連続性を維持します。

2. 地理的エンティティ解像

• NER（命名エンティティ認識）: 推論レイテンシとF1スコア（0.929）の最適なバランスから、flairモデルが選択されました。
• 曖昧さ回避（Disambiguation）: 明示的な識別子、文脈の共起、人口データ、およびWikidataのsitelinkカウントを用いた多基準優先順位付けスキームにより、地名の曖昧さ（例：イリノイ州スプリングフィールド vs マサチューセッツ州スプリングフィールド）を解決します。
• マッピング: 非行政的なエンティティ（例：部族の土地）や地形的特徴は、グラフ構造内において、最も近い行政上の同等物または国レベルのベースラインにマッピングされます。

3. 階層的地理検索

核心となる革新性は、Wikidataから派生した**有向非巡回グラフ（DAG）**として地理をモデル化することにあります。

• 構造: エンティティをノードとし、包含関係（例：「〜に位置する」、「〜の一部である」）を有向エッジとします。
• 距離指標: クエリの場所（$q$）と一節の場所（$t$）の間の距離（$\delta$）を、DAGにおけるそれぞれの祖先チェーンにおける**最小共通祖先（LCA）**のインデックスに基づいて計算します。
  • $\delta(q, t) = i_q + i_t$ （ここで、$i$ はそれぞれの祖先チェーンにおけるLCAのインデックスを表す）。
  • 共通の祖先が存在しない場合、$\delta = \infty$ となります。
• ランキング: 検索はランク最適化タスクとしてフレーム化されます。一節は、主に地理的距離（$\delta$）を最小化すること、および二次的に意味的なコサイン類似性によってソートされます。

4. 選択的回答戦略

計算された地理的関係に基づき、システムは以下の3つの挙動を実行します。

• 回答（Answer）: コンテキストがクエリの地理的範囲と完全一致する場合。
• 警告（Warn）: コンテキストが地理的に関連しているが、より広い（例：市のクエリに対する州のルール）、またはより限定的（例：州のルールに対する市のルール）である場合。システムは校正された警告と共に回答を提供します。
• 棄権（Abstain）: コンテキストが、広範な祖先を共有しているものの、異なる場所（例：同じ州内の異なる郡）を参照しており、直接的な適用性がない場合。

主な貢献

1. GeoRisk-RAGフレームワーク: 検索を、Wikidata由来のDAGを用いた意味的関連性と階層的な地理的一致の結合ランク最適化タスクとして扱う、新しいRAGアーキテクチャ。
2. 選択的回答戦略: 完全な地理的一致に対してのみ自信を持った回答を制限し、粒度の不一致に対しては警告を発し、無関係な管轄区域に対しては回答を控えることで、誤った自信を低減させるメカニズム。
3. Wildfire QAベンチマーク: 19の州と28の都市をカバーする、449組のQAペアからなる新しいホールドアウト・データセットの作成。このデータセットは、地理的粒度、トピック、位置依存性、および公的情報のニーズに対してアノテーションされています。
4. 包括的な評価: 標準的な意味的類似性を超え、地理的妥当性、選択的回答行動（警告/棄権率）、およびユーザーの嗜好のための指標を含む評価プロトコル。

実験結果

フレームワークは、標準的なRAG、標準的なRAG + クロスエンコーダーによる再ランキング、粒度一致（スコープのみ）、および正確なキーワード一致の4つのベースラインと比較評価されました。

• 誤った自信の低減: GeoRisk-Rగాは、位置依存のクエリに対する誤った自信の発生率を、標準的な意味的類似性および再ランキングのベースラインで見られた0.090に対し、0.009へと大幅に減少させました。
• 決定の質: 位置依存のクエリに対して0.946、非位置依存のクエリに対して0.974という最高の**決定品質率（GDR）**を達成しました。
• 忠実性と正確性: 高い忠実度（0.965）と事実の正確性（0.761）を維持し、地理的に不一致だが意味的に類似したテキストを検索した際にハルシネーションを起こしやすいベースラインを上回りました。
• 人間による評価: 2人のアノテーターによるブラインド評価において、GeoRisk-RAGの回答は、透明性とリスク認識の高さから、最強のベースラインと比較して**70.0%および68.75%**のケースで好まれました。
• 安定性: パフォーマンスは異なる埋め込みおよび生成モデルの構成間で一貫しており、改善が特定のモデルの選択ではなく、検索ロジックによって駆動されていることを示しています。

重要性と主張

本論文は、地理的妥当性と選択的回答行動を明示的に統合することで、GeoRisk-RAGがエンドツーエンドのRAGパイプラインのより包括的な評価を提供することを主張しています。

• 意思決定における安全性: 意味的類似性と地理的適用性を区別することで、自然災害管理において、誤った情報が自信を持って拡散されることを防ぎます。これは、重大な結果を招きかねない領域において極めて重要です。
• 説明可能性: DAGの使用により、説明可能な推論が可能になります。システムは、なぜ警告や棄権を行うのか（例：「この情報は市レベルではなく、州レベルに適用されます」）を明示的に述べることができます。
• ドメイン適応性: 山火事のデータで実証されましたが、著者らは、この階層認識アプローチが、行政境界や管轄区域のルールが重要となる他の地理空間ドメインにも適用可能であると考えています。

著者らは、現在のデータセットが米国中心であり規模も小さいこと、およびフレームワークの有効性がWikidataのような外部知識グラフの網羅性と正確性に依存していることを認め、限界として挙げています。今後の課題として、他国、他言語、および他の災害への拡張、ならびに曖昧さ回避のためのヒューマン・イン・ザ・ループ（人間によるフィードバック）の導入が示唆されています。