技術概要：TerraQ – 衛星画像アーカイブにおける時空間質問応答

問題定義

大規模言語モデル（LLM）の急速な進歩により、デジタルアシスタントや自然言語インターフェースの普及が進んでいるが、非技術者にとって専門的な地球観測（EO）データアーカイブへのアクセスは依然として困難である。既存の衛星画像検索システムは、しばしば硬直的なテンプレートベースのクエリ生成に依存しており、これがユーザーが質問できる種類の制限や精度の低下を招いている。さらに、多くのシステムは、行政・自然特徴および特定の衛星メタデータ（Sentinel-1 や Sentinel-2 など）の両方を含む高品質で目的特化型の地理空間知識グラフ（KG）との統合を欠いている。本研究が取り組む核心的な課題は、計算コストの高いニューラルモデルや制限的なテンプレートに依存することなく、ユーザーが自然言語を用いて複雑な時空間基準（例：「特定の雲量を持つ港の近くの川の画像」）でクエリを実行できるシステムの開発である。

手法

著者は、自然言語のリクエストを専門的な知識グラフ上の実行可能な SPARQL/GeoSPARQL クエリに変換するように設計された時空間質問応答（QA）エンジン「TerraQ」を提案する。本システムは、以下の明確なコンポーネントのパイプラインを通じて動作する。

1. 知識グラフの構築:

   • データソース: 本 KG は、GADM（行政区分）、e-GEOS（河川、港、POI）、Sentinel-1（2020–2021 年）、Sentinel-2（2020–2022 年）、および Marine Regions（海域セクター）からのデータを統合する。
   • オントロジー: YAGO2geo および GeoSPARQL 標準に基づいて構築され、Feature クラスを中核とし、河川や画像などの特定の実体用のサブクラスで拡張されている。
   • 正規化: Mistral-7b LLM を使用した翻訳パイプラインにより、非英語の地理空間ラベル（例：「Roma」）を英語に変換し、一貫した実体認識を確保する。

2. TerraQ エンジンパイプライン:
   エンジンは、入力クエリを 4 つの概念的ステップで処理する。

   • 構文解析と識別:
     • 依存関係構文木ジェネレーター: 入力を構造化するために Stanford-CoreNLP を使用する。
     • 実体識別子: 固有表現認識（NER）と曖昧さ解消（WAT および Wikipedia リンクを使用）を実行し、実体（例：「Emilia Romagna」）を KG リソースにマッピングする。
     • 概念識別子: 文字列類似度と n-gram を使用して、意味的概念（例：「河川」、「森林」）を KG オントロジークラスにマッピングする。
     • 属性識別子: ユーザー指定の属性（例：「雲量」）を KG 属性にマッピングし、近接ヒューリスティックを通じて競合を解決する。
     • 空間・時間識別子: 空間関係（例：「～から離れて」）を stSPARQL/GeoSPARQL 関数（例：geof:distance）に、時間的キーワードを HeidelTime を使用して特定の日付にマッピングする。
   • 論理と制約の処理:
     • 数値ソルバー: 数値を識別し、属性または空間関数（例：「2km 未満」）に関連付ける。
     • 接続詞ソルバー: 適切な空間関係を生成することにより、論理接続（例：「町と森林」）を処理する。
   • クエリ構築:
     • 戻り値タイプ識別子: 微調整された Llama 2 モデルを使用して期待される出力形式（例：画像、座標、カウント）を決定し、GPU がない環境向けにヒューリスティックなフォールバックを用意する。
     • クエリ形式識別子: 戻り値タイプに基づいて SELECT/ASK 節を構築する。
     • クエリジェネレーター: WHERE 節と SELECT 節をマージして完全な SPARQL クエリを生成する。
     • クエリエンハンサー: 複雑なクエリを洗練させるために微調整された Mistral-7b LLM を使用するオプションモジュール（実行洗練パラダイム）。
     • GoST トランスパイラー: JedAI-Spatial を介して事前計算されたマテリアライズされた地理空間関係を利用するようにクエリを書き換え、geof:sfWithin などの関係に対する高価な実行時計算を回避してパフォーマンスを最適化する。

主要な貢献

本論文は、以下の 2 つの主要な貢献を概説している。

1. 専門的な知識グラフ: 地理空間情報（自然特徴、行政区分）と衛星画像メタデータを相互リンクする階層的な KG。この構造は、追加のトピック別知識との拡張を容易にする。
2. TerraQ エンジン: シンプルおよび複雑なクエリを動的に処理できる時空間 QA エンジン。重要なのは、コア変換プロセスにおいてクエリテンプレートや計算集約的なニューラルモデルに依存せず、代わりに小規模 LLM、ヒューリスティック、および専門知識のハイブリッドアプローチを利用している点である。

評価結果

EO アーカイブ向けの Text-to-SPARQL 専用の公開データセットが存在しないため、著者は TerraQ を、元々 YAGO2geo オントロジー向けに設計された GeoQuestions1089 データセットで評価した。

• パフォーマンス: TerraQ は GeoQuestions1089 データセットにおいて、全体で 44.36% の精度を達成した。
• 比較:
  • 従来の最先端のテンプレートベースシステムである GeoQA2（40.33%）を、全体で約 4 ポイント（相対的に 10% の改善）上回った。
  • Hamzei らのエンジン（25.92%）を大幅に上回った。
• カテゴリ分析: TerraQ は、ほとんどのカテゴリ（A, B, D, E, F, G, I）で優れたパフォーマンスを示した。しかし、カテゴリ C と H ではパフォーマンスの低下が観察された。著者はこれを、システムの動的な性質と、硬直的なテンプレートと比較した際の特定複雑クエリ構造におけるヒューリスティックの限界に起因すると説明している。

意義と主張

本論文は、TerraQ を地球観測データへのアクセスを民主化するための一歩として位置づけている。その意義は以下の点にある。

• アクセシビリティ: 初心者から専門家まで、自然言語を介して複雑な衛星アーカイブと対話できるようにし、現在のデジタルアシスタントの状況に合致させる。
• 効率性と適応性: 大規模 LLM や硬直的なテンプレートを回避することで、システムは汎用ハードウェアで展開可能となり、異なるドメインへの適応が容易になる。
• 精度: 目的特化型の高品質 KG を使用することで、EarthQA などの既存システムと比較して、より微細な結果を得ることができる。

著者は、システムが完璧ではないこと（特定のカテゴリにおけるパフォーマンス低下に言及）を認めつつも、ハイブリッドでヒューリスティック駆動のアプローチが、自然言語と複雑な地理空間データ検索の間のギャップを効果的に埋めることができることを実証したと結論づけている。今後の課題としては、画像選択基準をさらに洗練させるために、視覚質問応答（Visual Question-Answering）システムを統合することが挙げられる。