技術概要：SkyScraper – ニュース駆動型衛星イベントキャプション生成のためのマルチエージェントフィードバックシステム

問題提起

リモートセンシングにおける変化キャプション生成の分野は、多時相イベントキャプションデータセットの不足という重大なボトルネックに直面しています。土地利用/土地被覆（LULC）の変化については、2 時相データセット（画像のペア）が存在しますが、2 枚以上の画像を含むシーケンスデータセットは希少です。この希少性は、主に以下の 2 つの課題に起因しています：

1. 発見の困難さ: 膨大な衛星画像アーカイブ内で視認可能なイベントを特定するには、多大な労力を要します。
2. 注釈の負担: 多時相シーケンスを手動でラベル付けするには、莫大な時間と労力が必要です。

既存のアプローチは、大規模言語モデル（LLM）を活用するものさえも、通常は事前にラベル付けされた時相データセット、または 2 時相ペアに適用されるルールベースの手法に依存しています。さらに、ニュース記事と衛星画像をリンクさせるために用いられる従来のジオコーディング手法は、誤った地名や、地名の言及頻度がイベントの実際の視認性と相関しない不正確さなど、ノイズに曝されやすい傾向があります。

手法：SkyScraper フレームワーク

これらの限界に対処するため、著者らはニュース記事をジオコーディングし、対応する衛星画像シーケンスのキャプションを生成するための反復型マルチエージェントワークフローであるSkyScraperを導入しました。すべての地名を一度に抽出する従来の手法とは異なり、SkyScraper は検索を反復的に洗練させるためのエージェントフィードバックループを採用しています。

反復パイプライン

このシステムは、異なるエージェントが関与する 5 段階のサイクルを通じて動作します：

1. 抽出: LLM の「記事エージェント」が、テキストから命名された地理的実体とイベントのタイムラインを特定します。
2. ジオコーディング: ジオコーディング API が、その命名された実体を緯度経度座標に変換します。
3. 取得: データ API が、特定の座標とタイムラインに対応する衛星画像を取得します。
4. 検証: マルチモーダル LLM の「検証エージェント」が、記事テキストと取得した画像を照合し、イベントが視認可能かどうかを判断し、その決定の根拠を提供します。
5. キャプション生成: イベントが検証された場合、マルチモーダル LLM の「キャプション生成エージェント」が、文脈として記事を用いて変化キャプションを生成します。

反復的洗練（アルゴリズム 1）

核心的な革新は、システムの失敗処理能力にあります。最初のジオコーディングされた場所をそのまま受け入れるのではなく、システムは一度に 1 つの候補場所を要求します。ジオコーディングが失敗するか、検証エージェントがイベントが視認不可能であると判断した場合、システムは以下の処理を行います：

• 失敗とその具体的な根拠を記録します。
• 失敗の履歴を反映させ、記事エージェントに対して新しい候補場所を要求します。
• 有効なイベントが見つかるか、最大試行回数に達するまでこのサイクルを繰り返します。

このアプローチは、視覚的検証フィードバックに基づいて検索を動的に調整することで、従来のジオコーディングに内在するノイズを軽減します。

実験設定と結果

著者らは、SkyScraper を 2 つの従来のジオコーディングベースラインと比較評価しました：

• 加重重心法: 座標を地球中心・地球固定（ECEF）形式に変換し、加重平均を計算します。
• GIPSY（Geo-referenced Information Processing SYstem）: 重み付き多角形ベースのアプローチであり、重なりと包含関係に基づいて 3 次元多面体を積み重ねます。

1,000 件の多様なグローバルニュース記事（自然災害、建設、市民の動揺を網羅）と、PlanetScope 画像（3m 解像度）を用いたテストセットにおいて、システムはジオコーディングに Mapbox を、LLM エージェントに Gemini-2.5-flash を使用してテストされました。

主要な性能指標：

• 加重重心法: 17 イベントを検出（1.7% の収率）。
• GIPSY: 47 イベントを検出（4.7% の収率）。重心法に対して 2.8 倍の改善。
• SkyScraper: 84 イベントを検出（8.4% の収率）。重心法ベースラインに対して4.9 倍の改善を示しました。

著者らは、真陽性のみをカウントしているため、絶対収率よりも相対改善度の方がより有益な指標であると指摘しています。視認可能なイベントを含まない記事は、すべての手法の生収率を自然に低下させるためです。

データセットのキュレーション

Global Database of Events, Language, and Tone (GDELT)（2022–2024 年）のグローバルニュース記事の大規模データベースに SkyScraper フレームワークを適用し、著者らは 2 つの新しい多時相キャプションデータセットをキュレーションしました：

• PlanetScope データセット: 5,000 シーケンス、3,288 件の確認済みイベント（シーケンスあたり平均 21 枚の画像）。
• Sentinel-2 データセット: 4,463 シーケンス、2,931 件の確認済みイベント（シーケンスあたり平均 8 枚の画像）。

これらのデータセットは、キャプションの精度とイベントの日付について、注釈者による手動検証を受けました。

意義と主張

本論文は、SkyScraper が衛星画像における新たな多時相イベントの表面化に向けた戦略としてエージェントフィードバックの有効性を示していると主張しています。ニュースイベントに関連する画像の特定を自動化することで、このシステムは以下の点を実現します：

1. データ不足の克服: 手動でのキュレーションが非現実的である領域において、多時相キャプションデータセットを成功裏に生成します。
2. ジオコーディング精度の向上: 視覚的検証を通じて偽陽性をフィルタリングすることで、従来のルールベースのジオコーディング手法を大幅に凌駕します。
3. ジャーナリズムの支援: ニュースの物語を視覚的証拠に自動的にリンクさせるツールを提供し、報道活動を支援します。

著者らは、この研究がリモートセンシング分野におけるイベントのジオコーディング、多画像キャプション生成、およびベンチマークデータセットのキュレーションを促進し、2 時相・事前ラベル付けデータセットの限界を超えて進展させると結論付けています。