Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

技術要約：地球観測におけるデータ品質メトリクス、人間の判断、およびランドカバー・セグメンテーション性能の整合性のベンチマーク

問題提起
地球観測（EO）のためのディープラーニングモデルの学習は、利用可能なデータセットの量と質によって制約を受けることが多い。深層生成モデル（例：GAN、拡散モデル）による合成データ拡張は解決策となるが、その合成データの実際の有用性を評価することは依然として困難である。標準的な評価手法は、ImageNetのような汎用的なデータセットで事前学習されたネットワークの潜在空間において計算される、分布レベルの距離指標（例：Fréchet Inception Distance [FID]、Kernel Inception Distance [KID]、Inception Score [IS]）に依存している。

特定された核心的な問題は、これらのメトリクスが、物体中心の構成を持つ自然画像に対して最適化されているため、EOの特殊なドメインへ効果的に転移できない可能性があることである。EO画像は、トップダウンの視点、任意の方向性、および分散した意味情報によって特徴付けられる。その結果、標準的なメトリクスは、ダウンストリーム・タスクの有用性を反映できなかったり、知覚不可能な摂動に対して人間の知覚から乖離したり、あるいはセグメンテーション・タスクに不可欠な高周波の詳細を抑制する構造的記憶に惑わされたりする可能性がある。自動メトリクス、人間の知覚、およびダウンストリームの性能が、この特定のドメインにおいてどのように整合するかについての系統的な調査が不足している。

手法
著者らは、多様な地理的領域（トルコ、欧州、韓国、およびカリフォルニア・ネバダ）をカバーする実データおよび合成リモートセンシングデータセットを用いて、包括的な三方向の整合性研究を実施した。本研究では、以下の3つの異なる評価の柱を統合した：

1. 摂動実験： 7つの定量的メトリクス（FID、KID、IS、LPIPS、SSIM、PSNR）を、6つの特定の画像変換（ガウスノイズ、パースペクティブ・ワーピング、回転、反転、リサイズ・クロッピング、および複合変換）に対して評価した。これにより、意味を保持する変化および意味を変える変化に対するメトリクスの堅牢性をテストした。
2. 人間による知覚研究： 88人の参加者を対象とした4段階のアンケートを用い、以下を評価した：
   • 拡張の整合性： 幾何学的変換下で同一のシーンを識別する能力。
   • ダウンストリームの有用性： 地球観測画像とそれに対応するランドカバー・セグメンテーション・マスクを一致させる能力（実データと合成データのペアの解釈可能性のテスト）。
   • 条件付き生成の選好： 条件付きマスクが与えられた際の、異なる生成アーキテクチャ（Stable Diffusion、U-Net GAN、StyleGAN3）の出力に対する選好。
   • リアリズムの評価： 実データと合成データセット間のリアリズムに関するリッカート尺度（1〜5）による評価。
3. ダウンストリーム・タスクのベンチマーク： 様々な実データと合成データの混合物を用いて、セマンティック・セグメンテーション・モデル（UNet、DeepLabV3+、SegFormerなどを含む）を学習させた。性能はF1スコアを通じて測定され、FIDスコアが低くても合成データがベースラインを改善するかどうかを判定した。

主な貢献

• 生成メトリクスの脆弱性： 本研究は、広く使用されている潜在空間の分布メトリクスが、人間の認識には影響を与えない微細な意味保持的摂動（例：回転）に対して非常に敏感であることを示している。
• 人間による知覚のベースライン： 人間の認識精度、視覚的選好、および認知負荷を定量化する4段階の研究により、自動品質メトリクスの妥当性を評価するための人間による参照基準を提供した。
• 三方向の整合性分析： 人間の知覚、自動メトリクス、およびダウンストリームのモデル性能の間の重大な乖離を明らかにする定量的分析を行い、標準的な自動評価の失敗モードを露呈させた。
• ランドカバー・セグメンテーション・ベンチマーク： 視覚的な忠実度（FIDによって測定）は、ダウンストリームの性能を信頼性高く予測しないという証拠を示した。FIDスコアが低い合成データであっても、実データと組み合わせることでベースラインを向上させることがある一方、高忠実度のメトリクスが有用性を保証するわけではないことも示した。

結果

• メトリクスの不安定性： 自動メトリクスは摂動に対して高い揮発性を示した。例えば、回転によってARAS-TestデータセットのFIDは2.09から36.51へと上昇したが、人間の識別精度は97.13%から94.05%への低下にとどまった。逆に、ノイズおよび複合摂動は、人間のシーン認識に最も大きな劣化をもたらしたが、これらはメトリクス・スコアに対しても最も有害であった。
• 知覚 vs メトリクス： 合成データセットは、実データセットよりも低いFIDスコアを受け取ることが多かったが、人間からは同等またはよりリアルであると認識された。例えば、合成データセットであるARAS-SGAN3（FID ~16.85）は、実データセットであるBELDE（µ=3.32）やBELDE-CA-NV（µ=3.09）よりも、FIDスコアが大幅に優れていたにもかかわらず、よりリアルである（µ=3.43）と評価された。
• 有用性のデカップリング（分離）： FIDスコアとダウンストリームの有用性の間には、顕著な不整合が見られた。実データをCUGAN生成の合成データで拡張すると、FIDスコアは2.09から21.27へと悪化したものの、ダウンストリームのセグメンテーションF1スコアは76.5%から77.6%へと向上した。同様に、リアリズムに対する人間の選好（例：BELDE-K vs BELDE-CA-NV）は、それらのデータセットに対するセグメンテーション・モデルの性能とは相関していなかった。
• モデルの選好： 条件付き生成タスクにおいて、ARAS400kで学習されたStable Diffusionモデルが最も好まれた（39%）が、単独のリアリズム・スコアは最低（2.51）であり、条件付きマスクへの忠実度と知覚されるリアリズムは別個の特性であることを示した。

意義と主張
本論文は、地球観測のための合成データの自動品質評価を、ImageNetで事前学習された特徴空間に根ざしたメトリクスのみに依存することはできないと論じている。著者らは以下のことを主張している：

1. メトリクスは信頼できないプロキシである： FIDのような標準的なメトリクスは、人間の観察者やダウンストリームのタスクには無関係な低レベルの構造的変化（回転など）に対して過敏であるため、地理空間データにおいては信頼できない指標である。
2. 有用性は忠実度から切り離されている： 高い視覚的忠実度（低いFID）は、高いダウンストリームの有用性を保証しない。また、FIDスコアが低い合成データであっても、実データと混合した際にモデルの性能を向上させることができる。
3. 包括的な評価の必要性： 信頼できる評価フレームワークは、定量的メトリクス、人間の知覚、およびダウンストリーム・タスクの性能を共同で考慮しなければならない。特に、自然画像と地球観測画像の間のドメインシフトを考慮すると、単一の軸では不十分である。

著者らは、生成モデルを純粋に自動メトリクスの最小化のために最適化することは、「視覚的な綺麗さ」を真のデータ有用性よりも優先させるリスクがあるとし、今後の研究は、摂動に対して堅牢で、人間の知覚と整合し、かつダウンストリームのタスク性能を予測できるメトリクスの開発を目指すべきであると結論付けている。