Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

技術要約：対照的マスク忠実度 (Contrastive Mask Fidelity: CMF)

問題提起：評価のパラドックス
リモートセンシングにおけるセマンティック・セグメンテーションは、根本的な「評価のパラドックス」に直面している。モデルは人間が作成したマスクに対して学習および評価されるが、これらのマスクは従来、絶対的な正解（グラウンドトゥルース）として扱われてきた。しかし、航空写真や衛星画像の複雑さ（例：小さな物体、不均一な土地被覆）により、リモートセンシングのアノテーションはしばしば粗雑であったり、不完全であったり、位置がずれていたり、あるいは平滑化されすぎていたりする。その結果、標準的な重複指標であるmIoUは、視覚的な証拠への忠実さではなく、潜在的に欠陥のあるラベルとの一致度を定量化してしまうことになる。視覚的に優れたマスクであっても、不完全なアノテーションから逸脱している場合は低いスコアを受ける可能性がある。既存のラベル品質向上手法の多くは、自身が検出対象とするノイズの多いラベル分布で学習されたモデルに依存しており、検出したいはずのバイアスをそのまま引き継いでしまう。ここには、どちらかを絶対的な真実と見なすことなく、競合するマスク（人間 vs モデル）を画像内の証拠に対して直接比較できる、リファレンスフリー（参照を用いない）な判定器が欠如している。

手法：GeoVeritas パイプライン
著者らは、Contrastive Mask Fidelity (CMF) を中心とした、3段階のトレーニングフリーな監査システムである GeoVeritas を提案している。

1. 候補生成 (ステージ I):
   システムは、凍結された SegEarth-OV3 バックボーン（SAM 3 エンコーダを使用）に基づいた、トレーニングフリーのオープンボキャブラリー・セグメンテーション・プローブである Seg-Probe を利用する。Seg-Probe は主要な貢献ではないが、人間によるアノテーションに挑戦するための堅牢な候補マスクのソースとして機能する。これは、高品質な候補を生成するために3つのトレーニングフリーなコンポーネントを採用している：

   • 類義語エビデンス・プーリング (Synonym Evidence Pooling: SEP): 特定のクラス名への依存を減らすため、log-sum-exp ソフトOR を用いて複数の類義語プロンプトからの証拠を集約する。
   • マルチスケール・エビデンス (Multi-Scale Evidence: MSE): 複数の画像スケールから証拠を抽出し、整列させる。
   • テスト時拡張 (Test-Time Augmentation: TTA): オリジナル画像と水平反転させたビューからの証拠を平均化する。

2. 対照的マスク忠実度スコアリング (ステージ II):
   CMFは、凍結された外部の視覚言語判定器 (RemoteCLIP) を用いて、画像 $x$ に対するクラス $c$ のバイナリマスク $M_c$ の忠実度を評価する。プロセスでは、画像の2つの反事実的なビューを作成する：

   • 保持ビュー ($x^k$): マスク $M_c$ で定義される領域のみを明らかにし、それ以外の領域をブラー（ぼかし）処理する。
   • 除去ビュー ($x^e$): マスク $M_c$ を隠し（ブラー処理）、残りの画像領域を明らかにする。

   判定器は、クラステキストに対する温度スケール付きソフトマックスを用いて、各ビューに対する確率 $P(c|r)$ を計算する。忠実度スコア $F(M_c)$ は、以下の差分として定義される：
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   この対照的な設計により、スコアは純粋性（保持された領域にクラスが含まれていること）と完全性（マスクの外側にクラスの証拠が残っていないこと）の両方を反映することを保証する。決定的なことに、ソフトマックス正規化と2つの項の相反する性質により、些細なマスク面積の膨張に対する感度が低減される。

3. 仲裁とラベル修正 (ステージ III):
   各画像・クラスのペアに対して、システムは候補マスク ($M^p_c$) の忠実度スコアを人間によるアノテーション ($M^a_c$) と比較する。もし差分 $\Delta F > 0$ であれば、候補の方がより忠実であると判断される。保守的な仲裁ルールに基づき、差分 $\Delta F$ が閾値（デフォルトは $\delta=0$）を超える場合にのみ、人間のラベルを候補のマスクで置き換える。それ以外の場合は、過剰な修正を避けるために人間のラベルを保持する。

主な貢献

• CMF メトリック: 参照を用いない（reference-free）、トレーニングフリーのメトリックであり、マスクの不一致を画像条件付きの「保持-除去」の対照へと変換し、凍結された外部の視覚言語判定器を利用してセマンティック・マスクの忠実度を評価する。
• 大規模監査: 10個のリモートセンシング・ベンチマーク（LoveDA、Potsdam、Vaihingenなどを含む）にわたる 10,731 個の画像・クラス・ペアを監査した。この研究により、系統的なクラス依存のアノテーション歪みが明らかになった：人工物クラス（建物、道路、車）では62〜85%のケースでモデルの候補が有利であったが、曖昧な土地被覆では人間によるアノテーションが有利になることが多かった。
• 専門家による検証: 3人のアノテーターによるブラインド・コンセンサス・セットにおいて、CMFは専門家の判断と 81% で一致し、保持のみのスコアリング、モデルの確信度、および学習済みのラベル品質ベースラインを上回った。
• 実行可能な監督: CMFによって仲裁されたラベルを用いて軽量なセグメンターを学習させると、生の（未修正の）アノテーションや純粋な疑似ラベルで学習させた場合と比較して、優れたクロスドメイン転移性能が得られた。これにより、仲裁プロセスによる恩恵が分離された。

結果

• Seg-Probe の性能: Seg-Probe は10個のデータセットのうち9個で従来のトレーニングフリー・ベースラインを上回り、平均 mIoU 56.3%（SegEarth-OV3 の 55.4% に対比）を達成し、強力な候補生成器としての役割を裏付けた。
• 破損への感度: CMF は制御されたマスク破損に対して較正されており、既知のエラーに対して正しく反応すると同時に、マスク面積の変化に対して安定性を維持することが示された。
• クロスドメイン転移: CMFによって仲裁されたラベルで学習されたモデルは、生の（未修正の）アノテーションや、一致する置換コントロールで学習されたモデルよりも優れた転移性を実証した。これは、得られた利得が単純な疑似ラベルの蒸留ではなく、より高忠実度なラベルの選択に由来することを確認している。

意義
本論文は、CMFを人間によるアノテーションを完全に置き換えるための手法としてではなく、グラウンドトゥルースを監査するためのスケーラブルなツールとして位置づけている。リファレンスマスクを不変の真実ではなく一つの仮説として扱うことで、CMFは系統的なアノテーションエラー、特に明確に定義された人工物のエラーを特定し、修正するメカニウムを提供する。このアプローチは、ラベルとの一致ではなく、画像内の証拠への忠実さに焦点を当てることで「評価のパラドックス」に対処し、リモートセンシングのセマンティック・セグメンテーションにおいて、より信頼性の高い監督への道筋を提示している。