ZAYAN: Disentangled Contrastive Transformer for Tabular Remote Sensing Data

技術要約：ZAYAN – 表形式リモートセンシングデータのための解絡型対照的Transformer

問題提起
リモートセンシングおよび環境科学における表形式データからの有益な表現学習は、主に3つの課題によって阻害されている：特徴量の異質性、ラベルの希少性、および特徴量間の顕著な冗長性である。自己教師あり学習（SSL）、特に対照学習（CL）は、ラベル効率の高い表現学習において有望視されているが、既存のフレームワークは主にインスタンスレベルまたはパッチレベルで動作する。これらの手法は、明示的なアンカー選択とサンプル全体のビュー拡張に依存しており、表形式のリモートセンシングデータに固有の特定の構造的冗長性や特徴量の相互作用に対処できないことが多い。さらに、表形式データ用の標準的なTransformerモデルは、通常、冗長な次元を明示的に解絡したり特徴量の冗長性を最小化したりすることなく、すべての特徴量を一様なトークンとして扱う。

手法
著者らは、表形式のリートセンシングデータに対して、堅牢で解絡された埋め込みを学習するように設計された、自己教師ありのフィーチャー中心型フレームワークであるZAYAN（Zero-Anchor dYnamic feAture eNcoding）を提案する。このフレームワークは、2つの異なるモジュールで構成される：

1. ZAYAN-CL (特徴量レベルの対照的事前学習):

   • ゼロアンカー目的関数: サンプル間を対照させる従来のCLとは異まり、ZAYAN-CLは特徴量レベルで対照学習を行う。明示的なアンカーやクラスラベルを必要とせず、各個別の特徴量ベクトルに対して、2つの確率的な拡張ビュー（ガウスノイズ、ジッターを伴う分位点ワーピング、およびランダムマスキングを使用）を生成する。
   • 損失関数: このモジュールは、特徴量レベルのInfoNCE損失（$L_{ZAYAN-CL}$）を最適化し、同じ特徴量の拡張ビュー間の合意を最大化すると同時に、異なる特徴量の埋め込みを遠ざける。これは、ビュー間の相互情報量の下限を最大化するように定式化されている。
   • 冗長性の最小化: 特徴量の冗長性に明示的に対処するため、異なる特徴量埋め込み間のペアワイズ・コサイン類似度を最小化するペナルティ項（$R(\theta)$）を導入する。これは、直交性を強制し、解絡された埋め込み空間を促進するために、行列形式（$\|Z^\top Z - I\|_F^2$）を通じて効率的に実装される。
   • 出力: エンコーダは、単位超球上の多様性が最大化された正規化特徴量埋め込みを生成する。

2. ZAYAN-T (ダウンストリームTransformer):

   • アーキテクチャ: 事前学習された特徴量埋め込みを消費するTransformerバックボーン。事前学習中に確立された構造的および角度的な関係を保持するために、「ZAYAN認識型」の位置エンコーディングを組み込んでいる。
     性ファインチューニング: 標準的なクロスエントロピーと構造保存損失（$L_{preserve}$）を組み合わせた全損失（$L_{total}$）を用いて、教師あり分類のためにモデルをファインチューニングする。この保存項は、ダウンストリームTransformerの出力が事前学習された特徴量埋め込みに近接することを保証し、自己教師ありフェーズで学習された解絡された幾何学を維持する。

主な貢献
本論文は、4つの主要な貢献を概説している：

• C1 (ZAYAN-CL): ラベルや明示的なアンカーに依存することなく、表形式のリモートセンシングデータに対して、堅牢で解絡され、冗長性が最小化された埋め込みをもたらす、新しい特徴量レベルのゼロアンカー対照的事前学習スキーム。
• C2 (ZAYAN-T): 改善された教師あり分類のために、構造的および角度的な幾何学を保持しながら、これらの事前学習済み埋め込みを活用するように設計されたTransformerバックボーン。
• C3 (包括的なベンチマーク): 6つのリモートセンシング表形式ベンチマーク（例：都市土地被覆、森林タイプマッピング）と、衛星およびGIS製品から派生した2つの洪水予測テーブルを含む、8つの多様なデータセットにわたる広範な評価。
• C4 (堅牢性とデプロイメント): 特にラベルの希少性、分布シフト、およびノイズが存在する条件下において、精度、堅牢性、および汎化性能において、従来の機械学習および最新の表形式ディープラーニングのベースラインに対して一貫した向上を示した。

実験結果
フレームワークは、都市土地被覆、森林マッピング、作物マッピング、および洪水リスク予測にわたる8つのデータセットで評価された。

• パフォーマンス: ZAYANは、全8つのデータセットにおいて最高、あるいは最高タイの平均精度を達成した。注目すべき結果として、Urban Land Coverで84.80%、Wiltで99.69%、Forest Typeで97.21%、Pluvial Floodで93.61%を記録した。
• ランキング: ZAYANはベンチマーク全体で平均ランク1.06を達成し、平均ランクが3.38から9.25の範囲であった次点のモデル（TabICL, TANDEM, TabM, TabR）を大幅に上回った。
• 堅る強性: 他の手法が大幅な精度低下に見舞われたノイズの多い設定や不均衡な設定（例：50%のノイズを注入したPluvial Flood）において、優れた性能を示した。
• アブレーション研究: 実験により、冗長性ペナルティ、対照損失、および特定の拡張（ノイズ、ワーピング、マスキング）の必要性が確認された。いずれかのコンポーネントを削除すると、精度が4〜9パーセントポイント低下した。
• デプロイメント診断: 推論時の分析により、ZAYANは特徴量の摂動（最大25%のシャッフル）に対して安定性を維持し、妥当な較正（ECE = 0.151）を示し、効果的な選択的予測およびトリアージ決定をサポートすることが示された。

意義と主張
本論文は、対照的パラダイムをサンプルレベルから特徴量レベルへと移行させることにより、ZAYANが表形式のセンシングデータから学習するための効果的なレシピを提供すると主張している。ゼロアンカー動的特徴量エンコーディングを通じて冗長性と異質性に明示的に取り組むことで、ZAYANはインスタンス中心のSSL手法および一様トークンベースのTransformerの限界に対処する。著者らは、特徴量レベルの対照学習と動的特徴量エンコーディングの組み合わせにより、環境信号が増幅されノイズが抑制される表現の学習が可能となり、リモートセンシングアプリケーションにおける優れた汎化につながると主張している。

限界
著者らは、冗長性ペナルティが特徴量数に対して二次的な計算量（$O(m^2d)$ 時間、$O(m^2)$ スペース）を伴い、非常に高次元の入力（例：2048次元の埋め込み）に対してメモリ制約（OOM）を招く可能性があることを認めている。さらに、拡張の純粋に自己教師ありな性質は、潜在的に有益なラベル情報を省略しているため、将来の研究では、スケーラビリティを向上させるために、スパースアテンションメカニズムやハイブリッドな教師あり対照目的関数を探索できる可能性がある。