Catching the Imposter: Self-Supervised Learning of Physical Coherence with Cross-Entity Feature Permutations

技術要約：インポスター（Imposter）の捕捉

問題提起
科学データ、特に地球・環境科学におけるデータは、複数の変数からなる多変量時系列で構成されており、それらの特徴量は物理法則（例：陸域生態系における温度、放射、水分の結合）によって共同で制御されています。既存の自己教師あり学習（SSL）の目的関数は、自然言語処理（NLP）やコンピュータビジョンにおいて成功を収めていますが、こうした「物理的な一貫性（physical coherence）」をほとんど無視しています。マスキング、予測、対照学習といった標準的なSSL手法は、空間的および時間的な規則性を活用してはいるものの、特徴量を独立した予測対象として扱ったり、科学的なセンサーデータには物理的な類似性が存在しない拡張（例：クロッピングやカラージッター）に依存したりしています。その結果、これらの手法は、基礎となる物理システムを定義する「特徴量間の相互依存関係」を明示的に学習することができません。さらに、ラベル付きの科学データ（限られたエディ・コバリアンス・タワーによる炭素フラックス測定値など）の不足により、豊富なラベルなし再解析データを活用できる堅牢な事前学習戦略が必要とされています。

手法：インポスター（Imposter）事前学習タスク
著者らは、物理的一貫性を強制するために設計された識別的な事前学習タスクであるImposterを提案しています。

• メカニズム： エンティティ（$F$ 個の特徴量を持つ $T$ ステップの時系列）が与えられたとき、アルゴリズムは特徴量のサブセットをランダムに選択し、それらを別のランダムに割り当てられた「ドナー（供与者）」エンティティの対応する特徴量で置き換えます。
• 課題： 寄贈された値は、異なる物理的場所からの実際の観測値であるため、個々の値としては妥当です。しかし、それらの組み合わせは、ホスト・エンティティの残りの特徴量と合わせると、物理的に不整合な状態を生み出します。
• 目的： エンコーダーは、どの特徴量が入れ替えられたかを特定するための、特徴量ごとの二値分類損失を用いて、識別器として訓練されます。
• マルチ・インポスター（Multi-Imposter）： 単一のドナー・エンティティを記憶してしまうこと（モデルが特徴量の一貫性を学習するのではなく、ドナーを特定することを学習してしまうショートカット）を防ぐため、著者らはMulti-Imposterを導入しています。このバリアントでは、入れ替えられる各特徴量が独立したドナーから抽出されるため、エンコーダーは各特徴がホストに対して単独で持つ一貫性を評価することを強制されます。
• 比較： このタスクは、Masked Autoencoder (MAE) のような生成的なアプローチと対比されます。MAEは情報を除去し、その再構成を求めるものですが、Imposterは情報を現実的な代替物で置き換え、その置換を検出させることで、特徴量の結合分布を明示的にモデリングします。

実験設定
本研究では、世界の全域をカバーする日次 ERA5-Land 再解析データセット（2001–2024年）を利用し、各0.1°グリッドセルを、水、エネルギー、植生サイクルにわたる21の環境変数によって特徴付けられるエンティティとして扱います。

• ベースライン： Imposter および Multi-Imposter を、5つの広く用いられているSSL目的関数（対照学習（NTXent）、次トークン予測（NTP/予測）、および3つのMAEバリアント（Feat-MAE, Temp-MAE, FT-MAE））と比較します。
• アーキテクチャ： すべての手法は、事前学習の目的関数の効果を分離するために、同一のパッチ・トランスフォーマー（Patch Transformer）アーキテクチャを共有しています。
• ダウンストリーム・タスク： パフォーマンスは以下の7つのタスクで評価されます：
  1. ケッペンの気候区分（5クラスおよび30クラス）。
  2. 河川流量予測（CAMELSデータセット）。
  3. 流域属性の再構成（CAMELS）。
  4. 炭素フラックス推定（GPP, RECO, NEE）を用いたCarbonFluxBench。
• 評価プロトコル： 凍結されたエンコーダーを用いた線形プロービング（Linear Probing）、埋め込みの幾何学的特性を特徴付ける非教師あり指標（RankMe および $\alpha$ReQ）、および、連結された埋め込みや共同訓練を用いた実験を使用します。

主要な結果

1. 普遍的な優位性の不在： すべてのダウンストリーム・タスクにおいて支配的な単一のSSL目的関数は存在しません。パフォーマンスは、目的関数の帰納バイアスと、ダウンストリーム・タスクの要求事項との間の整合性に左右されます。
   • 対照学習は、エンティティの識別（気候分類、流域属性）には優れていますが、詳細な時間履歴を必要とするタスクでは効果が低下します。
   • **再構成ベースの手法（MAEバリアント）**は、蓄積された時間的強制力に大きく依存する河川流量予測において最も優れた性能を示します。
   • Multi-Imposterは、全般的に競争力のある結果を出し、平均ランクで2位（平均ランク 3.79）となりました。標準的なImposterバリアントは平均ランク 4.57 で5位でした。特筆すべきは、Multi-Imposterが炭素フラックス予測（特にNEE）において優れた成績を収めたことであり、これは物理的一貫性をモデル化することが、相互作用する生物地球化学的プロセスを予測する上で極めて重要であることを示唆しています。
2. 相補性： Imposter および Multi-Imposter によって捉えられた物理的一貫性の信号は、マスキング、予測、または対照学習によって捉えられる信号とは、大部分において直交しています。
   • 連結（Concatenation）： Multi-Imposter の表現を他の目的関数と組み合わせることは、一貫してパフォーマンスを向上させます。特に気候分類（FT-MAEと組み合わせた際のLP-30で最大+18.5%の向上）や炭素フラックス予測（Contrastiveと組み合わせた際のNEEで最大+54.8%の向上）において顕著です。
   • 共同訓練（Joint Training）： 共同訓練も改善をもたらしますが、独立して訓練されたエンコーダーを連結する方が一般に大きな改善を得られます。これは、同時最適化が補完的な情報の希釈を招く可能性を示唆しています。
3. 効率性： Imposter および Multi-Imposter は計算効率が高く、NTPと同等のFLOPsを必要とし、高価な投影ヘッドやペアワイズの類似度計算を必要とする対照学習よりも大幅に少ない計算量で済みます。

意義と主張
本論文は、共通のアーキテクチャと事前学習予算の下で、SSL目的関数を系統的に比較した最初の研究であると主張しています。主な貢献は以下の通りです：

• 物理的一貫性を信号として特定： 多変量科学時系列のための、これまで未探索であった自己教師あり学習のソースとして、物理的一貫性を特定しました。
• タスクに応じた選択： 単一の「最良」の目的関数を追求するのではなく、ダウンストリーム・タスクのファミリーに基づいて、事前学習タスクの選択が行われるべきであることを示しました。
• 補完的な情報： 物理的一貫性が、空間的・時間的な規則性から得られる信号とは異なる情報を提供することを立証しました。これにより、既存の目的関数と組み合わせることで、科学的な基盤モデル（Foundation Models）にとって価値のあるコンポーネントとなることを示しました。

著者らは、将来の科学的自己教師あり学習の進展は、単に言語やビジョンから目的関数を適応させることだけに依存すべきではないと結論付けています。むしろ、より堅牢で科学的根拠に基づいた基盤モデルを構築するために、物理的一貫性、保存則、対称性といったドメイン固有の構造を特定し、活用することに注力すべきであるとしています。