Catching the Imposter: Self-Supervised Learning of Physical Coherence with Cross-Entity Feature Permutations

技术摘要：捕捉冒充者 (Catching the Imposter)

问题陈述
科学数据，特别是地球与环境科学领域的数据，由多变量时间序列组成，其特征受物理定律（例如陆地生态系统中温度、辐射与水分之间的耦合）的共同支配。虽然现有的自监督学习（SSL）目标在自然语言处理（NLP）和计算机视觉领域取得了成功，但它们很大程度上忽略了这种“物理相干性”（physical coherence）。标准的 SSL 方法——如掩码（masking）、预测（forecasting）和对比学习（contrastive learning）——利用了空间和时间上的规律性，但将特征视为独立的预测目标，或者依赖于缺乏物理类比的增强手段（如裁剪、颜色抖动）。因此，这些方法未能显式地学习定义底层物理系统的跨特征依赖关系。此外，由于标记科学数据（例如来自有限涡度相关塔的碳通量测量）的稀缺性，需要鲁棒的预训练策略来充分利用丰富的无标记再分析数据。

方法论：冒充者预训练任务 (The Imposter Pretext Task)
作者提出了 Imposter，一种旨在强化物理相干性的判别式预训练任务。

• 机制： 给定一个实体（由 $F$ 个特征在 $T$ 个步长内组成的时间序列），算法随机选择一个特征子集，并用来自另一个随机分配的“捐赠者”（donor）实体的对应特征进行替换。
• 挑战： 由于捐赠的值是来自不同物理位置的真实观测值，它们在个体上是合理的。然而，这些值与宿主实体的其余特征组合在一起时，会创造出一个物理上不相干的状态。
• 目标： 编码器被训练为一个判别器，通过针对每个特征的二元分类损失来识别哪些特征被交换了。
• Multi-Imposter： 为了防止模型“记住”单个捐赠实体（这是一种快捷方式，即模型学习识别捐赠者而非特征相干性），作者引入了 Multi-Imposter。在此变体中，每个被交换的特征都取自一个独立的捐赠者，从而迫使编码器孤立地评估每个特征相对于宿主的相干性。
• 对比： 该任务与像掩码自编码器（MAE）这样的生成式方法形成对比。MAE 移除信息并要求模型重建它，而 Imposter 则用真实的替代品替换信息，并要求模型检测这种替换，从而显式地对特征的联合分布进行建模。

实验设置
本研究利用全球每日 ERA5-Land 再分析数据集（2001–2024），将每个 0.1° 网格单元视为一个由涵盖水、能量和植被循环的 21 个环境变量组成的实体。

• 基准测试： 作者将 Imposter 和 Multi-Imposter 与五种广泛使用的 SSL 目标进行了比较：对比学习（NTXent）、下一标记预测（NTP/Forecasting）以及三种变体的掩码自编码（Feat-MAE, Temp-MAE, FT-MAE）。
• 架构： 所有方法共享相同的 Patch Transformer 架构，以隔离预训练目标本身的影响。
• 下游任务： 性能在七个任务上进行评估：
  1. 柯本-盖格（Köppen-Geiger）气候分类（5 类和 30 类）。
  2. 径流预测（CAMELS 数据集）。
  3. 流域属性重建（CAMELS）。
  4. 碳通量估算（GPP, RECO, NEE），使用 CarbonFluxBench。
• 评估协议： 作者使用冻结编码器的线性探测（linear probing）、无监督指标（RankMe 和 $\alpha$ReQ）来表征嵌入几何结构，并进行了结合拼接嵌入和联合训练的实验。

关键结果

1. 不存在普遍优越性： 没有哪一种 SSL 目标在所有下游任务中都占据主导地位。性能取决于目标的归纳偏置（inductive bias）与下游任务需求之间的对齐程度。
   • 对比学习擅长实体判别（气候分类、流域属性），但在需要详细时间历史的任务上表现较弱。
   • **基于重建的方法（MAE 变体）**在径流预测（该任务高度依赖累积的时间强迫作用）方面表现最好。
   • Multi-Imposter 在各项指标上均具有竞争力，平均排名第二（平均秩次 3.79），而标准 Imposter 变体排名第五（平均秩次 4.57）。值得注意的是，Multi-Imposter 在碳通量预测（特别是 NEE）方面表现出色，这表明建模物理相干性对于预测相互作用的生物地球化学过程至关重要。
2. 互补性： Imposter 和 Multi-Imposter 所捕获的物理相干性信号与掩码、预测或对比学习所捕获的信号在很大程度上是正交的。
   • 拼接（Concatenation）： 将 Multi-Imposter 的表示与其它目标结合使用，一致地提升了性能，特别是在气候分类方面（结合 FT-MAE 时在 LP-30 上提升高达 +18.5%）以及碳通量预测方面（结合 Contrastive 时在 NEE 上提升高达 +54.8%）。
   • 联合训练（Joint Training）： 虽然联合训练带来了收益，但拼接独立训练的编码器通常能产生更大的改进，这表明同步优化可能会稀释互补的信息。
3. 效率： Imposter 和 Multi-Imposter 计算效率很高，所需的 FLOPs 与 NTP 相当，且显著低于对比学习（后者需要昂贵的投影头和成对相似度计算）。

意义与主张
本文声称提供了在共享架构和预训练预算下，对陆面建模 SSL 目标进行的首次系统性比较。其主要贡献包括：

• 物理相干性作为一种信号： 确定了物理相干性是多变量科学时间序列中一个此前未被充分探索的自监督来源。
• 任务驱动的选择： 证明了预训练任务的选择应由下游任务族引导，而非追求单一的“最佳”目标。
• 互补信息： 确立了物理相干性提供了不同于空间/时间规律性的信息，使其在与现有目标结合时，成为科学基础模型的宝贵组成部分。

作者总结道，未来科学自监督领域的进展不应仅仅依赖于对语言和视觉领域目标的适配。相反，它应该涉及识别并利用领域特定的结构——如物理相干性、守恒定律和对称性——以构建更鲁棒、更具科学依据的基础模型。