技术摘要：提高地球观测中模型预测对缺失传感器的鲁棒性

问题陈述

用于地球观测（EO）的多传感器机器学习（ML）模型整合来自不同来源（例如光学、雷达、气象）的数据以提高预测精度。然而，由于技术故障或环境因素（例如云层遮挡阻碍光学成像），传感器数据的持续性在现实部署中无法得到保证。现有文献已通过诸如时间丢弃（专注于单传感器输入）或传感器不变模型（专注于静态图像）等策略解决了缺失数据问题。在处理多传感器时间序列场景中缺失的传感器方面仍存在显著空白，在此类场景中，标准机器学习模型缺乏固有的鲁棒性，导致在特定传感器输入不可用时出现偏差或预测失败。

方法论

作者提出了两种专门针对多传感器时间序列场景的新方法，以增强模型对缺失传感器的鲁棒性：

1. 输入传感器丢弃（ISensD）

受数据增强技术的启发，ISensD 在训练期间于输入层引入了一种**传感器丢弃（SensD）**机制。

• 机制：对于给定样本，随机掩码掉整个传感器的输入特征。
• 实现：
  • 标准 SensD：使用超参数 $r$（丢弃率），基于伯努利分布（$d_s \sim \text{Bernoulli}(r)$）对传感器特征进行掩码。
  • 无比率（NR）：一种无参数变体，为每个批次从所有可能的缺失传感器组合（$2^{|S|} - 1$）中随机选择一个组合。
• 训练：模型在这些掩码输入上使用标准的多传感器融合架构（输入级融合）进行训练，通过优化参数以最小化相对于真实值的损失。

2. 集成传感器不变（ESensI）

受传感器不变模型的启发，ESensI 提出了一种带有共享预测头的集成架构。

• 机制：模型为每个传感器采用专用的传感器编码器（$E_{\theta_s}$）以提取特征，但为所有传感器使用单个共享预测头（$P_\phi$）。
• 传感器编码：为确保模型知晓正在处理哪些传感器特征，在编码特征进入共享头之前，会添加一个可学习的传感器编码向量（$\rho_s$）。
• 优化：与标准集成中独立优化特定传感器头的做法不同，ESensI 联合优化专用传感器参数和共享头参数，迫使模型学习跨传感器的不变表示。

实验设置

这些方法在三个多传感器时间序列地球观测数据集上进行了验证：

1. 作物收获（CH）：利用 Sentinel-2（光学）、Sentinel-1（雷达）、ERA5（气象）和 SRTM（地形）进行多作物识别。
2. 活体燃料含水量（LFMC）：利用 Landsat-8（光学）、Sentinel-1（雷达）和各种静态环境传感器估算植被含水量。
3. 颗粒物 2.5（PM25）：利用大气条件、动力学和降水数据进行空气质量回归。

基线：将所提出的方法与四种文献基线进行了比较：

• 输入：带有均值插补的标准输入级融合。
• ITempD：带有时间丢弃的输入融合（针对传感器进行了调整）。
• 特征：使用基于示例（相似性搜索）插补的特征级融合。
• 集成：特定传感器模型的聚合，忽略缺失传感器的预测。

评估指标：鲁棒性的主要指标是性能鲁棒度分数（PRS），它衡量了具有缺失传感器的模型相对于具有完整传感器可用性的模型的相对预测误差。

关键结果

• 对缺失传感器的鲁棒性：随着缺失传感器百分比的增加，ISensD和ESensI均表现出显著更高的鲁棒性（更高的 PRS 值），优于标准基线（输入、ITempD、特征）。
• 集成的优越性：标准集成方法（不带不变头）被证明是整体最鲁棒的架构，通常在原始鲁棒性指标上优于所提出的 ESensI。然而，ESensI 在特定情况下（例如 PM25 数据集）改进了集成方法。
• ISensD 性能：ISensD 方法在其直接基线（输入和 ITempD）上显示出鲁棒性的显著改进。无参数的“无比率”（NR）变体表现与调整后的比率版本相当，表明它是一个可行的替代方案。
• 全传感器性能的权衡：一个关键的观察结果是鲁棒性与全传感器准确性之间的权衡。虽然集成和 ESensI 方法在缺失传感器场景中表现出色，但与标准输入方法相比，它们在所有传感器可用时往往表现出较低的预测性能（F1/R2）。作者指出，ISensD 在全传感器场景中的表现不如输入基线，这表明模型可能在训练过程中过度优先考虑缺失数据场景。

意义与主张

该论文声称通过提供专门针对传感器可能缺失的多传感器时间序列场景的方法，解决了地球观测文献中的一个关键空白。

• 贡献：引入 ISensD 和 ESensI 提供了实用的策略，可在传感器故障时无需重新训练即可提高模型鲁棒性。
• 适度主张：作者承认，虽然他们的方法提高了鲁棒性，但并未在所有数据都存在的情况下最大化预测精度。他们明确指出，这种鲁棒性的来源尚未完全理解——它可能源于模型的适应性、对特定传感器信息的忽视，或某些传感器数据对特定预测任务固有的不相关性。
• 未来工作：作者指出需要调查这种鲁棒性背后的机制，并平衡缺失传感器弹性与全传感器准确性之间的权衡。