Self-Calibrating Dense Displacement Fields for Reliable Co-Registration of Large Optical Satellite Imagery

同一地点在不同时间或由不同相机拍摄的卫星图像很少能完美对齐。即使它们理应显示完全相同的地面区域，像素也经常会发生几米甚至几十米的偏移。这种失配现象的发生，是因为卫星在确定自身位置、地形校正或将多轮飞行的数据拼接在一起的过程中存在微小误差。对于想要追踪变化（例如观察森林生长、测量冰川融化速度，或融合不同传感器的数据以创建完整图景）的科学家来说，这些失配是一个重大障碍。如果图像无法精确匹配，数据就会变得充满噪声且不可靠，从而无法检测细微的变化或准确地结合信息。共配准（co-registration）的目标就是修复这种漂移，通过移动图像，使其中一张图片的每个像素都能精准地落在另一张对应的像素之上。

多年来，研究人员一直依赖工具来进行这种对齐，但这些工具往往就像是只擅长一项特定工作的专家，一旦条件发生变化就会彻底失效。如果图像是由同一相机拍摄且仅有轻微位移，某个工具可能会表现得非常完美。但如果图像来自不同的传感器、显示同一地点在不同季节的景象，或者是由不同的飞行路径拼接而成的，同一个工具可能会产生偏差达数百米的结果，却从未向用户发出过失败的警告。这种不可预测性使得这些工具很难在全球范围内实现自动化应用，因为图像对的类型往往是预先未知的。现在，一个研究小组开发出了一种新方法，通过拒绝对图像如何移动做出僵化的假设，从而避开了这些陷ap。该方法不再强迫数据去符合预设模式，而是让数据本身说话，创建一个灵活的映射，展示图像中的每一个点需要如何移动才能与参考图像匹配。

由爱达荷大学及其他机构的孙守坤（Shoukun Sun）及其同事领导的研究团队创建了一个名为 SCDF 的系统，全称为“自校准位移场”（self-calibrating displacement fields）。其核心理念简单而强大：系统并不假设整幅图像像在一张桌子上滑动的硬纸片一样进行单一的简单运动，而是将运动视为一个复杂的、稠密的场，其中每一个像素都可以移动略微不同的距离。这使得该方法能够处理复杂的畸变，例如当图像的一侧向一个方向移动而另一侧向相反方向移动时，传统工具会在这种情况下崩溃。该系统通过将图像分解成小块，并反复询问一系列问题来工作：“这个小块看起来属于哪里？”以及“这个匹配结果与其邻居相比是否合理？”至关重要的是，该系统不使用可能针对特定图像对出错的固定规则或预训练设置。相反，它利用当前正在尝试对齐的特定图像对来校准自身的决策阈值。它通过观察目前收集到的数据，来决定什么算作好的匹配，什么算作错误，从而有效地教会自己如何处理该特定场景的独特特征。

为了测试这种方法是否真的比现有方法更好，团队利用来自 Sentinel-2、Landsat-8 和 9 以及 NAIP 项目高分辨率航空照片等真实卫星图像构建了一个大规模基准测试。他们创建了 584 个不同的测试案例，涵盖了广泛的挑战：由同一传感器拍摄的图像、由不同传感器拍摄的图像、间隔仅几天的一对图像，以及间隔五年的一对图像。他们还在这些图像中引入了已知的、精确的畸变，以便能够准确衡量每种方法纠正这些畸变的效果。结果令人震惊。虽然传统工具在某些类型的图像上往往能产生完美结果，但在另一些类型上则会出现灾难性的失败——有时偏差会达到数百米——而新系统从未出现过失败。它成功对齐了全部 584 个测试案例。更重要的是，在其他工具完全失效的最困难场景中，新方法依然能保持在最佳结果附近，在任何给定测试中，其表现从未比表现最好的工具差 1.39 倍以上。相比之下，最好的传统工具在同样的测试中，有时甚至比最佳结果差了数百倍。

研究还表明，该领域最常用的衡量成功的方法可能会具有误导性。传统的报告通常关注平均误差或中位数误差，但这可能会掩盖这样一个事实：一个工具可能在图像的一半部分表现完美，而在另一半部分完全错误。研究人员展示了，当你观察最坏情况时，不同方法之间的差异会变得巨大。他们的新系统专门旨在避免这些最坏情况下的失败，确保即使在条件困难的情况下，结果依然可靠且受限。虽然该系统目前比一些在强大图形处理器上运行的专业工具要慢，但它完全可以在标准计算机处理器上运行，不需要任何特殊的训练数据或预设配置。这使其成为必须在没有人工监督的情况下处理数千张图像的自动化系统的稳健选择，无论图像差异如何，都能确保用于关键环境监测和科学分析的数据得到正确的对齐。