💻 computer science

UniverSat: Resolution- and Modality-Agnostic Transformers for Earth Observation

UniverSat 引入了一种新颖的视觉 Transformer 骨干网络，其具备一个通用补丁编码器（Universal Patch Encoder），能够将来自多样化光学及非最优传感器的任意空间、光谱和时间分辨率映射到一个共享的嵌入空间中，从而使单个自监督模型能够在异构的地球观测任务中实现稳健且与传感器无关的性能。

原作者： Yohann Perron, Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yohann Perron, Guillaume Astruc, Nicolas Gonthier, Clement Mallet, Loic Landrieu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解来自太空的地球。通常情况下，科学家会为每一种类型的相机或传感器构建一个不同的“大脑”（计算机模型）。如果你有一个捕捉可见光的相机，你需要一个大脑；如果你有一个能穿透云层的雷达，你需要另一个大脑；如果你有一个能观察 400 种不同颜色光线的传感器，你还需要第三个大脑。

这非常低效。这就像是为家里的每一个房间都准备一副不同的眼镜。

这篇论文介绍了 UniverSat，一种新型的 AI “大脑”，它充当了地球观测领域的通用翻译官。UniverSat 不再需要为每种传感器准备一个独立的大脑，而是使用一个单一的大脑，能够同时理解任何传感器、任何分辨率以及任何类型的数据。

以下是其工作原理的分解，使用了简单的类比：

1. 问题所在：“僵硬”的拼图

传统的 AI 模型（称为视觉 Transformer）就像是僵硬的拼图盒。它们要求拼图块的大小和形状必须完全一致。

如果你输入一张高分辨率照片（微小的像素），它能放进去。
如果你输入一张低分辨率的雷达图像（巨大的像素），拼图块就对不上了。
如果你输入一段包含 100 帧的视频，它会崩溃；如果你只输入一张照片，它也会崩溃。

为了让这些旧模型正常工作，科学家必须预先将数据强制转换成特定的形状。他们必须拉伸、缩小或裁剪图像（这个过程称为“重采样”），而这往往会丢失重要的细节。

2. 解决方案：“通用补丁编码器”（UPE）

UniverSat 用一个名为“通用补丁编码器”（Universal Patch Encoder, UPE）的智能变形适配器取代了僵硬的拼图盒。

可以将 UPE 想象成一个通用插线板或通用适配器。

输入： 你可以接入一个高清微型相机、一个巨大的雷达天线，或者一个探测不可见热量的传感器。
魔力： UPE 并不在意插头的形状或大小。它能瞬间将数据分解成微小的“原子级”碎片（就像信息的单个原子），并将它们重新排列成标准格式，供主脑理解。
结果： 无论数据来自 300 公里外的卫星还是 100 米外的无人机，UPE 都能将其转化为同一种语言。

3. 它如何处理“混搭”数据

地球观测是非常杂乱的。有时你有一张今天的照片和一张上周的雷达图像。有时你有 3 种颜色（红、绿、蓝），有时你有 300 种颜色。

UniverSat 使用了一种称为**轴向交叉注意力（Axial Cross-Attention）**的技术。

类比： 想象一群说着不同语言的人（不同的传感器）正试图共同解决一个问题。UniverSat 并没有强迫每个人都先说英语，而是充当一名协调员，同时倾听所有人的声音。它能弄清楚相机的“红色”如何与雷达的“脉冲”相关联，以及“昨天”的数据如何与“今天”的数据相关联，而无需强迫它们改变各自的原生方言。

4. “缩放”功能

最酷的特性之一是，你可以在模型已经观察完数据之后，再决定最终答案的详细程度。

类比： 想象你在拍一张城市照片。通常，你必须在拍照之前就决定是要广角镜头还是特写镜头。
UniverSat： 它拍摄的是一张包含所有可能细节的“超级照片”。随后，当你请求结果时，你可以说“展示整个城市”或者“只展示这条街道”，模型会瞬间放大或缩小，且不会损失质量。它不需要重新拍摄照片。

5. 它是如何学习的（自监督学习）

作者并没有通过向 UniverSat 展示数百万张带标签的照片（例如“这是森林”、“这是道路”）来教它。因为数据如此多样化，这样做是不可能的。

相反，他们使用了自监督学习（Self-Supervision）。

类比： 想象你给 AI 一个缺失了 90% 碎片的拼图。AI 必须观察它拥有的那少量碎片（也许是一点雷达数据和一点照片），并猜测缺失的部分看起来是什么样子的。
通过在来自 13 种不同传感器和 7 个不同数据集的数据上反复进行这种“填空游戏”，AI 学习到了地球的底层结构。它学会了无论通过雷达、相机还是热感传感器观察，一个“田野”看起来究竟是什么样的。

结果

论文测试了这个单一模型在许多不同任务上的表现：

分类（Classification）： 识别图像中的物体（例如：“这是森林还是城市？”）。
分割（Segmentation）： 在物体周围绘制轮廓（例如：“道路在哪里结束，田野在哪里开始？”）。

重大胜利： UniverSat 的表现与那些专门为这些特定任务构建的模型一样出色，甚至更优。更令人印象深刻的是，它在训练期间从未见过的传感器上也能正常工作。如果你向它展示一种它从未遇到过的卫星，它仍然能够理解，因为它学习的是数据的原理，而不仅仅是特定的传感器。

总结

UniverSat 是一个用于观察地球的全能型 AI。它不再将自然强行塞进僵硬的盒子，而是构建了一个灵活的系统，可以处理我们星球上复杂多变的数据现实——从微小的无人机照片到巨大的卫星雷达扫描，这一切都通过同一套权重实现。

技术摘要：UniverSat

问题陈述

视觉 Transformer (ViT) 已成为视觉表示学习的标准，但其在地球观测 (EO) 中的应用受到架构僵化性的阻碍。传统的基于 ViT 的 EO 模型依赖于固定的补丁投影器 (patch projectors)，这隐含地对输入模态、空间尺度、时间采样和光谱分辨率施加了特定约束。虽然这些设计在狭窄领域（如 Sentinel-2 RGB 时间序列）非常有效，但它们无法适应具有极端异质性的 EO 数据，这类数据跨越了多样化的传感器（光学、雷达、LiDAR、高程）、分辨率（从厘米到千米）以及光谱/时间密度。现有解决方案通常需要进行激进的重采样、波段选择或使用特定模态的投影器，这限制了在异质多模态语料库上训练单一、统一基础模型的能力。

方法论

作者提出了 UniverSat，一种旨在处理任意 EO 输入而无需重采样或特定模态预处理的 ViT 式骨干网络。该架构由三个核心组件组成：

1. 通用补丁编码器 (Universal Patch Encoder, UPE)

UPE 取代了标准 ViT 中固定的补丁投影器。它通过线性复杂度的轴向交叉注意力 (Axial Cross-Attention, ACA) 机制，将任意空间 ( $H \times W$ )、光谱 ( $C$ ) 和时间 ( $T$ ) 维度的补丁映射到共享嵌入空间。

原子格式化 (Atomic Formatting)： 输入补丁被分解为子补丁，标量值通过可学习傅里叶特征 (Learnable Fourier Features, LFF) 被提升至潜在维度 $D$ 。
维度塌陷 (Dimension Collapse)： UPE 使用 ACA 模块顺序地塌陷像素、通道、时间及子补丁维度。该过程逐轴聚合信息，在减少张量尺寸的同时扩展特征维度，最终生成全局补丁嵌入和用于高分辨率跳跃连接的子补丁嵌入。
模态无关性 (Modality Agnosticism)： 一套权重即可处理所有传感器组合，能够处理变化的通道数和分辨率，而无需输入重采样。

2. UniverSat 骨干网络

骨干网络将多模态观测聚合为稠密的空间表示：

补丁级融合 (Patch-Level Fusion)： 对于每个空间位置，来自不同模态的嵌入被堆叠并通过轴向交叉注意力模块进行融合，从而塌陷模态维度。
空间 Transformer (Spatial Transformer)： 精炼后的补丁嵌入通过带有旋转位置编码 (Rotary Positional Encodings, RoPE)（由补丁大小缩放）的门控 Transformer 块进行处理。
任意分辨率预测 (Any-Resolution Prediction)： 输出特征图的分辨率与输入补丁大小解耦。在推理阶段，嵌入通过双线性插值映射到用户定义的网格。
高分辨率恢复 (High-Resolution Recovery)： 一种带有残差连接的交叉注意力机制允许目标 Token 关注子补丁嵌入，从而恢复在补丁级聚合过程中丢失的精细空间细节。

3. 训练框架

UniverSat 通过在涵盖 7 个数据集、13 种传感器的异质语料库上进行自监督学习进行训练。其目标结合了两种损失函数：

跨模态对比 (Cross-Modal Contrast)： 将批次内对比损失 (InfoNCE) 应用于可见补丁的 UPE 嵌入，以鼓励模态不变的表示。
线性多模态掩码建模 (Linear Multimodal Masked Modeling, LM3)： 这是潜在掩码图像建模的扩展。模型在由冻结的随机投影定义的潜在空间中预测被遮盖补丁（跨模态和时间戳）的表示。这迫使共享骨干网络保留来自所有模态的信息，而不依赖于推理阶段学习到的特定模态头部。

核心贡献

统一架构： 一种类 ViT 模型，能够处理异质传感器（光学、雷达、高光谱、高程）以及任意分辨率和时间密度，无需特定模态的投影器或输入重采样。
通用补丁编码器： 一种利用轴向交叉注意力将任意形状补丁嵌入到共享潜在空间的创新编码器，具有线性复杂度。
灵活推理： 能够在推理时指定输出空间分辨率，并处理未见过的传感器配置（例如新的通道数或重访频率）而无需重新训练。
多模态自监督： 一个结合了跨模态对比和针对异质 EO 数据定制的潜在掩码建模的训练框架。

实验结果

作者在涵盖分类和分割任务的 16 个数据集（来自 GeoBench, PANGEABench 和 SpectralEarth）上评估了 UniverSat。

泛化能力： 尽管训练使用的传感器种类和多样性远超竞争模型，UniverSat 在标准基准测试（如 BrickKiln, Sen1Flood11, PASTIS-R）上仍取得了具有竞争力的或最先进的性能。
未见配置： 该模型对未见过的传感器配置表现出鲁棒性，包括单时间步输入、减少的波段计数以及训练集中不存在的合成传感器（如 HLS）。
高光谱性能： 在 SpectralEarth 基准测试（EnMAP 数据）上，尽管未在 EnMAP 数据上进行训练，UniverSat 的表现优于专门的基础模型 DOFA，并接近 SpectralEarth-L 的性能。
效率： 在分割任务中，UniverSat 使用简单的线性探测（linear probe）即可达到最先进的结果，且使用的监督参数显著减少（例如，相比于使用 UperNet 等重型解码器的竞争对手的 33M–47M 参数，仅需 9K）。
消融实验： 去除 UPE（替换为特定模态的 MLP）或去除跳跃连接会显著降低性能，特别是在需要精细空间细节或对未见传感器进行泛化的任务中。

意义与主张

论文声称 UniverSat 代表了从僵化的、特定模态的基础模型向真正分辨率无关且模态无关范式的转变。通过使用通用补丁编码器取代固定的补丁投影器，作者证明了单个模型可以从大规模异质语料库中学习鲁棒的、传感器无关的空间特征。

其意义在于能够：

消除对激进重采样和波段选择的需求，从而保留原始数据的保真度。
在无需架构更改或重新训练的情况下，泛化到未见的传感器和模态组合。
提供针对特定下游任务定制的灵活输出分辨率。

作者承认 UniverSat 在通用性方面牺牲了一定的专业性；在高度特定且标准的设置下（例如高分辨率 RGB），特定模态的模型可能仍然更准确或更高效。然而，对于复杂的、多传感器的地球观测现实，UniverSat 提供了无与伦比的通用性和极具竞争力的性能。