UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations

“UrbanFusion：用于学习鲁棒空间表示的随机多模态融合对比学习”技术摘要

问题陈述
预测城市现象（如房价、公共卫生指标和移动模式）需要有效整合多样化的地理空间数据。目前的方法通常依赖于针对单一领域或区域设计的特定任务模型，这限制了其可扩展性。虽然最近出现了“地理基础模型”（Geo-Foundation Models, GeoFMs）以学习通用目的的空间表示，但它们面临着显著的局限性：

1. 模态约束： 许多现有模型仅支持有限的模态（例如坐标和卫星图像），或者要求每个位置都必须拥有所有模态的完美配对样本，而这在现实场景中很难实现。
2. 信息丢失： 标准的对比学习目标（如 InfoNCE）主要捕捉模态之间冗余的信息。它们往往忽略了模态特有的、独特的成分，并且未能捕捉到模态结合时产生的协同交互作用——即多种模态组合在一起时所提供的、在单一模态中不存在的信息。
3. 可扩展性与泛化性： 在特定区域训练的模型在面对未见过的地理区域时往往表现不佳，且其开发过程通常成本高昂，并高度依赖领域专业知识。

方法论：UrbanFusion 与随机多模态融合 (SMF)
作者提出了 UrbanFusion，这是一个空间表示模型，旨在通过整合街景图像、遥感数据、地图制图数据和兴趣点（POI）数据，学习统一且与任务无关的城市位置嵌入。其核心创新是一种名为**随机多模态融合（Stochastic Multimodal Fusion, SMF）**的训练框架。

• 架构： 该模型采用特定模态的编码器（例如用于街景的 CLIP ViT、用于 Sentinel-2 的 ViT-S/16、用于底图的 MAE 以及用于 POI 文本的 BGE）来提取特征。这些特征被投影为 Token，并通过一个基于 Transformer 的编码器进行融合。
• 随机多模ity融合 (SMF)： 与传统的成对对比学习不同，SMF 引入了一种涉及随机 Token 掩码（Masking）的训练策略。
  • 对比位置对齐 (Contrastive Location Alignment, CL)： 对于给定的位置，随机掩码掉一个模态子集 ($M_i$)，并使用剩余的补集子集 ($\bar{M}_i$)。模型使用对称的 InfoNCE 损失将这两个子集的融合表示进行对齐。这促使模型学习一种统一的表示，该表示可以从任何可用的模态子集中推导出来。
  • 潜在模态重建 (Latent Modality Reconstruction, Rec.)： 第二个目标是从融合表示中重建所有模态（包括被掩码掉的模态）的潜在特征向量。这迫使模型保留来自单个模态的独特信息以及允许重建缺失模态的协同信息。
• 训练目标： 总损失是对比损失与重建损失的加权和 ($L_{total} = (1-\lambda) \cdot L_{contr} + \lambda \cdot L_{recon}$)。
• 数据： 该模型在 PP2-M 上进行预训练，这是对 Place Pulse 2.0 数据集的增强版本，包含 56 个城市中的 110,988 个位置，并补充了 Sentinel-2 图像、OpenStreetMap 底图和 POI 数据。

核心贡献

1. 随机多模态融合 (SMF)： 一种与模型无关的对比学习框架，能够共同捕捉模态特有的、共享的和协同的信息。它通过重建和随机掩码，显式地鼓励保留独特信号和协同信号，从而解决了标准对比损失的局限性。
2. UrbanFusion 模型： 首个能够灵活整合街景图像、遥感数据、地图底图和 POI 到统一空间表示中的位置嵌入模型。它支持使用任意模态子集进行推理，从而对数据可用性的缺口具有鲁棒性。
3. 大规模评估： 在全球 56 个城市的 41 个下游任务中进行了全面的评估，涵盖了房价、能源消耗、犯罪率、城市感知、土地利用分类和人口统计推断。

结果
评估表明，UrbanFusion 在多样化的领域中一致优于最先进的 GeoAI 模型（包括 GeoCLIP、SatCLIP、GAIR 和 GPS2Vec）：

• 仅坐标编码： 在仅利用原始坐标生成嵌入时，UrbanFusion 在 8 个数据集中的 5 个上优于所有其他方法。
• 多模态编码： 当利用辅助模态（如卫星或街景）时，与在相同数据集上训练的模型相比，UrbanFusion 在 6 个下游任务中的 4 个上取得了最佳性能。
• 跨区域泛化： 在针对训练期间完全未见过的城市的零样本泛化测试中，UrbanFusion 在 6 个任务中的 5 个中排名第一，显著优于单模态基准模型。
• 信息保留： 合成数据实验证实，与仅采用对比学习的方法不同，UrbanFusion 通过部分信息分解（PID）分析验证，成功保留了冗余、独特和协同的信息。
• 数据效率： 消融研究显示，UrbanFusion 可以使用不完整的模态对（例如，每个位置仅有坐标和另一种模态）进行有效训练，并能保留完整模态对训练模型 99.35% 的性能。

意义与主张
论文声称，UrbanFusion 通过超越孤立的模态处理，实现了地理空间基础模型的重大进步。其主要意义在于其能够：

1. 处理异构性： 在预训练和推理过程中都能灵活利用任何可用的模态子集，从而在不同的数据可用性场景下具有广泛的适用性。
2. 捕捉丰富的交互： 通过将对比对齐与潜在重建相结合，该模型学习到的表示能够反映城市环境复杂的分层性质，捕捉有助于提升下游预测性能的协同信号。
3. 实现鲁棒泛化： 该模型展示了对训练期间未见区域的强大泛化能力，解决了以往局部或特定区域模型的关键局限。

作者认为，UrbanFusion 不仅仅是性能上的提升，更是迈向可扩展、可迁移的 GeoAI 表示的重要一步，旨在支持可持续的城市规划和政策决策，同时也承认了在时间对齐不完美以及侧重于城市（而非农村）尺度方面的局限性。