What's in an Earth Embedding? An Explainability Analysis of Location Encoders

技术摘要：地球嵌入中包含什么？地理编码器的可解释性分析

问题陈述
地理隐式神经表示（Geographic Implicit Neural Representations, INRs）学习将任何地球坐标映射到“位置嵌入”（location embedding），从而将海量的地理空间数据隐式地编码进神经网络的权重中。这些嵌入作为紧凑且通用的表示，可用于下游任务，如温度制图、空气质量预测和物种识别。然而，目前存在一个关键空白：缺乏原则性的工具来审计这些嵌入究竟捕捉到了哪些特定的地理或语义信息。与输入对应于单张图像的传统图像模型不同，位置嵌入对应的是经纬度坐标，这使得其内部信息内容具有不透明性。目前的评估仅依赖于在基准测试上的预测性能，这无法解释模型为何成功，或何时会因为依赖伪相关特征（例如，依赖基础设施而非贫困指标）而失败。

方法论
作者提出了一个框架，将位置嵌入分解为三个互补的、人类可解释的特征集：稀疏潜在概念、自然语言概念和视觉特征。

1. 稀疏潜在概念（无监督）：

   • 方法： 作者采用稀疏自编码器（Sparse Autoencoders, SAEs），特别是 BatchTopK 方法，将位置嵌入解离为稀疏的概念字典。
   • 机制： SAE 将嵌入投影到一个更高维的空间中，并施加稀疏性约束，使得每个样本仅激活极少数的神经元（$k=20$）。
   • 指标： 为了解释这些神经元，作者引入了两个指标：
     • 视觉单语义性（Visual Monosemanticity, MS）： 衡量神经元是否对具有相似视觉特征的图像产生激活（通过激活值与视觉相似度之间的相关性进行测量）。
     • 地理单语义性（Geographic Monosemanticity, GeoMS）： 衡量神经元是否在特定的局部或全局地理区域内激活（使用反向哈弗辛距离/Haversine distance）。
   • 数据集： SAE 在两种分布上进行训练：针对陆地面积的均匀随机分布（UAR）（用于 SatCLIP 和 Climplicit）以及来自 Geo-YFCC 数据集的受人类访问区域（用于 GeoCLIP）。

2. 自然语言概念（有监督/基于字典）：

   • 方法： 作者改编了稀疏线性概念嵌入（SpLiCE）框架，将嵌入分解为预定义的 2,000 个地理空间文本概念（例如，“城市”、“森林”）。
   • 对齐： 由于 SpLiCE 需要位置与文本之间的共享语义空间，作者要么利用了经过 CLIP 对齐预训练的模型（GeoCLIP），要么通过在 Git-10M 数据集上微调文本编码器（OpenCLIP ViT-L）来手动对齐其他编码器。
   • 优化： 他们应用 $\ell_1$ 正则化以鼓励稀疏性，目标是使每个示例激活 5 到 20 个概念，并通过余弦相似度和均方误差（MSE）来衡量重建效果。

3. 视觉特征（特征归因）：

   • 方法： 作者使用 CLIP Surgery 生成显著性图（saliency maps），识别输入图像（自然图像或卫星图像）中哪些区域对模型的预测影响最大。
   • 适配： 由于位置编码器缺乏“空类”（null class）（这与语言模型不同），作者使用北极点作为一个启发式的“空”嵌入来近似噪声。
   • 流程： 对于卫星图像，作者计算显著性图，将其阈值化为二值掩码，裁剪出显著区域，并使用 t-SNE 和 DBSCAN 对这些裁剪后的图像进行聚类，以识别重复出现的视觉模式（例如，道路、环岛）。

关键结果

• 稀疏潜在概念：

  • 重建： SatCLIP 和 Climplicit 的嵌入通过 SAE 实现了近乎完美的重建 $R^2$ 分数（>0.92），而 GeoCLIP 的得分较低（~0.52–0.65）。
  • 可解释性： 高单语义性神经元捕捉到了独特的地理模式。示例包括专门针对亚马逊雨林、澳大利亚沙漠和中东考古遗址进行激活的神经元。
  • 人工制品： 该分析成功识别了预训练数据中的视觉人工制品，例如格陵兰岛附近 Sentinel-2 图像中的特定异常。

• 自然语言概念 (SpLiCE)：

  • 结构保持： SpLiCE 在使用比原始嵌入维度少得多的活跃概念的同时，保持了嵌入空间的定向结构（余弦相似度 > 0.29）。
  • 编码器差异：
    • GeoCLIP： 在摄影频繁的地区（如巴黎）显示出细粒度、具体的信号，但在摄影较少的地区（如西伯利亚）表现挣扎。
    • SatCLIP： 在不同区域更一致地捕捉到了更广泛的地表覆盖趋势（如“苔原”、“沙漠”）。
    • Climplicit： 显示出混合的可解释性，在粗粒度的土地覆盖信号（撒哈拉）上表现良好，但在其他信号上表现不够连贯。

• 视觉特征（显著性图）：

  • 自然图像 (GeoCLIP)： 注意力集中在独特的建筑地标、自然特征（树木、天空）和文本线索（街道标牌）上。
  • 卫星图像 (SatCLIP)： 注意力集中在结构边界，包括道路模式（例如，欧洲城市的环岛与美国郊区的集群）以及大型城市结构（如体育场）。
  • 一致性： 显著性图所强调的视觉特征与文本分解中的语义概念相一致（例如，城市结构 vs. 自然生物群落）。

意义与主张
本文声称提供了地理 INR 可解释表示的第一步。通过证明位置嵌入可以在保持高重建能力的同时，被分解为人类可解释的表示（潜在、文本和视觉），作者揭示了这些“黑盒”编码器编码了系统的地理结构，如森林、沙漠、城市特征和气候信号。

作者强调，这些方法提供了互补的见解：

• 对于用户： 能够审计哪个编码器捕捉了特定的信号（例如，城市基础设施 vs. 广阔的生物群落），有助于为下游任务选择合适的模型。
• 对于开发者： 该框架通过识别概念缺失、无关视觉特征或低质量数据人工制品（如看到的格陵兰岛异常）来实现调试。

本文保持了谦逊的态度，承认目前的解释工作仍需要大量人工努力（例如，检查神经元激活、对齐空间），并指出未来的工作应专注于“设计即可解释”的框架，或专门针对地理模型进行更深层的定制化。