What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation
本文表明，通过对编码器进行微调来适配预训练的 CLIP 模型，能显著提高大都市区域的地标定位精度，因为它增强了对完整场景配置的敏感性，而依赖零样本特征的冻结模型在细粒度判别方面仍然无效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正站在一个大都市的路口，望着一排熟悉的房屋、一种特定类型的树木，以及光线照射在人行道上的方式。对于人类来说，这些细节可能显得平淡无奇，但它们却蕴含着你确切位置的秘密。然而，对于计算机而言，区分两个看起来几乎完全相同的街区却是一个深刻的挑战。这正是视觉地理定位（visual geolocation）的核心领域——这是一个试图仅通过观察像素来判断照片拍摄地点的人工智能领域。虽然现代系统在识别宏观位置（例如区分热带岛屿和雪山）方面已经做得相当出色，但当被要求精准定位同一大都市内的特定区域时，它们往往会出错。研究人员长期以来一直追问的问题是：这些计算机系统是否能学会观察邻近地点之间的细微差异，如果可以，它们究竟学到了什么。
南加州大学的一个研究小组通过研究洛杉矶的街道来试图回答这个问题。他们收集了来自八个不同区域的近九千张街景图像，范围从繁华的市中心到圣莫尼卡的海岸风情，再到帕萨迪纳的郁郁葱葱的郊区。这些区域共享相同的气候、大致相同的建筑风格，以及通常相同的车型和树木，这使其成为了进行细粒度辨别能力的完美测试场。研究人员使用了一个强大的预训练计算机模型，称为 CLIP，该模型已经通过海量的互联网数据学习了将图像与文本描述联系起来的能力。他们想知道，这个模型在原始状态下是否已经能够分辨出这些街区，还是说它需要经过重新训练才能捕捉到更精细的细节。更重要的是，如果该模型在任务中的表现得到了提升，他们想要理解它究竟依赖于哪些新的视觉线索。它仅仅是在记忆建筑物的形状，还是在学习关于场景布局的更复杂的逻辑？
研究人员通过几种方式对模型进行了测试，首先是“零样本”（zero-shot）方法，即要求计算机在没有任何针对洛杉矶数据进行特定训练的情况下猜测位置。在这种未经训练的状态下，模型的正确率仅为 39% 左右，仅比在八个选项中随机猜测好一点点。当他们尝试通过仅仅教模型去读取其现有视觉系统的输出（而不改变其观察世界的方式）来提高性能时，表现几乎没有变化。然而，当他们允许模型实际调整其内部视觉处理过程时，结果发生了剧变。通过让模型学习洛杉矶的图像，其准确率跃升至 82% 以上。这种巨大的进步表明，区分这些街区的秘诀不在于模型已有的原始数据，而在于它通过适应过程来重新排列和优先处理这些数据的能力。
为了理解模型在变得如此出色时究竟在做什么，研究人员对图像进行了一系列视觉陷阱测试。他们移除了诸如标牌上的文字、车辆、树木和天空等特定元素，以观察模型是否仍能识别位置。他们还模糊了图像，以在保留大致形状的同时隐藏精细细节，并且通过将图像切割成小方块并进行打乱重组来破坏图像布局，从而在保持局部内容完整的同时破坏整体结构。结果揭示了一种迷人的细微差别。经过改进和适应后的模型对场景的整体布局变得更加敏感。当研究人员打乱布局时，经过适应的模型改变判断的频率接近 43%，而未经训练的模型改变判断的频率仅为 11%。这表明，经过训练的模型学会了高度依赖街景的完整结构——即道路、建筑物和天空是如何结合在一起的——而不是仅仅依靠发现某个独特的物体。
然而，这项研究也表明，这种对结构的敏感性并不意味着模型可以完全忽略视觉细节。当研究人员模糊图像以去除精细纹理和色彩时，经过适应的模型相比未经训练的模型，并没有表现出更高的原始准确率保持率。换句话说，虽然模型变得更擅长利用场景布局，但它们并不能仅凭布局来猜测位置；它们仍然需要环境的视觉外观。环境线索（如植被和天空）的移除继续让模型感到困惑，这表明这些宏观的大气特征仍然至关重要。研究人员还在另一组完全不同的图像（包含猫和椅子等常见物体）上测试了打乱效果，发现打乱这些图像同样会让模型产生困惑。这证明了对布局的敏感性是模型处理图像的一种普遍特性，而非专门为寻找地理位置而开发的特殊超能力。
研究结论指出，要让计算机区分视觉相似的街区，必须允许其针对特定环境调整其视觉处理过程。这种适应使系统能够更加关注场景的整体配置，即各种元素相对于彼此的排列方式。然而，这并不代表视觉细节不再重要。系统并不是通过抽象形状来观察世界，而是学会了将场景的结构与其特定的外观结合起来。这些发现是针对这种具有重叠视野的邻近地点的受控环境而言的，这意味着模型学习的是如何处理同一地点的不同角度，而不是识别全新的、遥远的城市。最终，这项研究表明，虽然人工智能可以学会导航城市中的细微差异，但它是通过将街道的排列与世界的纹理交织在一起，而非通过寻找单一的“神奇线索”来实现的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。