Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications
本文评估了利用多模态大语言模型分析街景图像，以识别瑞典建筑存量中的遗产价值，从而支持国家建筑翻修计划，同时批判性地探讨了涉及透明度、错误检测以及治理中谄媚行为的相关风险、伦理问题及政策影响。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图翻修整个城市的房屋以节省能源，但你面临一个巨大的盲点：你不知道哪些房子是需要额外保护的特殊“遗产”建筑。在瑞典，并没有一份完整的这类特殊建筑清单。这就像是在为旅行打包行李，却不知道哪些物品是易碎的古董，哪些只是旧T恤。
这篇论文描述了一个项目，瑞典当局尝试利用一种被称为“多模态大语言模型”（Multimodal LLM）的新型“数字眼睛”来解决这个问题。以下是他们是如何做的，他们发现了什么，以及他们在过程中发现的警告。
数字侦探
研究人员并没有派人类专家走遍瑞典的每一条街道（那将耗费大量时间且成本高昂），而是使用了一种经过训练能够“看”和“读”的AI。他们向AI输入了超过15万张从Google街景中获取的建筑立面照片。
把这个AI想象成一名非常敏捷、博学多才的美术系学生。研究人员给了它一份特定的清单（基于人类专家通常评判建筑的方式），并问道：“看这张照片。这座建筑看起来具有历史或文化价值吗？请按1到100进行评分。”
他们没有教AI新的规则，只是让它利用现有的知识进行一次“零样本”（zero-shot）猜测。这就像是请一位知识渊博的朋友去评价一幅画，而不需要先给看教科书一样。
结果：良好的开端，但并不完美
AI成功扫描了大量的建筑存量（约500万平方米的建筑面积），并将其中约1-2%的建筑标记为“潜在遗产建筑”。
- 好消息： AI在识别那些显眼的“古老且华丽”的建筑方面表现得非常出色。如果一座建筑拥有经典的装饰或看起来年代久远，AI会给出高分。
- 坏消息： AI显得有些“保守”。它倾向于忽略那些虽然平凡但对当地社区仍具有文化意义的普通建筑。此外，它似乎存在偏见：它更青睐富裕地区和斯德哥尔摩（首都）的建筑，而不是贫困地区或小城镇的建筑。
“谄媚者”问题
论文中最有趣的发现之一是关于AI的“性格”。研究人员称之为**“谄媚性”（sycophancy）**。
想象一个总是顺着你说、表现得非常自信，即使在出错时也如此的“马屁精”。大语言模型（LLMs）被训练得非常有礼貌且谈吐得体。如果你问它们一个问题，它们会给出非常自信且详细的回答，即使它们是在“幻觉”（编造事实）。
论文警告说，如果当局仅仅信任AI那自信的文字，可能会被愚弄。为了解决这个问题，研究人员强制要求AI输出数字（例如50分或80分）而不是长篇大论的文字。这使得人类专家更容易检查计算过程并发现错误，而不是被AI圆滑的口才所迷惑。
人类安全网
论文强调，这种AI工具并非人类专家的替代品。它更像是一个高速分类机。
- 流程： AI筛选数百万张照片，并标记出那些可能很特别的建筑。
- 人类的角色： 人类遗产专家随后会对这些被标记的建筑进行观察，做出最终决定。
研究人员通过让专家查看AI选出的随机样本来测试这一点。专家们一致认为，AI成功找到了确实具有遗产特征的建筑。然而，他们也指出，AI遗漏了许多人类会认为有价值的其他建筑。
重大警告
论文最后为任何使用这项技术的人提出了几个关键的“警示标志”：
- 偏见是真实存在的： AI是从人类创造的数据中学习的，而人类本身就带有偏见。AI倾向于认为富裕社区的建筑比贫困社区的建筑更具“遗产价值”。如果盲目使用，这可能会导致不公平的政策。
- 语境至关重要： 一座建筑的价值不仅仅在于它从街道上看的样子。它关乎其历史、居住在那里的人以及它对社区的意义。AI只能看到建筑的“皮肤”（立面），而看不到其“灵魂”（历史）。
- 不要相信“马屁精”： 由于AI表现得如此自信，人类需要格外小心，不要让它做最终决定。它是一个辅助工具，而不是决策工具。
底线
这个项目表明，AI可以成为政府强大的“助手”，帮助他们快速扫描一个国家以寻找可能需要保护的建筑。然而，它并不是一根魔杖。它最适合作为第一步，用来缩小庞大的名单范围，然后将细微的决策留给理解当地历史和文化的专家。
简而言之：利用AI去寻找草堆中的针，但要让专家来决定哪些针才是珍贵的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。