Building a cross-platform WebXR heritage application from a drone survey using a language model

保护过去始终是一场与时间及衰败的赛跑。几个世纪以来，历史学家和建筑师一直依赖绘图、照片和书面记录来捕捉建筑在崩塌或改变之前的样子。如今，技术为这一努力增添了一个强大的新工具：高分辨率扫描。通过利用无人机拍摄成千上万张重叠的照片，或利用地面激光，专家们现在可以构建极其详细的三维模型。这些“数字孪生”体足够精确，甚至能展示泥砖墙的纹理或石拱的弧度。然而，在创建这些静态模型与将其转化为公众可以探索的、生动的交互式体验之间，仍然存在着巨大的鸿沟。传统上，弥合这一差距需要软件工程师团队编写复杂的代码，而这正是大多数遗产组织所不具备的技能。这导致许多被捕捉到的遗址仅仅作为数据文件存在，无法被其原本旨在保护的人们所看到。

一种新的方法表明，准入门槛可能比此前认为的要低。不再是逐行编写代码，专家现在可以通过自然语言描述他们希望应用程序执行的操作，并要求人工智能为他们构建软件。这种方法通常被称为“氛围编程”（vibe coding），它将重心从技术语法转向了预期的结果。问题在于，一个没有编程背景的人是否可以使用这个工具，为一个真实的遗产地创建一个可靠的、跨平台的应用程序，以及当软件在实际设备上进行测试时会发生什么。

在最近的一项研究中，研究人员记录了一位没有游戏编程经验的遗产专家如何创建了一个针对沙特阿拉伯萨杜斯（Sadous）遗产村的完全交互式应用程序。该村庄位于利雅得西北约70公里处，是一个由晒干的泥砖建造的围墙定居点，这种传统风格被称为纳吉迪（Najdi）建筑。该遗址呈现两种状态：西侧部分已修复了屋顶和墙壁，东侧部分则是无顶的废墟。研究人员首先驾驶无人机飞越村庄，捕捉了10,213张图像，以创建一个精确的3D地图。这个数字模型覆盖了0.160平方公里的面积，其细节程度达到每个像素代表地面不到一厘米。

有了3D模型后，研究人员转向了一个语言模型，这是一种能够生成计算机代码的人工智能。研究人员没有编写任何一行代码。相反，他们扮演了导演的角色，用自然语言描述应用程序期望的行为。他们告诉人工智能用户应该看到什么，用户应该如何在村庄中移动，以及应该发生哪些交互。例如，研究人员描述了一种游戏机制：玩家扫描一座废墟建筑以触发全息重建，从而展示该建筑修复后的样子。这一设计选择不仅仅是一个视觉技巧；它允许玩家在当前的废墟状态和假设的修复状态之间进行切换，使事实与解读之间的区别变得清晰可见。人工智能生成了整个应用程序，包括移动角色的逻辑、爬楼梯的物理效果以及关于传统咖啡仪式的对话，而这一切都是基于这些口头指令完成的。

最终结果是一个大小约为34兆字节的单个文件，它可以运行在桌面电脑、安卓手机、iPhone和虚拟现实头显上，无需任何安装或服务器设置。应用程序引导玩家完成一系列任务：到达村庄大门、走过屋顶、记录建筑，并参与一项涉及烘焙和供应咖啡的文化仪式。咖啡序列特别值得注意，因为它要求玩家遵循特定的社交规则，例如用右手倒咖啡，且只将杯子填满四分之一，通过行动而非文字来教授这种习俗。

然而，这一过程并非没有挑战。虽然人工智能可以生成代码，但它并不总能预测代码在不同物理设备上的表现。研究人员记录了在开发和测试阶段出现的27个不同问题。其中10个问题只有在应用程序在物理设备（如移动电话或虚拟现实头显）上运行时才会显现，而无法在人工智能工作的计算机环境中被检测到。例如，在虚拟现实头显上，由于人工智能假设该设备像标准浏览器一样工作，应用程序有时会无法响应控制器输入。同样，另外五个错误是纯粹的文化性错误；人工智能编写的行为与该地区的实际传统不符，例如错误的咖啡供应方式或不恰当的角色动作。这些文化上的失误只有在拥有深厚当地遗产知识的人类专家对应用程序进行审查时才被发现。

这项研究强调了创建软件与验证软件之间的关键区别。人工智能成功编写了代码，但它无法完全测试自己的工作。人工智能编写的自动化测试全部通过了检查，但应用程序仍然包含在特定设备上会导致体验中断的漏洞（bugs）。这表明，虽然人工智能可以处理编写代码的繁重工作，但验证的责任仍然牢牢掌握在人类手中。遗产专家仍需具备细致观察的能力，在每种目标设备上运行程序，并判断其文化和历史细节是否准确。

研究人员发现，这种新的开发方法是可行的，但它改变了工作的性质，而非消除了对专业知识的需求。专家不需要学习编程，但他们需要成为一名严谨的观察者，能够准确描述哪里出了问题，以便人工智能进行修复。研究还提出了对这类应用程序长期保存的担忧。由于代码是由人工智能生成的，人类创造者并不理解其内容，因此未来的更新或修复将取决于是否能使用类似的智能化系统。此外，应用程序对过去做出了解释性的主张，例如建筑修复后的样子，研究强调，为了保持历史完整性，必须将这些主张与物理证据明确区分开来。

最终，这个项目证明了遗产专业人士现在可以无需软件工程师团队，就能为公众构建复杂的交互式体验。该应用程序成功运行在多个平台上，让用户能够探索萨杜斯村并以一种全新的方式接触其历史。然而，通往这一结果的道路是由细致的人类监督铺就的。人工智能提供了工具，但人类提供了判断力、文化语境以及确保最终产品既功能完备又真实反映历史所需的批判性眼光。这种方法为保护和分享遗产提供了一条充满前景的路径，前提是人类的角色从编写代码转变为严谨地测试和验证软件所讲述的故事。