Visual Semantics and Multimodal Perception of Digitally Reconstructed Garden Scenes of Jiucheng Palace
本研究提出了一种整合深度学习、眼动追踪、脑电图（EEG）及主观评分的多模态感知框架，旨在定量评估数字化重建的旧城宫殿园林场景的空间表达与体验有效性，从而超越传统的形态准确性，实现历史视觉化的优化。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正站在一座已不复存在的园林之中。一千多年来，位于中国陕西的九成宫曾是一座宏伟的皇家避暑胜地，历代皇帝在此寻求休闲与政治庇护。如今，这里只剩下了建筑的石质基座和古丘的模糊轮廓。为了理解这座失落之地的昔日神韵，研究人员利用数字工具将其进行三维重建，创造出这些园林可能呈现出的虚拟场景。然而，数字模型的效果取决于它所提供的体验。如果重建后的景象在电脑屏幕上看起来很精确，却无法捕捉到原始空间的意境，那么这种重建就失去了意义。这正是感知科学发挥作用的地方。它提出了一个简单却困难的问题：当我们观察一个历史园林的数字重建模型时，我们的眼睛、大脑和情感究竟向我们传递了关于这一场景的什么信息？
来自西安西北大学的一个研究小组致力于通过研究数字重建的九成宫来回答这个问题。他们希望超越仅仅检查建筑物形状是否正确的层面。相反，他们开发了一种衡量人们如何体验这些虚拟园林的新方法。他们将重点放在重建场景中三种截然不同的类型上：由建筑和铺设路径主导的区域、山水交汇的区域，以及充满树木和植被的区域。为了了解观察者的反应，他们不仅仅是询问人们的想法，而是结合使用现代工具来测量身体即时的、非自主性的反应。他们追踪人们注视的位置及持续时间，测量脑波以观察大脑是处于放松状态还是投入状态，并针对场景引发的情感进行了详细提问。
研究人员从他们的数字模型中创建了十五幅不同的图像，确保每幅图像的光照和视角都保持一致，从而使唯一的变量仅为景观本身。随后，他们邀请了四十八名志愿者在佩戴传感器的情况下观看这些图像。其中一些志愿者是园林设计或建筑领域的专家，而另一些人则没有任何相关专业训练。当参与者观看图片时，眼动仪会记录下他们的目光停留在特定位置的每一次情况，而脑电传感设备则会测量他们大脑中的电活动。之后，参与者填写了一份调查问卷，使用诸如“开阔”对“封闭”或“平静”对“紧张”等成对的反义词来描述他们对空间的感受。
结果显示，人们对不同类型场景的体验存在明显的模式。以山水为主的图像始终获得了最高的评价。参与者认为这些场景比其他场景更具沉浸感，且情绪体验更积极。当研究人员查看脑电数据时，发现了一个匹配的信号：山水场景引发了与放松和冷静注意力相关的特定类型的脑波增强。相比之下，由建筑和石径主导的场景虽然清晰有序，却未能产生同样的安逸感或情感连接。充满树木和植被的场景则处于中间水平，它们提供了一种自然的感觉，但缺乏山水组合所带来的那种特定的灵动感。
有趣的是，人们注视图像的方式并没有像他们的感受变化得那样剧烈。眼动追踪数据显示，人们在观察三种类型的场景时，停留的时间大致相同，且视线移动的模式也相似。这表明，虽然眼睛会以标准的方式扫描园林，但大脑和心灵会对景观内容做出不同的反应。研究发现，水的存在是关键因素。含有更高比例可见水面的场景被评价为更美观，也更像真正的园林。相反，拥有过多建筑或铺设道路的场景，在唤起园林氛围的能力方面得分较低。研究人员还发现，图像中天空的开阔度与大脑处理空间的方式有关，这表明身处开阔天空下的感觉是体验中至关重要的一部分。
为了使这些发现具有实用价值，团队开发了一套简单的评分系统。他们创建了两个可以计算任何数字园林场景的数值。第一个数值衡量观察者从场景中获得的整体感受，将所有的调查答案和脑电数据整合为一个单一的“园林体验”分数。第二个数值则观察图像本身的构成要素——可见的水量、建筑数量以及开阔空间的大小——以此来预测该场景作为园林的效果。利用这一系统，他们证实了山水场景是最成功的，在体验度和成分检测上得分最高。而建筑密集的场景得分最低。
这项工作表明，当我们试图在屏幕上重现失落的历史园林时，仅仅把建筑做对是不够的。中国园林的魅力在于自然世界与人工环境之间的关系，特别是在水、山和植被的排列方式上。如果数字重建过于关注建筑而忽略了水的流动和景观的开阔感，它看起来虽然准确，却会显得空洞。通过使用这些衡量人类反应的新方法，研究人员现在可以对他们的数字模型进行精细化调整。他们可以调整视角或可见水的比例，以确保最终的图像不仅捕捉到了历史的痕迹，更捕捉到了身临其境的意境。这种方法为验证数字遗产项目提供了一种途径，确保它们能向今天的观众传达出过去的真实精神。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。