💻 computer science

Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

本文介绍了 SemGeo-AttentionNet，这是一种双流架构，它将基于几何条件的扩散语义先验与点云 Transformer 相结合，通过显式地形式化自下而上的几何处理与自上而下的语义识别之间的相互作用，来对 3D 表面上的人类视觉注意力进行建模。

原作者： Soham Pahari, Sandeep C. Kumain

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Soham Pahari, Sandeep C. Kumain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在博物馆里观察一座 3D 雕像。为什么你的目光会停留在脸上？为什么即使一个纽扣是平的，而外套上有许多褶皱，你的目光仍会流连于一个闪亮的纽扣上？

长期以来，计算机科学家试图通过仅观察物体的**形状（shape）**来回答这个问题。他们认为：“如果它凸起、有锐利的边缘或有凹凸感，那就是人类会注视的地方。”但这种方法效果并不理想。人类经常忽略那些凹凸不平、奇形怪状的形状，转而盯着那些对我们有意义的、平滑且扁平的东西（比如一张脸或一个 Logo）。

这篇论文介绍了一个名为 SemGeo-AttentionNet 的新计算机程序，它终于解开了这个谜题。以下是它的工作原理，通过简单的解释来呈现：

1. 两脑协同作用

作者意识到，人类的注意力是两个不同“大脑”共同协作的结果：

“自下而上”的大脑（几何特征/Geometry）： 这是你的反射。它在尖叫：“看那个锐利的边缘！看那个奇怪的凸起！”它对物理形状做出反应。
“自上而下”的大脑（语义特征/Semantics）： 这是你的知识。它在耳语：“等等，那是一张脸。那是一个工具。那很重要。”它对物体的“含义”做出反应，即使该物体本身是完全平坦的。

之前的计算机模型只有“自下而上”的大脑。它们就像一个只注意到运动却不知道人在长什么样的监控摄像头。

2. 新方案：一个聪明的侦探

新模型 SemGeo-AttentionNet 扮演着一个同时使用这两个大脑的侦探角色。它有两个主要部分：

形状扫描器（几何流/Geometry Stream）： 它使用一个强大的工具（Point Transformer V3）来绘制出 3D 物体的每一个凸起、曲线和边缘，就像雕塑家触摸黏土一样。
知识库（语义流/Semantic Stream）： 这是神奇之处。由于计算机没有人类大脑，作者给了它一个由扩散模型（Diffusion Models）（即生成艺术图像的同类 AI 技术）构成的“水晶球”。
- 他们对 3D 物体进行处理，从各个角度拍摄 100 张不同的照片，并询问 AI：“这是什么？”
- AI 会回答：“那是一张脸，”或者“那是一个杯子。”
- 这给了模型一个“语义先验（semantic prior）”——即一种预加载的、对物体本质的理解，而无需依赖带标签的 3D 数据进行学习。

3. “查询”机制：谁说了算？

这是一个巧妙的技巧。模型不仅仅是将这两个大脑混合在一起；它让它们按特定的顺序进行对话。

将形状（Shape）想象成一个搜索查询（Search Query），将知识（Knowledge）想象成一个数据库（Database）。

形状说：“我在这里看到一片平坦区域。让我查一下数据库：这是脸吗？是屏幕吗？”
知识回答：“是的，这片平坦区域是一张脸。请关注它！”

这确保了即使一张脸在几何结构上是平坦且乏味的，模型也会因为“知识”部分确认了它的重要性而注视它。然而，形状仍然拥有“否决权”。如果知识部分说“那是张脸”，但形状部分说“那实际上只是一个没有任何特征的平坦墙面”，模型就不会被分散注意力。它需要两者达成一致。

4. “眼动追踪”游戏（强化学习）

到目前为止，模型仅仅是预测你在哪里看。但人类的注视是有序列的（扫描路径/scanpath）。首先眼睛看向鼻子，然后是嘴巴，接着是帽子。

作者教会了模型玩一个模拟这种运动的游戏：

游戏规则： 模型是一个在 3D 物体表面行走的智能体（agent）。
规则如下：
1. 前往有趣的地点： 向高显著性区域移动（如脸部、工具手柄）。
2. 不要感到厌倦： 如果你在某个地方看的时间太长，你会受到惩罚（这被称为“抑制回视/Inhibition of Return”）。你必须继续移动。
3. 探索： 尝试访问你尚未见过的新区域。
结果： 模型学会了如何像人类探索物体一样，在物体表面“行走”其目光，同时遵循了你无法在空中跳跃、必须沿着物体表面移动的限制。

5. 实验结果

团队在三个不同的数据集（包含人类眼动数据的 3D 物体集合）上测试了该模型。

得分： 他们的模型表现显著优于所有之前的方法。它能更准确地预测人类注视的具体位置。
证明： 当研究人员观察结果时，发现该模型正确识别出了人们会盯着石像鬼的眼睛（尽管脸部很平滑）以及磨损工具的手柄，而旧模型只会盯着雕像中那些凹凸不平、充满噪声的部分。

总结

简而言之，这篇论文构建了一个不仅通过其形状，而且通过其含义来理解 3D 物体的计算机视觉系统。通过将几何扫描器与源自 AI 艺术生成器的“知识库”相结合，并教会它像人类一样移动“眼睛”，他们创造了目前最准确的 3D 世界注视点预测模型。

技术摘要：通过几何查询语义先验学习 3D 表面的类人视觉注意力

问题陈述
人类在三维物体上的视觉注意力源于自下而上的几何处理（对边缘、突起和表面不连续性的反应）与自上而下的语义识别（识别面部、功能部件或上下文含义）之间的相互作用。现有的 3D 显著性预测方法存在严重的二分法问题：手工设计的几何方法（例如高斯曲率、网格显著性）无法解释为什么人类会注视那些具有语义意义但几何特征并不显著的区域（例如角色的眼睛或平坦表面上的文字）。相反，近期的深度学习方法要么依赖于缺乏语义感知的几何编码器，要么利用忽略 3 维表面拓扑结构的 2D 语义模型。此外，现有的扫描路径生成模型局限于 2D 图像，无法遵循 3D 网格连通性或抑制返回（inhibition-of-return）动态。

方法论：SemGeo-AttentionNet
作者提出了 SemGeo-AttentionNet，这是一种双流架构，旨在通过非对称跨模态融合来显式地形式化自下而上/自上而下的二分法。

通过扩散蒸馏获取语义先验：
- 为了在缺乏带标签 3D 数据的情况下注入语义感知，该方法利用了预训练的文本生成图像扩散模型（Stable Diffusion）和视觉 Transformer（DINOv2）。
- 输入网格从 100 个视角进行渲染。对于每个视角，几何条件图（深度和表面法线）引导一个条件扩散修复过程。
- 从最后 75% 的去噪步骤中聚合中间 U-Net 解码器激活值，以捕捉细粒度的语义细节。这些特征与 DINOv2 特征融合，生成 2048 维的逐像素描述符。
- 一个反投影算子通过球查询聚合将这些 2D 特征映射回 3D 网格顶点，从而创建逐顶点的语义描述符 ( $S$ )。该流水线离线运行，将扩散过程视为冻结的感知先验。
几何编码：
- 对网格进行均匀采样（2,048 个点）以提取几何描述符（位置和法线）。
- 这些点由 Point Transformer V3 处理，通过体素化和空间填充曲线捕获多尺度空间结构，输出 32 维的几何特征 ( $H_{geo}$ )。
非对称几何-语义融合：
- 其核心创新是一个非对称交叉注意力机制，其中几何特征作为查询（query），而语义特征作为键（key）和值（value）。
- 这形式化了这样一个认知原理：自下而上的几何显著性引导着自上而下的语义知识检索。
- 残差连接确保几何特征不会被丢弃，防止模型坍缩为纯粹的语义识别。最后的 MLP 头预测逐顶点的显著性得分。
通过强化学习生成时序扫描路径：
- 该框架通过部分可观测马尔可夫决策过程（POMDP）扩展到生成时序扫描路径（注视序列）。
- 状态： 当前顶点及访问计数向量。
- 动作： 在网格表面移动到 $K=6$ 个最近的邻居之一，遵循 3D 拓扑而非欧几里得网格。
- 奖励： 一个平衡了显著性利用、抑制返回（惩罚重复访问）、新区域探索奖励以及多样性的复合函数。
- 训练： 使用近端策略优化（PPO）优化策略。

核心贡献

扩散蒸馏语义先验： 首次应用几何条件扩散特征来实现 3D 注意力建模中的零样本语义接地（zero-shot semantic grounding）。
非对称融合架构： 一种由几何查询语义的创新机制，显式地模拟了自下而上/自上而下的认知二分法。
拓扑感知扫描路径 RL： 一个直接在 3D 网格拓扑上生成扫描路径的强化学习框架，该框架尊重网格连通性并纳入了抑制返回动态，填补了现有仅限 2D 模型的空白。

实验结果
该方法在三个数据集上进行了评估：SAL3D、NUS3D 和 3DVA。

SAL3D： 模型实现了 0.8492 的相关系数 (CC)，比之前的最优结果 (0.6616) 提升了 28%。KL 散度显著降低至 0.1638。
NUS3D： 实现了 0.609 的 LCC 和 0.935 的 AUC-Judd，在 LCC 指标上优于 MIMO-GAN 129%。
3DVA： 实现了 0.762 的平均 LCC 且方差较低 (0.093)，优于 MIMO-GAN-CRF 49%。
扫描路径生成： RL 智能体实现了 2.05 的 NSS 和 0.51 的 MultiMatch 分数，表明生成的时序序列与人类视觉行为高度吻合。
定性分析： 可视化证实，模型能够正确识别语义显著区域（如石像鬼的面部、章鱼的触手），而这些区域是仅基于几何的方法所遗漏的，同时它仍能关注几何特征明显的部位。

意义与主张
本文声称通过在一个具有认知动机的架构内统一几何和语义处理，为建模 3D 表面的类人视觉注意力建立了一种新范式。作者断言，其方法有效地弥合了低级几何显著性与高级语义识别之间的鸿沟，验证了此类架构在解释 3D 物体人类注视模式方面比以往仅基于几何或基于 2D 的方法更为准确。该工作也率先在 3D 网格拓扑上直接制定了扫描路径生成的方案。