🤖 AI

Simulating Human Audiovisual Search Behavior

本文介绍了 Sensonaut，这是一个关于具身视听搜索的资源理性计算模型，它模拟了人类如何在不确定性下自适应地平衡时间、努力与准确度，并验证了其针对新实验数据重现人类搜索行为及错误的能力。

原作者： Hyunsung Cho, Xuejing Luo, Byungjoo Lee, David Lindlbauer, Antti Oulasvirta

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunsung Cho, Xuejing Luo, Byungjoo Lee, David Lindlbauer, Antti Oulasvirta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正身处一个深夜里拥挤且嘈杂的停车场。你需要找到你的车，而它正在发出鸣笛声，但周围有几十辆车，其中一些也发出了类似的鸣笛声，还有一些车停在其他车前面，挡住了你的视线。你并不会只是站在原地等待完美的时机；你会主动转头、走动几步，甚至绕着圈子走动，以获得更好的观察角度。你一直在不断权衡移动所付出的努力与获取答案所带来的收益。

这篇论文介绍了一个名为 Sensonaut 的计算机程序，旨在模拟人类是如何解决这类谜题的。它不仅仅是一张地图，它是一个学习如何像人类一样进行搜索的“数字大脑”。

以下是它的工作原理，使用了一些简单的类比：

1. 核心理念：“聪明购物者”

把 Sensonaut 想象成一个非常聪明但有点“懒惰”的购物者。

目标： 在一个凌乱的商店（环境）中找到特定的物品（目标）。
问题： 购物者无法一眼看到所有东西（有些物品被遮挡了），而且商店很吵闹（听觉干扰）。
策略： 购物者遵循一个规则：“除非值得，否则不动。”
- 如果他们听到一个声音，并看到一个看起来很像目标的形状，他们可能会直接伸手去拿。
- 如果他们感到困惑，他们会转头（一种低成本、低能量的动作）以获得更好的听觉效果。
- 如果转头还不够，他们就会走过去（一种更高成本、高能量的动作）以近距离观察。

这篇论文称之为 “资源理性”（Resource-Rationality）。这意味着该模型并不追求完美，而是追求高效。它在移动的成本（时间与能量）与寻找目标的收益之间进行权衡。

2. “数字大脑”是如何思考的

该模型使用了一个称为 POMDP（部分可观测马尔可夫决策过程）的数学框架。让我们把它转化为日常用语：

战争迷雾： 模型永远无法确切知道目标在哪里。它只有一个“信念图”（belief map）——即关于目标可能在哪里的心理猜测。
两种感官：
- 耳朵（听觉）： 就像一个全向工作的雷达，但对距离的感知比较模糊。它告诉模型：“声音大概是从那个方向传来的”，但它无法分辨物体是在 2 米处还是 10 米处。
- 眼睛（视觉）： 就像一个高清摄像头，只有当你直视某个物体时才起作用。它能提供清晰锐利的图像，但如果一辆车挡住了另一辆车，摄像头就什么也看不见。
更新循环： 每当模型转头或迈步时，它都会获得新数据。它将这些新数据与旧的猜测相结合，来更新其“信念图”。如果新数据符合猜测，信念就会增强（迷雾消散）；如果数据令人困惑，信念则保持模糊。

3. 通过试错进行学习

模型并非天生就会搜索。研究人员使用了 强化学习（Reinforcement Learning） 技术。

想象你在教一只狗。如果狗找到了球，它会得到奖励（正向反馈）；如果它撞到了墙或者花了太长时间，它会受到轻微惩罚或得不到奖励（惩罚/成本）。
Sensonaut 进行了数千场虚拟停车场游戏。它学到了：
- 转头是很便宜的，而且通常能解决问题。
- 行走是很昂贵的，所以只有在真的陷入困境时才去做。
- 如果你已有 90% 的把握，那就果断行动并停止搜索。不要浪费时间试图达到 100% 的确定性。

4. 它奏效了吗？（人类测试）

研究人员在虚拟现实（VR）停车场中，通过让 Sensonaut 与真实人类进行对比测试，验证了其效果。他们设计了一些棘手的场景：

“背后”测试： 目标位于人的身后。
“人群”测试： 现场有很多车辆。
“冒充者”测试： 有些车看起来和听起来都和目标一模一样（干扰项）。

结果显示：

行为匹配： 正如人类一样，Sensonaut 在寻找位于身后或被其他车遮挡的目标时，需要花费更长的时间。
努力程度匹配： 当任务变难时，人类和模型都会更多地转头。当任务变简单时，它们几乎不动。
错误类型匹配： 这是最有趣的部分。模型犯了与人类相同的错误。
- 例子： 如果目标隐藏在墙后，但同一个方向有一个“假”目标可见，人类和模型有时都会放弃寻找，转而选择那个假目标，心想：“那大概就是它了。”
- 例子： 如果两辆车距离较远但排列得非常整齐，两者有时都会选错，因为判断距离是非常困难的。

5. 差异之处

该模型并不是一个完美的克隆体。

行走： 人类有时会采取微小的探索性步伐，仅仅是为了从角落窥视一下。Sensonaut 则显得有些僵化，它只有在绝对必要时才会行走，因为它会非常严格地计算“成本”。
精准度： 人类可以以任意角度转头（例如 15 度）。而模型的转头是固定的 30 度增量，就像机器人一样。

总结

论文声称，Sensonaut 成功模拟了人类如何结合视觉和听觉来寻找物品。它证明了人类的搜索行为并非随机，而是一种关于“这种移动是否值得投入能量”的精细计算。通过理解这一点，作者认为我们可以构建更好的交互界面（如车载系统或 VR 游戏），使技术能够预判用户的视线方向和移动方式，从而让技术使用起来感觉更自然，减少挫败感。

该模型作为开源软件发布，这意味着其他研究人员可以使用这个“数字购物者”来测试他们自己的设计。

技术摘要：模拟人类视听搜索行为

问题陈述

在空间中利用听觉和视觉线索定位目标是人机交互（HCI）中的一个基本挑战，特别是在泛在和沉浸式环境（例如，在停车场寻找汽车或在虚拟会议中寻找发言者）中。目前的计算模型在处理视听搜索时存在两个主要的局限性：

感知与行动的孤立： 现有的模型通常将感觉定位（如双耳听觉）与认知决策视为独立的进程。它们未能捕捉到人类如何通过协调运动（头部旋转、位移）与感觉策略，来解决诸如噪声、遮挡和前后混淆等感知歧义问题。
缺乏资源约束： 传统的“理想观察者”模型（如贝叶斯推理）假设的是最优且穷尽的搜索策略，忽略了人类面临的物理成本（时间、精力、碰撞风险）。这些模型没有考虑到人们在准确性与获取信息的成本之间所做的权衡。

本文认为，需要一种统一了感觉推理与资源理性决策的计算模型，该模型应在部分可观测条件下，能够预测用户的行为、搜索时间、努力程度以及错误模式。

方法论

Sensonaut 模型

作者引入了 Sensonaut，这是一个具身视听搜索的计算模型。其核心假设是：人们利用其身体和感觉系统，在感知约束下，通过权衡时间和精力来高效地提高定位目标的概率。

1. 正式框架 (POMDP)：
该任务被形式化为一个部分可观测马尔可夫决策过程 (POMDP)：

状态 ( $S$ )： 隐藏的目标位置（极坐标）、智能体的位置/朝向，以及场景布局（干扰物/遮挡物）。
动作 ( $A$ )： 离散的具身动作：左转、右转、前进、停留 以及 提交。
观测 ( $O$ )： 智能体并不直接获得原始感觉数据，而是基于潜在目标位置的后验信念分布 ( $b_t$ ) 进行操作。该信念会根据带有噪声的听觉和视觉线索进行逐步更新。
奖励 ( $R$ )： 定义为 效用 ( $U$ ) 减去成本 ( $C$ )。
- 效用： 在容差范围内正确识别目标的正向奖励；对错误的惩罚。
- 成本： 物理努力（转头、位移）、时间（等待）和碰撞的惩罚。
目标： 学习一个策略 ( $\pi$ ) 以最大化期望净效用： $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$ 。

2. 多感官感知与信念更新：
模型在以自身为中心的极坐标网格（ $R \times \Theta$ ）上维护一个信念分布。

听觉似然度： 基于双耳时间差 (ITD)。建模为方位角上的高斯分布，与距离无关。它提供了全向的证据，即使在目标被遮挡时也是如此。
视觉似然度： 提供高精度、依赖于视角的证据。它考虑了遮挡（视线内最近的物体可见）和特征相似性。视觉证据通过指数移动平均进行累积，以处理头部旋转带来的变化。
信念更新： 后验信念通过在对数空间中结合先验与听觉及视觉线索的联合似然度来进行更新。一种“漏失（leaky）”更新机制允许模型维持多峰假设（考虑干扰物），直到证据变得具有决定性。

3. 策略学习：
由于解析求解 POMDP 是难以实现的，作者使用了基于近端策略优化 (PPO) 的强化学习 (RL)。智能体通过试错学习一种资源理性的策略，在信息增益的价值与动作的物理成本之间进行权衡。

数据收集

为了验证该模型，作者进行了一项受控的虚拟现实 (VR) 研究，共有 12 名参与者。

任务： 参与者在一个虚拟停车场中寻找一辆发出哔哔声的特定颜色汽车。
变量：
- 角度： 初始目标方向（前、侧、后）。
- 复杂度： 物体数量（5、7、12 辆车）。
- 干扰物： 视觉干扰物数量（0、2、4 辆目标颜色的车）。
指标： 搜索时间、累计头部旋转、位移（行走距离）以及定位准确度。
实验方案： 参与者佩戴着 Meta Quest 3，在一个大房间内进行实际的行走和转向。他们通过按下按钮来提交位置，之后估计目标的位置。

关键结果

1. 行为一致性

Sensonaut 成功重现了人类搜索行为的关键系统性模式（涵盖 270 个测试地图）：

搜索时间： 人类和模型在目标位于身后或干扰物较多时，搜索时间都会变长。
头部旋转： 当目标在后方或存在干扰物时，人类和模型都会显著增加头部旋转。尽管模型使用固定的 30° 步长而人类是连续旋转，但模型捕捉到了两者之间的相关性 ( $R^2 = 0.58$ )。
准确度： 两者都保持了较高的准确度（~95%），在困难条件下（侧面/后方角度、高干扰计数）准确度略有下降。模型解释了人类准确度 35% 的方差。
位移： 模型通常比人类更积极地减少行走（ $R^2 = 0.06$ ），这反映了其明确的成本函数。人类在行走距离上表现出更高的变异性。

2. 涌现策略

模型展现了三种由资源理性驱动的典型类人策略：

早期提交： 当初始证据足够强时，人类和模型都会在不移动的情况下立即提交。
为效用而转头： 当初始证据存在歧义（例如前后混淆）时，两者都会通过低成本的转头来收集信息并锐化信念分布，然后再进行提交。
运动学差异：当转头不足以解决问题时（例如被遮挡的目标或对齐的干扰物），两者都会通过移动到新位置，利用运动视差或遮挡变化来消除歧义。

3. 错误重现

模型成功重现了特定的类人错误模式：

遮挡驱动的错误： 当真实目标被遮挡时，人类和模型经常会选择一个可见的干扰物，从而导致错误的确定性。
距离/深度混淆： 两者都会被那些在视觉角度上对齐但距离较近或较远的干扰物所误导，由于未解决的后验峰值而选择了错误的物体。
注：模型并未重现“前后混淆”现象（即人类在目标位于身后时过早地提交到前方的物体）；模型会一致地通过转头来解决这种歧义。

重要性与主张

本文声称 Sensonaut 提供了一个关于具身视听搜索的资源理性解释。其重要性在于：

统一感知与行动： 它通过将线索整合与具身行动成本整合进同一个 POMDP 框架内，弥合了底层感知模型与高层认知架构之间的鸿沟。
预测能力： 它不仅能预测成功率，还能预测与搜索任务相关的时间、精力以及特定的错误模式。
设计实用性： 该模型作为一个模拟工具，可用于设计视听界面（如 XR、辅助系统），以最小化搜索成本和认知负荷。它允许设计师在部署前测试空间布局、干扰物和引导线索如何影响用户行为。
验证资源理性： 结果支持了以下假设：人类的搜索行为不仅仅是对感觉输入的反应，而是一种在信息增益与物理/时间成本之间进行战略优化的过程。

作者总结道，虽然由于动作步长粗糙和可见性二元假设的原因，模型在位移方面未能完美匹配人类的变异性，但它捕捉到了具身搜索的核心战略动态，为基于模拟的设计提供了原则性的基础。