💻 计算机科学

A Wearable Non-Visual Guidance System with an Inspectable Spatial-Cue Core

本文介绍了一种集成了智能眼镜、边缘计算单元和触觉腕带的可穿戴非视觉引导系统，该系统将空间感知转化为可操作的提示，证明了与传统白手杖相比，该系统显著降低了盲人用户的碰撞率，并使低视力用户的表现达到同等水平。

原作者： Chenghang Li, Yirui Yuan, Shurui Zhang, Wenxuan Ma, Fan Wang, Yang Gao

发布于 2026-11-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenghang Li, Yirui Yuan, Shurui Zhang, Wenxuan Ma, Fan Wang, Yang Gao

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

对于盲人或低视力人士而言，世界通常是通过触觉和听觉来感知的。长白手杖仍然是值得信赖的伴侣，因为它能提供与使用者面前障碍物的直接、物理接触。它是手的直接延伸，在触碰到障碍物的瞬间便告知旅行者那里存在着什么。然而，手杖无法看到远处的物体，也无法识别物体的种类或其距离伸手可及还有多远。电子辅助设备曾试图通过摄像头和传感器来“看见”环境以弥补这一差距，但将摄像头的图像转化为人类双手可用的有效指令是一个复杂的难题。计算机可以识别出一个杯子，但它并不知道如何自动告诉一个人在移动和转动手臂的过程中，该如何移动手部才能在不碰撞到其他物体的情况下抓取杯子。挑战在于，如何将视觉场景转化为清晰、及时且可靠的指南，让使用者无需视觉即可遵循。

一支研究团队开发了一套旨在解决这一转化问题的穿戴式系统。该设备由三个协同工作的部件组成：一副能够观察世界的智能眼镜、一个佩戴在腰间的微型电脑，以及一个带有四个振动马达的手环。眼镜捕捉用户前方的视野，电脑则分析场景以寻找物体或危险。该系统的核心创新不在于仅仅大声喊出它所看到的物体，而在于一个“空间线索核心”。这是一个严格的规则集，在向手环发送任何信息之前都会对每一条信息进行校验。它会询问：这个物体是真实的吗？距离测量准确吗？用户仍在寻找这个物体吗？如果其中任何一个问题的回答是否定的，系统就会保持静默。这防止了用户接收到混乱或过时的指令。只有当信息确凿可靠时，系统才会向手环发送一个紧凑的信号。

随后，手环将该信号转化为一种物理感觉。由于用户在移动时手臂会旋转，因此手腕左侧的振动在一种姿势下可能意味着“向左”，而在另一种姿势下可能意味着“向前”。为了解决这个问题，手环会测量手臂的角度，并据此调整振动模式。如果用户试图抓取一个杯子，马达会通过振动引导手部向目标移动，并在手部足够接近目标时停止振动。如果用户正在行走且出现了障碍物，手环会通过振动提醒他们向侧方或前方迈步。在参与者尝试抓取物体的测试中，该系统在1分钟内成功引导了37次（总共40次尝试）。该系统的精确度极高，当手部靠近距离为30、50或70厘米的目标时，手部最终位置的误差平均小于2厘米。

研究人员还在一项涉及100名参与者的研究中，将这种新系统与传统的白手杖进行了对比，参与者中一半是盲人，另一半是低视力人士。当盲人参与者使用智能眼镜和手环时，他们撞到障碍物的次数远低于仅使用手杖时。使用手杖时，平均碰撞次数超过12次，而使用新系统后，碰撞次数降至不到5次。对于低视力人士，结果显示新系统的有效性与手杖相当，碰撞次数没有显著差异。这表明，这项技术对于完全失明的人群具有特别的变革意义，同时也能为仍保有部分视力的人提供可靠的替代方案。这项研究证实，通过使“视觉”与“行动”之间的联系变得明确且可靠，穿戴式技术可以提供一种更安全、更有效的导航方式，提供一种能够与人们已掌握的技能相辅相成而非取代之的新型引导。

技术摘要：一种具有可检测空间线索核心的可穿戴非视觉引导系统

问题陈述
针对盲人及低视力（BLV）用户的穿戴式辅助面临着一个关键的“转换问题”：即将原始的环境感知（例如，物体检测、深度图）转化为可执行的非视觉引导。现有的解决方案往往在感知与反馈的接口处失效。检测到的物体本身并不直接等同于一个可执行的局部线索；原始向量可能存在陈旧、不完整或与用户任务意图不匹配的问题。此外，现有系统缺乏一个显式的、可测试的中间状态来验证空间关系是否已准备好进行渲染。虽然智能眼镜提供了语义理解，触觉设备提供了紧凑的反馈，但“看到了什么”与“该往哪里走”之间的鸿젝트（gap）仍未得到充分解决，特别是关于引导数据的有效性和新鲜度问题。

方法论与系统架构
作者提出了一种通过专用**空间线索核心（Spatial-Cue Core）**来弥合这一差距的三节点穿戴式系统。该架构由以下部分组成：

智能眼镜节点： 配备 RGB-D/立体摄像头、麦克风和扬声器，该节点捕捉自我中心感知和用户交互（语音/按钮）。
边缘计算节点 (RK3588)： 该中央单元执行局部感知（YOLO11s 检测、通过 LightStereo 进行度量深度估计）和任务落地（task grounding）。至关重要的是，它托管了空间线索核心，将感知转化为结构化的、可检查的“空间线索记录”。
触觉腕带节点： 一个带有四个电机的设备，通过 BLE 接收向量数据包，利用 IMU（BMI270）估计腕部转动（wrist roll），并渲染定向触觉反馈。

空间线索核心
其核心创新在于将线索状态形式化为一个元组： $C_t = \langle \tau_t, e_t, m_t, r_t, s_t \rangle$ ，分别代表任务意图、落地实体、执行模式、度量空间关系和有效性状态。

视觉到向量的流水线： 系统将支持深度信息的检测结果反向投影为度量 3D 向量。在*抓取模式（grasp mode）下，它计算手到目标的向量；在避障模式（avoid mode）*下，它生成侧向前方危险警告向量。
有效性门控： 在传输之前，核心会对实体落地、深度完整性、模式一致性和新鲜度进行验证。如果任何检查失败，线索将被标记为无效，从而防止渲染陈旧或无效的引导。
姿态补偿： 腕带补偿了腕部转动（wrist roll）旋转，确保触觉方向始终与用户的身体坐标系对齐，而非相机坐标系。

主要贡献

架构： 一种三节点穿戴式 BLV 引导系统，其特征是拥有一个位于自我中心感知与多模态反馈之间的专用空间线索核心。
形式化流水线： 一个视觉到线索的流水线，该流水线将检测结果反向投影为度量 3D 向量，补偿腕部姿态，并通过结构化的有效性契约抑制无效线索。
验证框架： 一个涵盖感知几何、线索状态故障回放、触觉渲染以及集成抓取/避障试验的系统级评估。

实验结果
论文从三个维度展示了验证过程：

感知与几何：
- 检测： 在 1,004 张图像的测试集上实现了 84.60% 的精确率和 87.91% 的召回率。
- 深度/向量精度： 在 30、50 和 70 cm 的标称距离下，系统实现的放置级相对向量误差分别为 $1.13 \pm 0.38$ 、 $1.66 \pm 0.47$ 和 $1.76 \pm 0.30$ cm。
系统可靠性（线索核心回放）：
- 在 961 个事件（525 个有效，436 个无效）的回放研究中，所提出的核心成功抑制了 100% 的无效活跃线索（436/436），且未发生对有效线索的误抑制。
集成任务性能：
- 抓取： 在 40 次试验（设有 60 秒超时限制）中，37 次试验（92.5%）成功完成了物体检索。
- 障碍物避让： 一份对比报告（转录自另一项研究）涉及 47 次试验/条件（完整系统、仅语音、白手杖），结果显示完整系统实现了 89.4% 的成功率，平均耗时 26.7s，在成功率上优于仅语音系统（80.9%，34.6s），并与白手杖（87.2%，35.4s）持平，同时提供了更快的完成速度和更大的间隙。
用户研究（补充报告）：
- 一项针对 100 名参与者（50 名盲人，50 名低视力者）的研究将该系统与白手杖进行了比较。
- 盲人组： 该系统显著减少了碰撞次数（平均 4.46 次对比白手杖的 12.54 次； $p < 0.001$ , Cohen's $d = 4.37$ ）。
- 低视力组： 该系统达到了预设的等效性标准（ $\pm 1.5$ 次碰撞）与白手杖相比（平均差异 0.14；90% CI $[-0.01, 0.29]$ ）。
- 交互： 年龄调整后的组别与设备交互作用显著（ $F(1, 97) = 412.5, p < 0.001$ ），表明设备的益处取决于视觉状态。

意义与主张
论文声称，通过整合性能指标和行为结果，这一多维框架为评估穿戴式辅助系统提供了一个实用的工具。其主要意义在于那个显式的、可测试的中间状态（即空间线索核心），它确保了只有在有效、与任务相关且新鲜的情况下才会进行引导渲染。

作者谦虚地总结道，该系统支持针对特定任务（抓取和局部避障）更安全、更有效的自主辅助，但并不能取代如白手杖训练等既有的移动技能。研究结果表明，辅助应根据功能需求进行定制，因为该设备为盲人提供了显著的碰撞减少效果，而对于低视力用户，其在碰撞规避方面的表现与手杖相当。该系统被视为对人机交互研究的一项贡献，展示了如何将从感知到行动的转化过程形式化，应用于穿戴式辅助技术领域。

类似论文