想象这样一个世界:一位大城市的医生可以“伸出手”,无需机器人或专家亲临,就能为数百英里外偏远村庄的患者进行超声扫描。这正是本文所测试的内容。
以下是他们实验的故事,用通俗易懂的方式分解如下:
问题:“医疗荒漠”
在许多偏远地区,例如加拿大的斯基德盖特(Skidegate)小岛社区,根本没有超声专家。如果有人需要扫描,要么等待专家每月一次的探访,要么乘坐 8 小时的渡轮前往大城市。一旦渡轮取消,诊断就会被延误。
解决方案:“人类遥操作”(傀儡师与傀儡)
研究人员没有尝试建造复杂且昂贵的机器人来握持超声探头,而是尝试了一种不同的方法。他们利用混合现实(MR),将普通人(“新手”)转变为“认知机器人”。
- 专家(傀儡师): 一位熟练的超声技师坐在 754 公里外的温哥华。他们佩戴一种特殊的控制器,感觉就像握着一把真实的超声探头。
- 新手(傀儡): 偏远村庄的一名普通人佩戴全息头显(Microsoft HoloLens 2)。他们手持真实的超声探头,放在患者的腹部。
- 魔法: 专家可以看到新手视角的视频流以及超声图像。当专家移动他们的控制器时,新手头显中会出现一个幽灵般的、全息版本的探头。新手的工作仅仅是移动他们手中的真实探头,使其与幽灵探头对齐。
这就像玩“跟随领袖”的游戏,但领袖在另一个城市控制着你的手,而你佩戴的头显会精确地向你展示该去哪里。
“虚拟皮肤”技巧
超声扫描中最难的部分之一是知道该用多大的力。如果按得太重,会疼;太轻,图像就会模糊。
- 挑战: 由于互联网连接存在轻微延迟(滞后),将“哎哟”信号即时传回给专家颇具难度。
- 解决方案: 系统创建了一个简单的、不可见的患者腹部蛋形模型(椭球体)。这就像在患者胃部画出一个虚拟轮廓。当专家将他们的虚拟探头移入这个蛋形模型时,系统会计算压力,并通过控制器给专家一个“推”的反馈。这是一个简化的地图,帮助专家感知患者的形状,而无需对每一个凸起进行完美的 3D 扫描。
大型测试
团队对该系统进行了测试:
- 距离: 温哥华与斯基德盖特之间 754 公里(约 470 英里)。
- 团队: 10 名普通人(新手)和 2 名专家超声技师。
- 任务: 专家指导新手拍摄 5 种特定的腹部图像(观察肝脏、主动脉和静脉)。
- 结果: 他们总共拍摄了 55 张图像。
他们的发现
- 图像质量极佳: 92% 的图像清晰到足以让放射科医生(影像医生)阅读并做出诊断。尽管手持探头的人从未做过此类操作,但专家完美地指导了他们。
- 易于学习: 新手表示系统易于使用。他们觉得可以很快学会。他们的“精神负荷”(即感受到的压力程度)很低。
- 精确度不如你想象的那么重要: 研究人员测量了新手与幽灵探头对齐的完美程度。令人惊讶的是,即使新手略有偏差(未完全对齐),图像质量依然出色。
- 原因? 专家超声技师可以看到实际的超声图像,并实时调整指导。这就像驾驶教练告诉你“再向左转一点”,即使你并没有完美地握直方向盘。相对精度比绝对完美准确更重要。
- “幽灵”奏效了: 用于感知压力的蛋形模型效果良好,足以让专家在存在互联网延迟的情况下感受到患者的身体。
结论
这篇论文证明,要将超声检查带到偏远地区,并不需要价值百万美元的机器人。你只需要一个普通人、一个全息头显,以及一位远在天边的专家进行指导。它将非专家变成了远程医生得力的双手,弥合了小岛与大都市之间的差距。
研究人员指出,虽然该系统运作良好,但他们仍需改进软件,以便专家能更轻松地控制超声设备的设置(如缩放或测量),并希望在将来将其测试于其他身体部位。但目前,他们已经证明了这种“人类遥操作”是将医疗服务带到最偏远地区的一种可行方式。
技术摘要:跨越 750 公里的混合现实远程超声
问题陈述
超声(US)是一种关键的非侵入性且便携的诊断工具,但偏远地区和原住民社区往往缺乏经过培训的超声技师。现有解决方案存在显著的权衡:机器人远程超声提供高精度,但成本高昂、占用空间大且维护复杂;远程指导超声成本较低,但依赖本地专业知识且缺乏对换能器的精确控制;自主机器人超声则面临推理和安全方面的挑战。为满足对低成本、灵活且精确解决方案的需求,本研究评估了“人工遥操作”系统,这是一种混合现实(MR)系统,由远程专家指导新手“跟随者”执行扫描。虽然该概念的前代版本已存在,但其在引入延迟的大距离下的可行性,以及针对腹部成像所需精确动作的可行性,此前尚未得到探索。
方法论
本研究进行了一项可行性测试,涉及在加拿大海达瓜伊的斯基德盖特(Skidegate)与温哥华之间进行的 11 次远程腹部超声扫描,两地相距 754 公里。
系统架构:
- 跟随者端(远程): 新手佩戴微软 HoloLens 2 头戴设备,该设备渲染动态虚拟超声换能器。跟随者将真实的超声换能器在物理上与全息图对齐。系统利用红外(IR)反射标记跟踪物理换能器的位姿,并通过差动磁力传感器外壳测量施加的力。
- 专家端(本地): 远程专家超声技师使用带有 3D 打印换能器手柄的 6 自由度力反馈设备(Touch X)控制虚拟换能器。专家查看跟随者的第一视角视频和实时超声图像流(通过 Windows Phone Link 连接至 Philips Lumify 应用程序),并提供口头指导。
- 通信: 系统利用 WebRTC 进行点对点通信,传输位姿、力和视频数据。
力反馈模型:
为了克服通信延迟和跟随者滞后带来的影响并提供稳定的力反馈,系统将患者的腹部表面建模为椭球体。该模型使用四个特定点进行校准:剑突、患者极左侧和极右侧以及床面水平。系统假设椭球体的轴与患者的解剖轴对齐,且椭球体与床面相切。基于虚拟换能器穿透该椭球体的深度(使用弹簧 - 阻尼模型计算),系统向专家渲染力反馈。
研究方案:
两名专家超声技师指导 10 名新手跟随者(年龄范围从 20 岁到 60 岁以上)获取五个特定的目标图像:近端主动脉(前后径)、下腔静脉(纵切)、左肝叶(长轴和横切)以及右门静脉(横切)。
- 数据收集: 两名放射科医生使用 6 分量表对图像质量进行评分。通过比较物理换能器与虚拟换能器的位姿,计算跟随者的对齐误差(均方根误差或 RMSE)。参与者完成了 NASA TLX 任务负荷调查和修改后的系统可用性量表(SUS)问卷。
主要贡献
- 长距离可行性: 本研究证明,人工遥操作可以成功促进跨越 754 公里距离的远程腹部超声检查,克服了网络延迟相关的挑战。
- 新手利用: 研究验证了没有任何超声经验的人可以作为有效的“认知机器人”,遵循远程专家的指导获取诊断级图像。
- 新颖的力反馈渲染: 本文介绍并测试了基于椭球体的患者模型用于力反馈。这种方法为远程专家提供了患者表面的稳定、直观表示,减轻了直接力反馈延迟引起的不稳定性。
- 综合评估: 本研究提供了多方面的评估,包括放射科医生评级的图像质量、定量对齐误差分析,以及来自新手和专家的主观可用性和任务负荷指标。
结果
- 图像质量: 在尝试获取的 55 个目标图像中,48 个成功捕获。在捕获的图像中,91.7% 获得了两位放射科医生≥3 分(次优至良好)的评分,其中 31.3% 被评为“良好”(5 分)。捕获图像的平均质量得分为 4.28 ± 0.95。
- 任务负荷与可用性: 新手跟随者在 NASA TLX 量表上报告了较低的精神需求(23.3/100)、努力程度(18.9/100)和挫败感(16.5/100),均低于医疗保健和虚拟现实任务的参考值。可用性评分普遍积极,所有 10 名跟随者均同意该系统易于使用,且大多数人可以快速学会。
- 对齐误差: 平均位置 RMSE 为 31.94 ± 10.17 毫米,平均方向 RMSE 为 11.39 ± 3.55°。然而,当进行居中处理(去除恒定偏移)后,RMSE 显著下降至 10.06 毫米和 5.81°。
- 相关性: 未发现跟随者的对齐误差(位置或方向)与最终图像质量评分之间存在统计学上的显著相关性。值得注意的是,位置误差最大(扫描 8)的扫描获得了最高的图像质量评分,这表明患者的体型特征以及专家从图像中推断真实换能器位置的能力,比跟随者的绝对对齐精度更为关键。
意义与主张
本文主张,人工遥操作是一种可行且有效的方法,可用于实现远程腹部超声成像,即使在大距离和由新手操作的情况下也是如此。研究强调,该系统允许专家超声技师以高性能执行远程扫描,在 92% 的成功获取中实现了诊断级图像。作者强调,对齐误差与图像质量之间缺乏相关性表明,只要专家能够解读视觉反馈,该系统对微小的跟踪误差不敏感。
作者得出结论,这种方法为机器人系统和远程指导系统提供了一种有前景的替代方案,特别适用于那些受成本、便携性以及缺乏本地专业知识阻碍的偏远社区。他们谦逊地指出,虽然该系统是可行的,但未来的工作需要将其与机器人和远程指导方法直接进行比较,将测试扩展到其他解剖区域(例如肾脏、全主动脉检查),并探索利用收集的丰富数据集成人工智能以实现自主指导。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。