Empowering Surgical Embodied Intelligence: A Blockchain-based Federated Learning Framework for Collaborative Video Analysis
本文提出了一种基于区块链的联邦学习框架,该框架通过去中心化共识和混合模型架构消除了中心化服务器的漏洞并确保了数据隐私,从而实现了安全的协作式手术视频分析,以推动手术具身智能的发展。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
在手术室中,手术的未来正通过视频被书写。外科医生依赖于手术过程中的视觉流——工具的精确移动、组织的位移、以及手术的节奏——来进行瞬时的决策。为了让机器有一天能够协助甚至自主执行这些任务,它们必须首先学会像人类专家一样可靠地观察并理解这些场景。这一领域被称为“手术具身智能”(surgical embodied intelligence),旨在赋予机器人一种对即将进行操作的世界的视觉感知能力。然而,教机器识别手术阶段并非仅仅向其输入几小时视频那么简单。它需要来自许多不同医院的海量且多样化的数据,以确保机器能够应对现实世界中存在的照明、摄像角度和手术风格的差异。
这一进展的核心障碍是隐私。医疗记录和手术视频是个人最敏感的数据之一,受到严格法律的保护,这些法律防止了医院之间或医院与外部研究人员之间简单地共享原始视频片段。这导致了一个局面:宝贵的数据孤立存在于“孤岛”之中,阻碍了创建用于训练鲁棒人工智能所需的大规模、多样化数据集。虽然名为“联邦学习”(federated learning)的方法已经出现,可以实现无需移动数据即可进行模型训练,但该方法传统上依赖于一个中央服务器来协调整个过程。这个中心点产生了一个新的漏洞:如果该服务器遭到破坏或表现得不可信,整个系统就会失效,参与医院的隐私也将面临风险。
为了解决这个问题,一个研究团队开发了一种全新的框架,它完全取消了中央服务器,取而代而之的是一种被称为“区块链”的安全共享账本。在这个系统中,多家医疗中心可以协作训练一个单一且强大的人工智能模型,而无需交换任何私有的视频文件。研究人员使用来自三个公开数据集的手术视频测试了这种方法,这些视频包含了来自八个不同医疗中心的八十场不同手术的录像。这些视频捕捉了胆囊切除手术的七个标准阶段,从最初的准备工作到最后的器官牵引。数据经过了刻意设计的多样化处理,涵盖了不同的摄像角度、照明条件和手术技术,以模拟手术室中复杂的现实情况。
研究人员设计了一个系统,让每家医院在其本地数据上训练模型的一部分。他们将学习任务分为两个部分:一个“共享”组件,用于学习所有手术中通用的视觉模式(例如手术器械的形状);以及一个“私有”组件,用于学习特定于该医院工作流程的独特时间节奏。一旦医院完成训练,它会对其更新进行加密并发送到网络中。医院之间通过协作来验证这些更新,而不是由一个“中央主管”来收集这些更新。他们会检查更新是否真实且未被篡改,这一过程类似于一种集体投票,其中最可靠的贡献会被赋予更高的权重。这种验证过程发生在区块链上,这是一种不可篡改的数字记录,确保了协作的每一步都是透明且值得信赖的。
实验结果表明,这种去中心化的方法优于传统方法。当研究人员测量模型识别手术不同阶段的能力时,他们的新系统比目前使用的标准方法实现了更高的准确性和更好的跨医疗中心一致性。在特定测试中,新框架在整体准确率上有了显著提升,证明了它能够在不丧于识别关键步骤能力的前提下,处理不同医院之间的差异。该系统还展示了强大的抗干扰能力;即使研究人员模拟了试图破坏训练的恶意行为者的存在,模型依然保持稳定和准确。
通过证明医院可以在没有中央权威机构的情况下进行安全协作,这项工作为医疗人工智能提供了一条切实可行的路径。它表明,未来自主手术机器人所需的视觉感知可以通过汇集来自多个来源的知识来构建,同时确保患者数据的安全。这项研究证实,建立一个值得信赖的去中心化基础是可能的,这使得该领域能够从单纯的视频分析转向主动协助手术室工作。该框架不仅改进了一个计算机程序,它还建立了一种医疗机构之间协作的新方式,将孤立的数据转化为一种共享资源,最终帮助机器学习外科医生那些复杂的、挽救生命的技能。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。