MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery

本文介绍了 MiDAS，这是一个开源且与平台无关的多模态数据采集系统，它能够在无需专有机器人接口的情况下，通过非侵入式方式实现手术机器人（如 Raven-II 和 da Vinci Xi）的时间同步多模态数据采集，并发布了包含疝修补缝合任务的首个多模态数据集。

要点

这篇论文介绍了一个名为 MiDAS 的“黑科技”系统，它的目的是让机器人手术的研究变得更简单、更开放，不再被昂贵的专利设备“卡脖子”。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成给机器人手术装上了一个“万能翻译官”和“全能记录仪”。

1. 背景：为什么我们需要 MiDAS？

想象一下，现在的机器人手术（比如达芬奇手术机器人）就像是一个超级昂贵的黑盒子。

• 现状：只有厂家（比如直觉外科公司）知道盒子内部是怎么运作的（比如机械臂的关节角度、速度等数据）。研究人员想研究如何训练医生、检测错误，但很难拿到这些数据，因为厂家不开放，或者数据太贵、太封闭。
• 问题：这就好比你想研究赛车手的驾驶技术，但赛车厂不让你看仪表盘，只让你看车窗外。没有内部数据，很多研究就推不动了。

2. 解决方案：MiDAS 是什么？

MiDAS 就像是一个**“非侵入式”的万能记录仪**。它不需要拆开机器人，也不需要厂家授权，而是站在旁边，用各种“眼睛”和“耳朵”把手术过程全方位记录下来。

它主要做了三件事（三个“超级感官”）：

• 👀 电磁“读心术” (手的位置)：

  • 比喻：想象给医生的手指戴上了隐形的“魔法戒指”。
  • 原理：MiDAS 在医生操作杆（手柄）上贴了几个小小的电磁传感器。当医生移动手时，系统能精准捕捉手指的每一个微小动作。
  • 作用：它不需要知道机器人内部代码，就能通过医生的手，完美推算出机器人手术刀在病人肚子里是怎么动的。就像你通过看一个人的手势，就能猜出他正在指挥什么。

• 📹 3D 视觉“透视眼” (手的细节)：

  • 比喻：在医生头顶装了一个超级 3D 摄像头。
  • 原理：用深度相机（RGB-D）直接看医生的手，捕捉手指抓握、移动的轨迹。
  • 作用：即使没有电磁传感器，光靠看，也能大概知道医生在做什么动作。

• 🦶 智能“脚感” (脚踩踏板)：

  • 比喻：在医生脚下的踏板上贴了“压力感应贴纸”。
  • 原理：医生踩踏板（用来切换工具、激活电刀等）时，系统能感应到力度和状态。
  • 作用：记录下医生什么时候在“换挡”，什么时候在“刹车”。

3. 他们做了什么实验？

研究团队把这套系统装在了两个完全不同的机器人上：

1. Raven-II：一个开源的、像玩具一样的科研机器人（用来做“ peg transfer"，就是把 pegs 从一个柱子移到另一个柱子，像串珠子）。
2. da Vinci Xi：医院里真正用的、价值数百万美元的顶级手术机器人。

实验内容：
他们让外科医生在模拟器上练习两种手术：

• 串珠子（基础训练）。
• 修补疝气（真实的缝合手术，用的是像真肉一样的仿真模型）。

4. 发现了什么惊人的结果？

• 结果一：外部观察 ≈ 内部数据
  通过“魔法戒指”（电磁传感器）捕捉到的医生手部动作，竟然和机器人内部真实的机械臂数据高度一致！

  • 比喻：就像你通过观察指挥家挥动指挥棒的动作，就能精准地知道乐队里每个乐手在拉什么音，完全不需要走进乐队内部去听。这意味着，以后研究机器人手术，可能根本不需要厂家开放内部数据了。

• 结果二：能识别手术动作
  研究人员用这些数据训练 AI，让 AI 识别医生在做什么（比如“穿针”、“打结”、“拉线”）。

  • 发现：只用“外部观察”数据（电磁 + 视觉），AI 识别手术动作的准确率，竟然和直接用“内部数据”训练的效果差不多！甚至比只看视频（纯视觉）要准得多，因为视频容易被遮挡，而外部传感器不会。

5. 这对我们意味着什么？

• 打破垄断：以前只有大医院、大厂商能做的研究，现在任何大学、任何实验室只要花几千美元（MiDAS 很便宜）就能做。
• 数据开源：作者不仅发布了系统，还公开了第一个包含真实疝气修补手术的多模态数据集。这就像给全人类提供了一本“手术动作百科全书”。
• 未来应用：
  • 智能教练：AI 可以实时分析新手医生的动作，告诉他：“你刚才打结太紧了”或者“手有点抖”。
  • 安全卫士：如果 AI 发现医生的动作有危险，可以立刻报警。
  • 通用标准：不管未来出什么新品牌的机器人，MiDAS 都能通用，因为它不依赖特定品牌。

总结

MiDAS 就像给封闭的机器人手术世界开了一扇“侧窗”。 它不需要拆墙（不破坏机器人），也不需要钥匙（不需要厂家授权），只是站在旁边用聪明的方法（电磁 + 视觉）把里面发生的一切看得清清楚楚。这让机器人手术的研究从“黑盒时代”迈向了“透明、开放、可复制”的新时代。

技术摘要

1. 研究背景与问题 (Problem)

• 核心痛点：机器人辅助手术（RAS）的研究日益依赖多模态数据（如立体视频、机器人运动学、交互事件），但获取这些数据面临巨大障碍。
  • 专有壁垒：主流临床机器人（如 Intuitive Surgical 的 da Vinci 系列）的遥测数据是专有的，难以访问。
  • 隐私与限制：临床数据的获取受限于机构隐私政策和访问权限。
  • 现有方案局限：现有的开源系统（如 Raven-II, dVRK）虽然提供部分数据，但通常依赖特定硬件接口，且大多数大规模数据集仅包含视觉数据，缺乏运动学数据；或者仅限于干实验室（dry-lab）任务，缺乏真实临床场景的湿实验室（wet-lab）数据。
• 研究目标：开发一种非侵入式、平台无关、低成本的开源框架，能够跨商业和科研机器人平台采集时间同步的多模态数据，并验证外部传感器数据能否有效替代内部机器人运动学数据用于下游任务（如手术动作识别）。

2. 方法论 (Methodology)

MiDAS 系统采用客户端 - 服务器架构，通过外部传感器模块集成，无需修改机器人硬件或软件即可实现实时同步数据采集。

2.1 系统架构与硬件

• 架构：基于 Python 的客户端 - 服务器架构，支持异构数据流的并发采集和缓冲。提供 GUI 用于元数据配置、模态选择和系统监控。
• 核心传感模态：
  1. 3D 电磁手追踪 (EmHT)：
     • 设备：NDI trakSTAR 电磁追踪器。
     • 部署：在手术控制台的主工具操纵器（MTM）的拇指和中指接触垫上安装微型 6-DoF 传感器。
     • 原理：以 270 Hz 频率记录手部姿态。通过刚性变换（校准）和多层感知机（MLP）残差学习，将电磁数据映射到机器人坐标系（MTM/PSM），以近似机器人末端执行器的运动轨迹。
  2. RGB-D 手追踪 (HandKP)：
     • 设备：ZED Mini 立体深度相机，安装在控制台上方。
     • 原理：以 30 Hz 采集视频和深度图，利用 MediaPipe 提取手部关键点（拇指、食指等），通过轻量级 MLP 映射到 MTM 坐标系。
  3. 脚踏板传感系统 (PSS)：
     • 设备：基于 Arduino 微控制器和薄膜力敏电阻（FSR）的开源模块。
     • 部署：直接粘贴在控制台脚踏板表面。
     • 功能：以 30 Hz 记录二进制状态和模拟信号，捕捉仪器激活、离合（clutch）等关键行为。
  4. 高清立体视频：
     • 使用 OBS (Open Broadcaster Software) 统一采集层，支持 da Vinci 的 SDI 输出和 Raven-II 的 ZED 相机视频，实现 30 Hz 同步录制。

2.2 数据集构建

研究团队在两个平台上采集并发布了两个多模态数据集：

1. Raven-II (干实验室)：
   • 任务：15 次 Peg Transfer（移钉）任务。
   • 标注：使用 DESK 分类法，包含 7 种手势。
   • 特点：拥有真实的内部运动学数据（MTM/PSM）作为 Ground Truth，用于验证外部传感器的准确性。
2. da Vinci Xi (临床培训/湿实验室)：
   • 任务：17 次疝气修复缝合任务（腹股沟疝和腹壁疝），使用 KindHeart 高保真猪组织模型。
   • 参与者：40 名外科住院医师。
   • 标注：与专家合作开发了 8 种缝合手势分类法（如 G1 定向针、G3 推针穿过组织、G8 打结等）。
   • 特点：这是首个捕获高保真模拟模型上疝气修复缝合的多模态数据集。由于无法获取 da Vinci 内部运动学，地面真值（脚踏板状态）通过视频分析 UI 界面提取。

3. 关键贡献 (Key Contributions)

1. MiDAS 系统发布：首个开源、非侵入式、平台无关的多模态数据采集系统，可无缝集成到标准遥操作手术系统中，无需专有接口。
2. 替代模态验证：证明了外部传感器（特别是电磁手追踪 EmHT）可以高精度地近似内部机器人运动学，并可用于关键任务（如动作识别）。
3. 多平台数据集：
   • 发布了包含 Peg Transfer 和疝气修复缝合的多模态数据集。
   • 提供了首个针对高保真模拟模型上疝气修复缝合的标注数据集。
4. 基准测试：在 Peg Transfer 和 Suturing 任务上，使用 Transformer (MTRSAP) 和 CNN (MS-TCN++) 模型，对比了不同模态（EmHT, HandKP, 视频，内部运动学）在动作识别中的性能。

4. 实验结果 (Results)

4.1 数据验证 (Data Validation)

• EmHT vs. 内部运动学：
  • 在 Raven-II 上，EmHT 与 MTM/PSM 的位置轨迹具有高度相关性（余弦相似度 CoS > 0.8，归一化均方根误差 NRMSE < 20%）。
  • 方向（Orientation）的相关性稍低，但位置追踪非常准确。
  • 夹持器角度（Grasper Angle）的估计表现中等（IoU ≈ 0.53），主要受噪声影响，但能捕捉开合行为。
• PSS vs. 脚踏板真值：
  • 在 da Vinci Xi 上，脚踏板检测的 F1 分数为 0.78，召回率（Recall）高达 0.86，表明系统能可靠地捕捉大部分踩踏事件，尽管存在少量误报（由于高灵敏度设计）。
  • 系统延迟约为 133-167 ms，满足实时应用需求。

4.2 下游任务：动作识别 (Gesture Recognition)

• Raven-II (Peg Transfer)：
  • EmHT 表现：使用 EmHT 数据训练的模型（MTRSAP）达到了 F1 0.86，与使用内部运动学（MTM/PSM）的基线模型（F1 0.87-0.88）非常接近。
  • HandKP 表现：表现较差（F1 0.38），主要受限于视野遮挡和关键点检测丢失。
  • 结论：EmHT 是内部运动学的有效替代品。
• da Vinci Xi (Suturing)：
  • 多模态融合：EmHT + 视频（RGB）融合效果最佳。MTRSAP 模型在融合模态下达到 Acc 0.71, F1 0.70，优于单一模态（纯视频 F1 0.67，纯 EmHT F1 0.60）。
  • 鲁棒性：在数据量有限（17 次试验）的情况下，低维运动信号（EmHT）比纯视觉模型更可靠，且对遮挡不敏感。
  • HandKP 局限：在缝合任务中，HandKP 单独使用表现不佳（F1 0.35），融合后提升有限，再次证明在复杂手术场景中，电磁追踪比纯视觉追踪更稳健。

5. 意义与影响 (Significance)

1. 降低研究门槛：MiDAS 使得没有昂贵专有机器人访问权限的研究团队也能进行高质量的多模态手术数据分析。
2. 推动多模态学习：通过提供包含真实临床场景（湿实验室）的标注数据集，填补了现有数据集在复杂缝合任务和多模态数据方面的空白。
3. 验证非侵入式传感：研究证实，外部电磁追踪可以作为内部遥测数据的可靠代理，这对于开发通用的手术技能评估、错误检测和实时辅助系统至关重要。
4. 开源生态：系统代码、数据集和基准模型均已公开（https://uva-dsa.github.io/MiDAS/），促进了可重复的跨平台研究。

总结：MiDAS 通过巧妙的非侵入式传感器集成和先进的数据对齐算法，成功打破了手术机器人数据获取的“黑盒”限制，为机器人辅助手术的智能分析和训练评估提供了坚实的基础设施和数据资源。