技术摘要：用于手术表现自动评估的多模态人工智能

问题陈述

准确且客观地评估手术技能对于患者安全、教育改进和规模化评估至关重要。目前的方法高度依赖于主观的人类评分（如 OSATS、Global Rating Scale），这些方法存在评分者间差异大、可扩展性有限以及资源成本高的问题。虽然近年来的 AI 驱动方法已利用深度学习进行自动化评估，但许多现有方法受限于对单一数据模态（视频或运动学）的依赖，或者依赖于主要存在于机器人辅助设置中的专门传感器遥测数据。这限制了它们在现实临床环境中的适用性，因为在这些环境中，全面的传感器数据可能无法获取，且摄像机运动和光照的变化程度较高。此外，现有的最先进模型通常依赖于复杂的专门架构或特定的基于量表的训练，这可能导致其在不同数据集和评估设置中的泛化能力较差。

方法论

作者提出了一种新型的模块化多模态深度学习框架，旨在整合用于手术技能评估的互补信号。该系统具有对不同数据可用性的适应性，能够处理丰富的多模态输入（视频、运动学、事件、时间），或在缺乏运动学传感器时直接从视频中导出运动表示。

特征提取流水线

该框架提取并融合了四个主要的特征通道：

1. 时空视频特征 (V)： 使用在 Kinetics-400 上预训练的 SlowFast-R50 主干网络进行提取。这种双路径架构能够捕捉手术视频中的空间上下文（慢速路径）和快速时间动态（快速路径）。
2. 运动学特征 (K)：
   • 针对 JIGSAWS 数据集： 利用来自机械臂的同步 2D 笛卡尔坐标工具尖端。
   • 针对 Biotissue（仅视频运动学）： 使用 YOLOv8 对工具（针夹）进行分割（使用 SAM2 辅助标注进行腕部、轴部和钳口部分的精细化处理），并通过 BYTE Tracker 进行追踪。通过低通巴特沃斯（Butterworth）滤波器对质心轨迹进行平滑处理。
   • 编码： 将轨迹转换为 1D 线图图像（x 和 y 坐标随时间变化），并使用**轨迹到图像自动编码器（Trajectory-to-Image Autoencoder）**进行编码。该自动编码器学习一种紧凑且具有抗噪能力的 256 维潜在表示。在适用情况下，框架还结合了手工设计的运动学统计量（均方根速度、加速度、加加速度和总路径长度）。
3. 语义密度特征 (D)： 由工具尖端运动轨迹生成的热图密度图，通过 ResNet-50 处理以导出代表空间运动分布的语义特征。
4. 事件与时间特征 (E, P)：
   • 事件序列 (E)： 对于带有动作标注的数据集（JIGSAWS），通过独热编码（one-hot encoding）来捕捉程序流和转换。
   • 任务完成时间 (P)： 在可用时作为辅助变量包含在内。

融合与预测

所有提取的特征被拼接在一起，通过 z-score 标准化进行标准化，并使用主成分分析 (PCA)（保留 99% 的方差）进行降维，以创建一个紧凑的多模态表示。该降维后的特征向量被输入到 1D 卷积神经网络 (1D-CNN) 回归头中，以预测专家分配的技能评分（JIGSAWS 使用 Global Rating Scale，Biotissue 使用 OSATS）。1D-CNN 架构由三个 Conv1D 层（64、128、256 个滤波器）、最大池化、一个全连接层（1024 个单元）、Dropout 以及最后的回归输出组成。

评估协议

该框架在两个基准测试上进行了严格评估：

• JIGSAWS 数据集： 103 段视频（缝合、穿针、打结），具有同步的运动学和事件标注。采用 4 折交叉验证和留一用户验证（LOUO）拆分进行评估。
• Biotissue 数据集： 205 段视频（空肠胃吻合术、胰十二指肠吻合术、肝胆胰空肠吻合术），代表了具有高保真模拟、摄像机运动多变且无直接传感器运动学的数据。采用 5 折交叉验证进行评估。

核心贡献

1. 统一的多模态流水线： 一个综合性的框架，统一了时空视频特征、运动学特征（可由传感器或视频导出）、语义密度特征和事件序列。其设计旨在灵活应对不同模态可用性的设置。
2. 视频衍生的运动学： 能够利用 YOLOv8 追踪和自动编码器编码，直接从标准 2D 内窥镜视频中导出鲁棒的运动表示，从而在缺乏直接机器人遥测数据的设置中实现评估。
3. 鲁棒的基准测试： 在受控模拟（JIGSAWS）和高变异性训练环境（Biotasso）上进行了广泛验证，证明了其在不同手术任务和数据约束下的泛化能力。
4. 消融实验与架构分析： 对不同的输入组合和序列编码器进行了系统性评估（对比了所提出的自动编码器与 BiLSTM、TCN 和 Transformer 基准模型），确定了技能预测的最佳配置。

结果

JIGSAWS 数据集

• 4 折交叉验证： 多模态模型（视频 + 运动学 + 事件）实现了 0.85 的平均斯皮尔曼相关系数 (SCC)，优于其他多模态方法（如 MultiPath 为 0.81），并达到了与 CoRe + GART 等视频单模态最先进模型（0.85）相当的水平。该模型实现了比较方法中最低的平均绝对误差 (MAE) 2.44。
• 留一用户验证 (LOUO)： 仅视频配置实现了最高的平均 SCC 0.87，优于所有先前发表的仅视频方法（如 ViSA 为 0.81，Contra-Sformer 为 0.68）。仅运动学 (K+E) 模型实现的 SCC 为 0.83，在打结任务上表现尤为出色（0.94）。
• 消融实验： 视频、运动学和事件 (V+K+E) 的组合被证明最为鲁棒。添加任务完成时间 (P) 或密度特征 (D) 并未一致性地提高性能，在某些情况下，由于坐标噪声，添加 D 反而导致性能下降。

Biotissue 数据集

• 空肠胃吻合术 (GJ)： 运动学与视频的融合 (K+V) 表现最佳，SCC 为 0.67，MAE 为 2.71，显著优于仅运动学 (0.47) 和仅视频 (0.57) 的基准模型。
• 胰十二指肠吻合术 (PJ)： K+V 模型实现了 0.69 的 SCC 和 2.05 的 MAE，同样优于单模态方法。
• 编码器对比： 在表现最佳的 K+V 配置中，所提出的轨迹到图像自动编码器一致性地优于直接序列编码器（BiLSTM、TCN、Transformer），这表明紧凑的轨迹-图像表示能为该任务提供更稳定的全局运动模式总结。

意义与主张

本文声称，所提出的框架通过证明集成互补信号（视频、运动学、事件）可以产生鲁棒且达到最先进水平的性能，从而建立了多模态手术技能评估的新标准。主要主张包括：

• 可扩展性与适应性： 该框架在传感器丰富（JIGSAWS）和传感器受限（Biotissue）的环境中均有效，证明了在缺乏遥测数据时，通过从标准视频中导出运动线索即可获得高质量的评估。
• 泛化能力： 模型展示了对未见过的外科医生的强泛化能力，特别是在利用视频特征时，在 JIGSAWS 上的 LOUO SCC 达到 0.87，超过了所有先前报道的仅视频方法。
• 实际应用价值： 通过减少对复杂、特定于量表的建模或专门传感器输入的依赖，该方法为研究和临床背景下的自动化评估提供了一种更精简且适用性更广的替代方案。
• 局限性说明： 作者承认，虽然 Biotissue 数据集代表了高保真模拟，但它尚未建立在真实术中病例中的泛化性。他们还指出，Biotissue 环境下的性能受到摄像机运动和缺乏深度信息的限制，且包含密度特征 (D) 可能会在 2D 表示中引入噪声。研究强调，任务完成时间 (P) 本身并不是可靠的技能代理指标，应被视为辅助变量。

研究结论认为，通过对易于获取的数据流进行深思熟度的整合以及使用多模态深度学习，可以实现具有高准确性和实际灵活性的专家级技能评估，从而弥合基于模拟的培训与现实临床评估之间的差距。