BioPretext: A Multimodal Self-Supervised Learning Framework for Orthopedic Feature Extraction via Cross-Modal Signal Alignment and Dynamic Fusion
BioPretext 是一种新颖的多模态自监督学习框架，它通过跨模态对齐和动态融合，将几何成像与序列生物信号统一起来，以增强骨科特征提取及下游任务性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医学领域，医生长期以来一直依赖两种截然不同的观察人体的方式。一种方式是拍摄图像，如 X 光或磁共振成像（MRI），这揭示了骨骼和关节的静态结构。另一种方式是倾听身体的运动与功能，利用传感器追踪心脏如何跳动、肌肉如何放电或一个人如何行走。几十年来，这两股信息流一直被分开进行分析。放射科医生可能会研究膝关节的图像以检查损伤，而物理治疗师可能会观察患者的步态以评估活动能力，但骨骼形状与运动节奏之间的深层联系在计算机领域在很大程度上仍未被充分探索。这种分离是一种错失的机会，因为关节的构造直接影响其运动方式，反之亦然，运动方式也能揭示其结构中隐藏的问题。
挑战在于如何教会计算机同时理解这两种语言，而不需要人类为每一个样本进行标注。在许多医学领域，并不存在足够的带标签样本来教会计算机什么是正常的，什么是病态的。这正是被称为“自监督学习”的新方法发挥作用的地方。自监督学习并不等待医生为每一张图像和传感器读数写下诊断结果，而是让计算机通过尝试解决数据内部的“谜题”来进行学习。它通过自主寻找模式和关系，在接触到具体的患者病例之前，就建立起对人体运作方式的深度理解。
来自中国新疆医院的一个研究团队现在构建了一个将这两个世界结合在一起的系统。他们将其命名为 BioPretext。该框架旨在同时观察 X 光图像和生物信号（如心电图或关节运动记录），并学习它们是如何相互契合的。研究人员不仅教计算机观察两者，还教它利用其中一个来理解另一个。他们设计了一套训练练习，要求计算机以骨骼图像作为引导来修复损坏的生物信号，或者利用静态图像来预测缺失的部分运动模式。通过迫使计算机解决这些谜题，它学会了识别关节形状与功能方式之间微妙且自然的联系。
该系统通过两个并行的不同类型的人工智能引擎协同工作。一个引擎专门用于观察图像，将 X 光或 MRI 拆解成微小的碎片，以理解骨骼形状和软骨厚度。另一个引擎则专门处理时间，分析来自传感器追踪运动或心跳随时间变化的数据流。这两个引擎并非孤立工作，而是通过一座桥梁连接在一起，实现信息的持续共享。当图像引擎看到特定的特征（如关节间隙变窄）时，它会向时间引擎发送信号，促使其寻找与之对应的运动数据变化。这种过程是双向的，创造了一种结构与功能相互告知的共享理解。
为了使这种学习更加稳健，研究人员引入了基于人体实际运作规律的特定规则。他们设计的任务要求计算机必须遵循物理学和生物学的定律。例如，系统被要求利用骨骼结构的上下文，去重建一个受损的信号，比如一个被颠倒过来的心律或步行模式中的一个缺口。如果计算机对缺失数据的猜测形状错误，它就会意识到自己错了，因为当前的骨骼结构无法支持那种运动。这种被称为“跨模态对齐”的过程，确保了计算机学习到的关系是符合物理逻辑且具有临床意义的，而不仅仅是在数据中寻找随机的巧合。
一旦计算机掌握了这些联系，它就会使用一种智能切换机制，来决定哪种信息对于特定任务最为重要。有时，骨骼形状是最关键的线索，例如在诊断骨折时；而在其他时候，运动模式可能更具启发性，例如在评估患者术后活动能力时。该系统并不仅仅是将这两种类型的信息进行简单的平均，而是动态地调整其关注点：当结构至关重要时，它会加大图像数据的权重；当功能至关重要时，它则增加传感器数据的权重。这种灵活性使系统能够适应不同的医疗问题，而无需针对每个新问题重新进行训练。
研究人员在三个主要的骨科挑战上测试了该系统：预测关节炎恶化的速度、评估手术后的活动能力以及评估未来的骨折风险。他们使用了一个庞大的医学图像和传感器记录集合，其中一部分是公开可用的，另一部分则是他们自行收集的。结果显示，该系统在执行这些任务时明显优于以往仅依赖图像或仅依赖信号的方法。例如，在预测骨关节炎进展方面，该系统的准确率达到了 82.3%，超过了仅依赖单一类型数据的模型。在评估术后移动能力方面，它能够以极高的相关性预测步行速度和步幅，远超传统技术。
研究还表明，该系统确实学习到了正确的知识。当研究人员观察计算机如何做出决策时，他们发现计算机正在关注数据的正确部分。对于关节炎，它关注图像中关节间隙的变窄，并将其与步行力量中的异常模式联系起来。对于骨折风险，它将 X 光片中骨骼的纹理与人在站立时的摇晃方式联系起来。这种解释其推理过程的能力对于医学应用至关重要，因为它表明该系统并非仅仅在进行猜测，而是在遵循逻辑性的生物学联系。
然而，研究人员谨慎地指出，该系统目前还不是一个可以明天就投入每家医院使用的成熟产品。它目前在图像与传感器数据同时记录时表现最佳，但在现实世界的诊所中，数据采集的时间点可能并不一致，或者采集速度不同。此外，该系统简化了一些复杂的人体物理特性，以使训练过程更易于管理，这意味着它可能会错过一些极其复杂的关节运动细节。尽管存在这些局限性，这项工作展示了一种教导计算机理解人体的强大新途径。通过教会机器观察骨骼形状与运动节奏之间的联系，这项研究为实现更精准的诊断和个性化治疗方案打开了大门，从而实现对整体而非仅仅是单张图片或单个传感器读数的综合考量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。