Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis
本文介绍了 ScoliDetect，这是一个用于青少年特发性脊柱侧弯筛查的可解释多模态框架，该框架利用结构化运动学知识图谱和基于模板的文本，通过双向交叉注意力和对比预训练来增强泛化能力与可解释性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在学校和诊所静谧的走廊里，长期存在着一个无声的挑战：如何在青少年出现严重的健康问题之前，察觉到其脊柱中细微的三维扭转。这种被称为青少年特发性脊柱侧弯的疾病影响着大量的青少年，导致脊柱向侧方弯曲并发生旋转。几十年来，发现这一病症的标准方法依赖于体格检查——让学生向前弯腰，随后测量其背部扭转的程度。虽然这种方法有效，但它需要专门的设备、受过训练的人员，并且往往会导致那些实际上并未患病的人接受不必要的 X 射线辐射。医学界长期以来一直在寻求一种更具侵入性低、更具隐私性，且能由非专业人员执行的筛查方法，甚至可能只需使用一个简单的摄像机即可完成。
利用视频进行这项任务的核心难点在于人类运动的本质。行走是一个有节奏的、重复的循环，但在摄像机中捕捉这一过程会引入一系列混乱的变量：人与镜头之间的距离、拍摄角度以及步行的速度。当研究人员试图教计算机通过视频识别脊柱畸形时，机器往往难以区分真正的医学征兆与视频拍摄方式产生的简单人工痕迹。它们可能会学习去识别医院走廊的特定光照或摄像机的高度，而不是人体实际的行走方式。为了解决这个问题，一个研究团队开发了一种新系统，它不仅仅是在“观察”视频，而是将运动转化为一种结构化的、通用的语言，使计算机能够精准地理解。
这个被称为 ScoliDetect 的新系统是由香港大学及其深圳医院的研究人员开发的。该系统并非直接将原始视频输入复杂的算法，而是首先将行走动作转换为一张“运动学知识图谱”。将这张图谱想象成一份固定且详细的清单，包含 238 项特定的测量数据，描述了人体步态的方方面面，从肩膀的角度到关节之间的距离。这张图谱充当了一个刚性的网格，确保无论人们在哪里行走，也无论谁在拍摄，每一步都被对照着完全相同的标准进行测量。除了这张图谱，系统还会生成一段关于运动的简短、结构化的描述，以计算机可读的格式总结步幅的平均宽度和躯干的倾斜度。
随后，研究人员构建了一个整合了三个不同信息源的框架：原始视频片段、这种结构化的运动图谱以及描述性文本。他们并非简单地将这三者拼凑在一起；相反，他们设计了一种让计算机学会仔细对齐的方法。系统强制要求视频和运动图谱相互“注视”，将视频中的特定瞬间与图谱上的对应点进行匹配。这种对齐通过一个过程实现，即计算机将注意力集中在行走中最相关的部分，从而忽略背景噪音和无关细节。只有在完成这种精细的对齐后，系统才会结合信息来做出判断，即此人是否可能患有脊柱弯曲。
为了测试这种方法，研究团队从包括香港和深圳医院及学校在内的多个地点收集了近 1,900 名参与者的数据。他们记录了数千段青少年的行走视频，其中一些人已被确诊患有脊柱侧弯，另一些则没有。结果令人瞩目。当系统仅使用视频时，它很难高精度地区分健康个体与受影响个体。然而，当加入结构化运动图谱后，系统的检测能力得到了显著提升。表现最成功的版本（结合了视频、图谱和文本描述）所达到的准确度，明显高于任何单一方法或简单的组合方法。它在绝大多数情况下都能正确识别该病症，同时保持了极低的误报率。
至关重要的是，该系统不仅能产生一个评分，还能为其决策提供清晰的解释。由于运动图谱是基于已知测量值的固定网格构建的，研究人员可以将计算机的结论追溯到步行的特定部分。他们发现，在识别脊柱畸形时，系统始终关注着相同的几个因素，例如耳朵的水平位置和手臂之间的角度。这种透明度对于医疗应用至关重要，因为它允许医生验证系统是在观察正确的特征，而不仅仅是基于随机模式进行猜测。研究表明，这种性能在不同的脊柱弯曲类型和不同的严重程度下都保持稳定，表明该方法足以应对现实世界的使用。
研究人员还测试了当系统在某一组人群的数据上进行训练，并在另一个完全不同的地点的人群中进行测试时的表现。这是医疗人工智能面临的常见障碍，即 AI 在从受控的医院环境转移到繁忙的学校体育馆时往往会失效。在这种情况下，该系统表现得非常出色。结构化图谱起到了桥梁的作用，使计算机能够泛化其知识，并将其应用于从未见过的陌生人身上。研究结论指出，通过在学习过程中嵌入这种显式的结构，该系统变得既准确又可靠。
这项工作为医疗筛查指明了一条新路径。该系统的目的不是取代 X 射线或专科医生的诊断，而是作为高效的第一步筛查程序。它可以被接受过简短培训的校医或基层护理人员使用，只需使用标准的摄像机设置捕捉几分钟的行走过程。如果系统标记了某位学生，他们随后可以被转诊进行更详细的检查。通过将行走这种复杂、流动的运动转化为一套清晰、可审计的事实，研究人员创造了一种既尊重患者隐私，又能减少辐射需求，且具备规模化能力的工具，有望在早期捕捉到严重的健康状况，从而改变下一代脊柱健康的监测方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。