CD-Former: A Contextual Dynamic Transformer for Skeleton-Based Human Action Recognition
本文介绍了 CD-Former，这是一种用于基于骨架的动作识别的纯 Transformer 架构，它利用统一的关节-帧标记（joint-frame tokens）和可学习嵌入来建模时空依赖关系，且无需辅助模块，同时评估了其在不同时间窗口下在资源受限平台上的性能、复杂度及推理效率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个计算机可以通过观察人的动作并瞬间理解其行为的世界。这种被称为人类动作识别的能力，是智能安防系统、交互式视频游戏以及能与人安全协作的机器人背后的无声引擎——前者能发现医院中的跌倒，后者能对你的手势做出反应。多年来，研究人员一直试图通过向机器输入视频来教会它这项技能，但视频充满了像背景图案和光影变化这样具有干扰性的细节。一个更优雅的解决方案出现了：计算机不再观察整个画面，而是追踪身体的骨架——即由代表肩膀、肘部和膝盖等关节的点与线连接而成的序列。通过仅关注这些点随时间移动的方式，计算机可以忽略杂乱的信息，看到纯粹的运动。
挑战一直在于如何找到教计算机读取这些移动骨架的最佳方法。早期的研究方法试图将运动视为图像序列或一组数字，但它们往往会忽略不同身体部位之间复杂的联系。后来，研究人员构建了将骨架视为拥有固定道路之地图的模型，强制计算机只能观察标准人体中存在的连接。然而，人类的运动是流畅且不可预测的；有时手会远离身体，或者脚的步法会打破简单的地图规则。这导致了一种新型人工智能——Transformer的兴起，它以能够同时观察序列的所有部分并决定哪些部分最重要的能力而闻名，且无需预设地图。
在最近的一项研究中，来自玻利维亚天主教圣保罗大学（Universidad Católica Boliviana "San Pablo"）的研究团队探索了当计算机仅被允许观察一段极短的动作片段时，这种“无地图”方法的效果如何。他们开发了一个名为 CD-Former 的系统，全称为“上下文动态 Transformer”（Contextual Dynamic Transformer）。其核心理念简单而强大：与其强迫计算机遵循固定的骨架地图，不如给计算机一个统一的信息流，其中每个关节都标记了其身份及其所处的时间。随后，计算机使用标准的注意力机制来观察整个片段，并自行决定在任何给定时刻，哪些关节正在与其他关节发生关联。这使得系统能够发现复杂的运动模式，而这些模式是僵化的地图可能错过的，同时保持了设计的简洁且无需额外的复杂组件。
研究人员在两个大型且知名的骨架数据集上测试了他们的系统，这些数据集包含了从简单手势到复杂交互的数千种记录的人类动作。他们不仅询问系统是否有效，还探讨了系统在不同约束条件下是如何运作的。具体而言，他们想看看如果限制计算机一次只能观察 16 帧、24 帧或 32 帧的视频，会发生什么。这是一个至关重要的问题，因为在现实世界中，计算机通常需要在小型、电池驱动的设备上运行，这些设备无法处理冗长、沉重的计算。通过测试这些短窗口，团队可以观察到为了使系统足够快以适应日常使用，需要牺牲多少准确性。
结果揭示了速度与精度之间明显的权衡。当系统观察最短的 16 帧片段时，它的速度极快且非常轻量，所需的内存和能量极少。然而，它也会犯更多错误，特别是在那些短期内看起来相似但实际上是相反动作的情况下，例如“摘帽”与“戴帽”。在这些短暂的瞬间，身体的形态可能完全相同，计算机需要更多的时间来观察运动的方向，从而将二者区分开来。随着研究人员将窗口增加到 24 帧，进而增加到 32 帧，系统的理解力显著提升。在 32 帧时，计算机能够看到运动的完整弧度，从而能以更高的信心区分相似的动作。在其中一个测试协议中，该系统达到了最高的准确率，正确识别了近 93% 的动作。
这项研究之所以特别有价值，是因为它不仅仅报告了一个单一的准确率数值。团队精确测量了计算机在每种设置下需要做多少功。他们发现，将帧数从 16 帧增加到 32 帧，工作量并不仅仅是翻倍；由于计算机必须在整个时间跨度内将每个关节与每一个其他关节进行比较，计算量显著增加了。这造成了所需资源的陡峭攀升。在类似于无人机和便携式机器人所使用的嵌入式计算机芯片上，使用短 16 帧片段时，系统每秒可处理约 17 个动作，但使用较长的 32 帧片段时，这一速度下降到了每秒仅 7 个动作。内存使用量也有所增长，尽管仍保持在设备可舒适承受的范围内。
研究人员还仔细观察了系统出错的地方。他们发现，这种混淆并非随机发生的；它最常发生在彼此互为镜像动作的动作对之间。当计算机只看到一段极短的时间片时，它无法分辨一个人是在向前伸手还是向后拉回。但只要延长了时间窗口，系统就能看到运动的演进过程并消除这种困惑。这表明，对于许多人类动作而言，理解的关键不仅在于某一瞬间的身体形状，更在于这种形状在几秒钟内如何变化的故事。研究证实，一种纯粹的、无地图的方法是非常有效的，前提是计算机被给予足够的时间来“阅读”这个故事。
团队也谨慎地指出，他们的系统并不是有史以来最小或最高效的系统。它消耗中等的内存和处理能力，其设计目标并非打造绝对最轻量级的模型。相反，它作为一个清晰的证明，展示了这种直接的方法——即让计算机自行发现身体部位之间的关系——可以在不需要复杂插件或专门地图的情况下表现得非常好。研究表明，对于许多实际应用而言，最好的方法不是强迫计算机尽可能简单，而是找到一个平衡点：既让时间窗口足够长以看清动作，又足够短以便在现有硬件上快速运行。
最终，这项工作为构建能在现实世界设备上运行的动作识别系统提供了实用的指南。它表明，通过仔细平衡视频片段的长度与可用的计算能力，工程师可以创造出既快速又准确的系统。研究结果提示，我们不需要在“智能系统”和“快速系统”之间做选择；我们只需要根据任务需求来调整时间窗口。无论是监控走廊的安防摄像头，还是追踪患者康复情况的穿戴式设备，通过调整观察运动的视角以匹配可用资源，是让这些技术在现实世界中发挥作用的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。