💻 computer science

VIMCAN: Visual-Inertial 3D Human Pose Estimation with Hybrid Mamba-Cross-Attention Network

本文提出 VIMCAN，一种混合架构，将 Mamba 的高效时序建模能力与交叉注意力的空间推理能力相结合，以实现实时、高精度的视觉惯性三维人体姿态估计，其性能优于现有的基于 Transformer 的方法。

原作者： Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Zepeng Yang, Junxuan Bai, Hao Li, Ju Dai, Junjun Pan, Yongfeng Yin, Bin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图仅通过观看一段视频来精确判断一个人在三维空间中的运动方式。这就像试图在不看到制作它的手的情况下猜测皮影的形状：你只能看到轮廓，却无法确定手指的深度，或者手臂是向前还是向后弯曲。这就是计算机面临的“深度模糊”问题。

为了解决这一问题，研究人员通常会添加第二种“感官”，例如绑在人体上的传感器（IMU），直接感知运动。但将视频（视觉）与传感器（触觉）结合起来却十分棘手。目前最好的方法使用一种名为Transformer的强大人工智能工具，它就像一位超级聪明的图书管理员，会阅读书的每一页来理解故事。问题在于？如果书很长（即长视频序列），这位图书管理员就会不堪重负。它需要过多的内存和时间，导致无法在普通计算机上实时运行。

于是，VIMCAN登场了，这是由 Yang 及其同事提出的一种新系统。可以将 VIMCAN 想象成一个混合侦探团队，由两位不同的专家联手解决“人体在哪里”这一案件。

两位专家

迅捷的奔跑者（Mamba）：
论文介绍了一种新的人工智能架构，名为Mamba。想象一位奔跑者，他可以在长长的走廊里冲刺，记住看到的最重要的事物，而无需在每迈出一步时停下来重读整条走廊。Mamba 在处理长序列数据时极其快速且高效。然而，论文指出，这位奔跑者不太擅长一次性审视整个房间，以理解物体在空间中的相互关系。
空间侦探（交叉注意力）：
这是传统的"Transformer"风格专家。他们擅长审视整个场景，弄清楚左手与右脚的关系，或者视频帧如何与传感器读数相连。但他们既缓慢又笨重，就像一辆消耗大量燃料的巨型卡车。

VIMCAN 解决方案：完美的团队合作

VIMCAN 是视觉 - 惯性 Mamba-交叉注意力网络。之所以称为“混合”系统，是因为它让这两位专家协同工作：

团队协作： VIMCAN 利用**迅捷的奔跑者（Mamba）**快速处理随时间变化的长视频和传感器数据流。它高效地处理“何时”和“多快”的问题。
融合： 随后，它将接力棒交给空间侦探（交叉注意力），以理清相机视角与身体传感器之间的复杂关系。这确保了计算机确切知道二维视频像素如何与三维传感器运动相匹配。

实际运作方式

该系统接收两个输入：

视觉关键点： 来自视频的点列表，显示人体关节（肩膀、手肘、膝盖）的位置。
IMU 数据： 来自躯干和四肢上可穿戴传感器（如微型陀螺仪）的数据，告诉系统这些身体部位是如何旋转的。

VIMCAN 将身体部位（如“左臂”或“躯干”）分组，并使用一种特殊的扫描方法来读取数据。这就像拥有一支侦察队，他们确切知道应该按什么顺序查看身体的哪些部位，而不是随机扫描。

结果：快速、轻量且精准

论文声称，VIMCAN 相比以往的方法是一次重大升级：

精度： 它以极高的精度预测三维姿态。在一个测试数据集（TotalCapture）上，其平均误差仅为17.2 毫米。在一个更具挑战性的真实世界数据集（3DPW）上，误差为45.3 毫米。这击败了以往的最佳方法，那些方法通常更慢或精度更低。
速度与效率： 这是最大的胜利。由于使用了 Mamba，VIMCAN 不需要超级计算机。它可以在标准笔记本电脑或消费级显卡上以每秒超过 60 帧的速度运行。
内存： 论文包含一张图表，显示旧方法（如 GCN-Transformer）随着视频变长需要巨大的内存（就像气球膨胀直到破裂），而 VIMCAN 的内存使用量保持平稳且低。这就像一个无论走多少英里都不会变重的背包。
灵活性： 与需要视频片段恰好为 10 秒或 20 秒的旧系统不同，VIMCAN 可以即时处理任意长度的视频。

核心结论

作者构建 VIMCAN 是为了解决“智能”与“速度”之间的权衡。通过将高效的"Mamba"引擎与强大的“交叉注意力”大脑相结合，他们创造了一个系统，能够利用大多数人已经拥有的硬件，实时高精度地追踪人体在三维空间中的运动。

论文总结道，虽然该系统依赖于传感器的正确校准（就像在音乐会前调好乐器），但它代表了动作捕捉和人机交互应用的重要进步，提供了比以往任何系统都更好的速度、内存和精度平衡。

技术摘要：VIMCAN

问题陈述

尽管深度学习显著推动了多模态 3D 人体姿态估计（HPE）的进展，但最先进的工作流程仍面临两个关键局限：

深度模糊性：基于视觉的方法由于问题固有的病态性质，难以准确地将 2D 关键点提升为 3D 姿态。
计算低效性：当前高性能模型严重依赖 Transformer 架构。自注意力机制相对于序列长度（ $L$ ）的二次复杂度（ $O(L^2)$ ）导致内存占用和计算成本过高，使得长序列的实时处理变得不切实际，尤其是在资源受限的设备上。

虽然 Mamba 架构提供了线性复杂度（ $O(L)$ ）和高效的序列建模能力，但在捕捉精确多模态融合所需的复杂空间依赖关系方面，目前仍落后于基于注意力的方法。

方法论

作者提出了VIMCAN（视觉 - 惯性 Mamba 交叉注意力网络），这是一种混合架构，旨在通过整合 RGB 关键点和可穿戴 IMU 数据，在效率、准确性和鲁棒性之间取得平衡。

1. 混合架构

VIMCAN 结合了两种不同机制的优势：

Mamba（STMamba）：用于高效的时序建模和序列处理。网络采用**时空 Mamba（STMamba）**模块独立处理视觉和惯性特征。
- 骨骼感知 STMamba：通过根据父子关节关系重新排序关键点来融入运动学先验，从而处理视觉特征（ $F^V$ ）。
- 部件感知 STMamba：处理来自特定身体部位（如躯干、四肢）的惯性特征（ $F^I_g$ ），利用双向时空选择性扫描（SS2D）在空间和时间维度上聚合信息。
交叉注意力：作为多模态融合的主干。虽然 Mamba 高效地处理时序动态，但交叉注意力用于捕捉视觉和惯性令牌之间复杂的跨模态空间依赖关系，解决了纯 Mamba 在空间推理方面的局限性。

2. 特征提取与融合

输入：系统接收 $J=17$ 个 2D 关键点和 $I=6$ 个 IMU 单元的四元数。
分组：基于运动学先验，将 IMU 划分为 $G=5$ 个解剖学组（躯干、左/右臂、左/右腿）。
融合过程：
1. 特征通过线性层提升到共同的嵌入维度。
2. 独立的 STMamba 模块提取时空特征。
3. 交叉注意力模块：视觉特征作为查询（ $Q$ ），而惯性特征作为键（ $K$ ）和值（ $V$ ）。这使得模型能够动态地关注特定视觉关节相关的惯性数据。
4. 融合后的特征在姿态回归之前，通过堆叠的骨骼感知 STMamba 层进行全局建模。

3. 训练策略

变长推理：与需要固定长度输入的传统方法不同，VIMCAN 原生支持变长序列，无需填充或掩码。
损失函数：使用复合损失，包括：
- 平均每关节位置误差（MPJPE）。
- 归一化 MPJPE（N-MPJPE），用于校正尺度漂移。
- 平均每关节速度误差（MPJVE），用于保证时序平滑性。
- 时序一致性（TC）损失，用于抑制突变波动。

主要贡献

新颖的混合架构：VIMCAN 是首个将 Mamba 应用于视觉 - 惯性多模态 3D HPE 的工作，成功结合了 Mamba 的线性时间序列处理能力与交叉注意力的鲁棒空间融合能力。
效率与可扩展性：该架构在消费级硬件上实现了实时推理（>60 FPS），同时支持变长序列，克服了 Transformer 的二次复杂度瓶颈。
最先进性能：该方法同时解决了深度模糊性和计算复杂度问题，性能优于现有的基于 Transformer 及其他最先进方法。

实验结果

作者在TotalCapture和3DPW数据集上评估了 VIMCAN。

TotalCapture：
- 使用 6 个 IMU 和 MediaPipe 2D 检测时，VIMCAN 实现了 33.2 mm 的 MPJPE 和 25.7 mm 的 P-MPJPE，优于先前的 GCN-Transformer 混合模型。
- 使用真实 2D 关键点时，VIMCAN 达到了 17.2 mm 的 MPJPE 和 13.8 mm 的 P-MPJPE，在 MPJPE 上比之前的最佳结果（Wang 等人）高出 11.4 mm。
- 效率：VIMCAN 仅需 GCN-Transformer 基线 29% 的内存占用，同时提供了 1.3 倍 更高的吞吐量。
3DPW：
- VIMCAN 实现了 45.3 mm 的 MPJPE，优于之前的方法（例如，Wang 等人 53.9 mm，Liu 等人 60.3 mm）。
消融研究：
- 用交叉 Mamba 替代交叉注意力模块导致性能显著下降（MPJPE 从 17.2 mm 降至 24.3 mm），验证了注意力机制对于空间融合的必要性。
- 解剖学分组和骨骼感知扫描被证明对准确性至关重要。

意义与主张

论文声称 VIMCAN 为高效多模态 3D HPE 建立了新基准。通过弥合 Mamba 的效率与交叉注意力的空间推理之间的差距，该方法实现了：

在消费级硬件上对长序列的实时处理（超过 60 FPS）。
在已知和未知主体场景中均具有卓越的准确性。
通过有效的视觉 - 惯性融合，对深度模糊性具有鲁棒性。

作者总结道，与基于 RNN、CNN 和 Transformer 的前身相比，VIMCAN 提供了更优的准确性与效率平衡，使其非常适合动作捕捉、康复和人机交互中的实时应用。一个 noted 局限是对严格传感器校准的依赖，未来的工作旨在通过自适应对齐技术来解决这一问题。