💻 computer science

PACT: Joint Pose and Camera Transformer for Uncalibrated Multi-View 3D Human Pose Estimation

PACT 是一个端到端的 Transformer 框架，它通过从未经校准的多视图 2D 关键点中联合估计 3D 人体姿态和相机参数，通过消除对先验相机校准的需求，实现了最先进的准确度以及在可变视图数量和真实世界领域中的强泛化能力。

原作者： Mingdu Lin, Liangtai Zhou, Weiwei Zhang, Huanlong Zhong, Jiayou Chen, Lixu Huang, Jianqing Zhu

发布于 2026-09-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingdu Lin, Liangtai Zhou, Weiwei Zhang, Huanlong Zhong, Jiayou Chen, Lixu Huang, Jianqing Zhu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机视觉领域，从扁平的二维图像中重建三维人体结构是一项基础性的挑战。几十年来，研究人员一直依赖一个严格的前置条件来解决这个难题：捕捉场景的摄像机必须经过预先标定。这意味着在任何录制开始之前，摄像机的精确位置、角度及其内部设置都必须是已知且固定的，这通常需要配备专门设备的受控实验室环境。虽然这种方法能产生精确的结果，但它为现实世界的使用制造了显著障碍，因为在现实中，摄像机往往是手持的、移动的，且极少经过标定。最近的研究所驱动的核心问题是：计算机是否可以仅仅通过观察一系列从不同未知角度拍摄的照片，就能同时推算出摄像机站在哪里以及照片中的人在三维空间中是如何活动的，而无需任何预先设置。

华侨大学的一个研究团队开发了一个名为 PACT 的新系统，它以肯定的回答了这个问题。他们的工作引入了一个统一的框架，将人体本身视为一种标定工具。该系统不再需要预先知道摄像机设置，而是通过分析一个人在多个视角下的关节（如肘部、膝盖和手腕）的二维位置，利用人体骨骼的刚性结构，反向推导出摄像机的相对位置以及人的三维姿态。这种方法消除了对受控环境的需求，使得从未经标定的素材（例如日常场景中用手持移动电话拍摄的视频）中进行精确重建成为可能。

研究人员基于一种受现代人工智能处理视觉数据方式启发的复杂架构构建了该系统。他们设计了一种在两种类型的分析之间交替运行的机制。首先，系统会仔细观察每个独立的摄像机视角，以理解该特定帧内关节的精细细节。然后，它会退后一步，观察所有视角，将不同角度下的相同关节连接起来，从而建立起一致的三维形状。这种往复循环的过程使系统能够在局部细节与全局几何一致性之间取得平衡。至关重要的是，该系统被训练用于处理可变数量的摄像机。输入来自两个摄像机还是二十四个摄像机都无关紧要，系统会自动适应，无需重新训练或更改其设置。

为了测试他们的创造物，团队在包含数千小时多视角动作捕捉的两个主要数据集上对 PACT 进行了评估。在包含专业演员在实验室进行各种动作的 Human3.6M 数据集上，该系统在预测关节三维位置方面的平均误差为 28.1 毫米。这一表现使其处于未经标定方法的顶尖水平，足以媲美那些拥有预标定摄像机的系统。此外，该系统能够高精度地预测摄像机参数，估计摄像机旋转的误差仅为 0.9 度，位置误差为 32.2 毫米。这些结果表明，该系统可以有效地将人体骨骼作为已知参考，从而求解未知的摄像机位置。

研究人员通过改变作为输入的摄像机数量，进一步测试了系统的鲁棒性。当研究人员将输入从二十四个视角减少到仅有两个视角时，关节预测的准确度依然保持强劲，误差仅上升至 18.6 毫米。这比单视角方法有了显著提升，后者在同样的测试中难以处理深度歧义，产生的误差超过 46 毫米。该系统还展现出了卓越的效率，即使在多达二十四个视角的配置下也能实时处理数据，最高配置下的速度约为每秒 122 帧。这表明该技术不仅是一个理论练习，而且对于实际的实时应用是可行的。

来自系统能力最令人信服的证据来自于对其从未见过的数据的测试。研究人员将训练好的模型应用于由手持移动电话在不受控环境下拍摄的真实场景数据，这些场景具有不同的背景、光照条件和摄像机运动。尽管这些杂乱的现实世界输入与干净的室内训练数据之间存在显著差异，系统仍成功重建了合理的 3D 姿态和摄像机布局，且无需任何额外调优。这种跨领域的泛化能力表明，该系统学习到了关于人体如何在空间中运动的基本几何规则，而非仅仅是记忆特定数据集中的模式。

PACT 的成功依赖于几个关键的设计选择，这些选择防止了系统在面对新情况时失效。通过对数据的空间坐标进行归一化处理，系统确保了人体的尺寸或摄像机之间的距离不会干扰模型。它还使用了一个共享的关节身份，这意味着无论哪个摄像机看到或出现在图像中的何处，系统都会将“左手腕”识别为同一个解剖部分。这些特性结合交替注意力机制，使系统能够忽略无关细节，专注于定义人体结构的结构关系。

尽管该系统代表了向前迈出的重要一步，但研究人员也承认其目前的局限性。三维重建的准确性仍然取决于初始二维关节检测的质量；如果二维检测器无法找到某个关节，三维预测就会受到影响。此外，在发生严重遮挡的情况下（例如人坐着或身体部位互相遮挡视线），性能可能会下降。然而，能够从未经标定的输入中同时估计摄像机参数和三维姿态，为虚拟现实、体育分析和动作捕捉等领域开辟了新的可能性，在这些领域中，搭建受控且经过标定的环境往往是不切实际或无法实现的。这项工作证明，通过利用人体固有的结构，机器即使在摄像机位置未知的条件下，也能学会如何进行三维观察。

技术摘要：PACT – 用于未校准多视图 3D 人体姿态估计的联合姿态与相机 Transformer

问题陈述

多视图 3D 人体姿态估计对于虚拟现实、动作捕捉和体育分析等应用至关重要。然而，最先进的方法通常依赖于预先校准的相机参数，这需要受控的环境和繁琐的设置过程（例如，运动恢复结构/SfM），从而阻碍了实际部署。虽然存在一些未校准的方法，但它们通常将姿态估计和相机校准视为两个独立的任务，或者无法在变化的视图数量和未见领域中实现泛化。此外，现有的方法在缺乏显式几何约束（如极线匹配）的情况下，难以联合恢复 3D 姿态和相机参数，这可能导致误差累积。

方法论：PACT 框架

作者提出了 PACT（联合姿态与相机 Transformer），这是一个端到端的任务框架，仅通过多视图 2D 关键点即可联合恢复 3D 人体姿态和相机参数，消除了对预先校准的需求。受视觉几何基础 Transformer (VGGT) 的启发，PACT 针对人体骨架的特定结构先验对架构进行了适配。

核心架构

该框架由三个主要模块组成：

视图感知特征编码：
- 输入： 将多视图 2D 关键点 ( $J_{2D}$ ) 投影到高维嵌入空间。
- 三重编码： 为了补偿 2D 关键点缺乏纹理信息的问题，模型注入了三个组件：
  - 补丁嵌入 (Patch Embedding)： 坐标的线性投影。
  - 关节身份嵌入 (Joint Identity Embedding)： 分配给每个关节索引（例如“左手腕”）的可学习向量，在所有视图间共享，以保持语义一致性。
  - 视图特定空间嵌入 (View-Specific Spatial Embedding)： 每个特定视图下每个关节的可学习参数，用于捕捉空间分布模式。
- 动态适配： 空间嵌入会被动态截断以匹配实际输入的视图数量 ( $S'$ )，使模型能够处理变化的视图数量而无需更改架构。
交替注意力融合：
- 主干网络采用帧注意力 (Frame Attention) 和全局注意力 (Global Attention) 块的交替序列。
- 帧注意力： 在单个视图内独立处理 Token，以保留局部细节和关节定位。
- 全局注意力： 将所有视图的 Token 连接起来，将其视为一个无序集合，从而在没有显式极线匹配的情况下建立跨视图的几何对应关系。
- 该机制平衡了单视图细节保留与全局几何一致性，使模型对输入视图的数量和顺序具有不变性。
多任务预测头：
- 3D 姿态头： 从浅层、中间层和深层提取特征。它采用级联细化过程，包括跨视图融合、关节间运动学建模以及迭代残差更新（使用自适应层归一化）来精细化 3D 关节坐标。
- 相机参数头： 通过一个带有迭代细化阶段的专用分支，预测紧凑的 9 自由度参数化（平移向量、用于旋转的单位四元数和焦距）。
- 几何归一化： 在训练期间，所有相机和 3D 关节都对齐到第一个相机的坐标系中，并根据平均关节到原点的距离进行归一化。这稳定了训练并起到领域归一化作用。

优化

PACT 使用复合损失函数进行训练：

$L_{3D}$ ： 平均每关节位置误差 (MPJPE)，带有自适应关节权重，以优先处理困难关节。
$L_{cam}$ ： 多阶段相机损失，对平移、旋转和焦距进行监督，并采用指数衰减权重。
$L_{skel}$ ： 骨骼长度损失，通过最小化预测值与真实值之间相对骨骼长度的均方误差 (MSE) 来强制执行解剖学合理性。

核心贡献

统一的未校准框架： PACT 是一个端到端系统，可以从未校准的多视图 2 维输入中联合预测 3D 人体关键点和相机外参，将人体作为隐式校准目标。
视图数量不变性： 通过设计交替注意力和动态空间嵌入，PACT 本身具有对视图数量和顺序的不变性。单个训练好的模型可以在无需重新训练的情况下，有效地在 2 到 24 个视图上运行。
跨领域泛化： 该框架在面对未知相机和不受控环境下的真实世界手持拍摄场景时，表现出强大的泛化能力，且无需微调，这归功于几何归一化和视图不变的注意力机制。
全面分析： 论文提供了广泛的消融实验、逐关节误差分析和不同视图数量下的鲁棒性评估，解释了各组件对于准确性和泛化能力的结构性必要性。

实验结果

实验在 Human3.6M 和 CMU Panoptic 数据集上进行。

姿态准确度： 在 Human3.6M 上，PACT 在未校准方法中实现了 28.1 mm 的 MPJPE，优于 FLEX (30.2 mm) 和 Zhang 等人 (28.3 mm)。它还实现了 22.8 mm 的 PA-MPJPE，显著优于单视图基准方法（如 PoseFormer 为 34.6 mm）。
相机估计： PACT 在 Human3.6M 上预测的相机参数旋转误差为 0.9°，平移误差为 32.2 mm (AUC@30 为 96.7%)。当应用于稀疏人体关键点时，其表现显著优于经典的 Hartley 8 点算法（旋转误差为 52.7°）。
对视图数量的鲁棒性： 模型在 2–24 个视图中保持稳健性能。在 CMU Panoptic 上，MPJPE 从 2 个视图时的 18.6 mm 提升到 24 个视图时的 5.8 mm。计算复杂度随视图数量近乎线性地扩展。
真实世界泛化： 在不受控环境下使用手持移动电话拍摄的定性实验表明，尽管与训练数据存在显著的领域差异，PACT 仍能重建合理的 3D 姿态和相机布局。

重要性与主张

论文声称，PACT 通过消除对预校准相机的依赖，代表了向前迈出的重要一步，而这正是实际部署中的主要瓶 {颈。通过利用人体骨骼的结构先验（固定的骨骼长度、语义关节身份），作者认为联合预测姿态和相机比通用的场景重建更具可行性。

PACT 的重要性在于其能够学习可迁移的多视图几何先验，这些先验在稀疏输入（2D 关键点）和变化条件下依然有效。作者强调，其泛化能力并非偶然，而是通过交替注意力机制、几何归一化和共享关节身份嵌入在结构上强制实现的。这使得系统能够处理可变的视图数量和未见的领域，解决了以往未校准方法中存在的单视图细节与跨视图一致性之间的权衡问题。

承认局限性： 作者指出，该方法依赖于 2D 关键点检测的质量（误差会传播到 3D），并且在重度遮挡（例如 Human3.6M 中的 "Photo" 动作）情况下性能会下降。未来的工作建议探索包含学习图像特征的端到端流水线，并扩展到多人数场景。