🤖 machine learning

Zero-shot Human Pose Estimation using Diffusion-based Inverse solvers

本文介绍了 InPose，这是一种零样本人体姿态估计方法，该方法通过将任务构建为逆问题来实现跨不同体型用户的鲁棒泛化，其利用基于旋转测量条件预训练的扩散模型，并由源自稀疏位置数据的似然项进行引导。

原作者： Sahil Bhandary Karnoor, Romit Roy Choudhury

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Sahil Bhandary Karnoor, Romit Roy Choudhury

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图仅通过观察附着在一个人头部和手腕上的三个微小传感器，来猜测其全身正在做什么（跳舞、跑步、挥手）。这就是人体姿态估计所面临的问题。

本文介绍了一种名为InPose的新方法，它解决了该领域的一个主要难题：体型差异。

问题：“一刀切”的陷阱

想象你有一个非常聪明的机器人，它通过观察一个特定的人（我们称他为“高个子鲍勃”）学会了猜测身体动作。机器人学会了：当鲍勃的手腕传感器以这种方式移动时，他的肘部就在那个位置。

现在，假设你尝试用同一个机器人来猜测“矮个子莎莉”的动作。即使莎莉移动手腕的方式与鲍勃完全相同，由于她的手臂更短，她的肘部位置也会完全不同。这个仅针对鲍勃训练过的机器人会感到困惑并猜错。这就像试图让一个孩子穿上为巨人量身定制的西装：袖子太长，裤子太短。

以前的方法试图通过在多种不同体型上训练机器人来解决这个问题，但这使得机器人变得极其复杂，且仍然无法覆盖所有可能的人体形状（例如腿特别长或躯干特别短的人）。

解决方案：InPose（“无尺度”侦探）

本文的作者 Sahil Bhandary Karnoor 和 Romit Roy Choudhury 想出了一个巧妙的技巧。他们意识到，人体姿态可以分为两部分：

“无尺度”姿态：这是动作的形状（例如，“手臂弯曲 90 度”）。无论你是巨人还是侏儒，这都是一样的。
“有尺度”姿态：这是关节在空间中的实际位置，这完全取决于你的骨骼长度。

InPose 的工作方式就像一个两步侦探：

第一步：“想象”（扩散先验）

首先，系统使用一个预训练的 AI（“扩散模型”），它已经学习了人类运动的规则。这个 AI 就像一位知道人类通常如何移动的艺术家。它查看来自三个传感器的旋转数据（头部和手腕如何转动），并想象出一个“完美”的人正在做这个动作。

关键点：因为它只看旋转（角度），所以它不在乎这个人是高是矮。它只看到“舞蹈动作”。

第二步：“现实核查”（逆求解器）

现在，系统查看位置数据（传感器在空间中的实际位置）。它会问：“好的，我有了这个想象中的舞蹈动作。它是否适合这个特定的人的实际传感器位置？”

这里的魔力在于：InPose 不需要为每个新的人重新训练 AI，而是利用数学来拉伸或缩小想象中的“完美”舞蹈，以适应特定人的骨骼长度。它将这个问题视为一个谜题：“如果传感器在这里，骨骼有这么长，那么身体的其余部分必须正在做什么？”

这被称为逆问题。它不是问“如果我移动手臂，传感器会去哪里？”（正向），而是问“传感器在这里，那么我的手臂必须在哪里？”（逆向）。

“零样本”超能力

标题中的术语**“零样本”意味着该系统可以猜测一个它从未见过的全新的人**的姿态，而无需重新训练或微调。

旧方法：在鲍勃身上训练，在莎莉身上训练，在篮球运动员身上训练，在体操运动员身上训练。如果有一个身材比例怪异的新人走进来，系统就会失败。
InPose 方法：在运动规则上进行训练（使用旋转）。当新人走进来时，只需输入他们的骨骼长度和传感器数据。数学会完成其余工作。这就像拥有一个通用翻译器，无需为每种特定方言准备字典，就能处理任何语言。

如何处理噪声

论文还表明，InPose 非常擅长忽略传感器中的“静态”或误差。

类比：想象试图在充满杂音的收音机上听一首歌。
- 旧方法试图放大信号，但杂音（传感器噪声）会让音乐听起来含糊不清。
- InPose 聆听清晰的“旋律”（旋转/先验），并仅使用“歌词”（位置数据）来检查旋律是否合理。如果位置数据有噪声，旋律（AI 对人类运动的知识）仍能保持猜测的准确性。

局限（不足之处）

论文诚实地指出了 InPose 的不足之处：

“腿部”问题：因为传感器只位于头部和手腕，系统必须根据上半身来猜测腿部在做什么。如果有人在跳跃或地面不平，系统有时会猜错腿部动作。这就像试图仅通过观察一个人的手部来猜测其脚部动作；你可以猜出节奏，但可能会错过具体的步伐。
默认表现：如果你在一个人身上测试 InPose，而这个人看起来与 AI 训练过的“平均”人完全一样，其表现实际上比旧方法稍差。旧方法就像一位知道您确切尺寸的裁缝；InPose 就像一位精通裁缝原理的大师裁缝，可以完美猜测您的尺寸，但如果您恰好是标准身材，它可能会错过微小的细节。

总结

InPose是一种利用仅三个传感器来追踪人体运动的新方法。它将“你如何移动”与“你有多大”区分开来。通过利用智能 AI 来猜测运动风格，并利用数学技巧来调整体型大小，它可以即时追踪任何人在任何地方的运动，而无需先学习其特定的体型。这是运动追踪的“万能适配”解决方案。

技术摘要：基于扩散逆求解器的零样本人体姿态估计

问题陈述

人体姿态估计旨在从稀疏传感器数据中重建全身三维姿态（头部、躯干、四肢）。虽然近期利用条件扩散模型的进展在仅凭三个传感器（通常为头部和两个手腕）预测全身姿态方面显示出前景，但这些方法存在一个关键局限性：在不同体型用户间的泛化能力较差。

现有方法（如 Castillo 等人，2023）将扩散模型的条件设定为关节位置和旋转。然而，关节位置本质上依赖于尺度；它们会根据用户的骨骼长度和身体比例发生显著变化。因此，在特定用户数据上训练的模型，若未经过大量微调，无法泛化到具有不同体型的用户。在多种体型上进行联合训练（如 Aliakbarian 等人，2022 所尝试）会增加模型复杂度，且无法保证覆盖所有可能的体型变化。因此，亟需一种算法，能够在无需个性化训练数据的情况下，泛化至体型异常值。

方法论：InPose

作者提出了InPose，这是一种基于扩散的方法，将姿态估计构建为逆问题以实现零样本泛化。其核心洞察是将人体姿态分解为两个组成部分：

无尺度姿态：由关节旋转（角度）定义，独立于身体尺寸。
依赖尺度的分量：由三维空间中的关节位置定义，取决于骨骼长度和身体形状。

1. 逆问题构建

InPose 不像以往那样将扩散模型的条件同时设定为位置和旋转（这将使模型耦合于特定体型），而是仅将生成先验设定为旋转测量值。

先验：训练一个条件流匹配（CFG）扩散模型，使其根据来自传感器的含噪旋转测量值（ $r_m$ ）预测无尺度姿态的分布。
似然（引导）：测量的关节位置（ $l_m$ ）不作为训练的条件输入，而是作为似然项来引导推理过程。该项评估生成的姿态在给定用户特定骨骼长度的情况下，对观测位置的拟合程度。

2. 数学框架

目标是从后验分布 $p(r_M | y_m)$ 中采样，其中 $r_M$ 代表 22 个全局关节旋转， $y_m$ 为传感器测量值。利用贝叶斯规则，得分函数被分解为：
$\nabla_{r_M^t} \log p_t(r_M^t | \{l_m, r_m\}) = \nabla_{r_M^t} \log p_t(r_M^t | r_m) + \nabla_{r_M^t} \log p_t(l_m | r_M^t)$

先验项（ $\nabla \log p(r_M^t | r_m)$ ）：由仅基于旋转的条件 CFG 得分模型学习。这提供了一个合理的无尺度姿态分布。
似然项（ $\nabla \log p(l_m | r_M^t)$ ）：该项充当逆运动学引导。它需要通过非线性算子 $D(\cdot)$ （将 6D 旋转向量转换为矩阵）和线性算子 $A$ （正向运动学）将估计的旋转映射到位置。

3. 通过伪逆引导处理非线性

一个关键挑战是，似然项涉及将高斯随机变量通过非线性函数 $D(\cdot)$ 进行传播。标准的扩散模型伪逆引导（ΠGDM）假设算子是线性的。

定理 1：作者证明，如果得分模型确保 6D 旋转向量满足特定的单位范数和正交约束，则给定含噪输入 $r_M^t$ 的变换后旋转 $D(r_M^0)$ 的分布可以近似为高斯分布。
这一近似允许作者解析地计算似然得分，从而使得 ΠGDM 能够在无需算子为线性的情况下引导去噪过程。

4. 流程

推理过程（算法 1）迭代地优化姿态：

使用 CFG 先验（基于旋转条件）生成条件去噪估计 $\hat{r}_M^t$ 。
利用 ΠGDM 框架计算似然得分，结合用户特定的骨骼长度，将旋转映射为预期位置。
使用改进的 DDIM 采样器结合先验和似然得分，更新下一时间步的姿态估计。

主要贡献

零样本泛化：通过将生成先验（旋转）与依赖尺度的测量值（位置）解耦，InPose 能够在无需重新训练或微调的情况下，估计任意体型用户的姿态。
逆求解器构建：本文将姿态估计重构为逆问题，其中预训练的扩散先验由源自稀疏位置测量的似然项引导。
非线性算子的高斯近似：作者提供了理论证明（定理 1），允许高斯变量通过非线性的 6D 到矩阵旋转映射进行传播，从而使 ΠGDM 适用于此特定逆问题。
鲁棒性：该方法对位置测量噪声表现出固有的鲁棒性，因为生成先验在最终估计中起主导作用，而不像那些严重依赖含噪位置输入的方法。

实验结果

实验在AMASS数据集上进行，采用了与 BoDiffusion 基线相似的协议。

体型缩放：当在缩放体型（如更高或更矮）的用户上进行测试时，基线模型（AvatarJLM, BoDiffusion）在位置误差（MPJPE）和旋转误差（MPJRE）方面均表现出显著下降。相比之下，InPose 在所有缩放因子下保持了稳定的性能，证明了其零样本能力。
变化的相对身体部位：在特定身体部位（如手臂与躯干）缩放比例不同的场景中，InPose 在 MPJPE 和上半身位置误差（UPE）方面优于基线，因为逆引导正确地考虑了变化的骨骼长度。
噪声鲁棒性：在位置测量中增加高斯噪声的情况下，InPose 保持稳定，而基线模型则显著退化。
权衡：
- 在默认体型（用于训练的体型）上，InPose 的表现略低于基线，这可能是因为基线能够针对该特定体型学习直接的非线性映射，而 InPose 依赖于通用近似。
- 下半身估计：如果没有将头部平移作为 CFG 输入，InPose 在下半身姿态估计（高 LPE）方面表现不佳，因为根节点平移未被直接观测。然而，将头部位置作为 CFG 输入（InPose (head)）显著改善了下半身估计，在各种体型上均优于所有基线。

意义与主张

本文主张，InPose 通过将姿态分解为无尺度和依赖尺度分量，提供了一条通往零样本姿态预测的途径。其意义在于消除了为每个新用户收集个性化数据并重新训练的需求，这是实际可穿戴传感器应用中的一个主要瓶颈。

作者谦逊地承认了局限性：

该方法在用于训练的特定体型上并未超越基线。
下半身估计严重依赖先验或头部位置的包含，因为根节点平移未被直接纳入。
该算法在推理过程中需要准确了解用户的骨骼长度；骨骼长度估计的误差会降低性能。

该工作表明，未来的研究应侧重于通过物理约束改进下半身建模，并开发无需显式校准即可盲估骨骼长度的方法。