💻 computer science

Flow Matching for Probabilistic Monocular 3D Human Pose Estimation

本文介绍了 FMPose，这是一种基于流匹配的概率单目 3D 人体姿态估计方法，它利用图卷积网络将 2D 线索条件化于连续归一化流之上，在标准基准测试中实现了最先进的精度，同时相比基于扩散的方法提供了显著更快的推理速度。

原作者： Cuong Le, Pavlo Melnyk, Bastian Wandt, Mårten Wadenbäck

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Cuong Le, Pavlo Melnyk, Bastian Wandt, Mårten Wadenbäck

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Flow Matching for Probabilistic Monocular 3D Human Pose Estimation》（FMPose）的解读，将其拆解为简单概念并辅以日常类比。

核心难题：“扁平照片”谜题

想象你给站在相机前的人拍了一张照片。照片是扁平的（2D），但人物处于真实世界中（3D）。该论文指出了计算机面临的一个主要难题：深度模糊性。

如果你在照片中看到一个人的手，这只手是离相机很近，还是很远？无论哪种情况，照片看起来都一样。

旧方法： 以前的计算机程序试图猜测唯一的一个答案。它们会说：“手肯定在 2 米远。”但如果它们猜错了，它们依然会 100% 自信。这就像一位天气预报员说“肯定会下雨”，而实际上只有 50/50 的概率。如果没下雨，这个预报就失败了。
新目标： 作者希望计算机说：“手很可能在 2 米远，但也可能是 1.5 米或 2.5 米。”它们希望得到一个可能性的分布（一系列猜测），而不仅仅是一个僵硬的猜测。这有助于其他系统（如自动驾驶汽车）理解其中存在的不确定性。

解决方案：FMPose（“流”机器）

作者创造了一种新方法，称为FMPose。你可以把它想象成一台将“随机噪声云”转化为“清晰人体姿态图”的机器。

1. 起点：“高斯云”

想象一袋面粉被摇晃。面粉颗粒随机地散落在各处。在数学中，这被称为“高斯分布”。

FMPose 从这里开始： 它从一团随机、杂乱的 3D 形状开始。此时，它们看起来都不像真实的人。

2. 地图：“流匹配”

这是论文的秘诀。为了将那团杂乱的面粉云变成完美的人体形状，计算机需要一张地图。

旧地图（扩散模型）： 以前的方法（如 DiffPose）试图通过采取微小、摇晃、随机的步骤来清理噪声。这就像试图在浓雾中通过随机迈步来找到出口。虽然有效，但既慢又不稳。
新地图（最优传输）： FMPose 使用“流匹配”。想象一条河流从山（杂乱的噪声）到海（完美的人体姿态）沿着笔直、平滑的路线流动。计算机学习这条直线路径。它确切地知道该朝哪个方向推动“面粉”以将其转化为人体。
- 优势： 因为路径是笔直且平滑的，计算机到达答案的速度比旧的“随机迈步”方法快得多，且晃动更少。

3. 向导：“图卷积网络”（GCN）

计算机需要知道要制作什么形状。它从一张 2D 照片中获取线索。

线索： 计算机首先查看 2D 照片，找出关节（肩膀、手肘、膝盖）的位置。但它不只是挑选每个关节的“最佳猜测”位置，而是查看每个关节最可能的 48 个位置。
图：想象人体像一张蜘蛛网。关节是绳结，骨头是绳子。作者构建了一种特殊工具（图卷积网络）来观察这张网。
- 神奇之处： 这种工具自己学习连接方式，而不是使用预先绘制的人体骨骼连接图（这可能过于僵化）。它计算出：“当手肘移动时，肩膀通常会像这样移动。”它基于 2D 线索构建了一个关于身体部位如何相互关联的灵活地图。

实际运作方式

输入： 你给它一张 2D 照片。
线索提取： 它查看照片，找出所有关节最可能的位置，生成一个“条件”（一组指令）。
流：它取一个随机、杂乱的 3D 形状，并在这些指令的引导下，沿着一条平滑、笔直的数学路径（流）将其推向逼真的人体姿态。
输出： 它不只给你一个姿态。它可以为单张照片生成200 种不同的可能姿态。
- 如果照片清晰，所有 200 种姿态看起来几乎相同（高置信度）。
- 如果照片模糊或手臂被遮挡，这 200 种姿态会向不同方向分散（表明计算机不确定）。

为什么这更好？（结果）

作者在三个著名数据集（Human3.6M、MPI-INF-3DHP 和 3DPW）上将 FMPose 与当前最佳方法（如 DiffPose）进行了测试。

准确性： FMPose 更准确。它在猜测关节位置时犯的错误更少。
速度： 这是重大胜利。因为 FMPose 采取“直线”路径（流匹配），而不是“摇晃”路径（扩散），所以它显著更快。
- 类比： 如果 DiffPose 像一名在森林中徘徊寻找营地的徒步者，那么 FMPose 就像一架直飞那里的直升机。
- 在他们的测试中，FMPose 比竞争对手快40%，同时更准确。
效率： 计算机模型更小，占用内存更少，使其更容易在标准硬件上运行。

局限性

作者诚实地指出了他们的工具目前不能做什么：

它完全依赖 2D 照片。如果 2D 相机看不到某个关节（因为它被墙或物体遮挡），计算机必须基于概率进行猜测。
它目前不观察人如何接触地面或与物体互动（如坐在椅子上）。它只关注身体本身。

总结

FMPose 是一种计算机从 2D 照片猜测 3D 人体姿态的新方法。它不再猜测一个僵硬的单一答案，也不采取缓慢、摇晃的步骤来寻找答案，而是利用平滑、笔直的“流”将随机噪声转化为逼真的人体姿态。与以前的方法相比，它更快、更准确，并且更能表现出对答案的不确定性。

技术摘要：基于流匹配的 probabilistic 单目 3D 人体姿态估计 (FMPose)

问题陈述

从单目相机视角恢复 3D 人体姿态是一个高度病态的问题，主要归因于光轴方向上的深度模糊。传统的确定性方法根据 2D 输入预测单个“最可能”的 3D 姿态，往往会产生错误但过度自信的估计，特别是在涉及遮挡或姿态模糊的场景中。虽然新兴的概率方法将 3D 估计视为分布以捕捉不确定性，但现有的生成方法（例如变分自编码器、归一化流和扩散模型）通常存在架构复杂、随机过程昂贵或生成质量次优的问题。具体而言，扩散模型需要求解复杂的随机微分方程 (SDE) 或脆弱的噪声调度过程，导致计算成本高且潜在不稳定。

方法：FMPose

作者提出了 FMPose，这是一种基于 流匹配 (Flow Matching) 与 最优传输 (Optimal Transport, OT) 的概率性 3D 人体姿态估计方法。其核心目标是学习一个连续归一化流 (CNF)，将简单的源分布（高斯噪声）映射到以 2D 线索为条件的复杂后验分布（合理的 3D 人体姿态）。

1. 基于最优传输的流匹配

与学习逆转随机加噪过程的扩散模型不同，FMPose 学习从源分布 $x_0$ （高斯分布）到目标分布 $x_1$ （真实 3D 姿态）的确定性轨迹，通过一条直线最优传输路径实现。

轨迹：路径由线性插值定义： $x_t = (1-t)x_0 + tx_1$ ，其中 $t \in [0, 1]$ 。
速度场：流速度 $u_t$ 即为路径的导数： $u_t = x_1 - x_0$ 。
训练目标：神经网络 $f_\theta$ 被训练以使用简单的均方误差 (MSE) 损失来预测该速度场，从而消除了训练过程中进行昂贵序列 ODE 求解的需求。
推理：在推理阶段，模型通过采样 $x_0 \sim \mathcal{N}(0, I)$ 生成 3D 姿态假设，并使用数值 ODE 求解器（具体为二阶龙格 - 库塔法，RK2）积分学习到的速度场 $f_\theta(x_t, t, c)$ 以到达 $x_1$ 。

2. 基于图卷积网络 (GCN) 的 2D-3D 提升条件

为了使生成流以 2D 观测为条件，作者引入了一种新颖的提升机制：

输入表示：模型不使用 2D 热力图的最大参数（峰值），而是从 HRNet 检测器生成的热力图中提取前 $k$ 个位置（参数）。这捕捉了更广泛的潜在关节位置，包括那些置信度较低的位置。
GCN 架构：这些前 $k$ 个参数通过图卷积网络进行处理。节点代表人体关节，边代表它们之间可学习的连接。
可学习邻接：与依赖固定人体骨骼约束的先前工作不同，FMPose 将邻接矩阵 $A$ 初始化为零，并在训练期间从头学习关节关系。这使得模型能够发现特定于提升任务的相关性，而不受解剖学先验的约束。
条件向量：GCN 聚合特征以生成条件向量 $c$ ，该向量与当前姿态状态 $x_t$ 和时间 $t$ 拼接，作为流网络 $f_\theta$ 的输入。

主要贡献

OT-流匹配的首次应用：据作者所知，这是首次将具有最优传输轨迹的稳定连续归一化流应用于概率性 3D 人体姿态估计的工作。
基于 GCN 的提升条件：提出了一种通过 GCN 构建的 2D-3D 提升条件，有效整合了人体关节之间的可学习连接，超越了固定的骨骼约束或简单的最大参数输入。
最先进的性能：该方法在多个数据集上为单帧多假设 3D 人体姿态估计 (HPE) 设立了新的基准，与基于扩散的对应方法相比，在准确性和处理速度方面提供了显著改进。

实验结果

该方法在三个标准基准上进行了评估：Human3.6M、MPI-INF-3DHP 和 3DPW。

Human3.6M：FMPose（使用前 $k$ 策略）在 200 个假设下实现了 41.7 mm 的平均关节位置误差 (MPJPE) 和 30.6 mm 的 P-MPJPE。这比领先的基于扩散的方法 DiffPose 在 MPJPE 上高出 2.5 mm (5.6%)，在 P-MPJPE 上高出 1.5 mm (4.6%)。在高度模糊的姿态下，FMPose 比 DiffPose 将 MPJPE 提高了 7.6 mm (11.4%)。
MPI-INF-3DHP：无需额外微调，FMPose 在室内（绿幕）场景下实现了 87.9% 的 PCK，在室外场景下实现了 84.1%，在所有设置下均优于 DiffPose。
3DPW：在这个具有挑战性的野外数据集中，经过微调的 FMPose 实现了 56.2 mm 的 MPJPE，显著优于其他单帧方法（例如 MultiHMR 为 61.4 mm），并与多帧方法保持竞争力。
效率：FMPose 表现出卓越的计算效率。它仅需 450 万参数（DiffPose 为 1150 万），并在生成 200 个假设时达到 28 FPS（36 毫秒）。相比之下，DiffPose 仅需 17.5 毫秒即可完成 32 个去噪步骤，但其模型要大得多。FMPose 以更少的积分步数（例如 7 步对比 32 个去噪步）实现了相当或更好的精度，且延迟显著降低。

意义与主张

论文声称，FMPose 解决了概率性 3D 姿态估计中准确性与效率之间的关键权衡。通过在 流匹配 框架内利用 最优传输，作者证明确定性直线轨迹比扩散模型所需的随机路径更稳定且更准确。

该工作的意义在于：

鲁棒性：提供姿态分布允许下游任务考虑不确定性，特别是对于遮挡关节或模糊场景，在这些场景中单一确定性预测可能会失败。
效率：该方法提供了一种比扩散模型更快的替代方案，且不牺牲生成质量，使其更适合实时应用。
灵活性：模型支持不同的推理策略（用于确定性准确性的前 $k$ 策略 vs. 用于不确定性覆盖的随机采样），并且可以通过改变 ODE 求解步数来适应不同的计算预算。

作者承认了局限性，指出当前方法仅依赖 2D 热力图，并未显式建模人与场景的交互或接触估计，而这可能有助于进一步消除挑战性场景中的歧义。建议未来的工作直接整合这些环境线索。