💻 computer science

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

本文介绍了 DETRPose，这是首个用于多人数姿态估计的实时、端到端 Transformer 模型家族，通过利用改进的解码器、新颖的去噪关键点技术以及扩展的 Varifocal 损失，在显著减少参数量并提高推理速度的同时，实现了最先进的准确率。

原作者： Sebastian Janampa, Marios Pattichis

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sebastian Janampa, Marios Pattichis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正身处一个拥挤的派对，你需要拍摄每个人跳舞的动作。你的目标是瞬间识别出每一个人，并在他们身上画出火柴人，正确地连接所有的关节（肩膀、肘部、膝盖等）。这就是计算机科学家所说的多人姿态估计（Multi-Person Pose Estimation）。

长期以来，计算机很难快速完成这项工作。它们要么非常准确但速度很慢（就像一位细心的艺术家花数小时画出一个人的样子），要么很快捷但很混乱（就像一场速写比赛，肢体经常发生混淆）。

这篇论文介绍了 DETRPose，它是一个全新的系统，扮演着“超级快速、超级准确的派对摄影师”的角色，它使用了一种特殊的 AI 大脑，叫做 Transformer。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“搜索与裁剪”的瓶颈

大多数快速方法过去的工作方式就像俱乐部的保安。首先，保安发现一个人，将他从人群中剪裁出来（裁剪图像），然后尝试画出他的骨架。

缺陷： 如果派对上有 50 个人，保安就必须重复这个过程 50 次。人数越多，过程就越慢。
旧有的 Transformer 问题： 更新、更智能的 AI 模型（Transformers）虽然可以同时观察整个场景，但它们太慢了，无法投入实际应用。它们就像是一个需要花一周时间才能解开一个孩子一分钟就能解决的谜题的天才。

2. 解决方案：DETRPose

作者构建了 DETRPose，这是第一个能够实现实时完成这项工作的 Transformer 模型。它能同时观察整幅图像并为所有人绘制骨架。

为了实现这一点，他们引入了三个“窍门”：

窍门 A：“降噪”训练（去噪关键点）

想象你正在教一名学生在地图上寻找一个特定的位置。

旧方法： 你只展示那个精确的位置。
DETRPose 的方法： 你展示那个精确的位置，但你也展示一些“虚假”的位置，它们稍微偏离了一点（太左了、太右了）。你教导学生：“这个是真的，而那些虽然接近但并不准确。”
结果： 通过训练 AI 去区分“真实”关节和“带有噪声”的虚假关节，模型学习得更快，也变得更加自信。这被称为去噪关键点（Denoising Keypoints）。

窍门 B：“质量控制”评分（KSVF Loss）

通常，AI 模型会猜测一个关节的位置并给出一个分数。但在姿态估计中，“好的猜测”不仅仅在于位置接近，还在于该关节是否符合人体结构的形状。

作者创建了一种新的评分规则，称为 Keypoint Similarity VariFocal (KSVF) loss。
可以把这想象成一位严格的老师，她不仅根据“接近度”来评分，还会检查答案在整个画面语境下是否合理。这有助于 AI 忽略错误的猜测，专注于高质量的预测，从而节省计算资源。

窍门 C：“精炼解码器”（GroupPose 的升级）

真正负责画线的 AI 部分（解码器）得到了升级。

他们移除了会减慢速度的不必要步骤。
他们添加了一个名为 Pose-LQE（定位质量估计）的特殊层。可以把它想象作第二双眼睛，在最终图像输出前对绘画进行复检，确保肩膀和肘部的位置完美无缺，且不会拖慢整个过程。

3. 结果：速度 vs. 准确度

论文将 DETRPose 与目前的冠军级模型（如 YOLO 模型和其他沉重的 Transformer 模型）进行了对比。

“小型”模型 (DETRPose-S)： 它的准确度可以媲美那些最大、最重的 YOLO 模型，但它更小（减少了 81% 的内存资源占用）且更快（推理速度提升了 52%）。
“大型”模型 (DETRPose-X)： 在一个非常拥挤的数据集（CrowdPose）上，它在比其他 Transformer 模型使用 13 倍更少计算量（FLOPs）的情况下，超越了几乎所有其他 Transformer 模型。
“分布外”测试： 当在包含人们处于非常奇怪、拥挤或不寻常姿态的数据集（OCHuman）上进行测试时，DETRPose 的表现优于所有人。这表明它具有鲁棒性，而不仅仅是死记硬背训练数据。

4. 一个小瑕疵

作者承认存在一个局限性：尽管 DETRPose 在数学上非常高效，但在纯粹的速度上仍略慢于那些绝对最快的“YOLO”模型。这是因为它们将人群分组在一起的方式需要一些复杂的资料重组（就像重新洗一副牌一样），这会耗费一点额外的时间。然而，它的速度足以被视为“实时”，并且比之前的 Transformer 尝试要高效得多。

总结

DETRPose 是一项突破，因为它终于将 Transformer AI “聪明且全知”的力量带到了实时姿态估计领域。它通过教 AI 从错误中学习得更快（去噪）、以更智能的方式评判答案（KSVF loss）以及精简其绘画过程来实现这一点。结果是，它创造了一个极其准确、能更好地处理拥挤场景，并且运行速度足以应用于虚拟现实或活动识别等现实场景的系统。

技术摘要：DETRPose

问题陈述
多目标姿态估计（MPPE）是计算机视觉领域的一项基础任务，对于活动识别、2D转3D姿态估计以及虚拟现实等应用至关重要。尽管基于 Transformer 的模型在 MPPE 中取得了极高的精度，但它们通常面临高延迟的问题，阻碍了实时部署。相反，快速单阶段方法（例如基于 YOLO 的方法）通常依赖于非极大值抑制（NMS），导致推理时间不一致，或者由于难以同时学习检测与姿态分组而导致精度较低。虽然 DETR 框架提供了无需 NMS 的一致性、端到端推理，但以往针对姿态估计的改进主要侧重于精度而非速度，这使得在实时、端到端 Transformer 式 MPPE 解决方案方面留下了空白。

方法论
作者引入了 DETRPose，这是首个用于多目标 2D 姿态估计的实时、端到端 Transformer 系列模型。该架构基于 D-FINE 框架构建，利用层次化骨干网络（HGNetv2 变体）和混合编码器。其核心创新在于对 GroupPose 解码器 的修改，以及引入了新的训练策略，以加速收敛并提高查询质量。

关键方法组成部分包括：

关键点去噪（Denoising Keypoints）： 不同于标准目标检测中通过平移和缩放边界框的去噪技术，作者提出了一种针对关键点的创新策略。他们定义了基于真值关键点与采样点之间距离的关键点相似度（KS），该距离由目标的分割面积和衰减参数 ( $\kappa$ ) 进行缩放。该指标通过沿随机单位向量平移真值关键点来生成正向和负向查询，从而在训练早期稳定匈牙利匹配器（Hungarian matcher）。
Pose-LQE（定位质量估计）层： 一个辅助分类层，用于从编码器最高空间分辨率的特征图中提取每个关键点的特征信息。它通过结合输出查询、预测位置和内容特征来优化分类得分，解决了 DETRPose 预测关键点而非物体框所带来的挑战。
关键点相似度 VariFocal (KSVF) 损失： 一种专为姿态估计定制的 VariFocal 损失扩展版。由于 DETRPose 不预测边界框，因此无法使用交并比（IoU）损失。KSVF 利用关键点相似度（OKS）指标和预测得分来惩罚低质量预测，鼓励网络关注高相似度的查询，并减少误报。
架构优化： 解码器集成了 D-FINE 的预姿态（pre-pose）和细粒度分布细化（FDR）层。为了进一步降低延迟，去除了投影层，并对 GroupPose 解码器进行了适配，通过组自注意力机制（group self-attention mechanisms）支持实时推理。

核心贡献
论文声称了四个主要贡献：

一种新的姿态估计去噪技术： 利用目标关键点相似度（KS）来构建正向和负向的关键点查询，这在姿态估计任务中尚属首次。
一个辅助 Pose-LQE 分类层： 一个轻量级模块，可以在不增加推理延迟的情况下增强分类性能。
一种新的损失函数 (KSVF)： 旨在利用 KS 指标促进高质量物体查询的选择。
一个修改后的 GroupPose 解码器： 经过适配，使基于 Transformer 的模型能够实现实时的端到端多目标姿态估计。

实验结果
在 COCO、CrowdPose 和 OCHuman 数据集上的广泛评估表明，DETRPose 在实现与领先替代方案相当甚至更高的精度的同时，显著降低了计算成本和训练时间。

COCO 数据集： DETRPose-S 的精度可媲美 YOLOv8-Pose-X 和 YOLO11-Pose-X（67.0 AP vs. 67.3 和 67.2 AP），但其参数量减少了 81%（11.5M vs. 69.4M/58.8M），且速度快了 52%（2.39ms vs. 5.23ms/4.93ms）。DETRPose-L 实现了 71.2 AP，延迟为 4.66ms，超越了先前的端到端方法，并提供了比 RTMO-L 更好的参数/延迟权衡。
CrowdPose 数据集： DETRPose-X 以 75.1 AP 刷新了实时模型的最新水平（SOTA）。它比使用 Swin-L 骨干网络的 Transformer 模型至少高出 1 个 AP 点，同时使用了显著更少的参数（73.3M vs. 210M），且 FLOPs 比 ED-Pose-SwinL-5S 低 13.1 倍。
OCHan 数据集（分布外数据）： DETRPose-S 超越了所有之前的模型，包括 RTMO-L（42.2 vs. 41.6 AP），展示了卓越的分布外数据鲁棒性。
训练效率： 与领先的替代方案相比，所提出的模型达到收敛所需的训练轮数（epochs）减少了 5 到 10 倍。

意义与局限性
论文断言，DETRPose 证明了 Transformer 模型可以有效地适配于实时多目标姿态估计，为 DETR 框架在该领域的发展开辟了广阔前景。它解决了历史上限制 Transformer 应用于实时场景的延迟挑战。

然而，作者也坦诚地指出了一个局限性：尽管 DETRPose 的 FLOPs 与 YOLO 模型相近，但其延迟略高。这归因于组自注意力机制（group self-attention mechanism），该机制需要多次转置操作，这些操作会破坏张量的连续性，从而影响在当前硬件上的推理速度。