💻 computer science

Getting the Numbers Right $\unicode{x2014}$ Modelling Multi-Class Object Counting in Dense and Varied Scenes

该论文提出了一种基于视觉 Transformer 的多类目标密度估计新框架，通过结合 Twins-SVT 骨干网络、多尺度 CNN 解码器及训练阶段专用的类别聚焦模块，显著提升了模型在从稀疏到极度拥挤等复杂场景下的计数精度，在 VisDrone 和 iSAID 基准测试中大幅超越了现有最先进方法。

原作者： Villanelle O'Reilly, Jonathan Cox, Georgios Leontidis, Marc Hanheide, Petra Bosilj, James M. Brown

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Villanelle O'Reilly, Jonathan Cox, Georgios Leontidis, Marc Hanheide, Petra Bosilj, James M. Brown

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何在拥挤且混乱的场面中，准确数清不同种类物体数量”**的新技术。

想象一下，你站在一个巨大的、人山人海的广场上，或者俯瞰一片开满各种野花的草地。你想数清楚：有多少辆汽车？多少个人？多少种不同的花？

传统的“数数”方法（比如目标检测）就像是一个拿着放大镜的巡警。他必须走到每个人面前，指着说：“这是一个警察，那是个邮递员”。如果人群太拥挤，大家挤在一起，或者被遮挡了，巡警就看不清楚了，数出来的结果就会出错。

而这篇论文提出的新方法，则像是一位拥有**“透视眼”的统计大师**。他不需要看清每个人的脸，而是通过观察人群的“密度”和“分布”，直接估算出总数。

以下是这篇论文的核心内容，用通俗的比喻来解释：

1. 核心问题：当“数数”变得太难时

在非常拥挤、物体互相遮挡（比如早高峰的地铁站，或者茂密的森林）的场景下，传统的“一个一个数”的方法（检测法）会失效。

旧方法（检测法）： 像巡警，必须认出每个个体。人太多、太挤时，巡警会晕头转向。
新方法（密度估计）： 像看热力图。它不关心“谁是谁”，而是看“哪里人多”。它生成一张热力图，颜色越深代表那里物体越多，最后把颜色加起来就是总数。

2. 最大的挑战：如何同时数好“多种”东西？

以前的密度估计方法，通常一次只能数一种东西（比如只数人，或者只数车）。如果要同时数人、车、鸟，以前的方法就像是一个只会做一道菜的厨师，做完一道菜得洗锅再炒下一道，效率低且容易把味道搞混（不同类别的物体互相干扰）。

这篇论文的目标是：做一个“全能大厨”，能同时炒好几道菜，而且互不串味。

3. 他们的解决方案：三大“秘密武器”

武器一：换了一个更聪明的“大脑” (Vision Transformer)

以前的模型像是一个只擅长看局部细节的老式显微镜（CNN）。
这篇论文给模型换了一个**“上帝视角”的望远镜**（基于 Vision Transformer 的 Twins-SVT 架构）。

比喻： 老式显微镜只能看清眼前的一小块，容易漏掉远处的东西；而“望远镜”能同时看到近处的细节和远处的整体布局。这让模型在物体大小不一（有的很近很大，有的很远很小）时，也能数得准。

武器二：多尺度解码器 (Multiscale CNN Decoder)

比喻： 想象你在数蚂蚁和数大象。如果你用数蚂蚁的放大镜去数大象，或者用数大象的广角镜去数蚂蚁，都会出错。
这个模块就像是一个**“变焦镜头组”**，它能同时处理不同大小的物体，确保无论是微小的花朵还是巨大的卡车，都能被准确计数。

武器三：类别专注模块 (Category Focus Module, CFM) —— 最关键的创新

这是论文最精彩的部分。

问题： 当你要同时数“人”和“车”时，模型容易糊涂，把“人”的密度误算到“车”上，或者反之。
以前的做法： 在数数的时候（推理阶段），还要额外做一个“分类任务”来辅助，就像数数时还得先给每个人发个号码牌，这很麻烦且容易出错。
这篇论文的做法： 在学习阶段（训练时），给模型加了一个“辅助练习”。就像教学生时，老师让他先做一道“分类题”来加深理解，但考试时（实际数数时），学生不需要再做分类题，直接凭直觉（密度图）就能给出准确答案。
比喻： 这就像训练一个**“心算大师”**。平时训练时，让他先看清每个物体的类别（做辅助任务），把大脑练得足够聪明；等到真正数数时，他不需要再一个个去辨认，直接就能根据整体印象算出准确数字。这样既避免了分类任务在拥挤场景下失效的问题，又提高了数数的准确率。

4. 效果如何？

他们在几个著名的数据集上进行了测试：

城市交通（VisDrone）： 数车和人。
卫星地图（iSAID）： 数船、飞机、建筑物。
生物多样性（Hicks）： 数不同种类的野花（这是一个非常难的新领域，因为花长得都很像，而且分布不均匀）。

结果令人震惊：

在极度拥挤的场景下，他们的错误率比以前的最好方法降低了 33% 到 64%。
在数野花这种“非传统”场景下，他们甚至打败了专门用来数物体的 YOLO11（一种非常强大的检测算法），准确率提高了一个数量级（也就是好几十倍）。

总结

这篇论文就像是为“数数”这项任务发明了一种新的魔法。
它不再依赖“看清每一个个体”这种笨办法，而是利用更聪明的整体观察能力（Transformer），加上训练时的“分类特训”（CFM），让模型学会了在极度混乱和拥挤的环境中，同时数清多种不同物体的数量。

一句话概括： 以前我们数数靠“点名”，人太多就数乱了；现在靠“看热力图”加“特训”，哪怕人挤人、花叠花，也能算得清清楚楚。

论文技术总结：Getting the Numbers Right—Modelling Multi-Class Object Counting in Dense and Varied Scenes

1. 研究背景与问题定义 (Problem)

核心挑战：
在高度遮挡和密集堆积的场景中（如拥挤的人群、密集的交通或生物多样性监测），基于检测（Detection-based）的目标计数方法往往失效。传统的密度图估计（Density Map Estimation）虽然能解决密集场景问题，但现有的多类密度估计（Multi-class Density Estimation）方法存在以下局限：

场景适应性差：现有方法在低密度场景下性能下降，而在最拥挤的场景中，最先进的检测器（如 YOLO 系列）表现不佳。
类别干扰：在多类场景下，不同类别的物体之间容易产生干扰（Inter-category interference）。
推理假设限制：之前的多类方法（如 DSACA 或 Michel et al.）在推理阶段需要引入辅助任务（如分割掩码或检测框）来抑制干扰，这引入了离散性假设或阈值假设，限制了模型在连续密度估计上的纯粹性。
数据分布差异：现有的多类密度估计研究主要集中在城市数据集（如 VisDrone, iSAID），这些数据集类别分布较均匀。而在生物多样性数据集（如 Hicks）中，单张图像通常只包含极少数类别，现有方法难以适应这种稀疏的类别分布。

目标：
提出一种能够同时处理高密度和低密度场景、具备强类别感知能力、且无需在推理阶段依赖辅助任务假设的多类目标计数框架。

2. 方法论 (Methodology)

该论文提出了一种基于视觉 Transformer（Vision Transformer）的多类密度估计架构，主要包含以下核心组件：

A. 骨干网络与解码器 (Backbone & Decoder)

骨干网络：采用 Twins-SVT（Pyramid Vision Transformer）作为骨干网络。相比传统的 CNN（如 VGG16, ResNet50）或扁平的 Transformer 编码器，Twins-SVT 能够提取多尺度特征，并结合空间注意力机制，更好地适应密度估计中常见的尺度变化。
解码器：设计了一个多尺度 CNN 解码器，利用分层特征进行鲁棒的计数。解码器采用平滑可微且数值稳定的 Softplus 激活函数（ $softplus(x) = \frac{\log(1 + e^{\beta x})}{\beta}$ ），确保预测的密度值始终为正，同时避免像 ReLU 那样在训练时截断负梯度。

B. 类别聚焦模块 (Category Focus Module, CFM)

这是该论文的核心创新点之一，用于解决多类间的干扰问题：

设计灵感：结合了 DSACA 的掩码思想和 CCTrans 的特征融合策略。
工作机制：CFM 是一个轻量级的辅助任务头，在训练阶段通过多尺度感知模块（Multiscale Aware Module）从骨干网络的不同层提取特征，并经过空洞卷积（Dilated Convolution）扩大感受野。
辅助任务：CFM 输出 $2C$ 个通道的 logits（每个类别对应一个前景掩码和一个背景掩码），使用交叉熵损失（Cross-Entropy Loss）进行训练。
关键优势：该模块仅在训练阶段使用，用于提升密度估计头的特征表达能力。在推理阶段（Inference），该模块被丢弃，不需要像以往方法那样应用掩码或检测框来抑制干扰。这使得模型能够保持纯粹的连续密度估计特性，避免了离散假设带来的误差。

C. 损失函数 (Loss Functions)

模型通过多任务学习联合优化：

密度估计损失：使用 L2 Loss，计算预测密度图与真实密度图（由边界框中心点生成的 Gaussian 核）之间的像素级平方误差。
辅助掩码损失：使用每个类别的交叉熵损失（Cross-Entropy Loss）。
总损失： $L = (\omega \times L_{mask}) + L_2$ ，通过权重 $\omega$ 平衡两个任务，使共享参数在反向传播中同时优化。

3. 主要贡献 (Key Contributions)

首个基于 Vision Transformer 的多类密度估计架构：
- 在 VisDrone 和 iSAID 两个基准测试中，平均 MAE 降低了 46.7%。
- 在极度拥挤的场景中，性能比 YOLO11 高出一个数量级。
- 证明了该方法在低密度场景下（传统检测器占优的领域）依然具有鲁棒性。
创新的解码与激活设计：
- 将 Twins-SVT 骨干与多尺度 CNN 解码器融合。
- 引入 Softplus 激活函数，保证了密度估计的数值稳定性和正定性，同时保留了完整的梯度信息。
**无需推理辅助的类别聚焦模块 **(CFM)：
- 首次提出完全在推理阶段作为连续密度估计运行的多类计数方法。
- 通过训练时的辅助掩码任务提升类别感知能力，消除了以往方法中依赖分割或检测辅助任务所带来的离散性假设和阈值假设。

4. 实验结果 (Results)

论文在三个数据集上进行了广泛评估：VisDrone-DET（8 类和 10 类）、iSAID（4 类）以及生物多样性数据集 Hicks（8 类）。

**VisDrone-DET **(8 类)：
- 相比之前的 SOTA 方法 DSACA，MAE 显著降低。
- 在 0-1000 的总计数范围内，MAE 从 3.43 (DSACA) 降至 2.29。
- 在低密度（0-10）和高密度（101-1000）区间均优于 YOLO11 和 DSACA。
**VisDrone-DET **(10 类)：
- 相比 Michel et al. 的方法，MAE 从 3.76 降至 1.99，RMSE 从 9.56 降至 6.41。
**iSAID **(4 类)：
- 在 0-10000 的大范围计数中，MAE 从 7.85 (Michel et al.) 降至 2.84。
- 在极度拥挤（101-10000）的样本中，MAE 从 50.31 降至 22.11，表现远超 YOLO11 (144.53)。
**Hicks **(生物多样性，8 类)：
- 在稀疏类别分布的数据集上，MAE 从 0.92 降至 0.38，证明了模型在新型领域（非城市场景）的泛化能力。
消融实验：
- 验证了 CFM 模块对提升小计数范围性能的关键作用。
- 证明了 Softplus 激活函数在防止负预测值方面优于 Leaky ReLU 和 ReLU。

5. 意义与影响 (Significance)

填补研究空白：解决了多类密度估计在“高密度”与“低密度”场景之间性能不平衡的问题，统一了不同密度场景下的计数范式。
方法论突破：打破了多类计数必须依赖推理阶段辅助任务（如检测框或分割掩码）的固有思维，证明了纯连续密度估计模型可以通过训练时的辅助任务实现强大的类别区分能力。
应用扩展：不仅适用于传统的城市交通监控，还成功扩展到了生物多样性监测（如花卉计数）等生态领域，展示了其在非结构化、自然场景下的巨大潜力。
开源贡献：代码和预训练权重已公开，推动了该领域的后续研究。

总结：该论文通过引入 Vision Transformer 骨干网络和创新的类别聚焦模块，成功构建了一个在密集、遮挡及多变的场景下均表现卓越的多类目标计数框架，显著提升了计数精度，并为未来自动化计数系统的设计提供了新的范式。