💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

该论文介绍了 CoDi，一种新型的范例条件潜扩散模型，它通过一个专门的调节模块生成高质量密度图以实现精确定位，有效地解决了密集、小目标区域中的挑战，从而在少样本目标计数任务中显著优于现有的最先进方法。

原作者： Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图数清沙滩上每一粒沙子，或是繁星点点的夜空中每一颗微小的恒星。如果你只看全景，它就像一片模糊的影像。如果你试图用放大镜逐一计数，你可能会漏掉一些，或者重复计算同一个。这就是计算机在尝试“计数”图像中的物体（这一任务被称为目标计数）时所面临的日常挣扎。长期以来，计算机有两种主要的计数方式。第一种就像是把水倒在沙子上：它们会创建一个“密度图”（density map），那是一个平滑的小山丘，高度代表了那里有多少物体。这种方法擅长得出大致的总数，但在告诉你每个颗粒具体在哪里方面表现得很糟糕。第二种方式则像是用激光笔为每一颗星星做标记。这对于寻找位置非常有效，但如果星星过于拥挤，计算机就会感到困惑，耗尽可用的“指针”，从而开始遗漏物体或陷入死循环。

现在，想象一位全新的艺术家，他不仅仅是画出一个模糊的山丘，也不仅仅是使用有限数量的激光指针。相反，这位艺术家从一张充满静态噪声的画布开始——就像没有信号的电视屏幕——然后通过一步步的过程，逐渐清除噪声，显现出一幅完美、清晰的图像，精准地展示每个物体所在的位置。这就是名为 CoDi（基于扩散的计数，Counting by Diffusion）的新方法的内核。这项研究背后的研究人员 Grega Šuštar 及其团队构建了一个系统，该系统利用了“扩散模型”（一种以生成图像闻名的 AI 类型）来解决计数问题。CoDi 不仅仅是猜测一个数字或画一个框，它学习如何对“去噪”后的空白画布进行处理，直到画面中跳出一个个清晰、独立的点，每个点代表一个物体。这个神奇的技巧在于，即使你只给它展示一两个例子，或者完全不给它任何例子，它也能完成任务。这就像向一位朋友展示一张特定种类的蘑菇照片，然后让他去森林里寻找所有的这种蘑菇；CoDi 不仅仅是猜测总数，它还能精准指向森林中最茂密处每一朵蘑菇的确切位置。

问题所在：“拥挤房间”的困境

当物体分布稀疏时，在照片中计数很容易。但当你面对一群蜜蜂、一堆葡萄或是一群人的照片时，情况会发生什么变化？这就是旧方法撞上南墙的地方。

“密度”方法就像是通过测量人群“热量”的高度来统计人群。如果人群密集，热量就高，计算机就知道那里有很多人。但它无法告诉你“谁”在哪里。如果你试图通过寻找热力图中最高的峰值来寻找个体，你往往会出错，因为热量会模糊在一起。

“检测”方法则像是拥有有限数量对讲机的保安。保安可以指向特定的人，但如果人太多了（超过了对讲机的数量），保安就必须将人群分成小组，分别计数，然后再尝试将答案缝合在一起。这种方式既慢又乱，经常导致重复计数或漏掉某些人。

解决方案：CoDi 的“神奇噪声”

作者提出了 CoDi，一个将计数视为“清理静态噪声”游戏的系统。

其工作原理如下，分步详解：

起点： 想象一个空白、充满噪声的电视屏幕。这是 CoDi 的起点。它还不知道物体在哪里。
“范例”线索： 如果你想数苹果，你需要给计算机看几张苹果的照片（称为“范例”）。CoDi 有一个特殊的“调节模块”，它就像一个超级智能的过滤器。它观察你的苹果范例并说：“好的，我需要寻找看起来完全像这些的东西，并忽略其他一切。”
去噪之舞： CoDi 开始从电视屏幕中移除噪声，但它是以一种非常特定的方式进行的。它不仅仅是在猜测，而是逐渐细化图像。随着每一步的进行，模糊的噪声逐渐变成了越来越清晰的点。
结果： 到过程结束时，屏幕不再是一个模糊的山丘或一份混乱的列表。它是一张干净的地图，上面布满了细小、锐利的峰值。每个峰值都是一个完美的点，代表一个物体。计算机只需数一下这些点的数量即可。

其秘诀在于，CoDi 学习的是如何逐个生成这些锐利的点，而不是将它们平均化。这意味着即使在物体相互接触的极度拥挤场景中，CoDi 也能将它们区分开来并准确计数。

研究发现：击败最强者

团队在一些极具挑战性的数据集上测试了 CoDi，包括包含 147 种不同物体的 FSC147 和多类别计数数据集 MCAC。结果令人印象深刻：

少样本计数（Few-Shot Counting）： 当仅给定少量示例（例如 3 张目标物体的图像）时，Co-Di 在准确度（平均绝对误差，MAE）方面比现有最强方法高出了 15%。
单样本计数（One-Shot Counting）： 即使只给出一个示例，CoDi 依然是最强的，比之前的顶尖方法高出 13%。
无示例（无参考计数/Reference-less）： 当没有任何示例且被要求统计图像中最常见的物体时，CoDi 仍然优于现有的最佳方法，领先了 10%。
多类别挑战： 在 MCAC 数据集上（即一张图像中可能同时混杂着苹果、橙子和香蕉），CoDi 碾压了竞争对手，比顶尖方法高出了惊人的 38%。

为什么这很重要

论文明确排除了“需要大量预训练指针（如旧的检测方法）才能统计庞大人群”的观点。他们证明了将图像分块（切成碎片）是一种笨拙的权宜之计，不仅会减慢速度还会导致错误。CoDi 证明了你不需要切割图像；你可以一次性处理整个图像，并且依然能获得完美的结果。

他们还表明 CoDi 具有很强的鲁棒性。即使你提供的示例略显凌乱，或者物体非常微小，它依然表现稳健。事实上，作者发现 CoDi 非常稳定，如果你将同一张图像通过它运行二十次，计数的平均变化量不到 1%。

局限性与未来

虽然 CoDi 是一个巨大的进步，但作者也坦诚了它的短板。它有时在处理极其细长（如侧立着的书架上一排书）或物体以奇怪方式重叠的对象时会遇到困难。他们还指出，虽然它非常擅长寻找物体的“中心”，但目前还无法画出整个物体的边界框（不过他们计划对此进行改进）。

简而言之，CoDi 表明，通过将计数视为一个“清理噪声”的过程，而不是“猜测一个数字”，我们可以让计算机像人类一样看待人群：不是看作一片模糊，而是一个个清晰、可数的个体。这是一种新的观察世界的方式，一次一个点，循序渐进。

技术摘要：CoDi —— 一种用于少样本计数的目标示例条件扩散模型

1. 问题定义

本文研究的是**少样本目标计数（low-shot object counting）**任务，该任务旨在通过仅有的少量标注示例（少样本/单样本）或在没有任何示例的情况下（无参考），估计图像中未知类别的目标数量。

尽管现代方法已取得了进展，但在包含微小目标的密集区域中仍面临重大挑战：

基于密度的计数器（例如 LOCA、CounTR）通过对回归的密度图进行求和来估计计数。然而，这些密度图往往无法为单个目标表达出清晰的单峰，导致在使用非极大值抑制（NMS）时出现定位不良和误报。
基于检测的计数器（例如 CountGD、GeCo）预测边界框或中心点。这些方法通常是基于查询（query-based）的（采用 Transformer 架构），并具有固定的预训练查询数量。在密集场景中，目标数量往往会超过其容量，迫使使用计算昂贵的**分块（tiling）**技术（将图像分割成裁剪块）以及复杂的边界协调后处理。此外，基于回归的模型在训练过程中由于使用了带有噪声的真实中心点，生成的图往往过于模糊，不适合进行精确的峰值计数。

2. 方法论：CoDi

作者提出了 CoDi（基于扩散的计数），这是首个基于潜在扩散（latent diffusion）的少样本计数器，旨在生成高质量、清晰的目标位置图。

核心架构

CoDi 利用**条件潜在扩散模型（Conditioned Latent Diffusion Model, LDM）**迭代地细化目标位置图。

输入表示：
- 输入图像 $I$ 通过预训练的 AM-RADIO 主干网络编码为潜在表示 $z_I$ 。
- 目标对象位置图 $L$ 通过在真实中心点上放置归一化高斯分布来构建。该图通过预训练的 VAE 投影到潜在空间 $z_0$ 。
- 在前向扩散过程中，向 $z_0$ 添加噪声以创建一系列噪声潜在变量 $z_t$ 。
去噪网络：
- 训练一个标准的 UNet（三层）来逆转扩散过程，通过预测噪声或速度向量 ( $v_t$ ) 来恢复干净的潜在图。
- UNet 的输入是图像潜在变量 $z_I$ 与当前噪声位置潜在变量 $z_t$ 的拼接。
基于示例的条件化（Exemplar-Based Conditioning, EC）：
- 这是核心创新。为了在测试时使模型专门化于目标物体类别，网络根据用户提供的示例边界框进行条件化。
- 自适应原型提取： 不同于静态条件化，CoDi 在每个扩散时间步通过 RoI-Align 提取外观原型（appearance prototypes），并通过针对框尺寸的 MLP 提取形状原型（shape prototypes）。
- 调制： 这些原型通过 Transformer 注意力层注入到 UNet 的第一层和最后一层。UNet 特征作为查询（queries），而特定时间的原型作为键（keys）和值（values）。这使得网络能够随着去噪过程对位置图的细化，不断调整其对目标物体的理解。
推理：
- 从随机高斯噪声开始，网络执行 $T$ 步去噪过程（例如 $T=25$ ）。
- 最终的潜在图由 VAE 解码为高分辨率位置图 $\tilde{L}$ 。
- 通过检测超过阈值的 $3\times3$ 邻域内的局部极大值来识别目标中心，总计数即为检测到的峰值数量。

无参考适配（Reference-Less Adaptation）

对于没有示例的场景，作者引入了可训练的无参考查询（reference-less queries）。这些查询通过关注层特征转化为原型，从而允许模型在没有特定视觉提示的情况下对多数类进行计数。这仅需微调查询参数，同时冻结其余网络。

3. 主要贡献

首个潜在扩散少样本计数器： CoDi 是第一个将潜在扩散专门应用于少样本计数的模型，通过生成单实例预测，避免了基于回归的模型中存在的标注噪声平均问题。
基于示例的条件化模块： 一种新颖的机制，可在扩散过程中动态提取并调整物体原型。这使得位置图中产生窄且分离的峰值，从而能够在无需分块的情况下通过 NMS 实现精确定位。
统一的少样本谱系： CoDi 是第一个在单一框架内涵盖少样本、单样本和无参考场景的扩散计数器。
高效性： 通过在潜在空间中运行并避免使用基于查询的检测器（如 CountGD）所需的自适应分块，CoDi 提供了更具计算稳定性的推理过程，特别是在处理包含大量微小目标的图像时。

4. 实验结果

论文在 FSC147（少样本）和 MCAC（多类别）基准测试上对 CoDi 进行了评估。

少样本（FSC147）： CoDi 在测试集上的 MAE 比 SOTA 密度计数器（CountDiff）降低了 38%，RMSE 降低了 42%。与基于定位的 SOTA（CountGD）相比，CoDi 的 MAE 降低了 15%，RMSE 降低了 29%。
单样本： CoDi 达到了新的 SOTA，其 MAE 比 GeCo 低 13%，RMSE 低 49%，证明了即使只有一个示例也具有鲁棒性。
无参考： CoDi 比表现最好的无文本 SOTA（GeCo）在 MAE 上提升了 10%。虽然它略逊于基于文本提示的零样本方法（如 CountSE），但在不依赖文本的情况下仍具有竞争力。
多类别（MCAC）： CoDi 创下了新的 STA，比顶尖方法（GeCo2）的 MAE 降低了 38%。
定位质量： 与 CountGD 相比，CoDi 在测试集上实现了更高的召回率（0.88 vs 0.81）和 F1 分数（0.92 vs 0.87），平均检测距离真实值仅为 8.79 像素。
效率： CoDi 显示出稳定的推理时间（约 1.1s/图像）且方差较低，不像 CountGD 的运行时间会因分块而在密集图像上显著下降。它使用的参数比 GeCo 更少，且显存占用更低。

5. 重要性与主张

作者声称，CoDi 通过将任务重新定义为生成问题而非回归或检测问题，实现了少样本计数的重大转变。

对密度的鲁棒性： CoDi 的主要意义在于其处理包含微小目标的密集区域的能力，而现有方法由于查询限制或密度图模糊而在此类场景下失效。扩散过程自然地产生适合 NMS 的“清晰”峰值。
消除分块： 通过避开 Transformer 检测器固有的固定查询容量限制，CoDi 消除了对计算沉重的分块和边界协调的需求。
适应性： 基于示例的条件化模块使模型能够以极少的数据泛化到未见类别，而无参考适配则将此扩展到无需重新训练整个网络即可进行的多数类计数。

文章总结道，CoDi 在整个少样本计数谱系中设定了新的最先进水平（SOTA），在高度准确性、精确定位和计算稳定性之间取得了平衡。未来的工作可能会将其扩展到边界框预测以及处理具有极端长宽比的目标。