💻 computer science

Falcon Perception-HD: High Density Perception via Reinforcement Learning

本文介绍了 Falcon Perception-HD，这是一个强化学习框架，它通过将自回归感知模型与评估指标对齐，在极高密度场景中实现了最先进的性能，消除了诸如掩码重复和对 NMS 需求等常见问题，并在没有负样本训练的情况下稳健地检测物体的存在。

原作者： Sofian Chaybouti, Yasser Dahou, Ngoc Dung Huynh, Reda Alami, Hilde Kuehne

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sofian Chaybouti, Yasser Dahou, Ngoc Dung Huynh, Reda Alami, Hilde Kuehne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在计算机视觉领域，机器正在学习如何不仅将世界视为色彩和形状的集合，而是将其视为一个带有名称、位置和边界的离散物体列表。多年来，教计算机实现这一目标最成功的方法是向它展示数百万个示例，并让它猜测描述中的下一个词，就像学生背诵教科书一样。这种被称为监督训练的方法在只有少量物体需要寻找时效果很好。然而，当场景变得拥挤时，它就会陷入困境。如果要求计算机寻找鸟群中的每一只鸟或交通堵塞中的每一辆车，标准的训练方法往往会导致系统陷入恐慌，要么重复同一个物体多次，要么在列表完成之前就彻底放弃。核心问题在于，训练方法是针对逐词生成正确答案进行优化的，而不是确保最终的物体列表是完整且准确的。

来自技术创新研究院（Technology Innovation Institute）和蒂宾根大学（University of Tübingen）的研究小组发现了一种通过改变计算机学习方式来解决这一问题的方法。他们没有仅仅让模型死记硬背示例，而是通过一种类似于试错的过程，教会了他们的模型——名为 Falcon Perception-HD 的模型——从自身的错误中学习。他们使用了一种称为强化学习的技术，在这种技术中，模型生成一个物体列表，检查该列表与真实场景的匹配程度，并获得一个评分。如果模型遗漏了一个物体或重复列出了同一个物体，它会得到较低的分数，并学习调整其行为。通过重复这个过程，模型发现了更好的计数和定位事物的方法，有效地教会了自己停止犯下困扰以往系统的错误。

这种方法的成果在最困难的情景中最为显著：即充满了数百个物体的密集场景。在涉及多达 500 个项目的图像测试中，旧模型通常会崩溃，无法识别出场景中的一小部分，或者产生混乱的重复检测。然而，新模型在处理这些密集环境时表现出了卓越的稳定性。它成功识别了图像中的几乎每一个物体，达到了以往系统无法企及的性能水平。这是一个重大的飞跃，因为它允许计算机在复杂的现实世界环境中运行，例如繁忙的城市街道或拥挤的生态系统，在这些环境中，计数和定位每一个单体项目至称至关重要。

一个最令人惊讶的发现是，该模型学会了在不需要外部帮助的情况下清理自己的“烂摊子”。传统上，当计算机视觉系统生成物体列表时，必须运行一个单独的手动过滤步骤来删除重复项和重叠的框。这个步骤非常脆弱；如果设置稍有偏差，它可能会删除真实的物体或保留虚假的物体。研究人员发现，经过强化学习后，他们的模型自然而然地不再产生重复项。它学会了如何分散预测，并在场景填满时停止生成新物体，有效地将人类曾不得不编程输入的规则内化到了自身之中。这意味着该系统不仅更准确，而且更快速、更易于使用，因为它不再依赖这些容易出错的手动过滤器。

团队还解决了一个关于模型如何决定一个物体是否存在与否的微妙但关键的问题。在许多现实世界的场景中，计算机必须确定某个特定项目是存在还是不存在，例如检查森林中是否存在某种特定的动物。以往尝试使用这种试错学习方法的方法往往会导致模型变得过于乐观，即使物体不存在也会猜测其存在。研究人员发现，通过在训练期间仔细控制模型置信度的更新，可以防止这种情况发生。这使得系统能够保持“存在”与“不存在”之间的清晰界限，确保它不会开始幻觉出并不存在的物体。

为了训练该模型，研究人员并没有仅仅依赖于昂贵且耗时的完美人工标签。相反，他们开发了一个智能流水线，让模型生成自己的练习题。他们识别出模型感到不确定或犯错的时刻，并利用这些特定案例来教导它如何改进。这种自我改进循环使他们能够利用相对较少的图像创建出高质量的训练集。其结果是一个能够处理从少量物体到数百个物体的极端密度场景的统一方法。

这项工作的意义不仅限于更好的图像识别。通过展示强化学习可以修复计算机感知世界方式中的根本缺陷，研究人员为构建更强大的人工智能开辟了一条新路径。他们构建的系统——Falcon Perception-HD——为拥挤场景下的性能树立了新标准，其表现超越了许多依赖旧训练方法的大型模型。它证明了，只要拥有正确的学习策略，机器就可以学会以一种此前难以企及的清晰度和可靠性来看待世界，将混乱的视觉数据转化为精确且可操作的信息。

技术摘要：Falcon Perception-HD

问题陈述

自回归感知模型旨在在开放词汇设置下定位视觉实体，传统上通过使用最大似然估计（MLE）的有监督微调（SFT）进行训练。这种方法优化的目标是代理目标（逐 token 交叉熵），这与用于评估感知的序不变集合匹配指标（如精确率、召回率和 F1）存在根本性的不一致。因此，经 MLE 训练的模型经常面临以下问题：

序列坍缩（Sequence Collapse）： 在密集场景中，模型倾向于过早停止生成 token 或产生退化序列。
冗余（Redundancy）： 模型经常生成重复的预测、重叠的掩码和重复的坐标。
对启发式方法的依赖： 为了缓解这些问题，现有系统依赖于脆弱的后处理启发式方法，如非极大值抑制（NMS）和坐标去重，这些方法需要进行超参数调优，并且可能会抑制有效的重叠物体。
可扩展性限制： 在高密度场景（例如每场景 >200 个物体）中，性能急剧下降，因为自回归生成变得不稳定。

方法论

本文介绍了 Falcon Perception-HD，该框架通过对自回归 Falcon Perception 模型应用强化学习（RL）后训练，使生成过程直接与感知指标对齐。

核心架构与动作空间

基础模型采用“感知链”（chain-of-perception）架构，为每个物体发射一个重复序列：文本 token（指代表达式） $\to$ 中心坐标 $(x, y)$ $\to$ 箱体尺寸 $(h, w)$ $\to$ 分割掩码。

异构动作空间： 策略 $\pi_\theta$ 从不同的头部进行采样：用于文本的标准语言模型（LM）头，用于离散化坐标和尺寸的分类头，以及用于掩码的确定性连续头。
训练策略： 在 RL 期间，作者从 LM 和坐标头进行采样 Rollout，同时贪婪地解码尺寸头。分割头保持冻结。这种设计利用了“级联效应”（cascade effect），即改进的空间定位（坐标）能够自然地调节下游头部，从而在没有直接梯度更新的情况下产生更高质量的尺寸和掩码。

RL 目标与算法

算法： 作者使用了 GRPO（组相对策略优化），它计算相对于从同一提示词采样的 $G=8$ 个 Rollout 的优势，从而消除了对独立价值函数的需求。
奖励函数： 基于匈牙利算法的集合匹配奖励。它通过加权计数对假阴性（FN）和假阳性（FP）进行惩罚： $r_{count} = -(FN + \alpha \cdot FP)$ ，其中 $\alpha=0.3$ 。该奖励具有序不变性，不依赖于生成的特定序列顺序。
损失聚合： 为了防止向短响应偏移（这对于需要长序列的密集场景至关重要），作者采用了 Dr. GRPO，通过固定常数而非可变 Rollout 长度来归一化损失。
引擎不匹配修正： 应用带有停止梯度（stop-gradient）的重要性采样比率，以修正推理引擎（用于 Rollout）与训练引擎之间的差异。

关键设计选择

存在 Token 脱离（Existence Token Detachment）： 存在 token（<object_found> / <no_object_found>）的对数概率与策略梯度脱离。由于 RL 仅在正向查询上进行训练，更新这些 token 会导致模型无差别地预测“已发现”，从而导致存在性校准的马修斯相关系数（MCC）坍缩。
自我标注流水线： 两个混合流水线用于策划训练数据：
- 密集场景： 人类标注员对基础模型在包含 >200 个实例的图像上生成的伪标签进行精修。
- 困难指代表达式： 模型采样多个 Rollout；仅保留那些贪婪预测失败但采样 Rollout 成功的案例，以确保获得高熵学习信号。

核心贡献

直接指标对齐： 证明了 RL 可以弥合自回归生成与集合匹配评估指标之间的差距，解决了 MLE 固有的不一致问题。
消除启发式方法： 后训练模型在结构上内化了空间抑制，有效地学习如何避免重复的坐标和掩码重复。这消除了对 NMS 和坐标去重阈值的需求，提高了推理效率和鲁棒性。
高密度鲁棒性： 该框架解锁了在极端密度场景（高达每场景 500 个物体）下的最先进性能，而在此领域，经 MLE 训练的基线模型通常会发生坍缩。
级联效应验证： 表明仅优化离散空间头部（坐标）就足以改善整个感知链，包括冻结的连续分割头部。
保持存在性校准： 通过脱离存在 token，模型保持了区分物体是否存在的能力，而无需在负样本上进行训练。

实验结果

在 PBench（指代分割）和 SACO（开放词汇分割）上进行了评估：

PBench： Falcon Perception-HD 实现了新的 SOTA，比 SFT 基线在平均宏 F1 上提升了 2.6 点。值得注意的是，在 Dense 分支（多达 500 个物体）上，它提升了 8.2 点（72.3 $\to$ 80.5），显著超越了规模更大的模型（如 Qwen3-30B）。
SACO： 模型将宏 F1 提升了 1.7 点，MCC 提升了 2%，展示了更好的物体辨别能力和存在性校准。
消融实验：
- 去除后处理（NMS/去重）会导致 SFT 基线在 pmF1 上损失 12.0 点，而 Falcon Perception-HD 仅损失 0.4 点。
- 除了坐标外还对尺寸头进行采样并不会带来额外收益，证实了级联效应。
- 若没有存在 token 的停止梯度，MCC 会从 59.6 坍缩至 38.8。

意义与主张

论文声称，Falcon Perception-HD 证明了 RL 后训练不仅是使语言模型符合人类偏好的工具，更是构建鲁棒感知模型的关键路径。通过用能够原生理解集合匹配约束的策略取代脆弱的推理时启发式方法，作者表明自回归模型可以实现此前在密集视觉环境中无法企及的稳定性和可扩展性。这项工作表明，“序列坍缩”和冗余问题是自回归视觉中的算法缺陷，可以通过一个简短、针对性的 RL 阶段来解决，其本质上起到了一种学习到的匈牙利匹配机制的作用。