技术摘要：面向目标定位的运动感知强化学习

问题定义

现代目标检测器通常将定位视为一个单次回归问题，即通过单次前向传播将图像特征直接映射到边界框坐标。虽然这种方法行之有效，但缺乏迭代修正的能力，往往导致生成的候选框在位置、尺度或长宽比上存在偏差。这些误差在严格的基于重叠度（如 IoU）的评估标准（例如 AP@0.75）以及针对微小或密集排列的目标时，表现得尤为严重。

后验精细化（Post-hoc refinement）提供了一种解决方案，它将精细化过程与基础检测器解耦，允许一个轻量级模块迭代地调整已提交的候选框，使其趋向于真实值（ground truth）。然而，现有的用于该任务的强化学习（RL）方法面临两个关键挑战：

1. 奖励设计复杂度： 将源自运动的惩罚项与标准的交并比（IoU）优化目标相结合并非易事。运动学偏差惩罚与绝对 IoU 项之间的相互作用可能导致训练不稳定。
2. 表示能力： 目前尚不清楚与基准检测器共享主干网络的精细化智能体（agent）是否会面临性能天花板，因为其仅能获取裁剪区域（crop-only）的观测信息。

本研究通过提出 MARLNet（运动感知强化学习网络）来解决这些问题，该框架在观测状态中引入了恒定速度（constant-velocity）运动先验，并在奖励函数中引入了动作平滑惩罚。

方法论

1. 马尔可夫决策过程 (MDP) 建模

精细化任务被建模为一个有限时界 MDP $M = (S, A, P, R, \gamma, T)$。

• 状态空间 ($S$): 状态向量 $s_t$ 为 268 维，包含：
  • 当前边界框坐标 $b_t$（归一化至 $[0, 1]$）。
  • 下一位置的恒定速度（CV）运动学预测 $\hat{b}^{cv}_t$。
  • 前一时刻的动作 $a_{t-1}$（初始化为零）。
  • 使用冻结的 EfficientNet-B0 主干网络从当前 $b_t$ 定义的图像裁剪区域中提取的 256 维视觉特征嵌入 $f_t$。
• 动作空间 ($A$): 智能体输出一个连续的 4 维向量，用于坐标调整 $(\delta x, \delta y, \delta w, \delta h)$ 以及一个二元停止信号。动作被限制在 $[-\delta_{max}, \delta_{max}]$ 范围内以确保稳定性。
• 奖励函数 ($R$): 第 $t$ 步的奖励定义为：
  $$r_t = \alpha \cdot \Delta \text{IoU}_t - c_{step} - \lambda_{phys} \cdot \|a_t - a_{t-1}\|^2$$
  其中 $\Delta \text{IoU}_t$ 是与真实值重叠度的提升，$c_{step}$ 是为了抑制不必要步骤而设置的固定成本，最后一项是动作平滑惩罚。至关重要的是，作者使用此动作平滑惩罚取代了运动学偏差惩罚（后者曾导致训练崩溃），以防止奖励干扰。
• 终止条件： 如果智能体触发停止信号、达到目标 IoU 阈值 ($\tau_{stop}$) 或达到最大步数限制 ($T=15$)，则回合结束。

2. 架构与训练

• 特征提取： 预训练的 Faster R-CNN（采用 ResNet-50 主干）提供初始候选框。精细化智能体使用冻结的 EfficientNet-B0 从当前的裁剪区域中提取特征。冻结主干网络可以防止状态表示出现非平稳性，并降低计算开销。
• 策略网络： 采用 Actor-Critic 架构，通过共享的双层 MLP 处理状态。Actor 输出高斯分布的参数以生成连续动作，并输出伯努利分布以生成停止信号。Critic 则估计状态价值函数。
• 优化： 策略使用带有广义优势估计（GAE）的近端策略优化（PPO）进行训练。

核心贡献

1. MARLNet 框架： 首个将恒定速度运动先验显式集成到观测状态中，并将动作平滑惩罚集成到奖励中的单图迭代边界框精细化强化学习框架。
2. 识别出奖励干扰现象： 作者发现，将运动学偏差惩罚与绝对 IoU 项结合会导致“触发崩溃”（即终止概率坍缩，导致最大步数抖动，并造成 mAP 从 0.490 骤降至 0.035 的灾难性下降）。使用动作平滑惩罚取代偏差惩罚解决了这一失败问题。
3. 表征天花板的特征分析： 通过消融实验（包括“全局+局部”观测变体），本文证明了与基准检测器共享主干网络的精细化智能体面临着硬性的性能天花板。这种约束是表征层面的（智能体无法获取检测器尚未编码的信息），而非观测层面的。
4. 系统性评估： 在 Pascal VOC 2012 和 VisDrone 2019 上进行了全面评估，分析了性能对正则化强度 ($\lambda_{phys}$) 和数据集特征的敏感性。

实验结果

Pascal VOC 2012

• 性能： MARLNet 实现了 0.515 的检测成功率 (SR@0.5)，较基准检测器 (0.504) 提升了 +0.011。
• 对比： 普通 PPO（不含运动先验）未能实现相对于检测器的 SR@0.5 提升（0.501 vs 0.504）。
• 观察： 没有精细化方法能提高检测器基准的整体 mAP (0.490)，这证实了表征天板的存在。表现最好的 MARLNet 配置达到了 mAP 0.437。

VisDrone 2019

• 性能： 在这个更具挑战性的航拍数据集上，普通 PPO 实现的 SR@0.5 增益 (+0.025) 比检测器更大，这可能是由于较弱的初始检测器 (mAP 0.189) 留下了更多的修正空间。
• MARLNet： 当 $\lambda=0.05$ 时，实现了 0.666 的 SR@0.5（略低于检测器的 0.669）。然而，较高的正则化强度 ($\lambda=0.70$) 带来了最佳的 mAP (0.175) 和 AP@0.75 (0.170)。
• 非单调性： 最优 $\lambda$ 值取决于数据集。$\lambda=0.10$ 对 VOC 最优，但对 VisDrone 却是表现最差的，这凸显了根据基准检测器质量来校准正则化强度的必要性。

消融实验

• 奖励设计： 用动作平滑惩罚取代运动学偏差惩罚对于稳定训练至关重要。
• 观测设计： 在状态向量中加入全局图像特征（Global+Local）并未一致地克服性能天花板，这证实了限制在于架构（共享主干）而非空间上下文的缺失。

意义与主张

本文声称 MARLNet 提供了一种稳定且有效的迭代边界框精细化方法，特别是在提高实际 IoU 阈值（≥0.5）下的检测成功率方面。该工作为社区提供了三个主要见解：

1. 稳定训练： 动作平滑惩罚是防止 RL 精细化中出现奖励干扰和训练崩溃的优于运动学偏差惩罚的替代方案。
2. 超参数校准： 运动正则化的强度应与基准检测器的质量成反比；强大的检测器需要较轻的正则化以保持策略的表达能力，而较弱的检测器则需要更强的约束。
3. 架构限制： 裁剪特征精细化智能体无法超越基准检测器的 mAP，这是一个基本的表征约束。未来的改进需要通过架构变革，为智能体提供与基准检测器不同的特征表示，而不仅仅是扩大观测空间。

作者总结道，尽管 MARLNet 并没有打破 mAP 天花板，但它成功地精细化了候选框，提高了下游应用中的精度，并为当前精细化架构的局限性提供了具体的诊断依据。