💻 computer science

RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection

本文提出了 RegFormer，一种基于关系定位的 Transformer 模块，通过利用图像级监督下的空间定位信号引导推理，实现了无需额外训练即可从图像级高效迁移至实例级的人机交互检测，在显著降低计算成本的同时达到了与全监督模型相当的性能。

原作者： Jihwan Park, Chanhyeong Yang, Jinyoung Park, Taehoon Song, Hyunwoo J. Kim

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jihwan Park, Chanhyeong Yang, Jinyoung Park, Taehoon Song, Hyunwoo J. Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RegFormer 的新人工智能技术，它的核心任务是**“弱监督人机交互检测”**。

听起来很复杂？让我们用一个生动的比喻来拆解它。

🎬 核心场景：从“看热闹”到“看门道”

想象一下，你正在看一场盛大的马戏团表演（这就好比一张复杂的图片，里面有很多人、动物、道具）。

传统方法（全监督）： 就像有一个超级详细的解说员，他不仅告诉你“有人在骑马”，还精确地圈出“哪个人”、“哪匹马”、“他们在做什么”。但这需要解说员花大量时间，对每一场表演、每一个动作都进行极其细致的标注，成本极高，几乎不可能大规模应用。
早期的弱监督方法： 就像只给了解说员一张节目单（图片级的标签），上面写着“今天有骑马、有杂耍、有喂鸟”。解说员知道今天有这些节目，但不知道具体是谁在演。为了找出细节，以前的 AI 会像笨拙的侦探一样：
1. 先把图片里所有的人和物都圈出来（比如圈出 10 个人，10 个物体）。
2. 然后疯狂地两两组合（10 个人 x 10 个物体 = 100 种可能）。
3. 把每一对都剪下来，单独拿给 AI 看，问：“这两者有关系吗？”
- 缺点： 这就像为了找一对情侣，把 100 个人都拉去相亲，效率极低（计算量大），而且经常把“正在看戏的路人”和“正在吃爆米花的观众”误判成一对（产生大量误报）。

🚀 RegFormer 的魔法：聪明的“直觉”与“聚光灯”

RegFormer 就像是一位拥有超强直觉和聚光灯的导演。它不需要把每一对都单独剪下来看，而是通过两个核心魔法，直接“看穿”图片：

1. 空间锚定（Spatial Grounding）：给 AI 装上“聚光灯”

以前的 AI 看图片是“雾里看花”，RegFormer 则会给 AI 装上聚光灯。

怎么做？ 当 AI 看到“骑马”这个概念时，它不会盲目地扫描全图，而是利用“聚光灯”直接聚焦在人最可能出现的区域和马最可能出现的区域。
比喻： 就像你在找“正在骑车的邮递员”，你的眼睛会本能地聚焦在“骑车的人”和“自行车”重叠的区域，而不是去管旁边正在散步的行人。这种**“空间锚定”**让 AI 直接学会了关注局部，而不是漫无目的地扫描。

2. 互动评分（Interactiveness Scoring）：学会说“不”

这是 RegFormer 最厉害的地方。以前的 AI 看到“人”和“马”在一起，就倾向于认为他们在互动。但 RegFormer 学会了一个新技能：判断“互动性”。

怎么做？ 它会问自己：“这两者真的在互动吗？还是只是碰巧站在一起？”
比喻： 想象你在一个拥挤的舞池里。
- 旧 AI： 只要看到两个人靠得近，就大喊“他们在跳舞！”（误报）。
- RegFormer： 它会先给每个人打一个**“互动分”。如果一个人只是站着看手机，另一个人只是路过，AI 会给它们打低分，直接“静音”**（抑制），告诉系统“别管他们，他们没在互动”。只有当分数很高时，才确认“他们在跳舞”。

🌟 它的两大绝招

一次训练，双重用途（Transferable）：
- 通常，AI 需要分别训练“识别图片里有什么”和“识别具体谁和谁在互动”两个模型。
- RegFormer 就像是一个万能瑞士军刀。它在训练时只看了“节目单”（图片级标签），学会了找规律。到了实际使用（推理）时，只要给它一个普通的物体检测器（告诉它人大概在哪），它就能直接把“找规律”的能力迁移到“找具体互动”上，不需要重新训练。这就像你学会了骑自行车，换辆自行车也能马上骑，不需要重新学。
极速且精准（Efficient & Accurate）：
- 因为它不需要把成千上万对人两两组合去测试，而是直接通过“聚光灯”和“互动分”进行推理，所以它的速度比以前的方法快得多（论文里说是快了 128 倍！）。
- 同时，因为它学会了过滤掉那些“假互动”，所以准确率非常高，甚至能媲美那些需要昂贵详细标注的“全监督”模型。

📝 总结

RegFormer 就像是一个聪明的导演：

它不需要把每个演员都单独拉出来排练（节省时间/计算资源）。
它懂得用聚光灯直接锁定关键区域（空间锚定）。
它懂得过滤掉那些只是路过、没有互动的演员（互动评分）。
它只需要看一遍“节目单”就能学会怎么指导演出，然后直接应用到具体的每一场表演中（无需额外训练即可迁移）。

这项技术让 AI 理解复杂场景变得更加高效、省钱且聪明，为未来大规模的场景理解（比如自动驾驶、智能监控）铺平了道路。

RegFormer 论文技术总结

1. 研究背景与问题 (Problem)

弱监督人机交互（HOI）检测旨在仅利用图像级别的标注（即图像中存在哪些“人 - 动作 - 物体”三元组，而无具体的边界框位置）来训练模型，从而实现可扩展的场景理解。然而，现有的弱监督方法面临以下核心挑战：

计算效率低下：传统方法通常依赖外部目标检测器生成大量的人 - 物候选对，然后对每一对进行推理。随着实例数量增加，候选对数量呈平方级增长（ $N_h \times N_o$ ），导致推理时间显著增加（如图 1-A 所示）。
误报率高（False Positives）：由于缺乏位置监督，模型难以区分图像中真正发生交互的实例对和非交互的随机组合。传统的“联合区域（Union Region）”裁剪策略往往包含无关背景，误导分类器。
泛化与迁移困难：现有方法通常将分类器与特定的检测器紧密耦合，更换检测器需要重新训练，且难以从图像级别的推理无缝迁移到实例级别的检测。

2. 方法论 (Methodology)

作者提出了 RegFormer (Relational Grounding Transformer)，这是一个轻量级且通用的交互识别模块，能够在单一框架内统一图像级别（HOI 分类）和实例级别（HOI 检测）的推理。

核心架构与流程

RegFormer 采用顺序推理框架（Sequential Framework），而非传统的并行查询所有三元组：

成对实例编码器 (Pairwise Instance Encoder)：
- 空间接地查询 (Spatially Grounded Query)：不同于仅使用文本嵌入初始化查询，RegFormer 利用Patch 级别的相似度来聚合空间特征。
- 具体过程：计算图像特征 Patch 与人类/物体文本嵌入的余弦相似度，生成 Patch 重要性分数（ $\alpha$ ）。利用这些分数加权聚合特征，生成具有空间位置信息的“人 - 物”对查询向量（ $q_{ho}$ ）。这使得模型能够隐式地学习交互的空间线索。
交互解码器 (Interaction Decoder)：
- 利用 Cross-Attention 机制，将空间接地的 $q_{ho}$ 与图像特征进行交互，预测特定人 - 物对的交互类别分数。
交互性感知学习 (Interactiveness-aware Learning)：
- 为了解决弱监督下模型对非交互区域过度响应的问题，引入了交互性评分（Interactiveness Score, $r_{ho}$ ）。
- 该评分作为门控机制（Gating Mechanism），通过加权 Patch 级别的交互性信号，抑制非交互实例的响应，增强模型对真实交互区域的关注。
- 损失函数采用 Focal Loss，将交互性评分作为缩放因子作用于交互分类分数。

从图像级到实例级的无缝迁移

RegFormer 的最大亮点在于其无需额外训练即可从图像级分类迁移到实例级检测：

推理阶段：当给定外部检测器预测的人/物边界框时，RegFormer 仅需引入区域感知掩码（Region-aware Mask）。
该掩码将 Patch 重要性分数和交互性评分限制在检测到的具体实例区域内。
这种设计使得模型能够直接利用检测器提供的实例信息，在保持图像级训练权重的情况下，直接输出精确的实例级交互检测结果。

3. 主要贡献 (Key Contributions)

统一框架 (Unified Framework)：提出了 RegFormer，首次在一个轻量级模块中统一了弱监督下的图像级 HOI 分类和实例级 HOI 检测，解决了传统方法效率低和泛化差的问题。
空间接地与交互性感知 (Spatial Grounding & Interactiveness)：
- 设计了空间接地查询，通过聚合空间特征增强语义对齐，使模型能捕捉局部交互线索。
- 提出了交互性评分机制，作为显式的门控信号，有效抑制非交互组合的误报，提升推理的判别力。
零样本迁移能力 (Zero-shot Transfer)：实现了从图像级推理到实例级检测的无缝迁移，无需针对检测任务进行额外训练，且能适配各种检测器（如 Faster R-CNN, DETR, H-DETR 等）。
卓越的性能：实验表明，仅使用图像级监督训练的 RegFormer，其性能不仅远超现有的弱监督方法，甚至在某些设置下可与全监督模型媲美。

4. 实验结果 (Results)

在 V-COCO 和 HICO-DET 两个基准数据集上进行了广泛实验：

效率提升：如图 1 所示，随着实例对数量增加，RegFormer 的推理时间几乎保持线性增长（仅增加约 128 倍于 ML-Decoder 的基准速度），而传统方法（如 ML-Decoder）随实例对数量增加而显著变慢。
HICO-DET 性能：
- 在弱监督设置下，RegFormer 使用 Faster R-CNN 和 DINO-B 骨干网络，在 Full 类别上达到了 33.33 mAP，相比之前的 SOTA 弱监督方法（Weakly HOI-CLIP 的 22.89 mAP）提升了 10+ mAP。
- 与全监督模型（如 HOICLIP, GEN-VLKT）相比，RegFormer 在 Rare（稀有类别）上表现尤为出色，甚至在某些配置下达到或接近全监督模型的性能（如使用 H-DETR 时达到 38.14 mAP）。
V-COCO 性能：在 V-COCO 数据集上，RegFormer 取得了 57.5 AProle2 的 SOTA 成绩，显著优于 OpenCat 和 Weakly HOI-CLIP。
零样本检测 (Zero-shot)：在未见过的组合（Unseen Compositions）测试中，RegFormer 展现出极强的泛化能力。在 RF-UC（稀有优先未见组合）设置下，相比 OpenCat 提升了 10.07 mAP，证明了其在弱监督下对未见交互的推理能力。
消融实验：验证了“空间接地查询（SG）”和“交互性评分（IA）”的互补性。两者结合带来了最大的性能增益（+12.52 mAP over ML-Decoder）。

5. 意义与价值 (Significance)

解决可扩展性瓶颈：RegFormer 通过消除对大量候选对进行重复前向传播的需求，解决了弱监督 HOI 检测中计算成本高昂的痛点，使其能够处理密集场景。
降低标注成本：证明了仅凭图像级标签即可训练出接近全监督性能的模型，极大地降低了 HOI 数据集的标注门槛，有利于大规模场景理解任务的落地。
通用性与灵活性：其“检测器无关（Detector-agnostic）”的设计允许模型灵活适配不同的目标检测器，避免了因更换检测器而重新训练分类器的繁琐过程。
技术启示：提出的“空间接地”和“交互性门控”机制为弱监督视觉任务中的位置推理和噪声抑制提供了新的思路，具有广泛的借鉴意义。

综上所述，RegFormer 通过创新的架构设计和训练策略，成功打破了弱监督 HOI 检测在效率和精度上的瓶颈，为构建高效、可扩展的场景理解系统提供了强有力的解决方案。