💻 computer science

Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning

该论文提出了一种通过成对亲和力学习（PALS）和关系感知匹配（RAM）机制，有效抑制弱监督视频场景图生成中非交互对象噪声并提升推理性能的新方法，在 Action Genome 数据集上实现了最先进的效果。

原作者： Minseok Kang, Minhyeok Lee, Minjung Kim, Jungho Lee, Donghyeong Kim, Sungmin Woo, Inseok Jeon, Sangyoun Lee

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Minseok Kang, Minhyeok Lee, Minjung Kim, Jungho Lee, Donghyeong Kim, Sungmin Woo, Inseok Jeon, Sangyoun Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲的是如何让电脑更聪明地看懂视频里的“人物关系”，而且不需要人类花大量时间去画框标注。

我们可以把这项技术想象成教一个刚入职的“视频观察员”如何写一份精准的“人物关系报告”。

1. 核心难题：观察员被“路人甲”淹没了

想象一下，你派一个观察员去拍一段视频，让他记录谁和谁在互动（比如“人拿着杯子”）。

传统做法（全监督）：你给观察员一张完美的地图，上面标好了每个人、每个杯子在哪里。观察员只需要照着地图写报告，非常准确。但这太贵了，因为你要给视频里的每一帧都画框，工作量巨大。
弱监督做法（本文背景）：为了省钱，你只告诉观察员：“这段视频里，有个人拿着杯子”，但你没告诉他具体是哪个杯子，也没告诉他人在哪。
问题所在：观察员只能靠自己的眼睛（现成的物体检测器）去视频里找。结果他找了一堆东西：人、杯子、桌子、椅子、远处的电视、墙上的画……
- 在视频里，“拿着杯子”的人可能只占所有“人”和“杯子”组合的很小一部分。
- 剩下的绝大多数组合（比如“人”和“远处的杯子”、“人”和“电视”）其实没有任何互动。
- 以前的弱监督方法，就像让观察员把找到的所有“人 + 物体”组合都当成“正在互动”来学习。结果，观察员被海量的“假互动”（噪音）淹没了，学歪了，最后写出的报告全是错的。

2. 本文的解决方案：给观察员装上“三件法宝”

作者提出了一个名为 PALS 的框架，给观察员配备了三个新技能，让他能过滤掉噪音，抓住重点。

法宝一：关系感知匹配 (RAM) —— “用语言去指路”

问题：视频里有三个杯子，观察员不知道哪个是“人手里拿着”的那个。以前的方法会盲目地把三个杯子都当成目标，导致标签贴错。
比喻：这就像你给观察员一张模糊的寻人启事，上面写着“找那个手里拿着杯子的杯子”。
做法：作者利用了一个强大的“图文理解模型”（像是一个懂语言又懂图的超级助手）。当看到“人拿着杯子”这个描述时，这个助手会去视频里仔细分辨，只把那个真正被拿着的杯子标记为“真目标”，而忽略旁边没被拿的杯子。
效果：给观察员提供的训练数据（标签）更干净、更准确了，就像把“寻人启事”从模糊变成了高清。

法宝二：成对亲和力学习 (PALS) —— “给每对组合打分”

问题：即使有了干净的标签，观察员在考试（推理）时，面对成千上万个“人 + 物体”的组合，还是分不清哪些是“真互动”，哪些是“瞎凑对”。
比喻：以前观察员只给“拿着杯子”这个动作打分。现在，我们教观察员给每一对人 + 物体的组合打一个“亲密分”（Affinity Score）。
- 如果一个人和一个杯子离得很近，且动作协调，亲密分就高（比如 0.9）。
- 如果一个人站在远处看着一个杯子，或者杯子在另一个房间，亲密分就低（比如 0.1）。
做法：模型专门学习判断“这两个东西是不是在互动”，而不是只学习“这是什么动作”。
效果：在生成最终报告时，观察员会优先把“亲密分”高的组合排到前面，自动把那些“虽然都在画面里但没关系”的组合（噪音）踢出去。

法宝三：成对亲和力调制 (PAM) —— “给大脑装个过滤器”

问题：即使最后排除了噪音，观察员在思考过程中（也就是模型内部分析时），还是会受到那些“假互动”的干扰。比如，他在分析“人拿着杯子”时，脑子里还在想“人看着电视”这个无关信息，导致思路混乱。
比喻：这就像在一个嘈杂的房间里开会。以前，每个人（每个物体组合）都在大声说话，干扰了真正在讨论“拿着杯子”的人。
做法：PAM 就像一个智能静音按钮。它根据刚才学到的“亲密分”，自动把那些“不亲密”的组合的声音关小，让“亲密”的组合之间能更专注地交流信息。
效果：观察员在思考时，能更专注于真正相关的线索，排除干扰，推理更准确。

3. 总结与成果

简单来说：
以前的弱监督方法像是在嘈杂的菜市场里教人认亲戚，人太多太乱，根本学不会。
这篇论文的方法是：

先清理现场（RAM）：用语言描述把真正相关的亲戚找出来，把路人甲请出去。
教人打分（PALS）：教观察员给每对亲戚的“亲密度”打分，只关注亲密度高的。
开会静音（PAM）：在思考时，自动屏蔽掉那些不相关的噪音，让重点更突出。

结果：
在著名的 Action Genome 数据集上，这个方法让弱监督（只给少量文字描述，不画框）的效果突飞猛进，甚至达到了全监督（画了所有框）效果的 88%~94%。这意味着我们以后可以用极低的成本，让 AI 看懂视频里复杂的人物关系，而且非常精准。

一句话总结：
这就好比给 AI 装上了一副“降噪耳机”和“聚光灯”，让它能在混乱的视频世界里，一眼看穿谁和谁才是真正在“谈恋爱”（互动），而不是在“擦肩而过”。

这是一篇关于**弱监督视频场景图生成（Weakly-Supervised Video Scene Graph Generation, WS-VSGG）**的学术论文总结。该论文提出了一种名为 PALS (Pair Affinity Learning and Scoring) 的新框架，旨在解决现有方法在缺乏边界框标注时，因依赖通用检测器而引入大量噪声对（非交互对象对）的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

任务定义：视频场景图生成（VSGG）旨在将视频内容解析为结构化的三元组 $\langle \text{主体}, \text{谓词}, \text{客体} \rangle$ ，捕捉实体间的时空交互。
核心痛点：
- 全监督（FS-VSGG）的瓶颈：需要每一帧都进行昂贵的边界框和关系三元组标注，难以扩展。
- 弱监督（WS-VSGG）的缺陷：现有方法（如 PLA）仅使用稀疏的时间标注（仅中间帧的未定位三元组，无边界框）。由于缺乏真值边界框，它们必须依赖**现成的通用检测器（Off-the-shelf detectors）**来生成物体提案。
- 分布偏移（Distribution Shift）：
  - 全监督检测器：经过微调，倾向于过滤掉非交互物体，生成的提案主要集中在与关系相关的物体上。
  - 通用检测器：无差别地检测所有可见物体，导致大量**非交互物体对（Non-interactive pairs）**涌入关系预测模型。
- 现有方法的不足：
  1. 训练 - 测试分布不匹配：模型仅在训练时见过交互对（匹配对），但在推理时需要处理充满非交互对的检测空间。
  2. 伪标签噪声：现有的基于类别的匹配（Class-level Matching）在存在多个同类物体时（例如图中有两个人拿着两个杯子），会错误地将非交互的同类物体标记为正样本，污染了监督信号。
  3. 上下文推理干扰：非交互对会稀释注意力机制中的上下文信息，干扰模型对真实交互的推理。

2. 方法论 (Methodology)

作者提出了一个统一的框架，包含三个核心组件：RAM、PALS 和 PAM。

2.1 关系感知匹配 (Relation-Aware Matching, RAM)

目的：解决类别级别匹配带来的伪标签噪声问题，特别是在同一帧中存在多个同类物体时。
机制：
- 利用视觉 - 语言（Vision-Language, VL）模型（如 GroundingDINO）进行跨模态定位。
- 将三元组转化为关系感知的文本查询（例如：“被那个人拿着的杯子”），而非仅仅查询类别（“杯子”）。
- 利用 VL 模型的交叉注意力图（Cross-attention map）来定位最符合描述的具体物体实例。
- 可靠性估计：通过计算注意力图的集中度（Concentration）和密度（Density）来评估定位的可靠性。如果可靠性高，则使用基于 VL 的匹配；否则回退到类别匹配。
作用：生成更纯净的“匹配/未匹配”划分，为后续学习提供更准确的监督信号。

2.2 成对亲和力学习与评分 (Pair Affinity Learning and Scoring, PALS)

目的：显式地学习并区分“交互对”与“非交互对”，解决训练与推理分布不一致的问题。
机制：
- 双路嵌入：在关系预测模型中引入两个并行的嵌入向量：
  1. 关系嵌入 (Relation Embedding)：用于预测具体的谓词（如 holding, sitting on）。
  2. 成对亲和力嵌入 (Pair Affinity Embedding)：用于预测该物体对是否参与任何有意义的交互（二分类任务）。
- 联合训练：利用 RAM 生成的匹配对（正样本）和未匹配对（负样本）共同训练。未匹配对不再被丢弃，而是作为负样本用于学习亲和力。
- 推理重排序：在推理阶段，最终的三元组得分不仅包含检测置信度和谓词分类分数，还乘以成对亲和力分数 (Pair Affinity Score)。这能有效抑制那些检测置信度高但实际无交互的背景物体。

2.3 成对亲和力调制 (Pair Affinity Modulation, PAM)

目的：解决非交互对在模型内部上下文推理（Contextual Reasoning）中造成的干扰。
机制：
- 现代 VSGG 架构通常使用时空注意力层（Spatial/Temporal Attention）来聚合上下文。
- PAM 利用学习到的亲和力嵌入构建亲和力矩阵，作为注意力机制的门控（Gating）机制。
- 通过元素级乘法（Element-wise multiplication）调制注意力 logits，使得交互对能够优先相互关注，而非交互对的注意力权重被抑制。
- 这是一个即插即用（Plug-and-play）模块，兼容现有的基于注意力的架构（如 STTran, DSG-DETR）。

3. 关键贡献 (Key Contributions)

揭示了分布偏移问题：首次明确指出 WS-VSGG 中通用检测器引入的非交互对噪声是导致性能瓶颈的根本原因，并指出传统两阶段流程忽略了这一差异。
提出了 PALS 框架：
- 引入成对亲和力概念，显式建模物体对之间的交互可能性。
- 通过PALS在推理阶段重排序，通过PAM在训练/推理过程中调制注意力，从输出层和内部表征层双重抑制噪声。
设计了 RAM 模块：利用视觉 - 语言模型解决同类多实例下的伪标签歧义问题，显著提升了训练数据的纯净度。
SOTA 性能：在 Action Genome 数据集上，该方法在多种基线和骨干网络上均取得了显著提升，大幅缩小了弱监督与全监督之间的性能差距。

4. 实验结果 (Results)

数据集：Action Genome (AG)。
协议：SGDet（无真值边界框，联合检测物体和预测关系）。
主要指标：Recall@K (R@10, R@20, R@50)。
性能提升：
- 在 STTran 骨干网络上，结合 PLA 基线，With Constraint 设置下 R@10 从 15.39 提升至 22.24 (+6.85)。
- No Constraint 设置下 R@10 从 15.83 提升至 23.20 (+7.37)。
- 该方法达到了全监督性能上限的 88.3% (With Constraint) 和 94.3% (No Constraint)，仅使用了单帧未定位的弱监督标注。
消融实验：
- RAM：单独使用提升有限，但显著增强了 PALS 的效果（证明其核心价值在于提供纯净监督）。
- PALS：单独使用带来最大增益，证明区分交互/非交互对是 WS-VSGG 的关键瓶颈。
- PAM：进一步提升了性能，特别是在高 K 值（R@50）下，表明其有效抑制了噪声上下文。
计算开销：PALS 和 PAM 仅增加了约 1.27% 的参数，推理延迟几乎无增加（<0.05%）。

5. 意义与影响 (Significance)

降低标注成本：该方法证明了仅通过稀疏的、无边界框的标注，结合先进的推理机制，即可实现接近全监督的视频场景图生成性能，极大地降低了数据标注门槛。
通用性：提出的“成对亲和力”机制不仅适用于 VSGG，其核心思想（显式建模检测对象间的交互性以过滤噪声）可推广至其他弱监督视觉任务。
架构改进：PAM 模块为现有的注意力机制提供了一种新的噪声抑制思路，即利用学习到的“交互可能性”来动态调整上下文聚合的权重，这对处理包含大量背景噪声的视觉任务具有普适价值。

总结：这篇论文通过深入分析弱监督视频场景图生成中的“检测分布偏移”问题，提出了一套从数据清洗（RAM）、**模型学习（PALS）到推理优化（PAM）**的完整解决方案，显著提升了弱监督场景下的性能，是视频理解领域的重要进展。