🤖 AI

On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes

本文通过引入五个新的基准数据集，研究了遮挡对视频动作检测的影响，并证明了通过引入符号组件和特定训练方案增强后的模型，在处理静态和动态遮挡方面显著优于现有方法。

原作者： Rajat Modi, Vibhav Vineet, Yogesh Singh Rawat

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajat Modi, Vibhav Vineet, Yogesh Singh Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在电视上看一场足球赛，突然，一只巨大的、毛茸茸的狗直接跑到了屏幕前，挡住了你的视线，让你看不清前锋。如果你是人类，你仍然可以根据对比赛规则的了解来推测前锋的位置。但如果你问一台计算机去“看”这个动作，它往往会陷入恐慌并说：“我找不到这个球员！”

这正是这篇论文所研究的内容：当障碍物出现时，目前的视频检测 AI 表现到底有多糟糕。

核心问题：AI 极易分心

研究人员设置了一系列“玩具实验”来测试这些 AI 模型到底有多强。他们拍摄了人们做动作（如跳跃或奔跑）的视频，并在上面以数字方式粘贴了其他物体——比如公交车或猫。

结果令人警醒。当他们遮挡住动作执行者的仅仅一小部分（20%）时，AI 的性能就下降了 20% 到 50%。如果他们遮挡了整个背景，情况甚至更糟。这证明了即使是当今最聪明、最“尖端”的模型，在面对现实世界的遮挡时也并不鲁棒。它们并非天生强悍，只是没有经过处理遮挡情况的训练。

新的游乐场：五个新数据集

为了进行深入研究，团队不能仅仅使用旧视频。他们从头开始构建了五个新的基准数据集：

O-UCF & O-JHMDB： 这些像是“辅助轮”，通过以受控的方式添加静态（静止）或移动物体，来测试特定的遮挡程度。
OVIS-UCF & OVIS-JHMDB： 这些使用了“半写实”的移动物体，模拟现实世界中物体的实际运动方式。
Real-OUCF： 这是“最终 Boss”关卡。这些是来自 YouTube 的真实视频，在这些视频中，人们在混乱的现实场景中真实地互相遮挡。

出人意料的英雄：Transformer vs. CNNs

长期以来，AI 界一直认为，如果仅仅教模型学会忽略被遮挡的部分（通过使用“数据增强”——即通过大量被遮挡的图像进行训练），它就会变得强韧。论文指出，这并不是故事的全貌。

他们发现，Transformer（一种 AI 架构）天生比旧的 CNN 模型更擅长处理这种情况，即使这些 Transformer 在训练过程中从未见过任何被遮挡的图像！

代价： 这些 Transformer 只有在先在海量数据集上进行预训练后，才会变得超级鲁棒。如果从头开始训练一个 Transformer 而没有那个庞大的起步阶段，它的表现会很差。这就像一个学生需要读完一座图书馆的书籍才能解开谜题；他们并非天生就知道答案，但他们拥有能够快速学习的正确“大脑结构”。

秘密武器：胶囊（Capsules）与“共识岛屿”

研究人员不仅发现了问题，还研发了一套修复方案。他们将 Transformer 主干与一种称为**胶囊（Capsules）**的技术结合了起来。

把胶囊想象成一支专业的侦探小组。

在普通的 AI 中，如果一把椅子挡住了一个人，AI 会对什么是人、什么是椅子感到困惑。
在这个新模型中，“胶囊侦探”可以自发地判断出：“好吧，这一组像素是人，而那一组是椅子”，即使它们以前从未见过椅子遮挡人的情况。
论文指出，这些模型会形成**“共识岛屿”（Islands of Agreement）**。想象在一间嘈杂的房间里的一群朋友；即使他们听不清整个对话，他们也能对谁是谁达成共识。AI 的内部 Token（微小的数据片段）开始在关于动作执行者位置的讨论中达成一致，从而在遮挡带来的噪声中创造出一个稳定的“真相岛屿”。

获胜配方：Token 掩码（Token Masking）

为了让这些模型更加强韧，作者尝试了一种简单的技巧，叫做 Token 掩码。

类比： 想象你正在学习一首歌，但每次练习时，你都会随机遮住乐谱上的几个音符。你必须根据剩余的旋律来猜出缺失的音符。
结果： 通过在训练期间随机“抹黑”视频数据的某些部分（甚至不需要添加虚假物体），模型学会了更好地填补空白。

计分板：表现提升了多少？

数据本身说明了一切。这个新配方（Transformer + 胶囊 + Token 掩码）以巨大的优势击败了旧的冠军：

在合成数据集上，性能提升了 32.3% 和 32.7%。
在棘手的现实世界视频中，它依然成功地超越了现有方法 2.6%。

他们排除了哪些因素

值得注意的是，这篇论文明确指出了哪些做法无效或不是答案：

仅仅增加参数并不是灵丹妙药。 虽然更大的模型通常会有帮助，但一个具有正确架构的小型 Transformer 击败了规模大得多的 CNN。
静态训练是不够的。 仅在静态图像上训练的模型在遮挡物开始移动时会表现挣扎。论文显示，模型在处理动态遮挡（移动的遮挡物）时，表现明显逊于处理静态遮挡。
预训练对于 Transformer 来说不是可选的。 论文明确展示了，如果没有在大规模数据集上进行预训练，Transformer 会失去其优势。

底线结论

作者总结道，虽然我们还没有完美地“解决”遮挡问题（仍有差距需要弥补），但我们已经找到了一种更好的处理方式。通过使用经过预训练的 Transformer，加入“胶囊”层来帮助正确分组像素，并使用“猜缺失部分”的策略进行训练，我们可以构建出对现实世界的混乱情况具有更强韧性的视频检测器。

他们甚至发布了代码和数据集，以便任何人都可以尝试在此基础上进行开发，因为目标是确保当一只狗跑到行人面前时，自动驾驶汽车不会仅仅是死机——而是继续行驶。

技术摘要：论视频动作检测中的遮挡问题：基准数据集与训练方案

问题陈述
深度学习在视频动作检测领域取得了显著成功，但在应对现实世界遮挡方面的鲁棒性仍存在关键缺陷。例如，自动驾驶等应用要求即使在参与者（如行人）被部分遮挡时也能实现可靠的定位，然而现有的最先进（SOTA）模型在评估时所使用的测试集通常缺乏现实中的遮挡情况。本研究的初步实验表明，当引入遮挡物时，现有模型的性能会出现大幅下降（20–50%），这证实了现有方法在应对不同严重程度和类型的遮挡时缺乏内在的鲁棒性。此外，目前也缺乏用于系统性研究这些失效现象的标准基准。

方法论与基准构建
为了解决这一问题，作者引入了一项全面的基准研究，并设计了五个全新的数据集，用于评估时空视频动作检测在遮挡下的表现：

合成静态/动态数据集： O-UCF 和 O-JHMDB 通过将遮挡物（选自 Pascal-VOC）叠加到原始的 UCF24 和 JHMDB 视频上生成。这些数据集允许对遮挡严重程度（0–60% 面积覆盖率）和类型（静态 vs. 动态运动，如线性、圆形和缩放运动）进行受控操纵。
半现实数据集： OVIS-UCF 和 OVIS-JHMDB 利用源自 OVIS 数据集的具有现实运动轨迹的遮挡物，叠加在原始动作视频上。
真实世界数据集： Real-OUCF 由 1,743 个精心挑选的 YouTube 短片组成，其特征是参与者之间存在自然的相互遮挡，并经过人工精细化处理以确保精确的动作定位。

该研究评估了三个 SOTA 基线模型：MOC、YOWO 和 VideoCapsuleNet (VCAPS)，并在不同的骨干网络（如 CNN 类 ResNet/ResNext 和 Transformer 类 MViTv2）上进行了测试。主要评价指标是 0.5 IoU 下的 vMAP（视频平均精度），以及绝对（ $\delta_a$ ）和相对（ $\delta_r$ ）鲁棒性得分。

关键发现与分析
基准测试揭示了几个关键见解：

严重程度与位置： 当遮挡发生在参与者区域时，随着遮挡严重程度的增加，性能会下降；而当遮挡发生在背景时，增加严重程度对性能的影响微乎其微。
静态 vs. 动态： 模型在处理静态遮挡时的表现通常优于动态遮挡（即遮挡物和参与者都在运动时）。
架构与预训练： Transformer（特别是 MViTv2）的表现优于基于 CNN 的模型，即使 CNN 经过了以遮挡作为数据增强的训练。然而，这种优越性高度依赖于大规模预训练（如 Kinetics-400）；从头开始训练的 Transformer 表现较差。
参数量： 在同一模型族内，增加参数规模通常会提高鲁棒性，但高效的 Transformer 可以超越规模更大的 CNN。

提出的解决方案与训练方案
论文提出了特定的架构和训练策略来增强遮挡鲁棒性：

遮挡数据增强： 使用合成遮挡进行训练可以提高所有模型的鲁棒性，但当与 Transformer 骨干网络结合使用时，收益最为显著。
胶囊集成： 将胶囊层添加到 Transformer 骨干网络中（形成 VCAPS-Mvitv2）能够使网络将特定对象的像素绑定到特定的槽位（slots）中。定性分析显示，这些胶囊可以在没有显式监督的情况下，自发地将参与者与未见的遮挡物（如椅子、沙发）分离，从而有效地进行无监督的对象发现。
Token 掩码（Token Masking）： 受掩码图像建模的启发，作者建议在训练期间随机掩码输入 token。这迫使模型从部分信息中学习鲁棒的表示。该技术进一步提升了性能，使模型即使在遮挡下也能接近其在干净数据上的性能水平。
涌现的“共识岛屿”（Islands of Agreement）： 研究观察到，在没有实例级监督或对比目标的情况下，Transformer 层会自然地将像素分组为语义对象，而胶囊层则将这些对象分离为特定实例的槽位。这种涌现行为促进了实现鲁棒定位所需的“绑定”机制。

结果
所提出的 VCAPS-Mvitv2 模型通过结合遮挡增强和 token 掩码训练，在新的基准测试中达到了最先进的结果：

O-UCF： 比现有检测器提升了 32.3%。
O-JHMDB： 提升了 32.7%。
Real-OUCF： 提升了 2.6%。
干净基准测试： 该模型在标准干净数据集上也取得了高分（UCF-24 上为 83.1% vMAP，JHMDB-21 上为 92.8%），证明了鲁棒性的提升并未以牺牲干净数据的性能为代价。

意义与主张
本文声称提供了首个关于时空动作检测中遮挡问题的系统性基准研究。其意义在于：

揭示脆弱性： 正式确认了当前的 SOTA 模型在面对现实遮挡时并不具备鲁棒性，这是对于安全性至关重要的应用而言的一个关键缺陷。
建立新标准： 引入了五个多样化的数据集（O-UCF, O-JHMDB, OVIS-UCF, OVIS-JHMDB, Real-OUCF）以促进未来的研究。
架构洞察： 证明了将 Transformer 与符号组件（胶囊）以及简单的训练方案（token 掩码）相结合，可以诱导出优于仅依赖数据增强的模型的鲁棒性。
涌现属性： 强调了复杂的行为（如对象/遮挡物的分离）可以在没有显式语言或对比监督的情况下，在神经网络中自发产生，这为深度学习中视觉分组机制的功能提供了新的视角。

作者总结道，尽管他们的方法显著缩小了差距，但挑战依然存在，特别是在预测缺失区域（非模态分割/amodal segmentation）以及处理重叠物体固有的对称性问题方面。代码和数据集已发布，以鼓励该领域的进一步发展。