ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

技术摘要：ESTANet

问题陈述
本文旨在解决过程性视频中实时、在线错误检测的挑战。与处理整个视频的离线方法不同，在线系统必须在因果律约束下运行，仅使用过去和当前的帧，这是在辅助用户日常任务的可穿戴设备（如 Microsoft HoloLens、Apple Vision Pro）上进行实际部署的要求。该系统必须检测两种不同类型的错误：

1. 执行错误（Execution Errors）： 动作被中断、执行错误或出现了无关动作（例如，掉落刀具、误将蜂蜜加成了糖）。
2. 过程错误（Procedural Errors）： 序列中的偏差，例如遗漏、重复或错序步骤（例如，在插入横撑之前先拧紧桌腿）。

现有的在线方法存在局限性：它们通常只能检测到第一个错误，忽略了细微的执行错误，或者依赖于沉重的语言大模型（LLM），从而阻碍了实时性能，或者在训练期间需要经过错误和包含错误视频的标注。

方法论：ESTANet
作者提出了 ESTANet（误差敏感且时间变化的网络，Error-Sensitive and Temporally-vArying Network），这是一个轻量级框架，通过利用一小组动作检测器之间的预测不一致性来检测错误。其核心假设是：当发生错误时，具有不同敏感度和时间上下文的动作检测器会在预测上自然产生分歧，而在正确执行时则保持一致。

该框架由分为两类的四个检测器组成：

1. 标准型 vs. 误差敏感型检测器（捕捉执行错误）：

   • 标准检测器： 使用简单的架构，由单层门控循环单元（GRU）后接线性分类头组成。它们被训练以产生稳定的预测。
   • 误差敏感型检测器： 引入了**时间感知动态（TAD）**模块。TAD 模块生成用于对进入 GRU 前的帧特征进行仿射变换的动态权重和偏置。这些参数是依赖输入且具备时间感知能力的，使得检测器对分布外数据（即执行错误）高度敏感，从而导致其预测与标准检测器产生不一致。

2. 时间变化设计（捕捉过程错误）：

   • 系统使用不同的时间窗口大小训练检测器：一个小窗口 ($s$) 和一个大窗口 ($l$)。
   • 窗口选择策略： 作者提出了一种稳健且针对数据集的策略，而非穷举超参数搜索：
     • $s$ 设置为数据集中任何动作的平均最短持续时间，迫使检测器依赖局部上下文。
     • $l$ 的计算方式是覆盖约 $\theta$（设为 50%）的动作中，前序 $\beta$（设为 2）个完整动作的时间。
   • 这确保了当发生过程错误（如缺失步骤）时，依赖长程依赖的大窗口检测器会与依赖短程上下文的小窗口检测器产生不同的预测。

推理与决策逻辑
在推理过程中，系统因果地处理帧。它每帧生成四个动作预测：

• $y^{s-st}$ 和 $y^{s-lg}$：标准检测器（小窗口和大窗口）。
• $y^{e-st}$ 和 $y^{e-lg}$：误差敏感型检测器（小窗口和大窗口）。

系统构建四个比较对来检查一致性：

1. $(y^{s-st}, y^{e-st})$ 和 $(y^{s-lg}, y^{e-lg})$：通过比较标准型与误差敏感型预测来检测执行错误。
2. $(y^{s-st}, y^{s-lg})$ 和 $(y^{e-st}, y^{e-lg})$：通过比较不同时间窗口的预测来检测过程错误。

如果至少有三个比较对显示不匹配（多数投票制），则将该帧标记为错误（$z_t = 1$）。模型仅使用无错误视频进行训练，结合了交叉熵损失和用于确保时间一致性的平滑损失。

核心贡献

• 新颖视角： 本文将重点从设计复杂架构转向利用动作检测器的内在预测行为。它证明了简单检测器之间的一致性缺失是检测错误的强大信号。
• 轻量化架构： ESTANet 避免了使用 LLM 或复杂的图学习等沉重组件，仅使用 GRU 和轻量级的 TAD 模块，确保了适用于边缘设备的实时效率。
• 稳健的窗口选择策略： 本文引入了一种自动化、与数据集无关的方法来确定最优时间窗口大小（$s$ 和 $l$），消除了对耗时的启发式搜索的需求。
• 统一检测： 该框架在不需要在训练期间进行错误数据标注的情况下，同时解决了执行错误和过程错误的问题。

实验结果
作者在三个数据集上评估了 ESTANet：EgoPER（包含两种错误类型）、Assembly-101-O 以及 EPIC-Tent-O（侧重于过程错误）。

• EgoPER： ESTANet 实现了最先进的性能，F1@10 为 47.2，F1@25 为 37.8，F1@50 为 21.6，超越了 PREGO 和 DTGL 等基准模型。
• Assembly-101-O： 该方法达到了 59.6 的平均 F1 值，超过了 DTGL (53.5) 和 PREGO (32.5)。
• EPIC-Tent-O： ESTANet 达到了 70.2 的平均 F1 值，显著优于 DTGL (46.5) 和 PREGO (29.4)。
• 效率： 由于其轻量化设计，该模型保持了实时效率，避免了与基于 LLM 方法相关的延迟问题。

意义与主张
论文声称 ESTANet 通过利用动作检测器的内在属性而非增加架构复杂度，为在线错误检测提供了一个实用且强大的解决方案。作者强调，我们的方法符合现实世界的约束，即正常的（无错误）视频很丰富，但标注的错误数据却很稀缺。通过使用简单的 GRU 集成实现最先进的性能，这项工作表明，预测的不一致性是检测过程性任务偏差的一个基本且尚未被充分利用的信号。