Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

这篇论文题为 《Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition》（为什么我打不开我的抽屉？缓解零样本组合动作识别中的物体驱动捷径），由 Geo Ahn 等人提出。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

零样本组合动作识别 (ZS-CAR) 的目标是让模型识别训练集中未出现过的“动词 - 名词”组合（例如：训练了“打开门”和“关闭抽屉”，测试时识别“打开抽屉”）。

尽管现有的 ZS-CAR 方法取得了一定进展，但论文指出存在一个关键的失败模式：模型倾向于通过物体驱动捷径 (Object-driven Shortcuts) 来预测动词，而不是真正理解动作的时间动态。

导致这一问题的两个核心原因：

1. 稀疏且偏斜的组合监督 (Sparse and Skewed Supervision)： 训练数据中动词和名词的组合非常有限，且高度集中在某些高频共现对上（例如，“打开”常与“抽屉”共现）。这导致模型学到了强共现先验（Co-occurrence Priors）。
2. 动词与名词的学习难度不对称 (Asymmetric Learning Difficulty)： 物体（名词）通常可以通过单帧图像轻松识别，而动词（动作）需要多帧的时间推理。由于模型倾向于利用更容易学习的线索，它们会过度依赖物体特征来预测动词，从而忽略了时间证据。

后果： 模型在未见过的组合上泛化能力差，经常将相反的动作（如“打开”vs“关闭”）混淆，仅仅因为物体是相同的。

2. 诊断与分析 (Diagnosis)

为了量化这一问题，作者提出了两个诊断指标：

• 错误可见预测率 (False Seen Prediction, FSP)： 衡量模型将未见组合错误预测为训练集中已见组合的比例。
• 错误共现预测率 (False Co-occurrence Prediction, FCP)： 衡量模型将未见组合错误预测为训练集中高频共现组合的比例。

实验发现：

• 即使使用强大的视频预训练骨干网络（如 InternVideo2），现有 SOTA 模型（如 C2C）在未见组合上的 FSP/FCP 依然很高。
• 模型在未见组合上的表现往往依赖于物体识别的准确性，而动词识别能力极弱（甚至低于随机猜测）。
• 当输入视频的时间顺序被打乱（Shuffled）时，现有模型的性能下降不明显，证明它们并未真正学习时间动态，而是依赖静态物体线索。

3. 方法论：RCORE (Methodology)

为了解决上述问题，作者提出了 RCORE (Robust COmpositional REpresentations) 框架，包含两个核心组件：

(1) 共现先验正则化 (Co-occurrence Prior Regularization, CPR)

旨在缓解数据稀疏和共现偏斜带来的捷径学习。

• 合成组合监督： 通过混合不同视频中的静态物体区域（保留动作区域），合成训练集中原本不存在的“动词 - 物体”组合，为未见组合提供显式监督。
• 硬负样本正则化： 将训练集中高频共现的已知组合视为“硬负样本 (Hard Negatives)"。通过边界损失（Margin-based loss），强制模型对合成未见组合的得分高于这些高频已知组合，从而抑制模型对高频先验的依赖。
• 自适应标签空间扩展： 在训练过程中动态扩展标签空间，仅对当前批次中合成的新组合和已知组合进行优化，避免全空间优化带来的不稳定。

(2) 组合时序顺序正则化 (Temporal Order Regularization for Composition, TORC)

旨在强制模型学习时间感知的动词表示，打破对静态物体线索的依赖。

• 时序反转区分： 计算原始视频特征与时间反转视频特征之间的余弦相似度，并最小化该相似度。如果模型真正学习了动作，反转后的动作（如“打开”变“关闭”）应具有显著不同的特征表示。
• 时序打乱熵正则化： 对视频帧进行随机打乱，并计算动词预测的熵。如果模型依赖静态线索，打乱后预测依然自信（低熵）；TORC 通过最大化熵，惩罚模型在时间结构被破坏时仍做出确定性预测的行为，迫使模型依赖时间证据。

总损失函数：
$$L_{total} = \alpha L_{com} + \beta L_{comp} + \gamma L_{TORC} + \delta L_{CPR}$$

4. 实验结果 (Results)

作者在 Sth-com (基于 Something-Something V2) 和 EK100-com (基于 EPIC-KITCHENS-100 构建的新基准) 两个数据集上进行了评估。

• 评估协议： 采用更严格的开放世界 (Open-world) 评估协议，即推理时覆盖所有可能的动词 - 物体组合，且不利用测试集标签进行偏差校准，以反映真实泛化能力。
• 性能提升：
  • 在 Sth-com 上，RCORE 相比 SOTA 基线 C2C，在未见组合的准确率上提升了约 3.8% - 4.5%，且显著缩小了“已见 - 未见”的准确率差距。
  • 在 EK100-com（组合稀疏性更严重）上，提升更为显著，未见组合准确率提升了 6.9% - 7.7%。
  • 组合间隙 (Compositional Gap, $\Delta_{CG}$)：RCORE 在未见组合上实现了正的组合间隙，表明模型学会了真正的组合推理，而基线模型通常为负值。
• 诊断指标改善： RCORE 显著降低了 FSP 和 FCP，证明其减少了对共现先验的依赖。
• 时序敏感性： 在时间打乱输入测试中，RCORE 的性能下降幅度远大于基线，证明其动词表示确实基于时间动态而非静态线索。

5. 主要贡献 (Key Contributions)

1. 问题诊断： 首次系统性地揭示了 ZS-CAR 中“物体驱动捷径”是阻碍泛化的核心原因，并指出了“共现偏斜”和“学习难度不对称”是根本诱因。提出了 FSP/FCP 等诊断指标。
2. RCORE 框架： 提出了一种诊断驱动的框架，通过 CPR（合成监督 + 硬负样本正则）和 TORC（时序敏感性正则）有效缓解了捷径学习。
3. 新基准与评估： 构建了 EK100-com 数据集，并倡导使用无偏差的开放世界评估协议，更真实地反映模型在现实场景中的泛化能力。
4. 广泛有效性： 实验证明该方法在不同骨干网络（CLIP, InternVideo2）和数据集上均有效，且无需复杂的测试集校准。

6. 意义与影响 (Significance)

• 理论意义： 深入理解了视频理解中捷径学习的机制，特别是动词与名词在组合学习中的不对称性，为未来的组合泛化研究提供了新的视角。
• 实际应用： 提出的方法使模型能够更可靠地识别未见过的动作组合，对于家庭机器人、辅助系统等需要理解复杂交互动作的实际应用场景至关重要。
• 方法论启示： 展示了通过合成数据和时序正则化来对抗数据偏斜和捷径学习的可行性，为其他组合任务（如图像 CZSL）提供了借鉴。

简而言之，这篇论文通过诊断发现现有模型“偷懒”地靠猜物体来识别动作，并设计了一套机制强迫模型“认真”地观察动作的时间过程，从而显著提升了模型在未见场景下的理解能力。