💻 computer science

Learning to Deny: Action Denial in Multimodal Large Language Models

本文介绍了 UCF101-AD，这是一个揭示了最先进的多模态大语言模型尽管拥有强大的上下文线索却仍难以拒绝动作行为的基准测试，并证明了引入因果推理可以显著提高它们验证动作是否真实发生的能力。

原作者： Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：只会说“是”的视频侦探

想象一下，你雇佣了一名视频侦探来监视监控录像。他们的任务是告诉你是否发生了特定的事件，比如“有人正在偷自行车”。

在过去，这些 AI 侦探在识别事件正在发生时表现得非常出色。如果他们看到自行车、人和手抓向车把的动作，他们会自信地断定：“是的，正在偷车！”

但这里有一个缺陷： 这些侦探非常不擅长说“不”。

如果视频显示一个人站在自行车旁边，手扶着车把，但只是站着而已，并没有真的去偷，AI 仍然会说：“是的，正在偷车！”它看到了自行车和人，就直接假设了最坏的情况。它太渴望认同线索了，以至于忽略了最重要的部分：实际发生的动作。

论文将这种现象称为**“肯定偏差”（Affirmative Bias）**，或者说是一个“唯唯诺诺的人（Yes-Man）”。这些模型太擅长识别模式了，以至于即使动作并未发生，它们也会产生幻觉，认为动作正在进行。

新的测试：UCF101-AD（“陷阱”数据集）

为了证明这个问题确实存在，研究人员创建了一个名为 UCF101-AD 的新测试。

你可以把这个测试看作是一场针对 AI 的“陷阱题”考试。

设定： 他们选取一段标准视频（比如有人在打篮球），并创造出一个“负面”版本。
陷阱： 在负面版本中，球场还在，球还在，球员也在，他们也在运球……但从来没有人完成扣篮。
问题： AI 被问到：“是否有人正在扣篮？”

结果显示：

当扣篮真的发生时，AI 的正确率超过 90%。
当扣篮没有发生（但其他一切看起来都一样）时，AI 表现得很糟糕，出错率超过 50%。它会自信地回答：“是的，正在扣篮！”尽管球从未离开过球员的手。

这证明了 AI 观察的是背景（球场、球），而不是动作（跳跃和扣篮）。

解决方案：CausalAct（“逻辑清单”）

研究人员意识到，AI 需要停止瞎猜，开始检查一个逻辑清单。他们引入了一种名为 CausalAct 的方法。

想象一下，AI 是一位试图制作蛋糕的厨师。

旧方法（走捷径）： 厨师看到台面上放着面粉和鸡蛋，就立刻说：“我正在烤蛋糕！”即便烤箱还是冷的，食材也只是静静地摆在那里。
新方法（CausalAct）： 厨师被迫遵循一个“食谱图”。他们必须检查：
1. 食材在不在？（在）
2. 它们是否正在被搅拌？（在）
3. 面糊真的进烤箱了吗？（不在） $\rightarrow$ 停止。 不要说“正在烘焙”。

研究人员将这个“食谱”转化为了一个因果图（Causal Graph）。他们教会 AI 将视频分解为以下步骤：

上下文（Context）： 场景中有谁、有什么物体？
交互（Interaction）： 他们是否正在接触或使用这些物体？
运动（Motion）： 是否真的发生了位移/动作？
动作（Action）： 只有当步骤 1、2、3 完全吻合时，才判定该动作正在发生。

效果如何？

有效，但也有个前提。

仅仅是礼貌地询问（零样本学习/Zero-Shot）： 当他们只是简单地告诉大型 AI 模型，“请检查你的逻辑图”时，那些具备强大语言能力的较大模型在学会说“不”方面表现得更好。
教授这项技能（微调/Fine-tuning）： 对于较小的模型，他们必须通过“逻辑图谜题”来实际训练它们。他们没有给模型看视频答案，而是教它们如何阅读逻辑图。一旦学会了阅读地图，它们在拒绝那些并未发生的动作时表现得好多了。

“思考”的转折

论文还测试了“思考型模型”（即在给出答案前会进行推理过程的 AI）。令人惊讶的是，这些模型往往表现得更差。

为什么？因为当它们尝试“思考”时，会被背景线索分散注意力。它们会说：“我看到了篮球，我看到了篮筐，所以某人一定正在扣篮”，然后自信地写下一大段话来解释为什么它是对的，即便根本没人扣篮。它们太擅长解释一件事情为什么可能发生，以至于忘记了检查这件事是否真的发生了。

总结

这篇论文表明，目前的 AI 视频观察者擅长发现“存在的东西”，但不擅长意识到“不存在的东西”。它们太有礼貌了，以至于很难说出“不”。通过教它们遵循严格的“因果关系”清单（CausalAct），我们可以帮助它们学会一项艰深的技能——否定（Denial）：即意识到仅仅因为场景看起来对了，并不代表动作就在发生。

技术摘要：学习拒绝：多模态大语言模型中的动作拒绝

问题定义
尽管视频理解领域取得了飞速进展，但多模态大语言模型（MLLMs）仍存在一个关键的盲点：当存在强烈的上下文线索但缺乏定义的运动时，它们无法可靠地拒绝（否定）一个动作。目前的模型表现出一种“顺从性”或肯定偏见，即仅根据相关物体、人物或背景的存在，就倾向于预测某个动作正在发生，即使所需的特定时间动态特征并不存在。现有的基准测试（如 Kinetics、UCF101）主要由正向示例组成，这强化了模型在上下文与动作之间的伪相关性，而非教会模型验证因果运动。因此，模型无法区分一个场景是“动作可能发生”还是“动作正在发生”。

方法论
作者提出了一个包含新基准测试和因果推理框架的两阶段方法：

UCF101-ActionDenial (UCF101-AD) 基准测试：
- 构建： 一个由 11,283 个视频组成的数据集，源自 UCF101 类别，包含配对的“动作存在”（正向）和“动作拒绝”（负向）片段。
- 负向设计： 负向片段保留了目标动作的典型上下文（人物、物体、位置），但明确排除了定义的运动。它们分为两类：
  - 类型 1（仅上下文）： 显著物体和环境存在，但没有交互发生（例如，一个人在钢琴旁但并未弹奏）。
  - 类型 2（相同上下文，不同运动）： 设置和物体存在，但行为者执行了另一种合理的动作（例如，在扣篮之前先进行运球）。
- 评估协议： 模型通过多项选择题（MCQ）设置进行测试，模型必须从包括目标动作、干扰项以及“无（None）”选项在内的选项中进行选择。
CausalAct 框架：
- 因果图公式化： 作者将动作识别建模为一个有向无环图（DAG），其中动作（ $A$ ）是因果链的结果：上下文（人物 $P$ 、物体 $O$ 、位置 $L$ ） $\to$ 关系（空间 $S$ 、交互 $I$ ） $\to$ 运动（ $M$ ） $\to$ 动作（ $A$ ）。
- 提示词工程 (CausalAct-0)： 该图结构被实例化为自然语言提示词，引导模型在确认动作之前，验证整个因果链（特别是运动 $M$ 的存在）。
- 微调： 为了解决模型无法遵循提示词的情况，作者引入了辅助微调任务。模型在基于图结构的视觉问答（VQA）任务上进行训练（探测节点身份、边缘关系和因果路径）。至关重要的是，这些任务不暴露地面真值（ground-truth）动作标签，以防止标签泄露，从而迫使模型学习因果推理的结构。

核心结果

基准失败： 对 20 个最先进的 MLLM（包括 Ovis、Intern、Qwen、VideoLLaMA 和 GPT-4o mini）的评估揭示了严重的性能差距。虽然模型在标准“动作存在”片段上实现了高准确率（>85-95%），但在“动作拒绝”片段上的表现却大幅下降，大多数模型的得分低于 50%（通常在 20-35% 之间）。这表明模型严重依赖上下文捷径，而非运动验证。
人类 vs. 模型： 人类评估者在拒绝任务中达到了 86.6% 的准确率，证实了该数据集是可解的，且失败现象是特定于当前模型架构的。
偏差相关性： 研究发现，“捷径学习”（无法拒绝）与“谄媚性”（同意前提）之间存在正相关。在 MCQ 中错误选择干扰动作的模型，也更有可能在关于动作存在的二元问题中错误回答“是”。
推理模型： 与直觉相反，“思考型”模型（具有显式推理步骤的模型）在此任务上的表现往往比标准模型更差，因为它们的推理链倾向于过度关注视觉上下文，并产生关于动作存在的幻觉，而非证明其不存在。
CausalAct 的效用：
- 零样本（Zero-Shot）： 较强的语言骨干网络（如 Ovis2.5-9B、Qwen2.5-VL-7B）在 CausalAct 提示引导下显示出改进的拒绝准确率，尽管较弱的模型可能会出现性能下降。
- 微调： 在基于图的 VQA 任务上对较小模型进行微调，显著提高了动作拒绝的准确率，使行为从上下文捷径转向验证因果链。
- 泛化能力： CausalAct-0 方法可迁移至外部数据集（K400、HMDB51、SSv2、Diving48），在不同分布下均提升了拒绝准确率。
- 消融实验： 微调后如果对因果图结构进行剪枝或随机化，性能会下降，这证实了模型学习到了利用特定的因果依赖，而非仅仅遵循任意文本模式。此外，在微调期间更新视觉编码器是必不可少的；冻结编码器会导致显著的性能退化。

意义与主张
本文声称提供了对 MLLM 中“动作拒绝”能力的首次系统性评估，揭示了一个根本性的局限性，即模型将上下文等同于动作发生。作者认为，鲁棒的视频理解需要具备对运动缺失进行因果推理的能力，而不仅仅是验证其存在。

这项工作的意义在于：

诊断： 识别出当前的 MLLM 缺乏验证定义运动的机制，导致在监控和自动驾驶系统等关键应用中出现误报。
基准测试： 引入 UCF101-AD 作为诊断和改进因果推理的必要工具，超越了标准的正向动作识别。
方法论洞察： 证明了“拒绝”是一种可学习的推理技能。通过通过因果图构建场景理解，并训练模型验证前置条件（交互和运动），可以减轻肯定偏见，并在不依赖训练期间负向动作标签的情况下减少误报。

作者保持了审慎的态度，指出虽然 CausalAct 提升了性能，但并未完全解决问题，且目前的“思考型”模型在处理负向约束时仍然面临困难。这项工作为推进多模态系统的因果推理奠定了基础。