💻 computer science

Action-Guided Attention for Video Action Anticipation

本文提出了行动引导注意力（AGA），这是一种新颖的注意力机制，它利用预测的行动序列来指导潜在意图的建模并提升视频动作预测中的泛化能力，其在 EPIC-Kitchens-100 基准测试上的卓越性能以及提供可解释的行动依赖洞察的能力已证明了这一点。

原作者： Tsung-Ming Tai, Sofia Casarin, Andrea Pilzer, Werner Nutt, Oswald Lanz

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tsung-Ming Tai, Sofia Casarin, Andrea Pilzer, Werner Nutt, Oswald Lanz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在观看一档烹饪节目，但每次你只能看到视频片段的前几秒，随后屏幕便陷入黑暗。你的任务是猜测厨师接下来会做什么：他们会切洋葱吗？会倒牛奶吗？还是会打翻平底锅？

这就是视频动作预测所面临的挑战。其难点在于，过去的帧（即你所看到的内容）往往具有歧义。仅仅因为厨师手里拿着一把刀，并不意味着他们即将切菜；他们可能正准备打开一个抽屉。

当前试图解决这一问题的 AI 模型，就像那些过于关注细节的学生。他们死死盯着厨师手的像素或刀的纹理，却忽略了大局。他们死记硬背训练视频中的特定视觉模式，这意味着当他们看到新的厨师或不同的厨房时，就会感到困惑。他们发生了“过拟合”，即对具体示例学习得过于透彻，却未能实现泛化。

本文的作者提出了一种名为**动作引导注意力（Action-Guided Attention, AGA）**的新解决方案。以下是其工作原理，通过简单的类比来说明：

1. “讲故事的人”与“像素窥探者”

大多数 AI 模型逐帧查看视频，试图仅根据像素的外观来猜测下一步动作。

AGA 则不同。 它不只是查看像素，而是向 AI 提问：“基于我们目前所见，你认为正在发生什么？”

AI 会对当前动作做出“最佳猜测”（例如，“厨师正拿着一把刀”）。随后，它利用这个猜测作为指引，回过头去审视过去。

类比： 想象你试图预测一部悬疑小说的结局。与其死盯着最后一页的字体，不如问自己：“如果侦探此刻正拿着一把枪，那么过去的哪些事件是合乎逻辑的？”你利用故事（即动作）来决定过去的章节（即视频历史）中哪些部分是重要的。

2. “手电筒”（动作引导注意力）

在这个系统中，AI 之前的猜测就像一盏手电筒。

如果 AI 猜测厨师正在“打开橱柜”，这盏手电筒就会明亮地照亮过去打开橱柜的时刻，而忽略打开冰箱的时刻。
它利用这些“动作猜测”来过滤视频历史。它告诉模型：“不要去看杂乱的背景杂物；要看厨师抓住橱柜把手的那些特定时刻。”

这防止了 AI 被视觉噪声（例如背景中走过的一只猫）分散注意力，并迫使其专注于事件的逻辑序列。

3. “智能混音器”（自适应门控）

有时，过去非常重要；有时，此刻正在发生的事情才是最重要的。

类比： 想象一位 DJ 正在混音两首歌曲。其中一首曲目是“历史”（之前发生的事情），另一首是“实时直播”（正在发生的事情）。
AGA 拥有一个智能混音器（称为自适应门控），它会自动决定将每首曲目的音量调至多大。
- 如果厨师正在进行缓慢、稳定的动作，混音器就会调大历史曲目的音量。
- 如果厨师突然打翻了平底锅，混音器就会瞬间调大实时直播曲目的音量。
这确保了 AI 既不会陷入过去，也不会忽视当下。

4. “时间机器”（训练后分析）

本文最酷的功能之一是模型具有“透明性”。因为 AI 利用其自身的猜测来引导其注意力，研究人员可以在训练完成后向它提问。

前向分析： “嘿，AI，你预测厨师会‘关上冰箱’。为了做出这个决定，你查看了过去的哪些时刻？”
- 结果： 模型可能会回答：“我查看了厨师取出食物的那个时刻。”
后向分析（反事实推理）： 这就像一台“如果……会怎样”的机器。研究人员问道：“如果厨师原本打算‘拿起平底锅’而不是‘关上冰箱’，那么过去必须呈现什么样的样子，你才能确信？”
- 结果： 模型可能会意识到：“啊，如果厨师之前拿起了锅铲，我就会以很高的置信度预测‘拿起平底锅’。”

这证明了该模型并非在随机猜测；它已经学会了动作之间的逻辑联系（例如，“拿起锅铲”通常会导致“拿起平底锅”）。

结果

作者在EPIC-Kitchens-100数据集上测试了该方法，这是一个包含大量第一人称视角烹饪视频的巨大集合。

结果： AGA 的表现优于先前的方法，尤其是在它从未见过的视频上。
原因： 因为它不仅仅记住了厨房的视觉外观；它学会了烹饪动作的逻辑。它具有良好的泛化能力，这意味着它能够在拥有新厨师的新厨房中预测未来的动作，而不仅仅是重复它在训练数据中看到的内容。

简而言之，AGA教导 AI 停止死盯着像素，转而思考故事，利用其自身的预测来引导其注意力，聚焦于过去最相关的部分。

技术摘要：动作引导注意力用于视频动作预测

问题陈述

视频动作预测是计算机视觉中一项具有挑战性的任务，要求仅基于已观测的视频帧来预测未来的动作。与动作识别不同（其标注与已观测帧同步），预测必须从部分且往往模糊的视觉证据中推断潜在的意图。核心难点在于未来结果固有的不确定性；相同的过去观测可能导致多种可能的未来。

现有的基于 Transformer 的方法通常依赖于像素级 Token 表示的点积自注意力。尽管这些方法在动作识别中有效，但它们往往缺乏预测所需的语义高层信息。因此，它们倾向于过拟合过去帧中存在的显式视觉线索，无法捕捉潜在意图，并导致对未见样本的泛化能力下降。仅依赖视觉模式容易被视觉杂乱误导，特别是在未来具有非确定性的情况下。

方法论

作者提出了动作引导注意力（Action-Guided Attention, AGA），这是一种新颖的注意力机制，显式利用预测的动作序列来指导视频序列的建模。AGA 不使用像素级特征作为注意力查询和键，而是利用高层语义动作预测。

核心架构

该模型包含两个主要模块：

动作引导注意力（AGA）：
- 输入： 该机制将从骨干网络（如 TSN 或 Swin-B）提取的帧嵌入（ $e_t$ ）作为值（Values, V）。
- 键与查询： 与标准自注意力不同，键（Keys, K） 源自过去动作预测序列（ $\hat{y}_{t-S:t-1}$ ），代表过去事件的语义标签。查询（Query, Q） 则利用过去动作预测的指数移动平均（EMA, $\bar{y}_t$ ）构建，使模型能够纳入更长的时间依赖关系。
- 机制： 注意力权重通过基于动作的查询与键之间的点积相关性计算得出。这使得模型能够根据即将发生的活动而非原始视觉相似性来聚合相关的过去时刻。
- 队列： 一个大小为 $S$ 的先进先出（FIFO）队列存储帧特征和预测，以定义时间窗口。
自适应门控：
- 注意力模块的输出（ $\tilde{h}_t$ ），代表聚合的历史上下文，使用可学习的门控向量（ $g_t$ ）与当前帧嵌入（ $e_t$ ）融合。
- 门控值通过对处理历史证据与当前证据拼接的多层感知机（MLP）应用 Sigmoid 函数计算得出。
- 最终表示为 $o_t = g_t \odot \tilde{h}_t + (1 - g_t) \odot e_t$ 。这使得模型能够根据特定的时间步，动态平衡对历史上下文与当前视觉证据的依赖。

训练后分析能力

AGA 的一个独特之处在于，由于其在注意力机制中显式使用了动作概率，因此能够促进训练后分析：

前向分析： 确定模型认为哪些过去的动作与特定的当前查询相关。通过计算特定动作查询与过去动作键之间的注意力权重，研究人员可以可视化模型优先关注哪些历史事件。
后向分析： 一种反事实方法，提出“如果下一个动作是 $a$ ，过去预测中的哪些变化会使模型赋予 $a$ 高概率？”通过优化过去预测以最小化与目标动作的交叉熵，该方法揭示了模型内部化的潜在知识和替代推理路径。

主要贡献

语义注意力引导： 引入 AGA，用动作预测替代像素级查询/键，有效地建模了未来动作对先前预测动作的依赖关系。
缓解过拟合： 通过关注高层语义而非视觉杂乱，该方法表现出对部分观测视频输入过拟合的抵抗力。
可解释性： 该设计支持透明的前向和后向分析，提供了对动作依赖关系及训练过程中内部化的反事实证据的洞察。
自适应融合： 包含自适应门控机制，允许在无需显式动作边界监督的情况下，对历史信息和当前信息进行上下文感知的混合。

实验结果

该方法在三个基准测试上进行了评估：EPIC-Kitchens-100 (EK100)、EPIC-Kitchens-55 (EK55) 和 EGTEA Gaze+。

EPIC-Kitchens-100：
- 在验证集上（仅使用 RGB 输入），采用 Swin-B 骨干网络的 AGA 在整体类别上达到了 18.8% 的平均 Top-5 召回率（MT5R），优于 AFFT（17.6%）和 S-GEAR（18.3%）等基线方法。
- 在未见测试集上，AGA 保持了稳定的性能，验证结果与测试结果之间差距很小，表明其具有强大的泛化能力。它在整体类别上达到了 16.9% 的 MT5R，与通常依赖多模态输入或集成策略的方法具有竞争力。
- 在未见（Unseen） 和 尾部（Tail） 类别上的性能提升尤为显著，表明其对罕见动作具有鲁棒性。
EPIC-Kitchens-55 与 EGTEA Gaze+：
- AGA 在 EK55 和 EGTEA Gaze+ 上表现出强劲的性能，即使在前序帧的详细标签不可用的稀疏监督条件下也是如此。
- 在 EGTEA Gaze+ 上，采用 Swin-B 的 AGA 达到了 45.4% 的 Top-1 准确率，超越了之前的最先进方法。
消融研究：
- 将标准因果注意力替换为动作引导注意力，将 MT5R 从 15.9% 提升至 18.2%。
- 添加自适应门控进一步将性能提升至 18.8%。
- 发现 EMA 参数 $\alpha$ 在 0.8 时最优，平衡了近期预测与历史平均的影响。

意义与主张

该论文声称，AGA 解决了由不完整和不确定观测引起的视频动作预测中过拟合的根本挑战。通过将注意力机制从像素级相关性转移到动作级语义依赖，模型能够更有效地预测未来事件。

作者强调，AGA 提供了一个透明且可解释的框架。与“黑盒”方法不同，AGA 允许研究人员：

检查模型捕捉到的具体动作依赖关系（前向分析）。
揭示模型内部化的反事实证据和替代推理路径（后向分析）。

结果表明，利用预测的动作序列作为语义引导，不仅提高了准确率和在未见样本上的泛化能力，还提供了对模型在不确定未来预测背景下决策过程的更深入理解。