💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

本文提出了一种用于情感行为分析中注意力机制的因果监督框架，该框架通过强制执行主体不变的关注点、通过互协方差正则化鼓励非冗余表示，以及通过门控非线性变换增强特征表达能力，从而在第11届情感行为野外分析竞赛中取得了最先进的性能。

原作者： Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人通过阅读你的脸来猜测你的感受。你想让它能识别出真诚的微笑或皱眉，对吧？但棘手的部分在于：这个机器人很容易分心。它可能会想：“哦，这个人看起来很伤心，因为他有一个大鼻子，”或者“这个人看起来很快乐，因为阳光照在了他的额头上。”这些就像是伪相关（spurious correlations）——这些线索与实际情感无关，只是恰好在训练数据中多次出现。如果机器人学会了这些坏习惯，当它遇到具有不同鼻子或不同光照条件的新人时，它会表现得一败涂地。

这篇论文的作者提出了一种巧妙的新方法来训练机器人的“注意力”，让它不再盯着错误的东西，而是开始专注于真实的感情信号，无论面前的人是谁。他们称之为因果监督注意力（Causal Supervision of Attention）。

三个魔法技巧

为了纠正机器人的坏习惯，团队在其学习过程中加入了三个特殊的成分：

1. “如果……会怎样？”游戏（因果监督）
通常情况下，机器人只是看一眼脸然后进行猜测。而这个团队让机器人玩了一个“如果……会怎样？”的游戏。他们问它：“如果我强迫你忽略鼻子，只看眼睛，你对情绪的判断会改变吗？”
他们创建了一个“反事实（counterfactual）”版本的注意力（一个机器人看向随机位置的虚假版本），并将它与真实的注意力进行比较。他们并没有仅仅追求原始差异的最大化，而是最大化了总直接效应（Total Direct Effect, TDE）——这是一个衡量注意力对预测的因果贡献的具体指标。通过这样做，他们鼓励机器人去关注**受试者不变性（subject-invariant）的面部区域——即在不同人身上都能一致预测情绪的区域，而不是仅仅关注某一个人的特定特征。这确保了机器人学会关注具有不变预测价值（invariant predictive value）**的区域，从而有效地将真实的感官线索与身份或光照等伪相关因素区分开来，而不必完全忽略身份信息。

2. “无重叠”规则（互协方差正则化）
把机器人的大脑想象成有两个工作小组：键（Key）小组（负责决定看什么）和值（Value）*小组（负责收集所见内容的细节*）。
在标准模型中，这两个小组经常互相重叠并重复相同的信息。这就像房间里的两个人都在大喊：“看眼睛！”却忽略了嘴巴。作者引入了一条规则，以确保这两个小组是互补的**，而不是冗余的。他们增加了一个惩罚项，如果“键”小组和“值”小组开始表达相同的内容，就会触发该惩罚。这迫使他们分工协作：一个可能专注于眉毛的形状，而另一个则专注于下颚的紧张程度，从而使最终呈现的画面更加丰富。

3. “超级 Transformer”（SwiGLU）
最后，团队提升了机器人的脑力。标准模型使用一种简单的、直线式的数学技巧来处理收集到的细节。作者将其更换为一种名为 SwiGLU 的高级非线性工具。
想象一下，旧的方法是一条直滑梯，而新方法是一个扭曲旋转的过山车。这使得机器人能够捕捉到关于情绪的更细微、更复杂的细节，而简单的滑梯会错过这些细节。它让机器人对“细粒度”情感的理解变得更加敏锐。

效果如何？

团队在名为 s-Aff-Wild2 的大规模真实世界视频数据集上进行了测试，其中人们在自然环境中进行着各种活动。他们使用一个名为 P 的分数来衡量成功，该分数综合了机器人完成三项任务的表现：猜测效价-唤醒度（Valence-Arousal）（即情绪的正向/负向程度以及强度）、识别表情（Expressions）（如开心或悲伤）以及捕捉动作单元（Action Units）（面部微小的肌肉运动）。

以下是他们的发现：

基准线（The Baseline）： 标准机器人（使用 ConvNeXt 模型）在官方验证集上的得分为 0.45。
新方法： 当他们使用带有强大视觉编码器 FRoundation 的“因果监督”技巧时，得分跃升至 1.2214。
明细分解： 具体而言，对于猜测效价-唤醒度，他们得到了 0.5123 的得分；对于识别表情，得到了 0.3116 的 F1 分数；对于捕捉肌肉运动，得到了 0.3974。

他们还进行了五次重复测试（称为 5 折交叉验证），以确保结果并非偶然。新方法始终优于旧方法：使用一种大脑（DINOv2）时，平均得分从 0.8730 提高到了 0.9569；使用另一种大脑（FRoundation）时，从 1.0524 提高到了 1.1948。

核心结论

论文表明，通过迫使机器人区分真实的感官线索与“虚假”线索（如身份或光照），并专注于在不同受试者中具有不变预测价值的面部部分，我们可以构建出能更好地理解人类情感的系统。他们不仅仅是猜测这一点，他们通过对数千张图像的测量发现，他们三个新技巧中的每一个都帮助机器人表现得更好。虽然机器人的表现还不完美（仍有提升空间），但这种方法展示了一条清晰的路径，让我们能制造出真正“理解”我们，而不仅仅是根据我们的长相进行猜测的机器。

技术摘要：用于情感行为分析的因果监督注意力机制

问题陈述
情感行为分析（Affective Behaviour Analysis, ABA）旨在使机器能够从行为信号（特别是面部表情）中推断人类的情感状态，尤其是在不受控的（“in-the-wild”）环境中。尽管深度学习模型已取得了显著进展，但它们在泛化到未见受试者方面仍面临困难。这种局限性源于模型往往利用伪相关性（例如身份、姿态、光照、年龄和人口统计学差异），而非学习真正的、不变的情感线索。在第11届ABAW实地情感行为分析竞赛的背景下，这一挑战通过一个多任务学习（MTL）框架被形式化，该框架要求同时进行效价-唤醒度（Valence-Arousal, VA）估计、表情（Expression, EX）识别和动作单元（Action Unit, AU）检测。核心难点在于如何将情感相关信号与这些混淆因素区分开来，以实现鲁棒的受试者不变表征。

方法论
作者提出了一种受因果启发（causally inspired）的注意力池化框架，旨在改进情感线索的选择与表征。该架构基于一个标准的流水线构建：使用冻结的视觉 Transformer（ViT）作为特征提取的主干网络，随后使用时间卷积网络（TCN）进行时间建模，最后通过特定任务的预测头进行输出。该框架引入了三种针对注意力机制的具体改进，以增强鲁棒性和表达能力：

注意力因果监督（Causal Supervision for Attention, CSA）： 为了强制注意力集中在具有跨受试者不变预测价值的面部区域，作者集成了一个因果监督信号。这涉及一个“事实”（factual）路径，即模型基于学习到的注意力权重进行预测；以及一个“反事实”（counterfactual）路径，其中注意力权重被替换为从高斯分布中采样的随机归一化向量。模型通过最大化总直接效应（Total Direct Effect, TDE）——即事实预测与反事实预测之间的差异——来进行训练，从而鼓励注意力机制一致地识别因果相关的面部区域，而非依赖伪相关性。
跨协方差独立正则化（Cross-Covariance Independence Regularization）： 为了解决缩放点积注意力中键（Key, $K$ ）与值（Value, $V$ ）投影之间的冗余问题，作者引入了跨协方差正则化损失。通过最小化中心化后的 $K$ 与 $V$ 表征之间跨协方差矩阵的 Frobenius 范数，该方法鼓励互补且非冗余的特征编码，从而允许模型将更多容量用于处理不同的、任务相关的有效信息。
非线性 SwiGLU 值投影（Nonlinear SwiGLU Value Projection）： 标准的线性值（ $V$ ）投影被替换为 SwiGLU（Sigmoid Linear Unit Gated Linear Unit）变换。这种非线性层增加了值投影的表征容量，使模型能够在注意力聚合步骤之前捕捉更细粒度的情感线索。

核心贡献
本文提出了一个将因果推理原理集成到注意力机制中的统一框架。主要贡献包括：

引入了注意力因果监督，利用反事实生成和 TDE 最大化来引导注意力转向受试者不变且与情感相关的面部区域。
制定了跨协方差独立正则化损失，以解耦键（Key）与值（Value）表征，减少特征冗余。
使用基于 SwiGLU 的非线性变换取代线性值投影，以增强特征的表达能力。
在 s-Aff-Wild2 数据集上进行了全面的评估，证明了这些组件能够共同提升多种情感任务的泛化性能。

实验结果
该方法在 s-Aff-Wild2 数据集上使用两种不同的主干网络进行了评估：DINOv2（在通用图像上预训练）和 FRoundation（专门用于面部图像）。性能通过官方 ABAW 多任务指标 $P$ 进行衡量，该指标是效价-唤醒度（VA）的平均一致性相关系数（CCC）、表情（EX）的平均 F1 分数以及动作单元（AU）的平均 F1 分数的总和。

基准对比： 与官方基准（使用 MixAugment 的 ConvNeXt，其 $P=0.45$ ）相比，所提方法取得了显著更高的分数。在使用 FRoundation 主干时，该方法在官方验证集上的总分达到了 1.2214（ $CCC_{VA}=0.5123$ ， $F_{EX}=0.3116$ ， $F_{AU}=0.3974$ ）。
交叉验证： 在五折交叉验证协议中，FRoundation 主干的表现始终优于 DINOv2。所提方法将 FRoundation 的平均多任务得分 $P$ 从 1.0524（基准）提升至 1.1948，并将 DINOv2 从 0.8730 提升至 0.9569。
消融实验： 研究证实了每个组件对性能的贡献。虽然 SwiGLU 单独使用时效果取决于主干网络，但将 SwiGLU 与因果监督或协方差正则化结合使用，能一致地提升性能。全模型（所有三个组件均激活）产生了最佳结果，相比各自的基准分别实现了约 9.6%（DINOv2）和 13.5%（FRoundation）的增益。

意义
论文声称，所提出的框架通过促进受试者不变的注意力，成功解决了情感行为分析中的伪相关挑战。通过显式建模注意力的因果贡献并减少特征表征中的冗余，该方法产生了更鲁棒且更具表达性的情感表征。结果表明，将因果监督和结构化正则化集成到注意力机制中，是提高不受控情感计算任务（特别是利用像 FRoundation 这样的专业面部主干时）泛化能力的有效策略。

三个魔法技巧

效果如何？

核心结论

类似论文