💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINO 是一个用于第 11 届 ABAW 挑战赛的多任务学习系统，它利用基于 DINOv3 骨干网络的条件整流流（rectified-flow）头部，通过不确定性感知生成式预测来建模面部情感歧义，在效价-唤醒度估计、表情分类和动作单元检测方面取得了显著的性能提升。

原作者： Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅凭一张照片中的面部表情来猜测一位朋友的情绪。这是一个很难的游戏。一个微小的微笑可能意味着他们在开心，也可能只是在礼貌地掩饰悲伤。紧锁的眉头可能意味着愤怒，也可能只是在深度思考。这就是“情感计算”（affective computing）的世界——教计算机如何阅读人类的情感。长期以来，科学家们一直试图构建像严厉法官一样的模型，强行将每张脸归入一个单一的框框：“这是100%的快乐”或“这是100%的悲伤”。但人类的面部表情是复杂且具有歧义性的。有时，一张脸承载着混合的情绪，或者光线使得细微的表情难以辨识。这个领域的核心问题在于：我们如何教会计算机理解，一张脸不仅仅是一个单一的答案，而是一系列可能性的集合？

这篇论文介绍了一个名为 AffectFlow-DINO 的新系统，旨在解决正是这样的问题。该团队并没有强迫计算机只选出一个“最佳猜测”，而是构建了一个能够同时学习并想象多种可能情绪的模型。这就像一位天气预报员。传统的模型可能会说：“下午2点会下雨。”而一个更优秀的、具备不确定性感知能力的模型会说：“有70%的概率下雨，20%的概率多云，10%的概率晴天。”AffectFlow-DINO 对情绪也是如此。它使用了一种被称为“整流流”（rectified flow）的高明数学技巧，为每一张它看到的脸生成一团合理的心理状态云。通过对这些可能性进行平均，它往往能比标准模型找到更准确的答案。研究人员在海量的真实世界面部数据集上对其进行了测试，发现通过拥抱不确定性，他们的系统在识别微妙情感方面变得显著更好，尤其是对于那些通常会被忽略的罕见情绪，如恐惧或悲伤。

问题所在：“一刀切”的陷阱

想象一下，你正试图通过电话向朋友描述一幅复杂的画作。如果你被迫只能用一个词来描述整幅图像，你可能会说“蓝色”。但那幅画实际上是蓝、灰以及一点点红色交织在一起的。如果你只说“蓝色”，你就错失了其中的细微差别。

在人脸识别领域，计算机一直陷入这种“单词”陷阱中。它们观察一张脸，然后尝试输出一个关于“效价”（valence，即情绪的正负程度）和一个关于“唤醒度”（arousal，即兴奋或平静程度）的单一数值，外加一组被称为“动作单元”（Action Units）的面部肌肉运动列表。问题在于，在现实世界中，面部表情是具有歧义性的。嘴角的一次轻微抽动可能是一个微笑，也可能是一个苦笑，或者仅仅是肌肉痉挛。标准的计算机模型会将所有这些歧义性压缩成一个单一、僵化的预测，从而丢弃了那些实际上包含正确答案线索的不确定性。

解决方案：一台“假设”机器

这篇论文的作者决定不再问计算机“这是什么情绪？”，而是开始问“这可能是什么情绪？”

他们构建了一个名为 AffectFlow-DINO 的系统。它始于一个强大的、经过预训练的“大脑”（一个 DINOv3 视觉骨干网络），这个大脑已经非常擅长识别面部。但他们并没有仅仅让这个大脑做出单一猜测，而是在其之上添加了一个特殊的“想象引擎”。这个引擎使用了名为**整流流（Rectified Flow）**的技术。

这里有一个简单的可视化方法来理解它的工作原理：

噪声： 想象从一张布满静态噪声（就像电视雪花一样）的空白画布开始。
旅程： 模型学习一条直接、高效的路径，将这种噪声转化为特定的情绪。这就像是从“困惑”到“快乐”画出一条直线。
云团： 当模型看到一张新脸时，它不仅仅画出一条线。它从噪声到情绪空间画出许多条线。每一条线都代表了对这张脸的一种不同的、合理的解释。
平均值： 最后，它取所有这些线的平均值。如果这张脸明显是开心的，所有的线都会指向“快乐”，那么平均值就是一个强烈的、自信的“快乐”。如果这张脸具有歧义性，线条就会散开，平均值则会给出一个捕捉到了不确定性的细腻答案。

结果：在难题上表现更佳

团队在 s-Aff-Wild2 数据集上测试了他们的系统，该数据集包含数千张来自真实世界的面部静态图像。这些图像非常棘手，因为它们通常光照不足、部分遮挡，或者表现出非常细微的表情。目标是同时预测三件事：

效价-唤醒度（Valence-Arousal）： 人的情绪是积极/消极以及兴奋/平静的程度。
表情（Expressions）： 存在哪八种情绪之一（如喜悦、恐惧、悲伤）。
动作单元（Action Units）： 十二个特定的面部肌肉中有哪些在运动。

结果令人印象深刻。通过使用他们的“想象引擎”，该模型在预测效价-唤醒度得分方面有了显著提升（得分提升了 +0.058）。但真正的魔力发生在处理罕见情绪时。

在现实世界中，某些情绪是非常罕见的。在他们的数据集中，恐惧仅出现在约 3.8% 的标注图像中，悲伤也相当罕见。标准模型通常会忽略这些罕见情况，大部分时间都在猜测“中性”或“其他”。然而，AffectFlow-DINO 系统成功找回了识别这些罕见情绪的能力。

通过一种巧妙的后处理步骤（针对每种情绪分别调整“决策阈值”），并应用于经过微调（fine-tuned）后的特定任务模型，他们将模型检测恐惧的能力从惨淡的 3.8% F1 分数提升到了 33.1%，并将悲伤从 17.1% 提升到了 28.2%。这一特定的校准步骤并不需要从头开始重新训练整个模型；这仅仅是更仔细地倾听微调后模型已经在学习的信号。

他们排除了什么

研究人员不仅尝试了一种方法，他们还测试了 26 种不同的设计选择，以观察究竟什么才是有效的。

他们排除了“仅使用流（Just Flow）”或“仅使用确定性（Just Deterministic）”： 他们发现，如果只使用“想象引擎”（流）而没有标准的“单猜”头部，模型会失败。反之，如果只使用标准头部而没有流，则会错过细微差别。这两部分必须协同工作。
他们排除了简单的平衡修复： 他们尝试通过改变数学权重或使用“焦点损失（Focal Loss）”来让计算机更多地关注罕见情绪。这些方法单独使用效果并不理想，有时甚至会让模型在其他任务上表现变差。
他们排除了“大杂烩式”微调： 他们尝试将所有可能的技巧（改变权重、采样策略等）全部结合在一起。令人惊讶的是，这种“大杂烩”方法并没有提高最终得分；事实上，它有时会损害模型预测情绪（效价）的准确性。

核心结论

论文表明，提升情绪识别的关键不在于让计算机变得更“聪明”或更“庞大”，而在于教会它对不确定性保持坦然。通过让模型探索一系列可能性并进行平均，AffectFlow-DINO 实现了 1.177 的最终性能得分，这比官方基准得分 0.45 高出一倍多。

作者总结道，虽然他们的系统是一个重大进步，但最大的收益来自于两点：

微调视觉大脑： 将预训练的面部识别器调整到特定任务上。
校准决策阈值： 意识到计算机实际上已经“看到”了这些罕见情绪，只是需要一个推力来信任自己的直觉。

这项工作表明，情感 AI 的未来不在于强求一个单一的答案，而在于拥抱人类表达中那种混乱、多维的现实。

技术摘要：AffectFlow-DINO

问题陈述

第11届情感行为分析（ABW）比赛提出了一个具有挑战性的多任务学习（MTL）场景，其中每张静态面部图像必须同时被标注三种互补的情感表示：连续的效价-唤醒度（Valence-Arousal, VA）值、八分类类别表情标签以及十二个二元动作单元（Action Unit, AU）标签。

这一设定引入了显著的困难：

异构目标： 这些任务在输出类型（回归、单标签分类和多标签检测）以及监督密度方面存在差异。
严重的类别不平衡： s-Aff-Wild2 数据集表现出表情类别的 8 倍不平衡（受中性、其他和快乐主导）以及 AU 的 29 倍不平衡。
不完整的监督： 三任务联合标注仅覆盖了 37% 的训练帧，要求模型具备鲁棒的处理缺失标签的能力。
感知歧义性： 野外环境下的面部行为（例如细微的微笑、部分遮挡）往往对应于联合情感空间中的多种可能配置。标准的确定性模型会将这种歧义性塌缩为单一的点估计，从而丢弃了宝贵的确定性信息。

方法论：AffectFlow-DINO

作者提出了 AffectFlow-DINO，这是一个帧级多任务学习系统，它通过一个条件正则化流（conditional rectified-flow）头来增强标准的确定性架构，从而对全联合情感分布 $p(y|x)$ 进行建模。

架构概述

该系统由四个主要组件组成：

视觉骨干网络： 一个冻结的 DINOv3 ViT-S/16 编码器用于提取丰富的面部表示。作者指出，DINO 的自监督目标强化了空间语义一致性，使其在检测局部肌肉激活（AUs）方面比基于重建预训练（如 MAE）的方法更具优势。
共享投影层： 投影头将骨干特征映射为一个紧凑的 768 维情感嵌入 $z$ 。
确定性头： 三个特定任务的 MLP 头分别产生 VA（通过 tanh 约束在 $[-1, 1]$ ）、表情（8 个 logits）和 AU（12 个 logits）的点预测。
条件正则化流头： 这是核心创新点，它学习一个从各向同性高斯噪声到条件目标分布 $p(y|x)$ 的生成传输映射。它接收图像嵌入 $z$ 、线性插值的加噪目标 $y_t$ 以及时间嵌入 $\gamma(t)$ 来预测传输速度。

联合表示与掩码监督

模型将异构目标统一为一个单一的 22 维向量 $y \in \mathbb{R}^{22}$ ，包含 VA（2 维）、表情（8 维）和 AU（12 维）。在训练期间，类别型和二元维度的数值被视为流轨迹中不受约束的实数值。仅在推理阶段通过 $\arg\max$ 和 sigmoid 阈值处理来恢复离散预测。

为了处理不完整的标注，所有损失项都应用了一个针对样本的二元有效性掩码 $m_i$ 。这确保了缺失的目标不会贡献梯度或扭曲流训练信号。作者认为，在假设标注缺失与真实情感值相互独立的条件下，掩码允许模型从部分边缘分布中学习完整的联合分布。

训练与推理

损失函数： 总目标结合了加权的确定性多任务损失（ $\mathcal{L}_{det}$ ）和流损失（ $\mathcal{L}_{flow}$ ）：
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
流损失最小化预测速度与真实的常数速度场 $v^* = y - \epsilon$ 之间的平方误差。
推理： 模型并非进行单次前向传播，而是执行蒙特卡洛采样。通过欧拉步法将 $N$ 个独立的噪声样本从 $t=0$ 到 $t=1$ 进行积分。最终预测是这些轨迹的平均值，既提供了点估计（均值），也提供了不确定性度量（离散度）。

核心贡献

掩码正则化流 MTL 目标： 一个全新的框架，通过联合优化确定性任务头和 22 维情感向量的生成式条件分布，并通过掩码处理缺失标签。
系统性消融研究： 在 s-Aff-Wild2 上进行了涵盖 26 个设计选择的广泛评估，包括流损失权重、推理效率、不平衡缓解方案、骨干网络微调以及后验校准。
后验校准策略： 证明了针对每个 AU 和每个类别的表情进行阈值校准，可以有效地恢复在严重不平衡的稀有类别（如恐惧、悲伤、AU15、AU23）上的性能，而无需重新训练。

实验结果

系统在 s-Aff-Wild2 验证集上进行了评估。官方挑战赛基线实现的综合指标为 $PMTL = 0.45$。

基线性能： 仅使用确定性模型的模型（ $\beta=0$ ）实现 $PMTL = 0.793 $。加入带有流解码的流头（$ \beta=1 $）后，性能提升至$ PMTL = 0.826$，其中流采样特别增强了效价-唤醒度（VA）的估计（$CCC-V +0.058$）。
骨干网络微调： 对 DINOv3 骨干网络进行低学习率微调带来了最显著的增益，将最佳冻结骨干网络的结果（$0.831 $）提升至$ PMTL = 1.045$。有趣的是，微调后，确定性解码的表现优于流解码，这表明流头需要重新调整。
流重调优： 在骨干网络微调期间重新激活流目标（ $\beta=1.0$ ）将确定性性能提升至 $PMTL = 1.073$。
校准增益：
- 逐 AU 阈值校准： 将 $PAU $从$ 0.453 $提高到$ 0.502 $，使总分提升至$ 1.123$。
- 逐类别表情校准： 通过在验证集上调整特定类别的 logits，模型恢复了稀有类别的潜在信号。恐惧（Fear）的 F1 从 $3.8\%$ 增加到 $33.1\%$ ，悲伤（Sadness）从 $17.1\%$ 增加到 $28.2\%$ 。
最终性能： 结合骨干网络微调、流重调优（ $\beta=1.0$ ）以及组合后验校准，最终实现了 **$PMTL = 1.177 $**，大幅超越了官方基线（$ 0.45 $）和最佳未校准的微调模型（$ 1.045$）。

重要性与主张

论文声称 AffectFlow-DINO 证明了将面部情感建模为条件分布而非确定性映射的价值。作者强调了三个主要教训：

目标的互补性： 流目标和确定性目标是互利共生的。仅靠流训练在缺乏确定性锚定的情况下会发生塌缩，而仅靠确定性推理则会丢弃分布能力。对于歧义性最高的连续目标（VA），流采样特别有效。
微调的作用： 虽然骨干网络适配是性能提升的主要因素，但如果不在微调期间进行联合重调，生成路径将会退化。
释放稀有信号： 严重的类别不平衡虽然抑制了学习到的信号，但并未将其抹除。作者声称，后验校准可以在零重训练成本下“解锁”接近零的稀有类别（恐惧、悲伤、稀有 AU）的 F1 分数，这表明决策边界可以通过调整来显现已编码在表示中的信号。

作者总结道，要缩小与 SOTA（当前最优水平）的差距，可能需要时序聚合和更具表达力的微调解码器，并指出他们目前的工作严格属于帧级研究。