🤖 machine learning

Faithful Action-unit Causal Reasoning for Counterfactually Faithful Emotion Explanations

本文介绍了 FACR，这是一个通过训练模型使其动作单元（AU）解释与结构因果图对齐，从而在多模态情感推理中强制执行反事实忠实性的框架，由此确保所调用的 AU 对预测是因果必要的，并能被验证性地反映在生成的文本中。

原作者： Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个智能摄像头，它观察一个人的脸部并说：“这个人很痛苦。”通常情况下，这些摄像头就像是自信但爱撒谎的学生：它们能得到正确答案（痛苦），但如果你问它们为什么，它们会编造一个听起来很合理的理由，但其实并不是它们真正的思考逻辑。它们可能会说：“我知道这是痛苦，因为他们的眉毛抬起了，”即便摄像头实际上是在对完全不同的特征做出反应。

这篇论文介绍了一个名为 FACR（忠实动作单元因果推理，Faithful Action-unit Causal Reasoning）的新系统。它的目标是强迫摄像头对其做出决策的原因说出真话，而不是编造一个看似合理的说法。

以下是它的工作原理，使用简单的类比：

1. 问题所在：“看似合理的骗子”

大多数 AI 系统就像是一个背下了答案解析但并不理解数学原理的学生。如果你改变了数学题中的数字（即“反事实”改变），这个学生仍然会给出同样的错误答案和错误的解释。

问题在于： 现在的 AI 虽然可以命名在情绪表达时移动的特定面部肌肉（称为动作单元或 AUs），但它们往往是在“猜测”哪些肌肉导致了情绪，而不是真正利用这些肌肉来进行决策。

2. 解决方案：“严格的规则手册”

作者构建了一个因果图（Causal Graph）。你可以把它想象成一本严格的规则手册或一张地图。

这张地图： 它明确地画出了特定肌肉运动与特定情绪之间的连线。例如，它规定：“如果你想检测痛苦，你必须观察肌肉 A 和肌肉 B。如果你看到了肌肉 C，那么它对于判断‘痛苦’并不重要。”
转折点： 他们不仅是利用这张地图来猜测情绪，还强迫 AI 在解释自己的决策时必须遵循这张地图。

3. 训练过程：“干预测试”

为了让 AI 变得诚实，他们使用了一种名为**反事实忠实度（Counterfactual Faithfulness）**的训练方法。想象一位老师正在和学生玩“如果……会怎样？”的游戏：

场景 A： “好吧，我现在假装肌肉 A（根据规则手册，它是导致痛苦的原因）被冻结了，无法移动。如果你的系统是诚实的，你的答案应该从‘痛苦’变为‘无痛苦’。”
场景 B： “现在，我假装肌肉 C（根据规则手册，它与痛苦无关）被冻结了。你的答案应该保持完全不变。”

如果 AI 未能通过这项测试——也就是说，即使关键肌肉消失了，它仍然说“痛苦”；或者当无关紧要的肌肉发生变化时，它竟然改变了主意——它就会受到惩罚。这迫使 AI 重新调整其大脑结构，使其决策真正取决于规则手册中列出的那些肌肉。

4. 结果：一个“说真话”的 AI

他们通过两项测试验证了该系统：

痛苦检测： 他们使用了一个已知“真相”的数据集（即特定的肌肉组合等于痛苦）。
- 之前： AI 的解释与真相的匹配度仅为 8%。
- 之后： 经过这种新训练后，其解释与真相的匹配度达到了 57%。
- 权衡（Trade-off）： AI 在单纯猜测“痛苦”与“非痛苦”时的准确率略有下降，但它在解释“为什么”方面变得更出色了。这就像一位医生，虽然诊断速度稍慢，但能对症状给出更准确的解释。
跨数据集迁移： 他们在另一个数据集（通用情绪，而非仅限痛苦）上进行了测试。
- AI 学会了即使在处理新数据时也能恪守规则手册。
- 核心发现： AI 的诚实程度取决于规则手册的正确性。如果规则手册有误，AI 会忠实地遵循错误的规则。但如果规则手册经过验证且正确，AI 的解释就会成为现实的真实反映。

5. “语言”升级

最后，他们为这个系统连接了一个语言模型。

没有修复前： AI 会观察脸部，判定其为开心，然后生成类似“这个人看起来很快乐，因为他在微笑”的句子，即便它在做决策时其实并没有用到“微笑”这个肌肉特征。
修复后： AI 被“设限”了。只有当某个肌肉特征确实触发了决策时，它才被允许在句子中提到该肌肉。如果你从图像中移除该肌肉，AI 就被迫从句子中移除对应的描述。这种解释是通过“构造”实现的，从而保证了真实性。

总结

这篇论文并不声称这能让 AI 成为完美的医生或读心者。它声称 FACR 创建了一个解释是**忠实（Faithful）**的系统。

旧 AI： “我觉得这是痛苦，因为……嗯，看起来像是痛苦。”（看似合理，但可能在撒谎）。
新 AI (FACR)： “我觉得这是痛苦，因为肌肉 X 和肌肉 Y 处于活跃状态，而我的规则手册规定这两个肌肉等于痛苦。如果我移除它们，我就不会判定为痛苦。”（忠实且可验证）。

论文证明了你可以训练一个 AI 对其推理过程保持“诚实”，即便这意味着它在纯粹的猜谜游戏中准确度会略微下降。这是一种权衡：牺牲一点点速度/准确度，换取更多的信任感和透明度。

技术摘要：忠实性动作单元因果推理 (FACR)

1. 问题陈述

自动面部表情识别系统日益需要不仅具有合理性（plausible），而且具有**忠实性（faithful）**的解释——这意味着解释必须反映驱动预测的实际因素。目前的方法分为两类，两者都缺乏忠实性：

结构因果方法： 这些方法使用因果图对动作单元（Action Units, AUs）和表情进行建模，但纯粹是判别性的。它们在推理阶段丢弃了恢复的结构，仅输出标签或注意力图，而不输出口语化的理由。
多模态大语言模型 (MLLMs)： 这些模型根据 AUs 生成自然语言形式的情绪理由。然而，它们的文本不受经过验证的因果结构的约束，且仅通过合理性（例如文本重叠度或基于 GPT 的评判）进行评估。因此，它们往往用模板匹配取代了因果归因，并且无法在反事实编辑下更新其解释。

核心差距在于缺乏一个能够将 AU $\to$ 情绪推理器锚定在经验证的因果图上，并强制执行**反事实忠实性（counterfactual faithfulness）**的系统，即确保对因果性 AU 的干预会同时改变预测和理由，而对无关 AU 的干预则保持两者不变。

2. 方法论：FACR

所提出的系统——忠实性动作单元因果推理 (FACR)，通过三个集成阶段来解决这一差距：

A. 结构化 AU $\to$ 情绪因果图归纳 ( $G$ )

FACR 独立地归纳出一个有向的、感知极性的因果图 $G = (A \cup C, E)$ ，而不是复用外部图。该图由三个来源组装而成：

AU $\to$ 情绪边： 通过在 AffectNet $\times$ FABA 联合语料库上进行 L1 正则化逻辑回归进行估计。
AU $\to$ AU 边： 通过在 EmotioNet 上进行邻域选择进行估计。
经验证的子结构： 疼痛子结构使用 PSPI (Prkachin–Solomon 疼痛强度) 公式作为基准真值进行固定。对于其他情绪，边缘从 EMFACS 原型中填充。
极性： 每条边携带一个符号 ( $s \in \{-1, +1\}$ )，表示兴奋或抑制关系。

B. 图约束推理器

系统将输入面部 $x$ 映射到一个解耦的 AU 潜变量 $z \in \mathbb{R}^K$ ，其中每个坐标 $z_k$ 代表 AU $k$ 的存在情况。

预测： 一个图约束头部根据 $z$ 预测情绪类别 $\hat{y}$ 。
理由： 一个语言口语化器生成自然语言解释，命名活跃的 AUs 及其在 $G$ 中的因果边。
干预机制： 潜空间允许定义良好的 $do $-干预（例如$ do(z_k=0)$），模拟移除一个 AU 的过程。

C. 反事实忠实性目标

FACR 引入了一个训练目标，通过两个项将预测和理由与图 $G$ 耦合：

敏感性项 ( $L_{sens}$ )： 要求移除一个被 $G$ 标记为对类别 $c$ 具有因果性的 AU $a_k$ ，会使类别逻辑值（logit）向边极性所暗示的方向移动。
不变性项 ( $L_{inv}$ )： 要求移除一个被标记为对类别 $c$ 无关的 AU $a_k$ ，应使类别逻辑值保持不变。

总损失结合了分类损失、AU 落地损失以及这些忠实性项：
$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$

D. 口语化理由构建

为了确保生成的文本是忠实的，口语化器是通过构造进行门控的（gated by construction）。每个 AU token 的发射受到其潜变量激活 $z_k$ 的偏置控制。如果一个 AU 在潜空间中是不活跃的，它在文本中被命名的概率会被强烈抑制。这确保了在潜空间中消减（ablating）一个 AU 能可靠地将其从生成的解释中移除。

3. 核心贡献

形式化： 将 AU $\to$ 情绪推理建模为理由、标签与因果图之间的反事实一致性问题。
FACR 系统： 提出了一个将 MLLM 推理器锚定在独立归纳的、感知极性的因果图上的系统，并通过在解耦潜空间中的 $do$-干预来强制执行忠实性。
忠实性指标： 引入了一个反事实忠实性指标（敏感性和不变性），并针对已知结构（用于疼痛的 PSPI 和用于情绪的 EMFACS）进行评估。至关重要的是，该指标测试的是对所提供结构的忠实度，而非结构的重新发现。
实证验证： 证明了忠实性目标显著提高了调用 AUs 与因果结构（PSPI 和 EMFACS）之间的一致性，同时明确量化了这种提升与检测准确率之间的权衡。

4. 实验结果

A. UNBC-PAIN (疼痛检测)

使用留一受试者交叉验证（LOSO）进行评估：

忠实性增益： 忠实性目标将调用 AUs 与经验证的 PSPI 组成之间的一致性从基线的 0.08（无目标函数）提高到了 0.57。
准确率权衡： 这种增益伴随着一个适度的、可量化的检测准确率代价，即 AUC 从 0.83（对照组）下降到 0.79 (FACR)。
不变性恢复： 通过调整不变性权重 ( $\lambda_i$ )，可以使模型同时满足敏感性和不变性约束。

B. 跨数据集情绪迁移 (AffectNet $\times$ FABA $\to$ Aff-Wild2)

泛化能力： 在七类情绪任务中，该目标将图因果一致性从 0.50 提高到了 0.84。
图质量依赖性：
- 使用学习到的（有噪声的）图时，与真实活跃 AUs 的一致性仍然很低 (0.24)，与对照组一致。
- 使用经验证的图 (EMFACS) 时，与真实活跃 AUs 的一致性上升至 0.59，同时图因果一致性保持在高位 (0.74)。
- 这证实了对图的忠实性是必要但不充分的；图的正确性设定了与现实对齐的上限。
与 EmoLA 的比较： 一种已发表的效价 MLLM (EmoLA) 通过不加区分地命名许多 AUs 实现了更高的召回率 (0.52 vs. 0.37)。然而，使用经验证图的 FACR 实现了更高的精确率 (0.59 vs. 0.51) 和更高的对因果结构的忠实度 (0.74 vs. 0.63)，这表明它选择的是正确的因果 AU，而不仅仅是许多 AU。

C. 口语化理由审计

构造 vs. 学习： 一个旨在命名活跃 AUs 但未进行门控控制的口语化器是不忠实的（仅 6% 的被消减 AUs 从文本中移除）。
门控成功： 带有门控约束后，消减一个因果 AU 会可靠地将其从生成的文本中移除。
骨干网络无关性： 忠实性机制可以迁移到第二个语言模型骨干（Gemma 3），证实了该机制并非特定于基础模型。

5. 重要性与主张

论文声称 FACR 提供了一条实现 AU $\to$ 情绪推理中受约束的（而非仅仅是合理的）解释的路径。

忠实性与准确性是不同的： 研究表明，忠实性和准确性是两个不同的维度；可以使模型更加忠实而不使其变得更准确，因此需要单独的指标。
干预句柄： 与之前的工作不同，FACR 提供了一个可审计的干预句柄（即 AU 潜变量），允许测试预测对解释的依赖性。
设计原则： 当通过构造进行强制执行（通过门控和因果约束）而非仅仅通过容量或数据本身进行学习时，忠实性最为稳健。
局限性： 作者明确指出，FACR 并不是一个最先进（SOTA）的识别模型（AUC/F1 分数适中），且其与现实的对齐程度受限于所提供的因果图的正确性。该方法并不声称重新发现结构，而是旨在忠实地遵循一个给定的结构。