💻 computer science

Hybrid Attention-Graph Reasoning over Deep Residual Networks for In-the-Wild Facial Expression Recognition

本文提出了 DRAG-Net，这是一种轻量级的深度残差注意力图网络，它集成了 DenseNet121、注意力机制和基于图的关系推理，以有效地捕捉局部和全局面部依赖关系，从而实现稳健的野外场景人脸表情识别。

原作者： Mohamed A. Abdeldayem, Hesham F. A. Hamed, Amr M. Nagy

发布于 2026-10-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed A. Abdeldayem, Hesham F. A. Hamed, Amr M. Nagy

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类的面部是我们拥有的最具表现力的工具，能够瞬间从喜悦转为悲伤，从愤怒转为惊讶。为了真正理解我们，机器必须学会解读这些细微的变化，这项任务被称为面部表情识别。虽然计算机在识别照片中的物体或人物方面已经变得非常出色，但解读情绪仍然是一个棘手的挑战。其难点在于现实世界的复杂性：光照的变化、人们歪头的动作，以及同一种情绪在不同面孔上呈现出的差异。此外，某些情绪（如恐惧和惊讶）具有如此相似的面部肌肉运动，以至于很容易混淆。为了解决这个问题，研究人员转向了深度学习，这是一种让计算机通过分析数千张图像来寻找模式的方法。然而，标准方法往往难以将面部的不同部分联系起来，例如眉毛和嘴巴是如何协同运动以表达特定情感的。

来自埃及的一个研究小组开发了一种新系统，旨在通过结合两种强大的图像思维方式来克服这些障碍。他们的方法被称为 DRAG-Net，它像是一个两步走的过程：首先锐化面部的细节，然后绘制出这些细节之间的相互关系。该系统首先对标准照片进行清理，调整亮度以确保无论在何种光照条件下，面部都清晰可见。接着，它使用一个预训练的计算机视觉模型（该模型已经学习了识别通用形状和纹理的能力）来提取面部的深层特征。但研究人员并没有止步于此，他们增加了一个“注意力”层——这是一种教导计算机忽略背景并高度聚焦于面部最重要部分（如眼睛、眉毛和嘴巴）的机制。这一步确保了机器在尝试理解情绪之前，正在观察正确的部位。

一旦系统聚焦于关键的面部特征，它就会执行其最具创新性的步骤：将图像数据转化为一个相互连接的点网络。想象一下，面部不再是一张扁平的照片，而是一个网格，其中每个小方块都是一个节点或一个信息点。系统随后在相邻的点之间绘制隐形的线条，创建一张关于面部不同部分如何相互连接的地图。这使得计算机能够推理面部区域之间的关系，理解皱起的眉头和紧绷的嘴部是如何以特定方式关联在一起以传递愤怒信号的。通过分析这些连接，该模型可以区分那些表面看起来相似但底层结构不同的情绪。这种方法避免了使用试图追踪每一个面部地标的复杂且沉重的软件，使系统保持轻量且快速。

研究人员在四组不同的面部图像集上测试了这个新系统，这些数据集涵盖了从互联网上的数千张随手拍摄的照片到演员表演特定情绪的受控影棚照。结果显示，该系统非常有效。在规模庞大且复杂的互联网数据集上，它在近 67% 的案例中正确识别了情绪，表现优于其他领先的方法。在受控的数据集上（即图像更清晰、姿势更标准的场景），该系统取得了近乎完美的得分，正确识别情绪的比例超过 98%。在其中一个特定的测试集中，它的正确率几乎达到了 100%。至关重要的是，研究人员发现，他们的系统在取得这些高分的同时，并不需要庞大的计算能力。它使用相对较少的内部设置，使其效率足以在标准计算机甚至移动设备上运行，这对于驾驶员监控或交互式机器人等实时应用至关重要。

这项研究还通过拆解测试来探索系统为何表现如此出色。他们发现，注意力机制与关系映射的结合是成功的关键。如果没有注意力步骤，系统会被无关的背景细节分散注意力；如果没有关系映射，系统则难以看到面部特征如何协同工作的全局图景。研究人员证实，他们的方法具有鲁棒性，这意味着即使在不同的随机起始点下进行测试，它也能表现得稳定一致。他们还指出，虽然该系统在识别清晰的情绪方面表现卓越，但在不受控环境下遇到的最困难、最微妙的表情方面仍面临挑战，这是目前该领域所有技术的共同局限。最终，这项工作表明，通过教会机器观察正确的部位并理解这些部位如何连接，我们可以构建出比以往更准确、更高效地读取人类情绪的系统。

技术摘要：用于野外人脸表情识别的深度残差网络结合混合注意力图推理研究

1. 问题陈述

人脸表情识别（FER）仍然是情感计算领域中的一项具有挑战性的任务，尤其是在“野外”（in-the-wild）场景下。其主要困难源于光照变化、头部姿态差异、受试者身份差异、遮挡以及不同表情类别之间细微的视觉相似性。虽然深度学习模型（如 VGGNet、ResNet、DenseNet）通过学习层次化表示，已经超越了传统的传统手工特征方法（LBP、HOG），但它们在处理不受控条件下的复杂空间依赖性和面部区域间的关系结构时仍显得力不从心。此外，现有的混合模型通常面临计算开销高、依赖人工关键点提取或对真实世界数据泛化能力不足的问题。

2. 方法论：DRAG-Net

作者提出了 DRAG-Net（深度残差注意力图网络），这是一种轻量级的混合架构，旨在同时学习局部面部细节和全局关系依赖。该模型通过四个不同的阶段处理 224 × 244 的输入图像：

2.1. 预处理

为了增强对环境变化的鲁棒性，流水线包括：

自适应伽马校正 (AGC)： 根据图像亮度 ( $L_{mean}$ ) 动态调整伽马值，以在不同的光照条件下实现对比度归一化。
基于关键点的对齐： 使用 68 点形状预测器 (dlib) 检测眼睛、鼻子和嘴巴，计算旋转角度以在裁剪和填充前将脸部水平对齐。
数据增强： 采用保持表情不变的增强手段（随机水平翻转、轻微色彩抖动以及 ±15° 以内的旋转），同时避免随机裁剪以保留关键面部特征点。
类别平衡： 利用类别加权交叉熵损失和标签平滑（AffectNet 为 0.1，KDEF 为 0.05）来解决严重的类别不平衡问题。

2.2. 特征提取骨干网络

模型利用预训练的 DenseNet121 作为骨干网络来提取高层特征图（7 × 7 × 1024）。这些特征通过以下模块进行处理：

深度残差特征学习模块： 一系列包装卷积层和带有恒等跳跃连接（identity skip connections）的残差单元，用于精炼局部空间模式并减轻信息丢失。
卷积块注意力模块 (CBAM)： 集成在残差块之后，CBAM 依次应用通道注意力和空间注意力。它通过生成特定通道和空间的注意力图，抑制无关的背景噪声并强调显著的面部区域（眼睛、眉毛、嘴巴）。

2.3. 网格到图的转换与 GNN

DRAG-Net 的核心创新在于无需依赖外部关键点检测，即可将精炼后的 CNN 特征图转换为图结构：

节点定义： 将 7 × 7 的空间特征图重塑为 49 个节点 ( $N=49$ )，其中每个节点代表一个具有 128 维特征向量的空间位置。
邻接矩阵： 基于 4 连通网格拓扑（上、下、左、右）构建一个固定的、非学习的邻接矩阵。添加自环，并对矩阵进行行归一化（度归一化）。
图卷积 (GraphConv)： 通过两个堆叠的 GraphConv 层执行消息传递，聚合相邻节点的信息，以捕捉局部空间依赖性和面部区域之间的结构关系。
归一化： 在每个 GraphConv 层后应用层归一化（Layer Normalization）以稳定训练。
读出 (Readout)： 通过平均池化操作将 49 个节点向量聚合成一个全局图级描述符。

2.4. 分类

全局图表示通过一个带有 ReLU 激活函数的全连接层 (128 → 128)，随后通过 Softmax 分类器预测七种情绪类别之一。

3. 主要贡献

本文概述了五项主要贡献：

混合 CNN–Graph 架构： 将 DenseNet121 骨干网络与图卷积建模相结合，同时学习局部特征及其结构关系。
注意力增强特征提取： 使用结合了残差块与 CBAM 的方法，在图建模之前过滤噪声并强调具有判别力的面部区域。
确定性网格到图建模： 一种将 CNN 特征张量转换为特征感知节点的方法，使用固定的网格邻接矩阵，在尊重几何配置的同时避免了显式的关键点提取。
增强的归一化策略： 在 GNN 特征变换后战略性地放置 L2 归一化，以提高类别分离度并防止图池化过程中的过拟合。
全面的评估： 在四个多样化的数据集（AffectNet-7、KDEF、CK+、JAFFE）上进行了广泛的消融实验和统计评估，涵盖精确率、召回率和 F1 分数。

4. 实验结果

模型在四个标准数据集上进行了评估，结果如下：

AffectNet-7 (野外场景)： 达到了 66.94% 的准确率，优于 DAN (65.69%) 和 Hybrid Local Attention + ViT (65.07%) 等先进方法。
CK+ (受控场景)： 通过 5 折交叉验证达到了 99.90% ± 0.23% 的准确率。
KDEF (受控场景)： 通过 5 折交叉验证达到了 98.33% ± 0.50% 的准确率。
JAFFE (受控场景)： 通过 5 折交叉验证达到了 98.59% ± 2.09% 的准确率。

效率：

参数量： 约 1380 万。
计算成本： 单次前向传播（224 × 224 输入）为 3.2 GFLOPs。
推理速度： 在 NVIDIA RTX 3060 GPU 上约为 42.07 fps。

消融研究：
研究证实，每个组件都对性能做出了增量贡献。添加 CBAM 使各数据集的准确率提升了约 0.4–2.4%，而完整集成 GNN 模块则提供了最终的提升（例如，相比仅含 CBAM 的变体，在 JAFFE 上提升了 1.86%）。预处理步骤（AGC 和对齐）也带来了可衡量的收益（在 AffectNet 上分别贡献了约 0.36% 和 0.23%）。

5. 重要性与主张

论文声称 DRAG-Net 建立了 FER 的新性能基准，特别是通过在保持高准确率的同时兼顾计算效率。作者认为，该模型的成功源于其能够：

建模关系依赖： 与依赖局部感受野的标准 CNN 不同，GNN 组件显式地建模了面部区域之间的结构关系（例如，眼睛与嘴巴之间的相互作用）。
降低复杂度： 通过使用基于固定网格的图，而非复杂的 Transformer 架构或沉重的基于关键点的图，DRAG-Net 相比于 PiT (23.5M 参数) 或 DCR-Net (4.2 GFLOPs) 等模型，以更少的参数 (13.8M) 和更低的 FLOPs (3.2) 实现了卓越的准确率。
泛化能力： 该模型在受控环境（CK+、KDEF、JAFFE）和具有挑战性的、不受控的“野外”场景（AffectNet）中均表现出鲁棒性，表明其适用于边缘设备、监控和人机交互等资源受限环境中的实时应用。

作者承认了局限性，指出与基于关键点的方法相比，基于网格的方法在极端姿态下缺乏显式的语义对齐，并将此作为未来研究的方向。