Micro-expression Recognition Based on Dual-branch Feature Extraction and Fusion

本文提出了一种结合并行注意力机制的双分支微表情特征提取网络,通过引入残差结构、Inception 模块及自适应融合机制,在 CASME II 数据集上实现了 74.67% 的识别准确率,显著优于现有方法。

Mingjie Zhang, Bo Li, Wanting Liu, Hongyan Cui, Yue Li, Qingwen Li, Hong Li, Ge Gao

发布于 2026-03-02
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文讲的是如何教电脑“读懂”人类脸上那些转瞬即逝、极其细微的表情(微表情)。

想象一下,微表情就像是你心里刚闪过一个念头,脸上还没来得及完全展开就迅速消失的“小火花”。普通人很难捕捉到,但电脑如果学会了,就能在刑侦、心理分析甚至商业谈判中派上大用场。

但这很难,因为微表情太短、太弱,而且现有的电脑“眼睛”(算法)往往看花了眼,或者把无关的噪点当成了重点。

为了解决这个问题,作者团队设计了一套**“双管齐下”的聪明办法**。我们可以用几个生动的比喻来理解:

1. 核心策略:派出一支“特种部队”

以前的方法可能只派了一个“侦察兵”去观察整张脸,容易漏掉细节或者被干扰。作者决定派出一支双路特种部队,分头行动,最后汇合情报:

  • 第一路:全局观察员(ResNet 网络)

    • 角色:就像一位经验丰富的老侦探
    • 任务:他站在远处,看整张脸的“大轮廓”和整体氛围。他负责捕捉那些虽然微弱但贯穿全脸的肌肉变化。
    • 特点:他特别擅长处理复杂的深层信息,而且通过一种叫“残差连接”的魔法(就像给侦探配了个“记忆回溯”助手),确保他在看太多细节时不会“脑子短路”或“忘记初衷”。
  • 第二路:局部显微镜(Inception 网络)

    • 角色:就像一位拿着高倍放大镜法医专家
    • 任务:他专门盯着脸上几个关键的小区域(比如眉毛、嘴角、脸颊)。微表情往往就藏在这些小地方的细微抽动里。
    • 特点:他像“多面手”一样,同时用不同大小的“镜头”去观察,既能看清大块的肌肉群,也能看清极小的皱纹变化,还能自动过滤掉那些无关紧要的背景干扰。

2. 关键创新:聪明的“情报融合官”(注意力机制)

光有两路侦察兵还不够,如果情报乱成一团,还是没法破案。所以,作者设计了一个**“超级融合官”**(基于 CBAM 的注意力模块)。

  • 比喻:想象一下,老侦探和法医专家把各自的情报递给你。融合官不会平均分配注意力,他会动态调整
    • 当侦探说“整体气氛不对”时,融合官就加重对整体特征的权重。
    • 当法医说“嘴角这里有个微小的抽动”时,融合官就立刻把注意力聚焦到那个小点上。
    • 作用:这就像给电脑装上了“聚光灯”,让它知道在什么时候该看哪里,从而把最关键的线索提取出来,忽略那些没用的噪音。

3. 实战演练:在“微表情考场”的表现

作者用了一个叫 CASME II 的著名数据集(里面全是精心标注的微表情视频)来测试这套系统。

  • 遇到的挑战:微表情数据很少(就像只有很少的嫌疑人照片),而且有些表情(比如“惊讶”和“压抑”)长得太像了,容易搞混。
  • 实验发现
    • 他们发现,并不是网络越深(侦探经验越老)越好。因为照片太少,网络太深反而会“死记硬背”(过拟合),导致考场上发挥失常。最后他们发现,ResNet12(一个中等深度的网络)在这个特定任务上表现最好,就像一位“经验适中、反应敏捷”的侦探最合适。
  • 最终成绩
    • 这套新系统的准确率达到了 74.67%
    • 这比以前的老方法(比如 LBP-TOP)提高了 11% 以上,也比其他很多先进的深度学习模型要厉害。
    • 虽然比目前世界上最强的方法(AMAN,75.4%)还差一点点,但那个最强方法用了“把表情放大”的预处理手段,而作者的方法直接用原始图片,就已经非常接近了,说明这套“双管齐下”的架构非常扎实。

总结

简单来说,这篇论文就是给电脑装上了一套**“全局 + 局部”的双眼系统**,并配上了一个**“会抓重点”的大脑**。

  • 以前:电脑看脸像看一团模糊的雾,容易看错。
  • 现在:电脑能一边看整体氛围,一边拿着放大镜找细节,还能聪明地决定“现在该看哪里”。

虽然微表情识别依然很难(因为人脑太复杂,数据太少),但这套方法让电脑离“读懂人心”又近了一大步,未来在刑侦破案、心理治疗等领域会有很大的应用潜力。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →