🤖 AI

Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring

本文提出了双循环自编码器（Twin Cycle Autoencoder, TCA），这是一种创新的时空架构，通过整合空间外观解耦与时间轨迹一致性，旨在挑战性的座舱条件下鲁棒地检测驾驶员监控中的面部动作单元（Facial Action Units），在实现基准测试性能达到最先进水平的同时，保持了嵌入式硬件上的实时吞吐量。

原作者： Sai Sidharth D

发布于 2026-07-21✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Sai Sidharth D

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名正在试图破解谜题的侦探，但你唯一的线索是一个闪烁且充满颗粒感的监控摄像头画面。你寻找的不是小偷，而是一名即将在驾驶时打瞌睡的司机。这就是驾驶员监控系统（DMS）的世界——这是一个致力于通过观察我们的面部表情来保障我们安全的计算机科学领域。多年来，这些系统一直依赖于简单的技巧，比如计算你的眼睛闭合了多久，或者检查你是否在左右晃动。但真正的故事隐藏在面部肌肉极其微小的、不自主的抽动中。科学家们称这些微小的动作叫做“动作单元”（Action Units，简称 AUs）。把一个 AU 想象成一个单一的、原子的肌肉指令——比如打哈欠时发生的特定抽动，或者是你在对抗困意时眼睑细微的收紧。挑战在于，在车内，光影环境瞬息万变，从刺眼的阳光到漆黑一片；你的头部会前后晃动；有时你还会戴着墨镜。这是一个混乱的环境，计算机必须在其中捕捉那些持续时间不到一秒、且往往隐藏在阴影或玻璃之后的肌肉抽动。

本文介绍了一种新型的数字侦探——“双循环自动编码器”（Twin Cycle Autoencoder，简称 TCA）。它不仅仅是观察单张快照来猜测驾驶员的情绪，而是利用两个巧妙的“循环”来学习面部随时间演变的故事。第一个循环是“空间”分支，它学习识别肌肉运动，同时忽略这个人是谁或他穿着什么。第二个循环是“时间”分支，它就像一个“时空编辑师”，通过正向和反向观看视频，以确保运动的故事在两个方向上都符合逻辑。通过强制这两个循环达成一致，该系统能够识别出即使在摄像头表现不佳的情况下，也能捕捉到极其细微的疲劳迹象，例如缓慢的眨眼或半张的嘴巴。研究人员在标准数据集和真实的驾驶模拟器上对其进行了测试，结果发现，与旧方法相比，他们的“双生”系统能更好地捕捉这些微妙且转瞬即逝的困倦迹象，并且运行速度足以在当今的真实汽车中使用。

问题所在：混乱的车内环境

检测驾驶中的困倦是非常困难的。在安静的实验室里，摄像头可以轻松发现打哈欠。但在移动的车辆中，世界充满了挑战。阳光可能会直接照射进镜头，然后车辆又突然进入黑暗的隧道。驾驶员可能会转头检查盲点，或者戴着遮住眼睛的墨镜。此外，疲劳的迹象通常非常微妙。驾驶员可能还没有进入睡眠状态，他们可能只是在经历疲劳的微表情——眉毛的一次微小抽动，或是一次几乎不可见的快速眨眼。这些信号如此微弱且短暂，以至于通常逐帧观察的旧模型往往会完全错过它们。由于缺乏标注数据，它们也面临困难；获取数千小时的驾驶视频并由专家手动标记每一个肌肉抽动，既昂贵又困难。

解决方案：双循环自动编码器

作者提出了一种名为“双循环自动编码器”（TCA）的解决方案。要理解它的工作原理，请想象你正试图教机器人识别一种特定的舞蹈动作，但你手头没有舞蹈视频，只有一堆随机的照片。

1. 两个分支（双胞胎）
TCA 的构建就像一对擅长不同技能但又协同工作的双胞胎：

空间双胞胎（“形似”检测器）： 这个分支观察视频的单帧。它的任务是剥离掉所有与肌肉运动无关的信息。它忽略驾驶员的身份、发型或是否戴帽子，只专注于“动作单元”——即特定的肌肉形状。它使用了一个“循环”技巧：尝试从肌肉数据中重建面部。如果它能正确重建面部，就说明它捕捉到了正确的肌肉信息。
时间双胞胎（“时空”编辑师）： 这个分支观察一段短视频（约 1.6 秒）。它观察面部随时间向前运动的过程，然后尝试将视频倒放。它在这里也使用了“循环”技巧：如果运动在正向播放时有意义，那么在反向播放时也应该有意义。这有助于系统理解打哈欠或眨眼的“节奏”，而不仅仅是一个静态的嘴部图像。

2. 握手（潜空间对齐）
这两个双胞胎并非孤立工作。它们通过一个“握手”机制连接在一起。系统强制要求空间双胞胎在特定时刻对脸部的理解，必须与时间双胞胎在同一时刻对运动的理解相匹配。这确保了“外观”与“动作”讲述的是同一个故事。如果时间双胞胎看到打哈欠的开始，空间双胞胎也必须同意嘴部正在张开，即使是在光线不佳的情况下。

3. 无需老师的学习（自监督学习）
该系统最强大的特性之一是它的学习方式。通常，要训练一个 AI，你需要一个巨大的数据集，其中人类已经标记了每一个肌肉抽动。但在驾驶场景中，这类数据非常稀缺。TCA 通过使用“自监督学习”解决了这个问题。它可以观察数小时未标记的驾驶视频（即没有人标记 AUs 的视频），并利用其“循环”技巧自行学习面部运动的规则。它通过观察视频的正向和反向播放，来学习什么是“正常”的面部及其运动方式。随后，它才使用少量的标注数据来微调其识别特定疲劳迹象的能力。

研究发现

研究人员将他们的“双生”系统与几种流行的其他方法进行了对比测试，包括仅观察单帧的系统、使用 3D 视频滤波器的系统以及使用图网络的系统。他们在标准基准（DISFA 和 BP4D）以及从带有真实驾驶员的模拟器中记录的自然驾驶数据集上进行了测试。

更擅长捕捉细微变化： TCA 一致优于其他方法。它在检测低强度或极快的 AUs（如 AU45 眼部闭合和 AU43 缓慢闭眼）方面表现尤为出色，而这些正是困倦的关键迹象。它在检测表示打哈欠的 AU26（下颌下垂）方面也表现良好。
时间的威力： 当他们移除“时间”分支（时空编辑师）时，系统的性能显著下降。这证明了观察随时间变化的“运动”对于识别疲劳至关重要。
自学习的力量： 当他们将使用自监督预训练（从无标签视频中学习）的 TCA 版本与未使用预训练的版本进行比较时，预训练版本的效果要好得多。这表明该系统成功地从数小时的无标签驾驶影像中学习到了有用的模式，弥补了因缺乏标注数据而造成的差距。
现实世界的速度： 该系统不仅准确，而且运行迅速。在可安装于汽车内的嵌入式计算机（NVIDIA Jetson Xavier NX）上测试时，该系统的运行速度为 28.4 帧/秒。这足以提供实时警报，超过了安全系统通常要求的 10–15 帧/秒。

局限性与未来步骤

该系统并非完美。研究人员发现，当驾驶员佩戴墨镜时，系统在处理与上半脸相关的 AUs（如眉毛或眼睑）时表现得非常吃力。墨镜遮挡了视线，系统无法仅凭下半脸的动作来“推测”出上半脸的运动。然而，对于像打哈欠这样的下半脸动作，它依然保持稳健，因为嘴部仍然可见。

论文总结道，这种“双循环”方法是下一代驾驶员监控的可行路径。它表明，通过结合空间循环和时间循环，并利用自监督学习来充分利用无标签数据，我们可以构建出既准确又实用的汽车监控系统。未来的工作将集中在如何更好地处理遮挡问题（如墨镜），并将面部线索与其它数据（如方向盘动作）相结合，以获得更清晰的驾驶员疲劳画像。

技术摘要：基于孪生循环自动编码器的时空面部动作单元检测用于驾驶员监控

问题陈述

驾驶员监控系统（DMS）越来越多地依赖面部动作单元（AU）来推断驾驶员状态，如疲劳、分心和认知负荷。然而，与受控的实验室环境相比，在自然驾驶环境下检测 AU 面临着显著挑战。这些挑战包括：

环境变异性： 快速变化的照明条件（阳光眩光、隧道、夜间红外光）以及局部遮挡（太阳镜、手部、口罩）。
动态条件： 在进行肩部检查（shoulder checks）时存在极端的头部姿态变化。
信号特征： 相关的 AU（例如与疲劳相关的 AU45、AU43；与打哈欠相关的 AU26）通常强度低、持续时间短且细微。
数据稀缺性： 公开的带有 AU 标注的数据集（如 DISFA、BP4D）是在正面、光照良好且非驾驶条件下录制的，导致其在驾驶视频上的泛化能力较差。相反，密集标注的自然驾驶数据既稀缺又难以收集。
架构局限性： 现有的深度学习方法通常将空间外观和时间动态分开处理，或者缺乏利用丰富的无标签视频进行正则化的机制。

方法论：孪生循环自动编码器 (TCA)

作者提出了孪生循环自动编码器 (TCA)，这是一种时空架构，旨在通过自监督循环一致性，利用有标签和无标签的驾驶视频来学习鲁棒的 AU 表示。

1. 架构概述

TCA 由两个在不同粒度上运行的耦合分支组成：

空间循环自动编码器 (SCA)： 作用于单帧图像。它使用卷积编码器（ResNet-18 骨干网络）将面部图像映射到 AU 相关潜码（ $z_t^S$ ），并显式地丢弃身份特定信息。解码器使用该潜码和一个辅助身份码来重建帧。通过沿学习到的 AU 方向扰动潜码、重新编码并与操纵目标进行比较，形成空间循环。这强制执行了图像级循环一致性，以实现 AU 外观与身份信息的解耦。
时间循环自动编码器 (TCAE-T)： 作用于空间潜码序列。时间编码器（双向 GRU 或 Transformer）将序列映射到时间潜轨迹。时间解码器按逆序重建序列。重建序列与真实逆序序列之间的差异构成了时间循环一致性损失，通过强制前向-后向一致性来捕捉起始-高峰-偏移（onset-apex-offset）的动态过程。

2. 跨分支耦合与融合

这两个分支通过跨分支潜对齐损失进行耦合。该损失最小化了时间编码器的隐藏状态（ $h_t$ ）与通过轻量级 MLP 投影到共享嵌入空间的空间潜码（ $z_t^S$ ）之间的距离。

损失函数： 对齐过程使用余弦距离而非平方欧几里得距离，因为对于 AU 语义而言，嵌入的方向比大小更具意义，且在自监督预训练期间表现得更加稳定。
融合： 对齐后的空间和时间嵌入使用多头注意力模块进行组合，生成用于多标签 AU 分类的时空描述符（ $f_t$ ）。

3. 训练策略

模型采用两阶段训练过程：

自监督预训练： 在大量无标签的座舱驾驶视频（ $D_U$ ）上进行训练，仅使用循环一致性目标（ $L_{rec}^S, L_{cyc}^S, L_{cyc}^T, L_{align}$ ）。此时分类损失（ $L_{cls}$ ）设为零。
监督微调： 在较小的有标签数据集（ $D_L$ ）上进行训练，所有损失项均处于激活状态，包括加权的多标签 AU 分类损失。

总损失为加权和： $L = \lambda_1 L_{rec}^S + \lambda_2 L_{cyc}^S + \lambda_3 L_{cyc}^T + \lambda_4 L_{align} + \lambda_5 L_{cls}$ 。

核心贡献

TCA 架构： 一种新型时空框架，结合了用于实现身份无关外观的空间循环自动编码器和用于捕捉前向-后向动态一致性的时间循环自动编码器。
跨分支对齐： 引入了潜对齐损失，将空间和时间表示耦合在一起，从而稳定了融合表示。
自监督预训练： 一种利用大量无标签驾驶视频在面对稀缺的有标签驾驶数据时，学习时空结构并进行微调的策略。
全面评估： 在标准基准测试（DISFA、BP4D）和自然驾驶数据集（具有近红外照明、太阳镜和手部遮挡）上进行了广泛的实验，包括在嵌入式硬件上的实时推理分析。

实验结果

TCA 在 DISFA、BP4D 和一个自然驾驶模拟器数据集（具有近红外照明、太阳镜和手部遮挡特征）上进行了评估。

基准性能： TCA 在 DISFA (64.7%) 和 BP4D (67.3%) 上均实现了最高的平均 F1 分数，优于基于帧的 (JAA-Net)、循环神经网络 (ConvLSTM-AU)、3D-CNN (I3D) 和基于图的 (ME-GraphAU) 等基准模型。对于低强度和瞬态 AU，提升尤为显著。
自然驾驶性能： 在驾驶数据集上，经过自监督预训练的 TCA 实现了 63.1% 的整体 F1 分数，显著高于未进行预训练的相同架构 (56.3%) 以及其他基准模型。这证明了从无标签数据中迁移时空结构的有效性。
消融研究：
- 移除时间循环损失导致性能下降最大（从 63.1% 降至 57.8%），证实了其作为主要改进来源的作用。
- 移除跨分支对齐导致了较小但持续的下降（降至 60.6%）。
- 用 Transformer 替换 GRU 时间编码器带来了略微的 F1 提升 (+0.8%)，但增加了延迟。
实时性能： 在 NVIDIA Jetson Xavier NX 上，基于 GRU 的 TCA 达到了 28.4 fps（延迟 35.2 ms），超过了疲劳预警所需的 10–15 fps 阈值。
遮挡分析： 模型对下脸部遮挡表现出鲁棒性，但在太阳镜遮挡下，对于上脸部 AU（AU4、AU6、AU7）会出现显著的性能退化（F1 下降 24–27 个百分点），这证实了眼部区域变得不可观测，且模型缺乏补偿信号。

意义与主张

论文声称 TCA 架构通过有效地利用无标签座舱视频来学习鲁棒的时空表示，解决了驾驶员监控中的关键差距。通过在空间和时间领域强制执行循环一致性，该模型学习到了对身份具有不变性且在时间上连贯的 AU 特征，这对于检测挑战性驾驶条件下细微、短时间的疲劳线索特别有利。

作者断言，自监督预训练与 TCA 架构的结合，使得即使在有标签驾驶数据有限的情况下也能实现高性能的 AU 检测。此外，在嵌入式硬件（Jetson Xavier NX）上实现实时吞吐量的演示，支持了将基于 AU 的 DMS 部署到生产级高级驾驶辅助系统（ADAS）中的实际可行性。该工作强调了当前系统在处理上脸部遮挡（太阳镜）方面的特定局限性，从而为未来的研究方向提供了动力——即开发面向遮挡的扩展方案，而非单纯的外观修复。