TempoGFormer: A Gating Mechanism-based Transformer for Physiological Measurement from Facial Videos
本文介绍了 TempoGFormer，这是一种用于远程光电容积脉搏波描记法（rPPG）的新型 Transformer 模型，该模型利用门控机制、时空融合头（Temporal-Spectral Fusion Head）以及空间重叠分词策略（Spatially-Overlapped Tokenization strategy）来有效减轻环境噪声和运动伪影，从而在多个公开数据集上实现从面部视频中进行生理测量时具有更高的准确性和效率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图在喧闹的城市广场上聆听一声耳语。你想要捕捉的声音就在那里，随风飘荡，却被车流、嘈杂的人声和风声所淹没。这就是在不接触皮肤的情况下测量人类心跳的基本挑战。几十年来，医生一直依赖接触式传感器（例如夹在手指上的夹子）来追踪脉搏。这些设备效果良好，但对于许多场景来说，它们具有侵入性且不切实际，例如监测睡眠中的婴儿或烧伤严重的患者。近年来，科学家们转向了一种被称为远程光电容积脉搏波描记法（remote photoplethysmography）的技术，该技术试图通过一段简单的面部视频来读取心跳。这个想法非常优雅：随着血液在脸部泵动，它会改变光线从皮肤反射的方式，从而产生一种微小的、有节奏的色彩变化。然而，这种信号极其微弱，极易在光线变化、头部运动甚至眨眼等噪声中丢失。
浙江工商大学的一个研究小组开发了一种解决这一问题的新方法，创建了一个能够清晰“听到”那声耳语的系统。他们构建了一个复杂的计算机模型，专门设计用于在视频流中寻找隐藏的心跳。该系统不仅仅是逐帧观察视频，而是学会了忽略环境的干扰，转而专注于皮肤上指示心脏跳动的细微且有节奏的颜色变化。通过结合一种平滑视频数据的方法和一种新的过滤噪声的方法，他们创造出了一种比以往尝试更准确、更高效的工具，证明了在许多重要的健康场景中，摄像头确实可以取代传感器。
研究人员将他们的创造物称为 TempoGFormer。要理解它的工作原理，首先必须理解它所面临的困难。当摄像机记录面部时，生成的视频包含海量的数据，其中大部分与心跳无关。皮肤看起来不同可能是因为阴影、微笑或房间光线的变化。传统的计算机模型经常会被这些变化所迷惑，将阴影误认为心跳，或者完全错过真实的信号。新系统首先将视频分解成小块，但其处理方式与旧方法不同。它没有将视频切割成僵硬、互不重叠的区块，而是采用了滑动方式，让这些部分可以相互重叠。这保留了帧与帧之间平滑的时间流转，确保模型看到的是血液连续的流动，而非一系列脱节的快照。这一步至关重要，因为心跳是一种连续的节奏，过于生硬地将其拆解会破坏模型需要寻找的模式本身。
视频准备就绪后，系统会应用一种特殊的注意力机制，以决定图像的哪些部分最为重要。在许多计算机视觉系统中，模型可能会被最明显的特征（如眼睛或嘴巴）所吸引，而不是关注皮肤上细微的颜色变化。TempoGFormer 通过一种门控机制解决了这个问题，这是一种位于模型的观察与决策之间的智能过滤器。这个过滤器就像是一个信号音量调节器。它分析模型对脸部不同部位的关注程度，并自动调低噪声较大或无关区域的“音量”，同时调高血液流动最明显的区域的“音量”。这使得系统能够忽略运动和光线的干扰，将其能量集中在生理信号上。
在过滤信号后，系统使用一个专门的头部来重建心跳波形。这部分模型会从多个角度观察数据，同时考虑跳动的时机和节奏的频率。它结合这些不同的视角，以做出对心率的精确预测。研究人员在三个不同的公开数据集上测试了该系统，这些数据集包括静坐、玩游戏甚至走动的视频。在每一次测试中，新模型都优于现有方法，包括那些基于旧深度学习技术的方法。它在估计心率方面达到了更高的准确度，并产生了噪声更少的更清晰信号。即使模型是在一组视频上进行训练，并在另一组具有不同人物和光照条件的视频上进行测试，它依然保持了极高的性能水平，这表明它学习到了心跳的本质，而不仅仅是记住了特定的视频片段。
研究还考察了运行该系统的成本。虽然新模型比一些简单的替代方案略显复杂，但它并不需要过高的计算能力。它在取得显著优于竞争对手的结果的同时，保持了平衡，仅使用了可控数量的参数。研究人员证明，通过优化模型关注视频的方式以及处理基于时间的数据的方式，可以实现以前在无需物理接触的情况下难以达到的精准生命体征提取水平。这项工作表明，在不久的将来，摄像头可能会成为标准的健康监测工具，能够在医院、健身房甚至家中追踪心率，而无需在身上连接任何电线或传感器。这些发现为使健康监测变得更加普及且更少侵入性迈出了充满希望的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。