💻 计算机科学

RGB–wearable sensor fusion improves isolated signlanguage recognition under visually challengingconditions

本文提出了 RWS-Fusion，这是一个将 RGB 视频与可穿戴传感器数据相结合的多模态框架，通过有效克服运动模糊、遮挡和光照变化等视觉挑战，实现了高准确度的孤立手语识别。

原作者： Xinao Han, Chengjie Huang, Wei Wang, Tian Xie, Zhuonan Li, Chi Zhang, Yu Song, Junchao Zhu

发布于 2026-10-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinao Han, Chengjie Huang, Wei Wang, Tian Xie, Zhuonan Li, Chi Zhang, Yu Song, Junchao Zhu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

手语是一种丰富的、视觉化的对话，依赖于手部动作的精准移动、手指的形状以及身体的朝向。为了让计算机理解这种语言，它们必须充当第二双眼睛，观察一个人的手语并将其翻译成文字。多年来，研究人员一直试图利用标准视频摄像头来教机器这项技能。这些摄像头捕捉视觉场景，但当视角不理想时，它们会表现得力不从心。如果手部移动过快，画面会产生模糊；如果手部经过另一个物体前方，它就会消失；如果光照发生变化或背景过于复杂，计算机就会丢失重要的细节。这使得机器很难区分两个看起来相似但含义不同的手语。

为了解决这个问题，科学家们还研究了可穿戴传感器，即佩戴在身上的、用于直接测量运动的小型设备。这些传感器可以感知手指的弯曲或手腕的旋转，即使在摄像头无法清晰观察的情况下，也能提供清晰的运动记录。然而，传感器本身会缺失视觉语境，例如手相对于签名者身体指向的位置。挑战在于如何将这两种观察方式——摄像头的视觉之眼和传感器的物理感官——结合成一个单一系统，使其比其中任何一种单独使用时都更加可靠。来自天津工业大学和河北工业大学的研究团队现在构建了这样一个系统，创建了一种融合视频和可穿戴数据的方法，能够以极高的准确度识别孤立的手语词汇，即使在视频质量较差的情况下也是如此。

研究人员首先构建了一个全新的数据集，专门用于测试计算机在视觉条件困难时识别手语的能力。他们招募了五名志愿者，要求他们进行一百种不同的孤立手语，例如单词或短语。每位志愿者重复每一个手语十次，总共创造了五千个样本。在录制过程中，志愿者佩戴了一套特殊的装置，包括安装在上臂、前臂和手部的微型传感器。这些传感器测量肢体的惯性运动和手指的弯曲。与此同时，一台标准的USB摄像头记录着视频。团队确保了视频和传感器数据是完美同步的，这意味着每一帧视频都与对应的传感器数据时刻完全匹配。录制环境被设定为包含常见的视觉问题，如光照变化、运动模糊以及手部部分遮挡，以模拟现实世界的挑战。

为了教计算机理解这些数据，研究人员开发了一个拥有两个协同工作的独立“大脑”的系统。第一个大脑完全专注于视频。它使用一个复杂的视觉模型来观察每个手语的三十二帧视频，分析双手如何在空间中移动以及身体姿态如何变化。该模型旨在提取手语的视觉故事，寻找运动和形状中的模式。第二个大脑则完全专注于可穿戴传感器。它处理来自柔性传感器和运动追踪器的原始数据，这些数据记录了手指如何精确弯曲以及手臂如何移动。为了帮助这个大脑理解时间的流动，系统计算了相邻时刻之间的运动差异，从而使其能够感知手势的速度和方向。这个传感器分支被设计得轻量且高效，能够从原始数字中学习人类运动的复杂模式。

一旦两个大脑都对正在进行的动作做出了自己的判断，系统就必须决定信任哪一个判断。研究人员发现，这两个信息源经常出现分歧。有时摄像头能清晰地看到一个手语，但传感器却被类似的动作所迷惑；其他时候，即使视频模糊或手部被部分遮挡，传感器也能通过独特的运动准确识别出发生了什么。为了处理这种情况，团队创建了一种融合两个判断的方法。他们并没有简单地取两者的平均值，而是根据系统对特定类型数据的确定程度，调整了每个判断的可信度。然后，他们使用一个经过专门选择的权重来合并这些调整后的概率，以获得最佳结果。这一过程使得系统在视频不清晰时能更多地依赖传感器数据，而在运动数据存在歧义时则更多地依赖视频。

研究结果非常显著。当研究人员在未参与训练的新人群身上测试该系统时，仅靠视频的系统正确率约为百分之六十八，仅靠传感器的系统表现更好，正确率约为百分之九十五。这证实了可穿戴传感器在识别这些特定手语时，比视频提供了更稳定的信号，尤其是在团队创建的这些困难视觉条件下。然而，融合后的系统表现得更为出色，其准确率达到了百分之九十七，几乎在所有情况下都能正确识别。这意味着该系统比仅靠传感器的版本犯错更少，纠正了传感器本身无法解决的错误。

团队还仔细检查了融合系统仍然出现的错误。他们发现，剩余的错误主要发生在自然属性非常相似的手语对之间，例如使用相同手形但指向略有不同的手语，或者依赖手指弯曲细微差别的手语。这些区别对于任何人类来说都需要仔细观察才能分辨，更不用说机器了。分析表明，当视频和传感器达成一致时，系统几乎总是正确的。当两者发生分歧时，融合方法成功地利用了更可靠的信息源来纠正错误。这证明了这两类数据确实是互补的：传感器提供了稳健的运动基础，而视频则增加了必要的视觉细节，用以区分那些最相似的手语。

这项工作表明，手语识别的未来可能不会依赖于单一的技术。相反，将摄像头的视觉视角与可穿戴传感器的直接物理测量相结合，可以创建一个能够应对现实世界录制缺陷的系统。虽然目前的研究受限于较小的志愿者群体和特定的手语集，但该方法证明了构建一个即使在视频流退化时也能正常工作的识别工具是可能的。研究人员指出，为了让这项技术惠及大众，未来的工作需要纳入更多具有不同手语风格的人群，并在更广泛的环境中进行测试。目前，这项研究提供了一条清晰的前行路径，表明当机器同时拥有“眼睛”和“触觉”时，它们可以以一种单一感官无法实现的精度来理解人类的交流。

技术摘要：用于孤立手语识别的 RGB–穿戴式传感器融合

问题陈述

仅依赖 RGB 视频的手语识别（SLR）系统本质上容易受到视觉退化的影响。运动模糊、手部遮挡、光照变化、背景杂乱以及手部局部截断等因素会显著削弱进行细粒度手语判别所需的视觉证据。虽然基于骨架和关键点的方法试图减轻背景干扰，但它们仍然依赖于准确的特征点提取，而当手部边界或身体参考方向在视觉上具有歧义时，这种提取往往会失败。相反，仅使用穿戴式传感器的系统虽然对视觉噪声具有鲁棒性，但缺乏对视觉外观、空间上下文和基于身体的参考方向的显式编码，导致在区分具有相似手指弯曲状态或惯性轨迹的手语时产生混淆。因此，需要一种多模态框架来有效地融合这些互补的模态，以提高在具有挑战性的视觉条件下的识别准确率。

方法论

作者提出了 RWS-Fusion，这是一个用于孤立手语识别的多模态框架，它同步了 RGB 视频与穿戴式传感器数据。该系统架构由两个并行分支组成，随后是一个经过温度校准的决策级融合策略。

1. 数据采集与预处理

数据集： 构建了一个同步的 RGB–穿戴式数据集，包含来自 5 名参与者的 5,000 个对齐样本，涵盖 100 个孤立手语类别。
传感器： 穿戴式设置包括三个节点（上臂、前臂、手部），每个节点配备有：
- IMU（惯性测量单元）： JY901S 模块，用于捕捉身体和手部的惯性运动（加速度、角速度）。
- 柔性传感器： 用于捕捉手指的屈伸状态。
同步： 数据通过基于 ESP32 的采集系统进行同步，确保了 RGB 帧与传感器流之间的时间对齐。

2. RGB 视觉分支

输入： 均匀采样的 RGB 帧（每段视频 32 帧，调整大小为 224×224）。
骨干网络： 采用 Swin3D-T（Swin Transformer-Tiny）骨干网络来提取时空视觉表示。
输出： 通过分类头生成视觉逻辑值（ $z_{rgb}$ ）。

3. 穿戴式传感器分支

输入： 三路同步流：身体 IMU ( $S_b$ )、手部 IMU ( $S_h$ ) 和手部柔性传感器 ( $S_f$ )。
预处理：
- 归一化： 对每个通道应用 Z-score 归一化。
- 时间增强： 计算一阶时间差 ( $\Delta \hat{s}$ ) 并将其与归一化信号拼接，以捕捉运动动态。
架构：
- 编码器： 每路流由一个 Lite Sensor Transformer 处理，该网络由一个 Conv1D 茎（包含时间卷积、批归一化、GELU 和深度卷积）以及一个 Transformer 编码器（3 个块，4 个注意力头）组成。
- 融合： 一个门控融合模块学习权重 ( $g$ )，将编码后的三路传感器特征 ( $f_b, f_h, f_f$ ) 组合成统一的传感器表示 ( $f_{sen}$ )。
输出： 传感器逻辑值 ( $z_{sen}$ )。

4. 决策级融合

RWS-Fusion 不在中间特征层进行融合，而是在输出逻辑值上进行操作：

温度缩放： 应用模态特定的温度参数 ( $T_{rgb}, T_{sen}$ ) 来校准置信度分布： $p_m = \text{softmax}(z_m / T_m)$ 。
加权概率融合： 使用在验证集上优化的权重 $\alpha$ 来组合校准后的概率：
$p_f = \alpha p_{rgb} + (1 - \alpha) p_{sen}$
预测： 最终类别由 $\hat{y} = \arg\max(p_f)$ 确定。

核心贡献

同步数据集： 构建了一个包含 5,000 个对齐 RGB–穿戴式样本的多模态数据集，涵盖 100 个孤立手语类别，专门设计用于包含具有挑战性的视觉采集条件（如遮挡、模糊）。
多流传感器建模： 开发了一个专门的传感器分支，利用一阶时间差和 Lite Sensor Transformer 来有效建模手指屈伸、手部运动和上肢动态。
轻量化融合策略： 引入了一种温度校准的决策级融合方法，通过在验证集上优化模态权重和温度缩放，以纠正特定模态的失效。

实验结果

实验采用了**留一受试者法（leave-one-subject-out）**评估协议，以确保跨签名者的泛化能力。

基准模型：
- 仅 RGB (Swin3D-T)： 准确率为 67.54%，宏 F1 分数为 61.43%。
- 仅传感器 (Lite Sensor Transformer)： 准确率为 95.20%，宏 F1 分数为 94.61%，显著优于其他传感器模型（如 1D-CNN、BiLSTM）。
RWS-Fusion 性能：
- 准确率： 97.10% (±1.50)。
- 宏 F1 分数： 96.83% (±1.72)。
- Top-5 准确率： 99.68%。
误差分析：
- RWS-Fusion 将误分类样本从 240 个（仅传感器模式）减少到 145 个。
- 融合策略成功纠正了其中一个模态正确而另一个模态错误的案例。
- 剩余的错误集中在语义相似的手语对中（例如，“我”与“你”，“高尚”与“善良”），这些手语依赖于微妙的指向方向或精细的手指姿态。

重要性与主张

本文主张穿戴式运动线索为 RGB 视频提供了互补信息，尤其是在视觉证据退化的情况下。研究表明，虽然仅基于传感器的系统具有高度鲁棒性，但通过校准融合集成 RGB 数据可以进一步通过编码传感器无法捕捉的视觉外观和空间上下文来优化识别。

作者报告称，在视觉挑战性条件下进行跨受试者评估时，RWS-Fusion 的表现优于 RGB 仅限和传感器仅限的基准模型。他们保持了适度的研究范围，承认了局限性，例如参与者人数较少（5 人）以及专注于孤立手语而非连续手语。这项工作将自己定位为迈向更鲁棒的人机交互系统的步骤，并建议未来的研究应侧重于扩大数据集、实现独立于签名者的校准以及实时部署。