A Hybrid CNN–MLP Model Using Confidence-Gated Fusion Framework for Real-Time Indian Sign Language Recognition

沟通是人类的基本需求，然而对于数百万聋哑或听障人士而言，通往更广阔世界的桥梁往往依然是断裂的。手语是这些群体的一种完整且丰富的语言，但由于缺乏通用的翻译系统，手语使用者与非手语使用者之间的鸿沟依然存在。近年来，科学家们转向利用计算机来搭建这座桥梁，教机器去“看见”手势，并将其转化为口语或文字。这一领域依赖于两种主要的“视觉”方式。一种方法将手视为一张照片，通过分析形状、颜色以及皮肤和手指的纹理来推测其含义。另一种方法则完全忽略图像本身，而是专注于手的精确几何结构，将关节和指尖的精确位置映射为一组坐标。虽然每种方法都有其优势，但在面对复杂的现实世界时，两者都显得力不从心。基于摄像头的系统可能会因为光照变化或背景杂乱而失效，而基于几何的方法则可能会错过区分不同手势的细微差别。

在一项新的研究中，来自印度加尔戈提亚斯工程技术学院（Galgotias College of Engineering & Technology）的研究人员提出了一种解决方案，该方案结合了这两种截然不同的视觉方式，旨在为印度手语创造一个更可靠的翻译系统。研究团队并没有强迫计算机在观察手的外观或结构之间做出选择，而是构建了一个同时使用两者的混合系统。他们创建了两个独立的数字“大脑”：一个通过观察手部图像来识别手势，另一个通过读取由名为 MediaPipe 的工具检测到的手部关键点数学坐标来识别手势。这项创新的核心不仅在于拥有两个模型，更在于它们如何协同工作。研究人员设计了一个智能切换机制，充当“守门员”。在实时运行过程中，系统会不断检查基于图像的模型对其判断的信心程度。如果基于图像的模型因为光照不足而产生犹豫，系统会自动转而采用基于几何的模型，因为后者在应对环境变化方面具有更强的鲁棒性。如果几何结构不清晰，则依赖于图像。这种动态决策过程随后会在时间维度上进行平滑处理，以确保最终输出不会在不同字母之间出现闪烁或跳变。

团队使用了一个包含代表字母和特定指令的大型静态手部图像集对系统进行了测试，总计 87,000 张图片。他们使用一种被称为 MobileNetV2 的轻量级架构来训练图像读取模型，该架构旨在足以满足实时使用的速度要求；同时使用一个标准的神经网络来训练几何读取模型，该网络处理由 MediaPipe 检测到的手部 21 个关键点。当研究人员分别测试这两个模型时，结果发人深省。在受控测试中，基于图像的模型准确率极高，接近 100%，但在面对实时摄像头采集的复杂多变环境时，它表现出了不确定性。基于几何的模型在单独运行时准确率略低，约为 97%，但无论背景或光照如何变化，它都表现得异常稳定。

当研究人员将这两种方法融合时，结果是一个优先考虑稳定性而非单纯追求峰值性能的系统。混合模型在测试中达到了 95% 的准确率，虽然这个数字略低于基于图像模型的理论最大值，但在实际应用中证明要可靠得多。在实时试验中，混合系统保持了近 100% 的置信水平，有效地消除了困扰单模型系统的迟疑与错误。研究发现，通过让两个模型根据置信度阈值来选择答案，并在短时间内对结果进行平滑处理，系统可以应对多变的环境条件。这种方法成功减少了仅靠几何模型时观察到的误分类现象，同时保持了预测的稳定性，证明了结合视觉特征与基于关键点特征进行手势识别的有效性。

研究人员总结道，这种混合框架为辅助沟通工具提供了一条切实可行的路径。通过承认没有任何一种方法能在所有情况下都达到完美，并创造出一个能够在任何时刻都能动态依靠最可靠方法的系统，他们打造出了一个足够强大、能够应对现实世界使用的手势识别器。这项工作表明，通过结合视觉外观与几何结构，并辅以基于置信度的决策过程，可以产生一个不仅准确而且稳健可靠的工具，使听障人士与聋哑人士之间实现无缝沟通的愿景离现实又近了一步。