Attention-Enhanced Temporal Convolutional Network for Continuous Word-Level Indian Sign Language Recognition
本文提出了一种用于连续词级印度手语识别的注意力增强型时间卷积网络（TCN）框架，该框架利用 Mediapipe 进行关键点提取，并利用空洞卷积来有效捕获时空特征，在专门的数据集上展示了优于 BiGRU、BiLSTM 及混合模型的卓越性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
沟通是人类的基本需求，然而对于数百万名聋哑或听障人士而言，通往更广阔世界的桥梁往往被口语的局限性所阻断。手语提供了一种丰富的视觉解决方案，利用手部动作、身体姿态和面部表情来传达复杂的思想。然而，教计算机理解这些手势是一项艰巨的挑战。手语不同于单一、静态的图像，它是一个流动的动作流，手势的含义在很大程度上取决于前后的动作。这被称为连续识别，它要求系统不仅要能看到正在形成的形状，还要能理解这些形状之间的时机与过渡。多年来，研究人员一直试图通过教计算机识别孤立的单个手势来解决这个问题，但现实世界的对话并不会在词与词之间停顿。为了构建一个真正有助于日常生活的工具，技术必须学会阅读人类表达的连续流动。
在最近的一项研究中，来自印度巴拉提尔大学（Bharathiar University）的研究人员 Aswani Sivan 和 E. Chandra Eswaran 致力于解决这一问题，他们创建了一个专门用于识别连续印度手语的新系统。他们的工作聚焦于一项困难的任务：通过一段人进行手语表达的视频，在不中断的情况下正确识别出其中的每一个单词。团队开发了一个深度学习框架——一种通过实例进行学习的计算机程序——来充当该系统的“大脑”。该方法并非尝试分析视频帧中的每一个像素（这可能会被背景噪声或光照变化所淹没），而是首先提取运动的核心骨架。通过使用一种专门的软件工具，系统可以识别出签名者身体的关键点，例如手指尖、肘关节以及面部轮廓。随后，这些点被转换为描述运动的一系列坐标，从而剥离掉背景的视觉杂乱，纯粹专注于手势本身。
这项研究的核心创新在于计算机如何处理这些运动随时间变化的序列。研究人员比较了几种不同的架构方法，以观察哪一种能最好地理解手语的流动。他们测试了以步进方式处理数据的模型（类似于人类逐词阅读句子），以及结合了不同类型分析的混合模型。然而，团队发现这些传统方法难以处理理解完整句子所需的长距离连接。为了克服这一点，他们引入了一个基于时间卷积网络（Temporal Convolutional Network）的系统，这种结构旨在并行而非严格地按顺序处理数据序列。这使得系统能够一次性看到整个手势序列的上下文。至关重要的是，他们在该网络中加入了“注意力机制”。在手语的语境下，视频中的每一时刻并不同样重要；有些帧捕捉到了动作的高峰，而有些则仅仅是过渡。注意力机制充当了一个过滤器，教计算机将能量集中在手势序列中最显著的部分，并忽略那些不太相关的时刻。
为了测试他们的系统，研究人员汇编了一个包含近 2,500 个视频片段的数据集，其中包含 317 个不同的手语单词，这些素材源自已建立的印度手语词典和技术门户网站。每个视频被分解为 25 帧，以详细捕捉动作。当他们进行实验时，结果非常明确。这种结合了时间网络与注意力机制的新系统，在识别单词方面的准确率达到了 94.29%。这一表现显著高于他们测试的其他模型，后者的准确率处于 78% 到 85% 之间。数据表明，这种新方法不仅更准确，而且更稳定，这意味着它能够很好地泛化到它未曾见过的全新示例中。通过学习动作展开过程中的细微差别，该系统在区分外观相似的手势方面表现得尤为出色，而这正是手语识别中的一个常见难点。
研究还探讨了该系统目前仍面临的挑战。虽然该模型在大多数手势上表现出了高度的信心，但它偶尔会在动作或时机非常相似的手势上遇到困难，这是手势本身视觉相似性所固有的局限性。研究人员指出，尽管他们的数据集具有多样性，但可能尚未涵盖不同地区在签名速度或风格上的所有可能变化。尽管存在这些微小的障碍，但研究结果表明，这种特定技术的结合为未来提供了一条稳健的路径。通过专注于运动的时间关系，并使用基于注意力的过滤器来突出最重要的时刻，该系统成功地弥合了原始视频与有意义语言之间的鸿沟。这项工作迈出了切实的一步，旨在使沟通变得更加无障碍，并提供了一个框架，最终有望集成到现实世界的辅助设备中，帮助将连续流动的手语翻译成文字或语音，供听力健全的公众使用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。